تصور کنید دستیار هوش مصنوعی شما یادش می‌ماند که شما غذای پروه‌ای دوست دارید، اما فراموش می‌کند کتابی را که هفته پیش به شما پیشنهاد داده بود، تمام کرده‌اید. این دقیقاً همان نقطه‌ضعفی است که در معماری جدید تنسنت دیده می‌شود.
سامانه Hy Memory 2.0 تنها زمانی می‌تواند با دقت یک حافظه محلی ساده برابری کند که توسط گران‌ترین مدل‌های زبانی بزرگ (LLM) — مثل کتابخانه‌داری که میلیاردها صفحه را خوانده و حالا با همان لحن کتاب‌ها جواب می‌دهد — تغذیه شود. طبق گزارش منتشرشده از محک LongMemEval، استفاده از مدل‌های ارزان‌قیمت برای خلاصه‌سازی خاطرات، باعث می‌شود سیستم حقایق کلیدی و توصیه‌های دستیار را به‌طور کامل فراموش کند.
این چالش در موازنه هزینه و عملکرد، بازتابی از یک روند گسترده‌تر در اکوسیستم‌های عامل‌محور (Agentic) است. همان‌طور که در تحلیل قبلی ما درباره‌ی شکست مدل‌های Qwen3.8 و Nemotron-3.5 در لایه‌های ارزان‌قیمت اشاره کردیم، این تست ثابت می‌کند که رویکرد «خلاصه‌سازی» برای مدیریت حافظه، اگر بودجه‌ای پایین داشته باشد، شکاف کیفی خطرناکی ایجاد می‌کند.
جزئیات بنچمارک و متدولوژی
در این آزمایش، نسخه Hy Memory 2.0.1 (در حالت Pro) در برابر Aura 1.62.0 قرار گرفت؛ کتابخانه‌ای متن‌باز که تاریخچه گفتگوها را به‌صورت خام و با برچسب زمانی ذخیره می‌کند. هر دو سیستم روی ۶۰ پرسش در سه دسته‌بندی از محک عمومی LongMemEval تست شدند. هر پرسش بر اساس تاریخچه حدود ۵۰ گفتگو برای هر کاربر طراحی شده بود:
- به‌روزرسانی دانش (Knowledge Update): در این حالت، یک حقیقت در اواخر تاریخچه تغییر می‌کند. آیا حافظه می‌تواند نسخه جدید و به‌روز شده را ارائه دهد؟
- گفته‌های دستیار (Assistant Said): در اینجا پاسخ تنها در آنچه دستیار گفته است وجود دارد.
- گفته‌های کاربر (User Said): پاسخی که در ورودی‌های کاربر است و به‌عنوان یک متغیر کنترل (Control) برای سنجش دقت پایه استفاده می‌شود.
برای حفظ عدالت در تست، هر دو سیستم از یک تاریخچه و پرسش یکسان استفاده کردند. مدل Gemini 3.8 Flash به‌عنوان مدل خواننده (Reader) برای پاسخ به سوالات به کار رفت و نمرات نهایی بر اساس پرامپت‌های رسمی داوری LongMemEval ثبت شد.
پیاده‌سازی فنی و تفاوت معماری
سامانه Hy Memory از یک LLM استفاده می‌کند تا هر گفتگو را به «حقایق» تبدیل کرده و آن‌ها را با داده‌های قدیمی تطبیق دهد. اگرچه تنسنت یک مدل حافظه ۳۰ میلیارد پارامتری منتشر کرده، اما این مدل از طریق API در دسترس نیست. چارچوب این سیستم تحت لایسنس Apache-2.0 است و با هر مدل سازگار با OpenAI کار می‌کند. بنابراین در این تست، Hy دو بار اجرا شد: یک بار با Gemini 3.8 Flash و بار دیگر با Claude Opus 5.5. انتخاب Opus به این دلیل بود که در کارت مدل تنسنت، عملکرد مدل ۳۰ میلیاردی آن‌ها با Claude Opus 5 تقریباً یکسان (۵۵.۵ در برابر ۵۴.۶) گزارش شده است.
در مقابل، Aura 1.62.0 مسیر متفاوتی را می‌رود. این سیستم هر نوبت گفتگو را دقیقاً همان‌طور که گفته شده، شامل تاریخ و نام گوینده، ذخیره می‌کند. Aura برای یافتن ۱۰ نوبت مرتبط، از بردار معنایی (Embedding) در سطح محلی استفاده می‌کند و در مرحله نوشتن (Writing)، هیچ LLM-ی به کار نمی‌برد.
شکاف عملکردی: سقوط مدل‌های ارزان
به نقل از نتایج تست، وقتی از Gemini 3.8 Flash به‌عنوان نویسنده استفاده شد، صحت کلی Hy Memory به رقم ناامیدکننده ۴۳٪ رسید، در حالی که Aura امتیاز ۹۵٪ را کسب کرد. جزئیات این شکست تکان‌دهنده است:
- به‌روزرسانی دانش: Aura ۹۰٪ در برابر Hy ۵۵٪
- گفته‌های دستیار: Aura ۱۰۰٪ در برابر Hy ۰٪
- گفته‌های کاربر (کنترل): Aura ۹۵٪ در برابر Hy ۷۵٪
از ۳۴ مورد خطای Hy، در ۳۲ مورد پاسخ سیستم صرفاً این بود: «من این اطلاعات را ندارم». بررسی‌ها نشان داد که ۱۰ حقیقت بازیابی شده توسط Hy کوتاه‌تر از ۱۰ نوبت Aura بود (حدود ۲۰۰۰ کاراکتر در برابر ۵۰۰۰ کاراکتر). برای اینکه مشخص شود آیا این یک مشکل بازیابی است یا خیر، محدودیت متنی افزایش یافت. حتی با حجم متنی برابر با Aura، امتیاز Hy به ۴۵٪ رسید. حتی با ۴۰ خاطره (حدود ۷۹۰۰ کاراکتر)، امتیاز همچنان ۴۵٪ بود. این یعنی اطلاعات در مرحله تبدیل گفتگو به «حقیقت» از بین رفته‌اند، نه در مرحله جست‌وجو.
بهای دقت: ۵ دلار برای هر کاربر
صحت سیستم تنها زمانی بهبود یافت که مدل نویسنده به Claude Opus 5.5 ارتقا پیدا کرد. در تست به‌روزرسانی دانش (۱۰ پرسش)، Hy با Opus توانست با امتیاز ۹ از ۱۰ با Aura برابری کند. طراحی Hy در اینجا درست است: سیستم مقدار قدیمی را به‌عنوان تاریخچه نگه می‌دارد (مثلاً: «فعلی: ۲۵:۵۰ ... تاریخچه: ۲۷:۱۲»). هر دو سیستم تنها در یک پرسش که شامل دو شمارش متفاوت در یک روز بود، شکست خوردند.
در دسته‌بندی «گفته‌های دستیار» (۸ پرسش)، مدل Opus کمک زیادی کرد زیرا برخی توصیه‌ها را به‌عنوان خاطره ذخیره کرد (مثلاً: «دستیار پیشنهاد داد که...»). با این حال، Hy با Opus همچنان تنها ۴ از ۸ را درست پاسخ داد، در حالی که Aura امتیاز ۸ از ۸ را کسب کرد. یعنی نیمی از خروجی‌های دستیار همچنان در حافظه ثبت نمی‌شدند.
هزینه‌های استنتاج برای تاریخچه یک کاربر (۵۰ گفتگو) بسیار تفاوت داشت:
- Hy (با Gemini Flash): ۸۴ فراخوانی LLM، ۴۱۶ هزار توکن ورودی / ۹ هزار توکن خروجی، حدود ۱۵ دقیقه زمان برای نوشتن.
- Hy (با Claude Opus): ۹۲ فراخوانی LLM، ۶۹۵ هزار توکن ورودی / ۶۱ هزار توکن خروجی، هزینه تقریبی ۵ دلار برای هر تاریخچه کاربر و ۱۱ دقیقه زمان برای نوشتن.
- Aura: صفر فراخوانی LLM، صفر توکن، ۳۶ ثانیه پردازش از طریق Embeddingهای محلی.
چرا خلاصه‌سازی شکست می‌خورد؟
هدف Hy Memory این است که حافظه را «کوچک و مرتب» نگه دارد. این سیستم گفتگوها را به جملاتی مثل «کاربر علاقه‌مند به یادگیری و پختن غذاهای کلاسیک پروه‌ای است» تبدیل می‌کند. اما در این مسیر، هر چیزی که مدل نویسنده آن را «حقیقت» درباره کاربر تشخیص ندهد، دور ریخته می‌شود.
مثال‌هایی از اجرای Gemini Flash این فقدان داده را نشان می‌دهد:
- به‌روزرسانی وضعیت: Hy ثبت کرد که کاربر کتابی را به‌دلیل احساسی بودن کنار گذاشته، اما فراموش کرد که کاربر بعدها آن کتاب را تمام کرده است.
- بازنویسی (Overwriting): یک هدف قبلی (عدد ۱۰۰) توسط هدف جدید (۱۵۰) جایگزین شد و سیستم دیگر نمی‌توانست به پرسش «هدف قبلی من چه بود؟» پاسخ دهد.
- خروجی دستیار: وقتی پرسیده شد «کدام آبجو را برای این دستور پخت پیشنهاد کردی؟»، Hy شکست خورد چون پیشنهاد متعلق به دستیار بود، نه حقیقتی درباره کاربر.
موازنه نهایی: نظم یا دقت؟
سیستم Aura با ذخیره خام هر نوبت، ریسک حدس زدن مدل نویسنده را حذف می‌کند، هرچند فضای ذخیره‌سازی بیشتری می‌طلبد و متن بیشتری را برای پردازش به مدل خواننده می‌دهد. باید به محدودیت‌های این تست توجه کرد؛ این آزمایش روی سه نوع از شش نوع LongMemEval تمرکز داشت و مواردی مثل استدلال چند-جلسه‌ای، استدلال زمانی یا ترجیحات (که شاید خلاصه‌سازی در آن‌ها مفید باشد) را تست نکرد. همچنین از حالت Pro استفاده شد و نه حالت گراف «Ultra».
برای توسعه‌دهندگان، این یک انتخاب معماری حیاتی است: یا یک حافظه مرتب و خلاصه‌شده داشته باشید که نگهداری آن برای هر کاربر چندین دلار هزینه دارد، یا یک حافظه خام و برچسب‌دار که به‌صورت محلی و رایگان اجرا می‌شود.
اگر در حال ساخت یک سامانه حافظه هستید، باید هزینه به‌ازاز هر کاربر را اندازه بگیرید و بررسی کنید که آیا سیستم خروجی‌های خودِ دستیار را به یاد می‌آورد یا خیر. کاربران مدام می‌پرسند «دفعه پیش چه پیشنهادی دادی؟» و رویکرد خلاصه‌سازی، این پرسش را اغلب بی‌پاسخ می‌گذارد.
کتابخانه Aura متن‌باز (MIT) است (github.com/teolex2020/aura-memory). اپلیکیشن ویندوزی آن یک حافظه محلی واحد را بین Claude Code، Cursor، Codex، Gemini CLI و دیگران به اشتراک می‌گذارد (aurasdk.dev/desktop).
گام بعدی شما
- اگر از معماری خلاصه‌سازی استفاده می‌کنید، نرخ فراموشی «توصیه‌های دستیار» را در داده‌های خود تست کنید.
- برای کاهش هزینه بدون افت کیفیت، ترکیب ذخیره‌سازی خام (Raw) برای کوتاه‌مدت و خلاصه‌سازی برای بلندمدت را بررسی کنید.
- کتابخانه متن‌باز Aura را برای پیاده‌سازی حافظه محلی و رایگان در پروژه‌های خود بررسی کنید.
اما داستان سخت‌افزاری این تحول حتی شگفت‌انگیزتر است — به تحلیل ما درباره تراشه‌های Blackwell مراجعه کنید.
گفتگو