اگر در حال ساخت دستیار هوش مصنوعی هستید که باید ترجیحات کاربر را طی هفته‌ها به خاطر بسپارد، اکنون می‌توانید از حافظه در سطح پیام در Backboard استفاده کنید. در ۶ ژوئن ۲۰۲۶، این شرکت جزئیاتی را منتشر کرد که نشان می‌دهد معماری آن‌ها چگونه بدون تکیه بر روند رایجِ «بزرگ‌تر کردن پنجره متنی»، جایگاه نخست دو بنچمارک حیاتی LoCoMo و LongMemEval را حفظ کرده است.
بسیاری از توسعه‌دهندگان فعلاً سعی می‌کنند مشکل حافظه را با چپاندن توکن‌های بیشتر در یک پنجره متنی (Context Window) — که شبیه میز کاری است که جا برای چند ورق دارد، نه برای کل کتابخانه — حل کنند. طبق گزارشی که Backboard نقل کرده است، این روش «زور خالص» یک میان‌بر رایج در صنعت است، اما اغلب منجر به هزینه‌های بالاتر و کاهش تدریجی دقت می‌شود. این گزارش می‌گوید دستیارهای تجاری و مدل‌های با پنجره متنی بزرگ، معمولاً هنگام مدیریت حافظه بلندمدت و مستمر، حدود ۳۰٪ از دقت خود را از دست می‌دهند.
Backboard مسیر متفاوتی را برگزیده و حافظه را در سطح پیام حل می‌کند. به جای اینکه کل تاریخچه را به عنوان یک بلوک عظیم متن ببیند، سیستم حقایق خاص را در لحظه وقوع در طول گفتگو استخراج و ذخیره می‌کند. این حقایق تنها زمانی بازیابی می‌شوند که با پرامپت فعلی مرتبط باشند. همان‌طور که در تحلیل قبلی ما درباره‌ی امنیت مدل‌های بازمتن اشاره کردیم، مدیریت بهینه داده‌های ورودی، کلید کاهش خطای مدل‌هاست.
کالبدشکافی بنچمارک‌ها
این آزمون‌ها صرفاً «پیدا کردن یک حقیقت در میان کوهی از متن» نیستند، بلکه می‌سنجند که آیا سیستم می‌تواند حافظه را در طول گفتگوهای متعدد بسازد، حفظ کند و بر اساس آن استدلال کند یا خیر. عملکرد این شرکت در دو چارچوب اصلی سنجیده شده است:
- LoCoMo (حافظه گفتگوی بلندمدت): حافظه بسیار بلندمدت را در گفتگوهای چند-جلسه‌ای که هفته‌ها طول می‌کشند، ارزیابی می‌کند. این آزمون، یادآوری تک-جلسه‌ای، استدلال بین-جلسه‌ای، استدلال زمانی، دانش خارجی و پرسش‌های متخاصم را می‌سنجد.
- LongMemEval: پنج توانایی مجزا را امتیازدهی می‌کند: استخراج اطلاعات، استدلال چند-جلسه‌ای، استدلال زمانی، به‌روزرسانی دانش (تشخیص تغییر یک حقیقت درباره کاربر) و خودداری (دانستن اینکه چه زمانی چیزی را نمی‌داند).
جزئیات پیاده‌سازی و زمینه
Backboard خاطرنشان می‌کند که اگرچه سیستم‌های دیگر اعداد بالایی را ثبت کرده‌اند، اما اغلب این کار را با استفاده از مدل‌های قوی‌تر و تکیه بر پنجره‌های متنی بزرگ‌تر انجام داده‌اند. بر اساس مستندات این شرکت، چون بسیاری از سیستم‌ها اکنون به سقف اندازه‌گیری این تست‌ها رسیده‌اند، روشِ دستیابی به عدد مهم‌تر از خودِ عدد است. روش زور خالص در افق‌های زمانی بلند دچار افت می‌شود و برای بازه‌های ماهانه یا سالانه مقیاس‌پذیر نیست.
توسعه‌دهندگان برای استفاده از این سیستم تنها یک پارامتر را تنظیم می‌کنند: memory="Auto". این قابلیت در عمل مستقیماً به توانایی‌های بنچمارک متصل است:
- به‌روزرسانی دانش: اگر کاربر از شیکاگو به تورنتو نقل مکان کند، حالت
memory="Auto"حقیقت جدید را ذخیره کرده و جایگزین قبلی می‌کند. - استدلال چند-جلسه‌ای: حقایق روی دستیار باقی می‌مانند و با استفاده از یک
assistant_idیکسان، به‌طور خودکار بین رشته‌های گفتگو جابه‌جا می‌شوند. - بازیابی با دقت بالا: در مواردی که دقت مهم‌تر از هزینه است، توسعه‌دهندگان می‌توانند از
memory_pro="Auto"استفاده کنند. - خودداری: با استفاده از حالت
Readonlyدر حافظه، دستیار آنچه را دارد یادآوری می‌کند و حقایق ساختگی نمی‌سازد.
این چرخش در معماری به این معناست که هوش مصنوعی دیگر فقط «جستجوی سوزنی در انبار کاه» نیست، بلکه درک ساختاریافته‌ای از کاربر دارد. با استفاده از یک assistant_id ثابت، حقایق به‌طور خودکار در هر رشته جدید منتقل می‌شوند و استدلال واقعی چند-جلسه‌ای را ممکن می‌سازند.
برای کیف پول توسعه‌دهنده، این یک تمایز حیاتی است. استفاده از پنجره‌های متنی عظیم، مصرف توکن را بالا برده و هزینه‌ها را افزایش می‌دهد. بازیابی در سطح پیام، پرامپت را سبک و هزینه‌ها را پیش‌بینی‌پذیر نگه می‌دارد، فارغ از اینکه گفتگو دو روز پیش شروع شده یا دو ماه پیش.
جالب است که Backboard ادعا می‌کند چندین پروژه حافظه متن‌باز برتر در گیت‌هاب، در واقع از خدمات ابری پولی Backboard برای تامین نیازهای خود استفاده می‌کنند. این شرکت می‌گوید برخی از همان‌هایی که در بنچمارک‌ها با آن‌ها رقابت می‌کنند، در واقع توسط فناوری خودشان تغذیه می‌شوند.
چه در حال ساخت یک دستیار شخصی باشید و چه یک ربات پیچیده سازمانی، هدف باید عبور از «چپاندن متن در پنجره» به سمت سیستمی باشد که واقعاً به خاطر می‌سپارد. شما می‌توانید این موضوع را با ادغام SDK شرکت Backboard و مقایسه دقت یادآوری آن با یک پنجره متنی استاندارد آزمایش کنید.
برای مشاهده این سیستم در عمل، توسعه‌دهندگان می‌توانند مفاهیم حافظه را در docs.backboard.io بررسی کنند یا برای تست پارامتر memory="Auto" در یک محیط زنده، یک کلید API از app.backboard.io دریافت کنند.
گام بعدی شما
- بررسی مفاهیم حافظه در docs.backboard.io برای درک تفاوت بازیابی ساختاریافته با پنجره متنی.
- دریافت کلید API از app.backboard.io برای تست پارامتر
memory="Auto"در محیط واقعی. - مقایسه هزینه توکن‌های مصرفی در مدل‌های Long-Context در برابر معماری سطح پیام Backboard.
اما داستان سخت‌افزاری این تحول حتی شگفت‌انگیزتر است — به تحلیل ما درباره‌ی تراشه‌های Blackwell مراجعه کنید.
گفتگو