تصور کنید یک برنامهنویس یا کاربر مدلهای زبانی است که ساعتها با یک عامل هوشمند روی یک پروژه پیچیده کار میکند؛ ناگهان مدل تمام پیشرفتهای قبلی را فراموش میکند چون حافظهاش پر شده است. این دقیقاً همان نقطهای است که یک تغییر کوچک در نحوهٔ یادداشتبرداری مدل، میتواند تفاوت بین پیروزی و شکست در یک مأموریت طولانی باشد.
در ۲ آگوست ۲۰۲۶، آزمایشی روی بازی Pokémon FireRed برای سنجش توانایی عاملهای هوش مصنوعی (AI Agents) در حفظ وضعیت در هزاران نوبت اجرا شد. طبق گزارش منتشر شده در dev.to، حذف یک چکلیست ساده در پرامپتهای مدل Kimi K3، نرخ بهروزرسانی یادداشتهای حافظه را به بیش از نصف کاهش داد و همزمان تراکم اطلاعات در هر ورودی را سه برابر کرد.
برای اکثر عاملها، حافظه بلندمدت یک چالش است چون پنجرهٔ متنی (Context Window) — مثل میز کاری که فقط جای چند ورق کاغذ دارد و کل کتابخانه در آن نمیگنجد — در نهایت پر میشود. برای حل این مشکل، پژوهشگران از یک «هارنس» یا سیستم پشتیبان استفاده میکنند؛ جایی که مدل بهصورت دورهای یادداشتهایی را در یک صفحه پیشنویس مینویسد تا پس از پاک شدن تاریخچهٔ گفتگو، اطلاعات باقی بماند. بهطور سنتی، انسانها این یادداشتها را به شکل چکلیست طراحی میکنند و به مدل میگویند: «موقعیت، هدف و وضعیت تیم را ثبت کن».
همانطور که در تحلیلهای قبلی ما دربارهی معماری حافظه در مدلهای استدلالی اشاره کردیم، این چارچوبها اغلب شبیه به یک سقف عمل میکنند. این ساختار مدل را مجبور میکند مانند یک منشی دستورات را اجرا کند، نه مانند عاملی که در حال حل یک مسئله است. این رویکرد با متدهای نوین برای جایگزینی دستورالعملهای انتزاعی جهت کاهش خطاهای عملیاتی در عاملهای کدنویسی شباهت دارد. پژوهشگر با حذف این دستورات، یادداشتها را به یک «صفحهٔ خالی محدود» تبدیل کرد؛ جایی که تنها قوانین، محدودیت ۱۰۰۰ توکنی و این هشدار بود که هر اطلاعاتی که حذف شود، برای همیشه فراموش خواهد شد.
تغییرات کمی و عددی
بر اساس مستندات این آزمایش، تفاوت بین قانون «چکلیست» و «صفحهٔ خالی» در دو اجرای مدل کاملاً ملموس بود:
- نرخ بهروزرسانی: در قانون قدیمی، مدل ۱۶۰ بار یادداشتها را بهروز کرد، اما در قانون جدید این عدد تنها به ۶۹ رسید.
- تراکم اطلاعات: میانگین اندازه هر یادداشت از ۷۰۰ کاراکتر به ۲۰۰۰ کاراکتر افزایش یافت.
- روند تغییر: در حالت قدیمی، یادداشتها با گذشت زمان کوتاهتر میشدند (تا ۴۹۳ کاراکتر)، اما در حالت جدید، پیچیدگی یادداشتها افزایش یافت و نسخه نهایی به ۲۰۵۴ کاراکتر رسید.
از کپیبرداری تا طراحی سیستم
در حالت چکلیست، مدل عملاً در حال «بازنویسی» بود. هر بهروزرسانی دقیقاً آینهٔ چکلیست بود: وضعیت، مکان، هدف و درس. این رویکرد منجر به یک شکست بحرانی شد؛ مدل یک آیتم مأموریت را تحویل داد، اما در بازنویسی بعدی، هدف قدیمی «گرفتن بسته» را دوباره کپی کرد. چون یادداشتها تنها حافظه باقیمانده بودند، مدل باور کرد مأموریت هنوز باز است و ۴۷۰ نوبت را صرف بازگشت به شهر Pallet Town کرد تا در نهایت توسط یک Pidgey سطح ۵ شکست بخورد.
سیستم حافظه خودگردان
وقتی صفحه به Kimi K3 سپرده شد، مدل از دنبال کردن قالب دست کشید و شروع به ساخت یک پایگاه داده کرد. پژوهشگر مشاهده کرد که مدل بدون درخواست، دستهبندیهای ساختاری خود را ایجاد میکند:
- وضعیت پویا: بخشی برای مکانیابی فوری با عنوان «همین حالا» (RIGHT NOW).
- نقشهبرداری دانش: بخشی برای ثبت موانع فیزیکی و تأیید «بنبست بودن شهری» برای جلوگیری از چرخههای تکراری.
- لاگهای فنی: بخشی برای ردیابی نحوه پردازش دکمهها توسط موتور بازی.
- جداول مرجع: یک جدول لغت انگلیسی به چینی برای اصطلاحات بازی.
- قواعد سرانگشتی: روتینهای دقیق برای جریان نبرد و لیستی از اشتباهات رایج.
این قابلیت سازماندهی مستقل، یادآور پیشرفتهایی است که در مدل Orca برای کنترل رباتها مشاهده شد، جایی که مدل توانست بدون نیاز به دادههای برچسبگذاریشده، رفتارهای پیچیده را مدیریت کند.
هزینهٔ استقلال
این استقلال، هزینه مالی مشخصی داشت. چون مدل یادداشتهای حجیمتر و دقیقتری مینوشت، در هر نوبت توکنهای (Token) — تکههای کوچکی از متن که مدل مثل برشهای کیک میخورد — بیشتری مصرف میکرد. هزینه کل اجرای این مسیر از ۱۶.۶۰ دلار به ۲۲.۸۵ دلار رسید که افزایشی ۳۸ درصدی است.
یک هزینه روانشناختی نیز وجود داشت: «بیماری اطلاعات غلط». اگرچه قانون جدید جلوی حذف حقایق درست را گرفت، اما حذف توهمات (Hallucinations) — وقتی مدل با اطمینان چیزی میگوید که وجود ندارد — دشوارتر شد. مدل یک بار به اشتباه ثبت کرد که درختان کنار جاده قابل صعود هستند و آن را به عنوان «دانش بهدستآمده با سختی» علامتگذاری کرد و در ادامه، شواهد بصری روی صفحه را نادیده گرفت.
این آزمایش ثابت میکند که قالب حافظهٔ یک عامل، در واقع بازتابی از توانایی مدل است. وقتی مدل اجازه یابد سازماندهی داخلی خود را طراحی کند، از یک ثبتکننده ساده به یک برنامهریز استراتژیک تبدیل میشود. در همین راستا، بحث بر سر نحوه ورودی مدلها مطرح است و این سوال که آیا آموزش از طریق ویدئو میتواند جایگزینی برای برچسبهای متنی در مدلهای استدلالی باشد، ابعاد جدیدی به بحث تراکم اطلاعات میدهد.
گام بعدی شما
- اگر از عاملهای هوش مصنوعی برای کارهای طولانی استفاده میکنید، چکلیستهای سختگیرانه را حذف کرده و به مدل اجازه دهید «ساختار یادداشتها» را خودش تعیین کند.
- محدودیتهای توکنی را به عنوان تنها گاردریل حافظه تعریف کنید تا مدل مجبور به فشردهسازی هوشمند اطلاعات شود.
- مراقب «تثبیت توهمات» در حافظههای خودگردان باشید و مکانیزمی برای بازبینی دورهای حقایق ثبتشده ایجاد کنید.
اما داستان سختافزاری این تحول حتی شگفتانگیزتر است — به تحلیل ما دربارهی تراشههای Blackwell مراجعه کنید.
گفتگو