تصور کنید مدل زبانی شما بدون کند شدن، تمام جزئیات یک گفتگوی طولانی را به خاطر بسپارد. اگر هنوز با محدودیتهای حافظه در مدلهای فعلی دستوپنجه نرم میکنید، باید بدانید که معماریهای رایج در حال برخورد با یک دیوار سخت هستند.
مدلهای مبتنی بر ترنسفورمر در مواجهه با بافتهای متنی (Context) طولانی دچار شکست میشوند؛ زیرا مکانیسم توجه (Attention) آنها با افزایش حجم دادهها، به شدت کند و پرهزینه میشود. طبق گزارش منتشرشده در ۲۶ مه ۲۰۲۶، سانگیون لی (Sangyun Lee) راهکاری را پیشنهاد داده که با تقلید از فرآیند تثبیت حافظه در خواب انسان، این گلوگاه را میشکند.
همانطور که در تحلیلهای پیشین ما دربارهی محدودیتهای پنجره متنی اشاره کردیم، مدلهای فعلی برای یادآوری توکنهای قبلی به حافظههای موقت KV Cache متکی هستند. اما این حافظهها به صورت خطی رشد میکنند و مقدار عظیمی از رم را میبلعند. به نقل از مستندات این پژوهش، سیستم پیشنهادی لی به صورت دورهای، بافتهای اخیر را به «وزنهای سریع» (Fast Weights) در بلوکهای مدل فضای حالت (State-Space Model یا SSM) تبدیل میکند.
در این فرآیند، مدل وارد یک فاز «خواب» میشود و در آن طی $N$ بار تکرار آفلاین، دادههای انباشتهشده را بر اساس یک قانون محلی یاد میگیرد. این سازوکار به مدل اجازه میدهد حافظه KV Cache را بهطور کامل پاک کند، بدون اینکه اطلاعات حیاتی را از دست بدهد. بر اساس نتایج arXiv، این متد در سناریوهایی که ترنسفورمرهای استاندارد شکست میخوردند، موفق عمل کرده است:
- شبیهسازیهای اتوماتای سلولی
- بازیابی گرافهای چندگامی (Multi-hop graph retrieval)
- استدلالهای پیچیده ریاضی
این تغییر، این فرض بنیادین را که «تمام بافت متنی باید در لحظه استنتاج فعال باشد» به چالش میکشد. با انتقال بار سنگین تثبیت دادهها به یک فاز آفلاین، مدل میتواند تأخیر زمان پاسخگویی را حفظ کند و در عین حال استدلالهای عمیقتری انجام دهد. یافتهها نشان میدهد که افزایش مدتزمان خواب ($N$) مستقیماً با بهبود عملکرد در مسائل دشوار رابطه دارد.
گام بعدی شما
- رصد کنید که آیا این منطق تثبیت دادهها در معماریهای ترکیبی SSM-Transformer آینده ادغام میشود یا خیر.
- بررسی کنید که آیا این چرخه خواب میتواند در برنامههای استریمینگ (Streaming) در لحظه پیادهسازی شود.
- تحلیل کنید که چگونه کاهش نیاز به KV Cache میتواند هزینه عملیاتی مدلهای شخصیسازیشده را تغییر دهد.
اما داستان سختافزاری این تحول حتی شگفتانگیزتر است — به تحلیل ما دربارهی تراشههای Blackwell مراجعه کنید.
گفتگو