آیا یک مدل زبانی میتواند بدون نیاز به چرخهٔ کامل بازآموزی، در لحظه از شما یاد بگیرد؟ تحلیل فنی جدیدی که در ۱۷ سپتامبر ۲۰۲۶ در arxiv.org منتشر شد، معماری Infinite-Parameter LLM را معرفی میکند؛ سیستمی که دادههای تعاملی زنده را مستقیماً در طول جلسه در وزنهای خود مینویسد.
اکثر مدلهای فعلی پس از آموزش «منجمد» میشوند و برای دریافت اطلاعات جدید مجبورند به پرامپت تکیه کنند. این وضعیت یک گلوگاه ایجاد میکند که در آن حقایق و اصلاحات در هر درخواست دوباره خوانده شده و بلافاصله پس از پاسخ، دور ریخته میشوند. همانطور که در پوشش پیشین ما دربارهی اعتبارسنجی مشخصات مدلهای محلی دیدیم، این رویکرد جدید از بانکهای پارامتر استاتیک فراتر رفته و به سمت تولید پویای وزنها حرکت میکند.
طبق مستندات این پژوهش، سیستم از یک ابرشبکه (Hypernetwork) فشرده استفاده میکند تا دادههای زمان اجرا را به یک مدولاسیون کمرتبه از شبکه پایه تبدیل کند. مکانیزمهای فنی کلیدی این معماری عبارتاند از:
- تولید پویای وزنها: وزنهای لایههای پیشخور (Feed-forward) بهجای ذخیره در یک بانک ثابت، از دادههای زنده کامپایل میشوند.
- بهروزرسانی باور بیزی: مدل یک باور بیزی روی کد نهان تولیدکننده نگه میدارد و آن را همزمان با پیشروی جلسه بهروز میکند.
- محاسبات مستهلکشده: با انتقال دانش به وزنها بهجای پرامپت، فضای پنجرهٔ زمینه (Context Window) آزاد میشود. این بهینهسازی در مدیریت حافظه، یادآور راهکارهای پیشرفتهای است که در کاهش تأخیر مدلهای زبانی از طریق رمزگشایی گمانهزنانه و حافظه KV بررسی کرده بودیم.
این تغییر، این فرض بنیادین را که وزنهای مدل در طول استنتاج (Inference) باید ثابت بمانند، به چالش میکشد. برای متخصصان فنی، این به معنای گذار از پارادایم «همه چیز در پرامپت» به سمت یک مدل ترکیبی است که در آن تعداد پارامترهای مؤثر مدل نامحدود است، اما ردپای ذخیرهسازی آن ثابت میماند. این رویکرد بهینهسازی موتور اجرا، شباهتهای ساختاری با معماری ترکیبی ZGCM-1 برای بهینهسازی موتور اجرای ۷ میلیاردی دارد که بر بهرهوری حداکثری از منابع متمرکز بود.
اگر این معماری مقیاسپذیر باشد، صنعت ممکن است از بهینهسازی اندازه پنجرهٔ زمینه به سمت بهینهسازی کارایی ابرشبکههای تولیدکنندهٔ وزن تغییر مسیر دهد. توسعهدهندگان باید منتظر پروتکلهای ارزیابی آتی باشند که این مکانیزم را در برابر یادگیری در بستر متن و تولید بازیابیافزا (RAG) میسنجد. در همین راستا، برتری مدل ZGCM-1 بر مدلهای بسیار بزرگتر نشان داد که لزوماً افزایش تعداد پارامترهای استاتیک، تنها راه دستیابی به عملکرد برتر نیست.
گام بعدی شما
- بررسی مقالات مرتبط با Hypernetworks برای درک نحوه تولید وزنهای پویا
- دنبال کردن بنچمارکهای مقایسهای بین یادگیری در بستر متن و وزنهای پویا
- تحلیل اثر این معماری بر کاهش هزینههای استنتاج در مدلهای بلندمدت
اما داستان سختافزاری این تحول حتی شگفتانگیزتر است — به تحلیل ما دربارهی تراشههای Blackwell مراجعه کنید.
گفتگو