بسیاری از پژوهشگران فراموشی فاجعهبار را تنها چالشی در یادگیری مستمر (Continual Learning) میبینند، اما حقیقت پیچیدهتر است: این یک نقص بنیادین در بهینهسازهای فعلی است که در هر گام آموزش رخ میدهد.
اگر مدلهای زبانی را به عنوان سامانههایی ببینیم که با هر بهروزرسانی بخشی از دانش قبلی خود را میبازند، باید بدانید که مقصر اصلی، تداخل در جهتهای بهروزرسانی یا همان تداخل گرادین (Gradient Interference) است.
همانطور که در تحلیلهای پیشین ما دربارهی پایداری آموزش مدلهای بزرگ اشاره کردیم، تداخل در جهتهای بهروزرسانی همواره یک نقطه کور در معماریهای فعلی بوده است. به همین دلیل، متدهای سنتی که تنها بر بازبینی دادهها (Rehearsal) تکیه میکنند، ریشه مشکل را حل نمیکنند.
طبق گزارش منتشر شده در ۱۰ ژوئن ۲۰۲۶ در arXiv.org، چارچوب FOGO (بهینهساز متعامدسازی آگاه از فراموشی) برای حل این مشکل معرفی شده است. این سیستم از متعامدسازی طیفی (Spectral Orthogonalization) استفاده میکند تا اجازه ندهد جهتهای غالب در دادهها، کل فرآیند بهینهسازی را به تصاحب خود درآورند.
بر اساس مستندات فنی این پژوهش، ویژگیهای کلیدی FOGO عبارتند از:
- استفاده از یک کدبوک (Codebook) فشرده برای ذخیره جهتهای گذشته.
- بهکارگیری پروجکشن تصادفی (Random Projection) برای حفظ فواصل جفتبهجفت در فضای کمبعد.
- اعمال اصلاحات متعامد سبکوزن برای رفع تداخلات بدون تحمیل سربار محاسباتی زیاد.
به نقل از نتایج آزمایشات، FOGO در تنظیم دقیق (Fine-tuning) مدل LLaVA-7B و پیشآموزش GPT-2، بهویژه در محیطهایی با توزیع نامتوازن دادهها، بهطور مستمر از بهینهسازهای Adam و Muon پیشی گرفت.
این دستاورد فرضیه قدیمی را که فراموشی صرفاً نتیجهی ترتیب توالی وظایف است، میشکند. تحلیل این نتایج نشان میدهد که تغییرات در سطح بهینهساز — و نه لزوماً مدیریت پیچیدهی دادهها — میتواند نرخ همگرایی را بهبود بخشیده و حفظ دانش را تضمین کند.
گام بعدی شما
- پژوهشگران باید مقیاسپذیری حافظه کدبوک FOGO را در مدلهای تریلیونی ارزیابی کنند.
- بررسی تأثیر این بهینهساز بر خطوط لولهی پیشآموزش در مقیاسهای فوقبزرگ ضروری است.
- تست FOGO روی مجموعهدادههای با تداخل شدید معنایی برای سنجش نرخ بازیابی دانش توصیه میشود.
اما تأثیر این تغییر در بهینهسازی بر هزینه سختافزاری استنتاج، ابعادی دیگر دارد؛ در تحلیل ما دربارهی بهینهسازی حافظه در تراشههای نسل جدید بخوانید.
گفتگو