برنامه‌نویسی فضای وزنی: مدل زبانی بدون گرادیان وزن‌ها را تعمیر کرد

GPT-6 Astra وزن‌های شبکه‌های عصبی را به‌عنوان داده‌ی خام پردازش می‌کند و بدون محاسبه‌ی گرادیان، آن‌ها را می‌خواند، می‌نویسد و تعمیر می‌کند. این رویکرد، برنامه‌نویسی فضای وزنی نام دارد و مرز بین استنتاج و آموزش را محو می‌سازد. این رویکرد به‌ویژه در کنار روش‌هایی مانند الگوریتم Dust که پس‌انتشار را جایگزین می‌کند جایگاه ویژه‌ای دارد. این تحول در کنار تکنیک‌هایی مانند نورمال‌سازی لایه و اتصال‌های باقی‌مانده در ترانسفورمرها به پایداری مدل‌ها کمک می‌کند.

برنامه‌نویسی فضای وزنی چیست؟

در روش‌های سنتی، بهینه‌سازی وزن‌ها نیازمند بهینه‌ساز، نرخ یادگیری و پس‌انتشار بود. اکنون مدل‌های مرزی فضای وزنی را به‌عنوان یک زبان طبیعی درک می‌کنند و مستقیماً بر روی پارامترها استدلال می‌کنند.

خواندن وزن‌ها: شناسایی وظیفه از پارامترهای خام

در تجربه‌های اول تا سوم، Astra وزن‌های شبکه‌های کوچک را دریافت کرد و:

• بازیِ آموزشی چهار سیاست PPO (Breakout، Pong، Pac-Man، Freeway) را از ۱۷٬۲۵۳ وزن با اطمینان ۹۹٪ تشخیص داد.
• شکل‌های تولیدی سه مدل انتشار (دایره، مثلث، مربع) را از ۲۳٬۸۲۴ وزن شناسایی کرد.
• زبان و رفتار مدل‌های زبانی کوچک را از لایه‌های میانی استخراج کرد.

نوشتن وزن‌ها از صفر: سیاست‌های بازی بدون محیط

Astra برای سه بازی MinAtar و بازی Go، شبکه‌های عصبی کامل از صفر نوشت. این شبکه‌ها بدون هیچ بازخورد محیطی، سیاست‌های PPO آموزش‌دیده را در ۱۰۰ میلیون گام شکست دادند.

ویرایش وزن‌ها: تعمیر استدلال ریاضی Qwen3.5-0.8B

محققان از Astra خواستند Qwen3.5-0.8B را در ریاضی بهتر کند، بدون گرادیان. Astra:

• یک مسئله در وزن‌ها یافت که باعث حلقه‌های استدلال می‌شد (همان مسئله‌ای که کارت مدل Qwen به آن اشاره دارد).
• تنها ۰.۰۱۶٪ پارامترها را در یک هسته پایتون ویرایش کرد.
• صحت MATH-500 از ۷.۹٪ به ۴۸.۱٪ رسید (شش‌برابر).
• صحت IFEval (پیروی دستورالعمل) سه‌برابر شد، یعنی اصلاح تعمیم‌یافته است.

چرا این مهم است؟

بهینه‌سازی گرادیان‌محور دیگر گلوگاه واحد نیست. وقتی یک مدل زبانی می‌تواند وزن‌های مدل دیگر را به‌عنوان داده پردازش کند، تفسیرپذیری، تعمیر و تخصص‌یابی مدل‌ها بدون محاسبات سنگین آموزش امکان‌پذیر می‌شود.

تحلیل دات‌هوش

برنامه‌نویسی فضای وزنی پارادایم جدیدی است که در آن مدل‌های زبانی بزرگ به‌عنوان «جراحان وزن» عمل می‌کنند. این قابلیت برای تخصص‌یابی سریع مدل‌های کوچک در محیط‌های محدود محاسباتی و اشکال‌زدایی استدلال مدل‌های بازمسیر مستقیم باز می‌کند.

گام بعدی شما

• معماری‌های وزن-بومی را برای تخصص‌یابی سریع مدل‌های کوچک در محیط‌های محدود محاسباتی ارزیابی کنید.
• ابزارهای تجسم فضای وزنی را برای اشکال‌زدایی استدلال مدل‌های باز تست کنید.
• مقالات مرجع «Weight-Space Programming» را برای پیاده‌سازی مرجع ردیابی کنید.