پژوهشگران چارچوب موبی (MoBiE) را توسعه دادهاند. این نخستین چارچوب دودوییسازی مخصوص مدلهای زبانی بزرگ مبتنی بر مخلوط کارشناسان (Mixture-of-Experts / MoE) است. این پژوهش که در arXiv منتشر شده، به همت ژیشیونگ ژائو انجام گرفته است.
دودوییسازی وزن، کارایی چشمگیری برای مدلهای متراکم فراهم میکند. اما روشهای موجود با چالشهای خاص MoE دستوپنجه نرم میکنند. نخست، افزونگی بین کارشناسان: اطلاعات مشابه در کارشناسان مختلف ذخیره میشود. دوم، تخمین اهمیت وزن بدون توجه به وظیفه، ارزش واقعی وزنها در مسیریابی را نادیده میگیرد. سوم، تغییر مسیر ناشی از کوانتیزاسیون، توانایی مدل برای هدایت صحیح ورودیها را مختل میکند.
موبی سه نوآوری اساسی معرفی میکند. نخست، تجزیه SVD (SVD) مشترک برای کاهش افزونگی بین کارشناسان بهکار میرود. دوم، گرادیانهای سراسری تابع خطا در معیارهای هاین (Hessian) ادغام میشوند تا تخمین اهمیت وزن بهبود یابد. سوم، قید خطای هدایتشده توسط فضای تهی ورودی، اعوجاج مسیریابی را کاهش میدهد.
این بهینهسازیها بدون سربار حافظه اضافی به دست میآیند. تعادل مؤثری بین کارایی و عملکرد مدل برقرار شده است.
در آزمایشهای گسترده روی مدلهای مختلف و معیارهای متنوع، موبی عملکرد بهتری نسبت به روشهای دودویی پیشرو نشان داد. روی کوان۳-30B-A3B (Qwen3-30B-A3B)، کاهش سردرگمی 52.2 درصد، بهبود 43.4 درصدی عملکرد صفروشل، شتاب بیش از دو برابری استنتاج، و کوتاهتر شدن زمان کوانتیزاسیون ثبت شد. کد این پژوهش در گیتهاب (GitHub) در دسترس عموم است.
این پژوهش گامی بلند در قابل استقرار کردن مدلهای بزرگ MoE است. بهویژه برای محیطهایی با منابع محدود اهمیت دارد. با افزایش محبوبیت معماری MoE به دلیل عملکرد قوی، تکنیکهای کوانتیزاسیون کارآمدی چون موبی میتوانند دسترسی به این مدلهای قدرتمند را دموکراتیزه کنند.
گفتگو