تصور کنید ۸۷.۵٪ از تخصصهای یک مدل زبانی را حذف کنید و باز هم کیفیت پاسخها تغییر نکند. این ادعای جسورانه، محور اصلی انتشار مدل EMO در ۱۶ مه ۲۰۲۶ توسط مؤسسه Allen برای هوش مصنوعی (Allen Institute for AI) و دانشگاه برکلی است.
معماری مجموعهای از متخصصان (Mixture-of-Experts یا MoE) که در مدلهایی مانند DeepSeek-V4 به کار رفته، اجازه میدهد پارامترها بدون انفجار هزینههای محاسباتی مقیاسپذیر شوند. با این حال، این مدلها معمولاً از «مسیریابی کمعمق» رنج میبرند؛ به این معنا که متخصصان بهجای موضوعات، به علائم نگارشی یا حروف اضافه واکنش نشان میدهند و همین امر باعث میشود برای هر تکلیف ساده، کل مدل باید در حافظه باقی بماند. همانطور که در تحلیلهای پیشین ما دربارهی بهینهسازی مدلهای MoE اشاره کردیم، این وابستگی به حافظه، گلوگاه اصلی استقرار مدلهای بزرگ است.
طبق اعلام پژوهشگران، EMO این مشکل را با استفاده از «مرزهای سند» به عنوان سیگنال آموزشی حل کرده است تا توکنهای درون یک سند مجبور شوند از یک استخر مشترک از متخصصان استفاده کنند. بر اساس گزارش the-decoder.com، این مدل با ۱ تریلیون توکن و ۱۴ میلیارد پارامتر کل (۱ میلیارد پارامتر فعال) در ۱۲۸ متخصص آموزش دیده است.
دادههای فنی این مدل نشان میدهد:
- با استفاده از تنها ۱۲.۵٪ از متخصصان (۱۶ مورد از ۱۲۸ مورد)، افت عملکرد EMO تنها ۳ واحد است، در حالی که مدلهای MoE استاندارد ۱۰ تا ۱۵ واحد سقوط میکنند.
- در بنچمارک ریاضی GSM8K، زیرمجموعه ۱۲.۵ درصدی نمره ۱۲.۲ را کسب کرد که حتی از نمره ۱۲.۰ مدل کامل نیز بالاتر است.
تحلیلگران دریافتهاند که در حالی که MoEهای استاندارد بر اساس «نوع کلمه» خوشهبندی میشوند، EMO بر اساس دامنههای معنایی مانند سلامت، سیاست و موسیقی سازماندهی شده است. این ماژولار بودن، نحوه استقرار مدلها در محیطهای با حافظه محدود را تغییر میدهد؛ توسعهدهندگان اکنون میتوانند بهجای بارگذاری یک مدل یکپارچه، تنها متخصصان «ریاضی» یا «کدنویسی» را فراخوانی کنند. علاوه بر این، این ساختار یک اهرم امنیتی جدید ایجاد میکند: امکان غیرفعال کردن خوشههای تخصصی مرتبط با محتوای مضر، بدون نیاز به بازآموزی کل سیستم.
گام بعدی شما
- کد آموزش و وزنهای مدل را در Hugging Face و GitHub بررسی کنید.
- از دموی آنلاین تعاملی برای تحلیل الگوهای فعالسازی توکنها استفاده کنید.
- اگر در محیطهای Edge فعالیت میکنید، استراتژی بارگذاری انتخابی متخصصان را در معماری خود تست کنید.
اما چالش بعدی، انتقال این مدلها به سختافزارهای لبه است — به بررسی ما دربارهی رایانش لبه (Edge Computing) مراجعه کنید.
گفتگو