«کاهش هزینه‌های استنتاج»؛ دستاورد متدهای جدید در بهینه‌سازی مدل‌های زبانی

اگر امروز برای اجرای مدل‌های زبانی هزینه پرداخت می‌کنید، احتمالاً با گلوگاه هزینه‌های استنتاج و صلبیت فرآیند تنظیم دقیق دست‌وپنجه نرم می‌کنید. تصور کنید بتوانید یک مدل را برای وظایفی خاص در سازمانتان شخصی‌سازی کنید، بدون آنکه نیاز به بودجه‌های میلیونی برای آموزش مجدد داشته باشید. این تکنیک‌های جدید، هوش مصنوعی را از یک چرخه صلب «ابتدا آموزش، سپس استقرار» به سیستمی سیال و تطبیق‌پذیر تبدیل می‌کنند.

به گزارش وب‌سایت dev.to در ۵ سپتامبر ۲۰۲۶، موج جدیدی از پیشرفت‌ها در زمینه بهره‌وری، این فرض را که عملکرد بالای هوش مصنوعی لزوماً به محاسبات عظیم و به‌روزرسانی‌های مداوم وزن‌ها نیاز دارد، به چالش کشیده است. این گزارش‌ها نشان می‌دهند که اکنون می‌توان مدل‌ها را با استفاده از آداپتورهای سبک و مکانیسم‌های توجه اصلاح‌شده، هدایت و شتاب داد. همان‌طور که در تحلیل‌های قبلی ما درباره امنیت مدل‌های بازمتن اشاره کردیم، بهینه‌سازی لایه‌های میانی مدل‌ها همواره کلید دسترسی به سخت‌افزارهای ضعیف‌تر بوده است.

در این میان، مدل زبانی بزرگ (LLM) — مثل کتابخانه‌داری که میلیاردها صفحه را خوانده و حالا با همان لحن کتاب‌ها جواب می‌دهد — اکنون می‌تواند با ابزارهای سبک‌تری هدایت شود. یکی از این روش‌های برجسته، WHALE است که از یک رویکرد ترکیبی استفاده می‌کند. این متد، به‌روزرسانی‌های کوتاه وزن‌ها را با یک «جستجوی مهار» (harness search) خودکار برای یافتن بهینه‌ترین قالب‌های پرامپت ترکیب می‌کند. این رویکردی است که در تبدیل قابلیت‌های LLM به پلاگین برای ساخت عامل‌های خودمختار نیز برای افزایش کارایی مدل‌ها مورد بررسی قرار گرفته بود. طبق مستندات این پژوهش، این طرح متناوب توانسته است امتیاز mean@8 را در محک‌های استاندارد تا ۲۴ درصد ارتقا دهد.

برخی پژوهشگران دیگر به سراغ انطباق «بدون تنظیم دقیق» (fine-tuning-free) رفته‌اند. در یک رویکرد، نمونه‌های خاص هر وظیفه در یک حافظه ساختاریافته ذخیره می‌شوند و از رتبه‌بندی لیستی (listwise ranking) برای انتخاب بهترین پاسخ استفاده می‌شود. این روش عملکرد تبدیل متن به SQL (Text-to-SQL) را بهبود می‌بخشد، در حالی که مدل پایه کاملاً دست‌نخورده باقی می‌ماند.

همچنین، استفاده از آداپتور (Adapter) — شبیه به یک افزونه کوچک که قابلیت‌های جدیدی به نرم‌افزار اضافه می‌کند — باعث شده تا مدل‌هایی با حجم بسیار کم (کمتر از یک درصد اندازه مدل اصلی) ساخته شوند. این آداپتورها که از رفتار یک مدل معلم استخراج شده‌اند، توانسته‌اند دقت معنایی ۸۳.۶ درصدی را در مجموعه دشوار FuzzyBench حفظ کنند. این موضوع ثابت می‌کند که انطباق عملکردی می‌تواند تنها در چند کیلوبایت داده نهفته باشد.

اما مشکل اصلی همچنان هزینه پردازش توکن‌هاست. توکن (Token) — تکه‌های کوچکی از متن، مثل برش‌های یک کیک طولانی که مدل تکه‌تکه می‌خورد — محرک اصلی هزینه‌هاست. متد Random Attention با حذف کامل مرحله گران‌قیمت امتیازدهی (scoring phase)، این مشکل را هدف قرار داده است. این تغییر باعث شده تا توان عملیاتی (Throughput) بین ۳۲ تا ۴۳ درصد افزایش یابد، در حالی که افت دقت در خروجی‌های نهایی بسیار ناچیز بوده است. این تلاش‌ها برای بهینه‌سازی مصرف توکن، در راستای استراتژی‌های طبقه‌بندی قصد کاربر است که هدفشان جلوگیری از اتلاف منابع در مقیاس تولید است.

علاوه بر این، گونه‌های «توجه اعلامی» (Declarative attention) با بازسازی نحوه تطبیق پرس‌وجوها (queries) با کلیدها (keys)، به دستاوردهای مشابهی رسیده‌اند. این متدها اولویت را به توان عملیاتی می‌دهند تا امتیازدهی جامع برای تک‌تک توکن‌ها.

سایر استراتژی‌های مکمل برای حل گلوگاه استنتاج عبارت‌اند از:

• CRISP: این متد از یک معیار «جرم ساختاری» استفاده می‌کند که پروکسی‌های مسیریابی غیرمستقیم را با یک اکتشاف مبتنی بر جرم و آستانه‌های آگاه از سینک (sink-aware thresholds) جایگزین می‌کند. این روش توجه را در ورودی‌های ۵۱۲ هزار توکنی تا ۵.۳ برابر شتاب می‌دهد و حتی می‌تواند دقت بازیابی را بهبود بخشد.
• EarlyEval: سیستمی است که موفقیت یک وظیفه را تنها پس از مشاهده بخشی از ورودی پیش‌بینی می‌کند. این کار مصرف توکن را در طول ارزیابی تا ۴۴ درصد کاهش می‌دهد، در حالی که نرخ موفقیت را بالای ۸۹ درصد نگه می‌دارد.
• Verification-Aware Training: روشی برای مدل‌های پیش‌نویس (draft models) است که تأیید متوالی را شبیه‌سازی می‌کند. این متد طول متوسط تولیدات پذیرفته‌شده را ۱۱.۴ درصد افزایش داده و منجر به سرعت‌بخشی ۸.۷ درصدی در خط لوله‌های رمزگشایی گمانه‌زنانه (speculative decoding) شده است.
• Adaptive Data-Cracking: استراتژی‌ای است که قطعات سند را در یک سلسله‌مراتب بازآرایی می‌کند تا مصرف کلی توکن را بدون تغییر در بودجه هر گام، کاهش دهد.

در حوزه هوش مصنوعی تجسم‌یافته (Embodied AI)، مدل Qwen-Drive-1.0 توانسته است یک ستون فقرات زبانی را با ادراک سه‌بعدی و برنامه‌ریزی حرکتی ادغام کند. این مدل به عملکردی در رانندگی خودکار دست یافته که با پشته‌های تخصصی برابری می‌کند، بدون آنکه توانایی‌های زبانی عمومی خود را از دست بدهد.

به همین ترتیب، Puffin-World مدلی واحد ایجاد کرده است که قادر است هم‌زمان دنیای سه‌بعدی را رندر کرده و درباره آن استدلال کند. این امر به عامل‌ها اجازه می‌دهد تا به‌طور هم‌زمان از نشانه‌های بصری، متنی و فضایی یاد بگیرند.

در رباتیک نیز، متد Intention Distillation بردارهای قصد سطح بالا (high-level intent vectors) را به مدل‌های «بینایی-زبان-عمل» تزریق می‌کند. این رویکرد نرخ موفقیت وظایف را در هر دو محیط شبیه‌سازی‌شده و ربات‌های واقعی تا ۲۰ درصد افزایش داده است.

در بخش ایمنی، دو دفاع جدید برای کاهش پاسخ‌های سمی بدون افزایش تأخیر معرفی شده‌اند. اول، یک لایه مسیریابی حافظه که حالت‌های ناامن را برچسب‌گذاری کرده و پرسش‌ها را از مسیرهای تولید ریسکی دور می‌کند؛ این کار نرخ پاسخ‌های سمی را تا یک مرتبه بزرگی (tenfold) کاهش می‌دهد. دوم، یک ماژول امنیتی سبک در سطح سیستم‌عامل که بررسی‌های سیاستی را روی تمامی فراخوانی‌های مدل اعمال می‌کند. این رویکردها مکمل استراتژی‌های حذف توهمات و ادعاهای بی‌پشتوانه هستند تا خروجی‌های مدل‌ها را قابل‌اعتمادتر کنند.

برای وظایف طولانی‌مدت، چارچوب DRACO با استفاده از روبیک‌های پویا (dynamic rubrics)، پاداش‌های مسیر را به مزایای هر گام بازتوزیع می‌کند. این روش پیشرفت‌های پایداری در محک‌های AppWorld و Tau-Bench ایجاد کرده است.

در زمینه بازیابی، متد SPIN با استفاده از بردارهای نویز یادگرفته‌شده، بردار معنایی (Embedding) — مثل کارت معرفی عددی برای هر واژه که می‌گوید این کلمه همسایه‌ی چه کلمات دیگری است — را به سمت نواحی کمتر بررسی‌شده هدایت می‌کند. این کار استواری مدل در برابر مخدوش شدن ورودی‌ها و سوگیری‌های دیدگاهی را در محک Multi³IR به‌طور محسوسی بهبود می‌بخشد.

این چرخش به سمت «بهره‌وری ماژولار» به این معناست که مزیت رقابتی دیگر در دست کسی نیست که بزرگ‌ترین خوشه (Cluster) پردازشی را دارد، بلکه متعلق به کسی است که هوشمندانه‌ترین مسیریابی را طراحی می‌کند. ما شاهد ظهور یک پشته «هوش مصنوعی ناب» (lean AI) هستیم که در آن آداپتورهای کوچک و توجه تصادفی جایگزین محاسبات خام و حجیم شده‌اند.

برای سازمان‌ها، این یعنی کاهش ریسک انحراف مدل (model drift) و کاهش شدید هزینه‌های عملیاتی استقرار عامل‌ها در مقیاس واقعی. توانایی دستیابی به نرخ موفقیت ۸۹ درصدی در حالی که ۴۴ درصد توکن کمتری مصرف می‌شود، اقتصاد واحد (unit economics) عامل‌های هوش مصنوعی را متحول می‌کند.

در آینده، منتظر ادغام این «آداپتورهای کوچک» در دستگاه‌های لبه (Edge Devices) باشید؛ اتفاقی که می‌تواند اجازه دهد هوش مصنوعی شخصی‌سازی‌شده به‌طور محلی و بدون از دست دادن ظرافت‌های معنایی اجرا شود.

گام بعدی شما

• بررسی متد EarlyEval برای کاهش هزینه‌های API در پروژه‌هایی با ورودی‌های حجیم.
• مطالعه مستندات WHALE برای بهینه‌سازی قالب‌های پرامپت بدون نیاز به Fine-tuning.
• دنبال کردن ادغام آداپتورهای کوچک در دستگاه‌های لبه (Edge Devices) برای اجرای محلی مدل‌ها.

اما داستان سخت‌افزاری این تحول حتی شگفت‌انگیزتر است — به تحلیل ما درباره تراشه‌های Blackwell مراجعه کنید.