اگر در حال مقیاسبندی استنتاج (Inference) هستید — یعنی همان لحظهای که مدل واقعاً جواب تولید میکند، شبیه خودِ آشپزی و نه دورهی آموزش — سرعت خروجی شما در برخی پردازشها همین حالا دو برابر شده است. باید بدانید که گلوگاه اصلی هوش مصنوعی در محیط عملیاتی، سرعت تولید توکنهاست.
طبق گزارش vllm.ai، تیم vLLM در ۲۶ مه ۲۰۲۶ ابزار EAGLE 3.1 را منتشر کرد. این ابزار برای مدل زبانی بزرگ (LLM) است؛ مثل کتابخانهداری که میلیاردها صفحه را خوانده و حالا با همان لحن جواب میدهد. این سیستم از روش «رمزگشایی پیشبین» (Speculative Decoding) استفاده میکند؛ شبیه کسی که جملات را پیشبینی میکند تا سریعتر بخواند. همانطور که در تحلیل قبلی ما دربارهی کاهش هزینههای توکن اشاره کردیم، صنعت اکنون روی بهینهسازی مرحلهی تولید متمرکز شده است.
مشکل اصلی در متون طولانی، پدیدهای به نام «لغزش توجه» (Attention Drift) است. در این حالت، مدل پیشبین توکنهای کلیدی را نادیده میگیرد. EAGLE 3.1 برای حل این مشکل دو تغییر ساختاری ایجاد کرد:
- اعمال نرمالسازی FC پس از هر حالت پنهان هدف.
- تزریق حالتهای پنهان پس از نرمالسازی به مرحلهی رمزگشایی بعدی.
این بهروزرسانی اکنون به صورت یک افزونه در vLLM در دسترس است. بر اساس مستندات این تیم، مدل پیشبین Kimi K2.6 روی سختافزار GB200 به نتایج زیر رسید:
- افزایش ۲.۰۳ برابری سرعت در حالت تککاربر (Concurrency 1).
- افزایش ۱.۶۶ برابری سرعت در حالت ۱۶ کاربر همزمان.
این تغییر، نگاه ما به مدلهای پیشبین را عوض میکند. طراحی جدید باعث میشود فرآیند تولید شبیه به یک «فراخوانی بازگشتی» (Recursive Call) عمل کند. برای توسعهدهندگان، این یعنی مدلها در برابر تغییر قالبهای چت و متون طولانی مقاومتر شدهاند. دیگر نیازی نیست برای هر دستور سیستمی جدید، مدل را دوباره آموزش دهید.
گام بعدی شما
- مدل پیشبین Kimi K2.6 را از Hugging Face دریافت کنید.
- کتابخانه vLLM را به نسخه v0.22.0 بهروزرسانی کنید.
- نرخ خروجی (Throughput) را در مجموعههای دادهی کدنویسی بسنجید.
اما داستان سختافزاری این تحول حتی شگفتانگیزتر است — به تحلیل ما دربارهی تراشههای Blackwell مراجعه کنید.
گفتگو