اگر امروز از مدل‌های ۱۲۰ میلیارد پارامتری روی سخت‌افزار محلی استفاده می‌کنید، احتمالاً با گلوگاه‌های شدید سرعت مواجه هستید. اما رسیدن به ۷۸ توکن در ثانیه برای مدل Qwen3.5-122B روی یک دستگاه NVIDIA DGX Spark، نشان می‌دهد که دوران انتظار طولانی برای پاسخ‌های مدل‌های غول‌پیکر در حال پایان است.
این جهش خیره‌کننده از ۳۷ توکن در ثانیه (Baseline) به ۷۸ توکن، از طریق رمزگشایی گمانه‌زنانه (Speculative Decoding) — شبیه به دستیاری که جملات بعدی را حدس می‌زند و استاد فقط آن‌ها را تأیید می‌کند — به دست آمده است. طبق گزارش فنی منتشر شده در ۱۸ ژوئیه ۲۰۲۶، این روش هیچ آسیبی به کیفیت خروجی نمی‌زند؛ زیرا مدل اصلی هر توکن پیشنهادی را پیش از نهایی کردن، به‌صورت ریاضیاتی تأیید می‌کند.
همان‌طور که در تحلیل‌های قبلی ما درباره امنیت مدل‌های بازمتن اشاره کردیم، بهینه‌سازی لایه‌های استنتاج همواره با چالش حفظ دقت همراه است. در حال حاضر، استقرار محلی هوش مصنوعی با یک گلوگاه شدید در پهنای باند حافظه روبروست. وقتی یک توکن تولید می‌شود، GPU باید ده‌ها گیگابایت وزن‌ها را از VRAM به واحدهای پردازشی منتقل کند و در این مدت، هسته‌های تانسور اغلب بیکار می‌مانند. رمزگشایی گمانه‌زنانه با استفاده از یک مدل «پیش‌نویس» کوچک، این مشکل را دور می‌زند.
بررسی چهار روش رمزگشایی
در این آزمایش‌ها از یک نقطه بازرسی ترکیبی Qwen3.5-122B-A10B-hybrid-int4-fp8 استفاده شد. این تنظیمات از Intel AutoRound INT4 برای خبره‌ها و FP8 برای لایه‌های مشترک استفاده می‌کند تا دقت مدل حفظ شود.
روش N-Gram برای تولید متن‌های آزاد عملاً شکست خورد. این روش با جست‌وجوی الگوهای تکراری در پنجره متنی (Context Window) — مثل میز کاری که فقط جا برای چند ورق کاغذ دارد — سعی در پیش‌بینی توکن‌ها داشت. نتیجه این شد که توان عملیاتی به ۲۴ تا ۳۰ توکن در ثانیه افت کرد و حتی از حالت پایه هم بدتر شد.
در مقابل، روش MTP (پیش‌بینی چند-توکنی) رویکردی یکپارچه دارد. MTP به‌جای مدل مجزا، از یک «سربال» (Head) سبک استفاده می‌کند که هم‌زمان با مدل اصلی آموزش دیده است. به نقل از مستندات فنی، چون این روش نمایش‌های داخلی مدل را به اشتراک می‌گذارد، نرخ پذیرش توکن‌ها به‌شدت بالاتر است.
آزمایش‌های MTP روی DGX Spark یک نقطه بهینه در حالت «دو توکن گمانه‌زن» (MTP-2) نشان داد. این پیکربندی میانگین ۴۹ توکن در ثانیه را ثبت کرد که حدود ۳۲٪ بهبود نسبت به حالت پایه است. با این حال، تلاش برای پیش‌بینی چهار توکن، نرخ خطا را بالا برد و سرعت را به ۳۴ توکن در ثانیه کاهش داد.
روش EAGLE3 مسیر متفاوتی را طی می‌کند و از یک پیش‌نویس مجزا استفاده می‌کند که بر اساس حالت‌های پنهان مدل هدف عمل می‌کند. در تست‌های مدل Qwen3-30B-A3B، این روش سرعت را ۲۰٪ افزایش داد و به ۳۸ تا ۴۰ توکن در ثانیه رسید.
اما تلاش برای تولید ۱۲ توکن با EAGLE3 منجر به سقوط شدید سرعت شد (۱۵ تا ۱۷ توکن بر ثانیه). نرخ پذیرش توکن‌ها به ۸ تا ۱۱ درصد رسید که ثابت می‌کند مدل‌های پیش‌نویس خودبازگشتی وقتی از مدل هدف فاصله می‌گیرند، عملکرد بدی دارند.
در نهایت، روش DFlash (رمزگشایی گمانه‌زنانه انتشار بلوکی) سعی می‌کند گلوگاه‌های سری را به‌طور کامل بشکند. DFlash به‌جای حدس زدن تک‌تک توکن‌ها، از یک مدل انتشار (Diffusion Model) — شبیه به نقاشی که ابتدا کلیت تصویر را می‌کشد و بعد جزئیات را می‌پروراند — برای تولید تا ۱۶ توکن در یک پاس واحد استفاده می‌کند.
این معماری موازی اجازه داد DFlash به رکورد ۷۸ توکن در ثانیه برسد. این رویکرد موازی‌سازی در استنتاج یادآور تلاشی است که DeepSeek برای کاهش تأخیر در نسل V4 خود به‌کار گرفت تا سرعت تولید توکن‌ها را بهینه کند. البته این عملکرد نوسانی است؛ DFlash در خروجی‌های ساختاریافته مثل JSON یا کد، بی‌رقیب است، اما در گفتگوهای عمومی ممکن است تا ۳۰ توکن در ثانیه افت کند، چون یک توکن رد شده در بلوک، تمام توکن‌های بعدی را باطل می‌کند.
خلاصه عملکرد نهایی
- Baseline: ۳۶ تا ۳۷ توکن در ثانیه
- MTP-2: حدود ۴۹ توکن (پایدارترین حالت)
- DFlash: پیک ۷۸ توکن (بهترین برای داده‌های ساختاریافته)
- EAGLE3: ۲۰٪ بهبود نسبت به پایه
- N-Gram: کمتر از ۳۱ توکن (ناکارآمد)
برای متخصصان، انتخاب متد به نوع عملیات بستگی دارد. MTP برای مدل‌هایی که با سر-پیش‌بینی بومی عرضه شده‌اند (مثل DeepSeek V3 یا Gemma 4) راحت‌ترین گزینه است. DFlash اما برنده مطلق برای عامل‌های کدنویسی و تسک‌های ریاضی است که ساختار نحوی پیش‌بینی‌پذیر دارند.
این جابه‌جایی ثابت می‌کند که بهینه‌سازی استنتاج (Inference) — یعنی همان لحظه تولید جواب توسط مدل — از کوانتش ساده به سمت «میان‌برهای معماری» در فرآیند رمزگشایی حرکت می‌کند. این روند تنها مختص مدل‌های متنی نیست و در مدل‌های بینایی-زبانی نیز شاهد کاهش تأخیر از طریق بهینه‌سازی‌های مشابه بوده‌ایم. با تخصصی‌تر شدن مدل‌های پیش‌نویس، شکاف بین سخت‌افزارهای محلی و استنتاج در مقیاس ابری کوچک‌تر خواهد شد.
گام بعدی شما
- برای پیاده‌سازی این سرعت‌ها، دستورالعمل Albond برای نقاط بازرسی ترکیبی را بررسی کنید.
- اگر روی توسعه ابزارهای کدنویسی کار می‌کنید، لایه‌های DFlash موجود در Hugging Face را تست کنید.
- در انتخاب مدل، بررسی کنید آیا مدل مورد نظرتان از MTP native پشتیبانی می‌کند یا خیر.
اما داستان سخت‌افزاری این تحول حتی شگفت‌انگیزتر است؛ به تحلیل ما درباره تراشه‌های Blackwell مراجعه کنید.
گفتگو