تنها ۰.۷ واحد. این تمام چیزی است که مدل Qwen3.8-Flash-Next هنگام اجرا با دقت FP4 در محک GPQA Diamond از دست می‌دهد. طبق اعلام انویدیا (NVIDIA)، این بهینه‌سازی اجازه می‌دهد یک مدل عظیم با ۱۲۵ میلیارد پارامتر، از حجم ۳۵۵ گیگابایت در حالت BF16 به حدود ۹۶ گیگابایت روی دیسک کاهش یابد.
استقرار محلی مدل‌های زبانی بزرگ (LLM) — مثل کتابخانه‌داری که میلیاردها صفحه را خوانده و حالا با همان لحن کتاب‌ها جواب می‌دهد — در حال حاضر بین نسخه‌های تجاری پیشرفته و فرمت‌های جامعه متن‌باز تقسیم شده است. در حالی که GGUF استاندارد سخت‌افزارهای مصرف‌کننده است، انویدیا روی فرمت تخصصی FP4 برای تراشه‌های جدید خود پافشاری می‌کند. این رویکرد باعث ایجاد یک شکاف عمیق میان کسانی می‌شود که به جدیدترین سخت‌افزارهای سطح مرکز داده دسترسی دارند و جامعه گسترده‌تر توسعه‌دهندگانی که از مدل‌های بازمتن (Open-weights) استفاده می‌کنند. همان‌طور که در تحلیل‌های قبلی ما درباره‌ی امنیت مدل‌های بازمتن اشاره کردیم، این تفکیک می‌تواند دسترسی به بالاترین سطح کارایی را محدود به سخت‌افزارهای خاص کند. در همین راستا، تلاش‌هایی برای اجرای مدل‌های ۱۲۵ میلیارد پارامتری روی کارت گرافیک‌های خانگی صورت گرفته تا این شکاف سخت‌افزاری کاهش یابد.
سازوکار تقطیر
انویدیا برای این انتشار از کوانتش (Quantization) — شبیه به کاهش کیفیت یک عکس برای اشغال فضای کمتر بدون از دست دادن جزئیات اصلی — به روش استاندارد پس از آموزش استفاده نکرد. بر اساس مستندات، آن‌ها از روش تقطیر آگاه از کوانتش (Quantization-Aware Distillation یا QAD) با استفاده از Model Optimizer v0.47.0 بهره بردند. در این فرآیند، مدل اصلی BF16 به عنوان «معلم» عمل کرده و وزن‌های با دقت پایین را آموزش می‌دهد تا احتمالات توکن و حالت‌های پنهان (Hidden States) خود را دقیقاً تقلید کنند.
بودجه آموزشی این مدل شامل ۵۰۰ میلیون توکن در سه اپوک (Epoch) بود. این مسیر شامل ۲۵۰۰ به‌روزرسانی تنه (Trunk Updates) و سپس ۱۵۰۰ به‌روزرسانی پالایش مشترک (Joint-refinement Updates) بود. نکته بسیار مهم این است که انویدیا توابع زیان (Loss Functions) جداگانه‌ای را برای رفتارهای «پایان تفکر» (End-of-thinking) و «پایان پاسخ» (End-of-response) تعریف کرد. این اقدام برای جلوگیری از عادت رایج مدل‌های کوانتیده به ایجاد حلقه‌های تکراری بی‌نهایت یا توقف زودهنگام و ناتمام پاسخ‌ها انجام شده است.
تفکیک دقت
همه اجزا به FP4 تبدیل نشدند. انویدیا از رویکرد دقت ترکیبی (Mixed Precision) برای حفظ عملکردهای حیاتی مدل استفاده کرد تا تعادلی میان حجم و کیفیت ایجاد کند:
- خبره‌های مسیری رمزگشا (Decoder routed experts): NVFP4
- توجه رمزگشا (Decoder attention): MXFP8
- خبره‌های مسیری MTP (MTP routed experts): NVFP4
- لایه‌های خطی توجه بینایی (Vision attention linears): MXFP8
- MLP بینایی و ادغام‌کننده (Vision MLP and merger): NVFP4
- نرمال‌سازها و سایر تنسورهای بینایی (Norms and other vision tensors): BF16 / FP32
محدودیت‌های سخت‌افزاری و VRAM
با وجود برچسب «۹۶ گیگابایت»، این بیلد در واقع حدود ۱۰۳ گیگابایت فضا اشغال می‌کند. این مقدار حتی از برخی نسخه‌های GGUF جامعه، مانند IQ4_NL اثر bartowski (۱۰۰.۲۹ گیگابایت) بیشتر است. در نتیجه، روی یک کارت RTX PRO 6000 با ۹۶ گیگابایت حافظه ویدیویی (VRAM)، وزن‌های مدل به تنهایی از ظرفیت حافظه موجود فراتر می‌روند و باعث خطای کمبود حافظه می‌شوند.
برای حل این مشکل، پیکربندی تأییدشده انویدیا جدول بردار معنایی n-gram (PLE) را از طریق متغیر محیطی VLLM_PLE_CPU_OFFLOAD=1 به CPU منتقل (Offload) می‌کند. این ترفند اجازه می‌دهد یک KV Cache با ظرفیت ۸۵۰ هزار توکن در حالت FP8 ایجاد شود. در سخت‌افزارهای قدرتمندتر مانند DGX Spark، این جدول می‌تواند حتی به دیسک منتقل شود تا از KV Cache با ظرفیت یک میلیون توکن پشتیبانی کند.
عملکرد و بنچمارک‌ها
طبق کارت مدل انویدیا که در ۵ اکتبر ۲۰۲۶ منتشر شد، هزینه کاهش صحت در برابر بهینه‌سازی حجم بسیار ناچیز است:
- GPQA Diamond: از ۹۲.۲٪ (BF16) به ۹۱.۵٪ (FP4-Local)
- ToolEvalBench: از ۸۹.۴٪ (BF16) به ۸۸.۷٪ (FP4-Local)
با این حال، منابع در این مورد اختلاف نظر دارند؛ کارت مدل اصلی Qwen عدد ۹۱.۷٪ را برای خط پایه BF16 گزارش کرده که نشان می‌دهد ابزارهای تست (Testing Harnesses) متفاوتی به کار رفته است. همچنین، با وجود اینکه مدل از قابلیت‌های بینایی پشتیبانی می‌کند، انویدیا هیچ بنچمارکی برای بخش بینایی در نسخه FP4 منتشر نکرد، زیرا داده‌های مورد استفاده در فرآیند تقطیر صرفاً متنی بودند. این در حالی است که علی‌بابا در نسخه‌های دیگر این خانواده، سرعت تولید تصاویر 2K را ۵ برابر افزایش داده است تا کارایی چندوجهی مدل را بهبود ببخشد.
موانع استقرار
اجرای این مدل یک تجربه «نصب و اجرا» (Plug-and-play) ساده نیست. این بیلد نیازمند معماری Blackwell و نسخه خاصی از vLLM است که در حال حاضر فقط در کانتینرهای جامعه Local Inference Lab یافت می‌شود. پیچیدگی این استقرار به حدی است که اسکریپت راه‌اندازی برای RTX PRO 6000 پیش از سرویس‌دهی، باید ۵۵ متغیر محیطی مختلف را اکسپورت کند.
برای کسانی که GPUهای Blackwell ندارند، جایگزین جامعه، استفاده از فرمت GGUF از طریق llama.cpp است. کاربران RTX 3090 سرعت رمزگشایی ۱۹ توکن بر ثانیه را با کوانت Q4_K_XL گزارش کرده‌اند، در حالی که کاربران M1 Ultra به سرعت ۳۹.۴۸ توکن بر ثانیه رسیده‌اند. در مقابل، انویدیا اعداد مربوط به توان عملیاتی (Throughput) را برای نسخه FP4 خود کاملاً حذف کرده و منتشر نکرده است.
تحلیل: قفل سازنده‌ای در برابر انعطاف جامعه
این انتشار نشان‌دهنده تنش فزاینده‌ای در فضای هوش مصنوعی محلی است. انویدیا در حال بهینه‌سازی برای یک «پشته عمودی» (Vertical Stack) است که در آن سخت‌افزار (Blackwell)، روش کوانتش (QAD) و محیط اجرا (کانتینرهای vLLM) به شدت به هم وابسته و گره خورده‌اند. این رویکرد دقت بالایی به ارمغان می‌آورد اما مانعی عظیم برای هر کسی ایجاد می‌کند که به GPUهای سطح حرفه‌ای دسترسی ندارد.
برای یک توسعه‌دهنده معمولی، به دست آوردن ۰.۷ واحد دقت بیشتر احتمالاً ارزش سردرد عملیاتی مدیریت ۵۵ متغیر محیطی را ندارد. اکوسیستم GGUF جامعه همچنان انتخاب عمل‌گرایانه‌تری است زیرا سازگاری سخت‌افزاری را بر دستاوردهای جزئی در دقت ترجیح می‌دهد. رویکرد انویدیا سیگنالی است مبنی بر اینکه آن‌ها «استنتاج محلی» را بیشتر به عنوان یک فعالیت ایستگاه کاری حرفه‌ای می‌بینند تا یک سرگرمی برای مصرف‌کنندگان عادی.
گام بعدی شما
- اگر به سخت‌افزار Blackwell دسترسی دارید، روش QAD را تست کنید تا ببینید آیا اصلاحات «پایان تفکر» واقعاً پایداری استدلال را نسبت به کوانت‌های استاندارد بهبود می‌دهد یا خیر.
- برای سایر کاربران، استفاده از بیلد‌های GGUF توسط Unsloth یا bartowski همچنان بهینه‌ترین و منطقی‌ترین مسیر است.
- منتظر ادغام رسمی فرمت مقیاس NVFP4 در مخزن اصلی (Upstream) vLLM باشید تا نیاز به تنظیمات دستی و پیچیده متغیرهای محیطی از بین برود.
اما داستان سخت‌افزاری این تحول حتی شگفت‌انگیزتر است — به تحلیل ما درباره‌ی تراشه‌های Blackwell مراجعه کنید.
گفتگو