یک مدل ۹ میلیاردی اکنون در وظایف تصمیم‌گیری، عملکرد مدل ۲۷ میلیاردی نسل پیشین را به چالش کشیده و از آن پیشی گرفته است. در ۱۱ اکتبر ۲۰۲۶، تیم vLLM Semantic Router خانواده Decision 3.0 را منتشر کرد؛ مجموعه‌ای از پنج مدل تصمیم‌گیرنده چندوجهی (Multimodal) که برای طبقه‌بندی و مسیریابی درخواست‌ها بدون تأخیرهای ناشی از تحلیل متن طراحی شده‌اند.
این به‌روزرسانی گره‌ای حیاتی در ارکستراسیون هوش مصنوعی را باز می‌کند که به آن الگوی «سیستم یک» (System One) گفته می‌شود. به‌طور سنتی، توسعه‌دهندگان یک مدل زبانی بزرگ (LLM) را پرامپت می‌کنند و سپس خروجی متنی آن را تحلیل می‌کنند تا تصمیم بگیرند درخواست به کجا ارسال شود. همان‌طور که در تحلیل قبلی ما درباره‌ی نحوه رفع توهمات JSON توسط پاک‌سازهای پایتون اشاره کردیم، این فرآیند بسیار شکننده است. Decision 3.0 با بازگرداندن امتیازات احتمالی کالیبره شده برای انتخاب‌های خاص، پاسخ‌های بله/خیر یا امتیازات مقیاس‌بندی شده، این مسیر متنی و آسیب‌پذیر را به‌طور کامل دور می‌زند. این رویکرد یادآور تلاش‌های اخیر برای کاهش تأخیر در عامل‌های هوشمند است، مشابه آنچه در مدل Strands Decider 2B برای افزایش قابلیت اطمینان مشاهده کردیم.
سازوکار و معماری
به جای تولید یک جمله، مدل تمام پرسش‌های تعریف‌شده را در یک فراخوانی واحد پاسخ می‌دهد. هر پرسش به‌عنوان یک «انتخاب» (Choice)، «بله/خیر» (Yes/No) یا «امتیاز در یک مقیاس» (Score on a scale) پردازش می‌شود. این ساختار به توسعه‌دهندگان اجازه می‌دهد آستانه‌های دقیقی برای مسیریابی و فیلتر کردن (Gating) درخواست‌ها تعیین کنند.
طبق مستندات فنی، هر پرسش یک گذر پیشرو (Forward Pass) مجزا روی ورودی دارد. مدل‌ها می‌توانند حالتی متشکل از متن یا JSON را به‌همراه تصاویر اختیاری پردازش کنند. این معماری تضمین می‌کند که خروجی به‌جای یک رشته متنی، یک توزیع احتمالی باشد و نیاز به استفاده از Regex برای پس‌پردازش را از بین می‌برد.
مشخصات فنی
به گزارش marktechpost.com، خانواده Decision 3.0 شامل پنج اندازه مختلف بر پایه نقاط بازرسی (Checkpoints) مدل Qwen است:
- d3-lite: ۰.۸۵ میلیارد پارامتر (رمزگذار بینایی ۰.۱۰ میلیارد). ساخته شده بر پایه Qwen3.5 0.8B.
- d3-nano: ۲.۲۱ میلیارد پارامتر (رمزگذار بینایی ۰.۳۳ میلیارد). ساخته شده بر پایه Qwen3.5 2B.
- d3-mini: ۴.۵۴ میلیارد پارامتر (رمزگذار بینایی ۰.۳۳ میلیارد). ساخته شده بر پایه Qwen3.5 4B.
- d3-flash: ۸.۳۹ میلیارد پارامتر (رمزگذار بینایی ۰.۴۶ میلیارد). ساخته شده بر پایه Qwen3.5 9B.
- d3: ۲۶.۰۹ میلیارد پارامتر (رمزگذار بینایی ۰.۴۶ میلیارد). ساخته شده بر پایه Qwen3.8-27B.
تمامی این مدل‌ها تحت لایسنس Apache-2.0 منتشر شده‌اند و از متن، JSON و تصاویر (تا ۱.۶ مگاپیکسل در فرمت‌های PNG، JPEG یا WebP) پشتیبانی می‌کنند. در این معماری، هر پرسش تمامی تصاویر ارائه شده را مشاهده می‌کند. این مدل‌ها برای GPUهای AMD Instinct MI325X بهینه شده‌اند و از وزن‌های BF16 و قابلیت اختیاری flash-linear-attention برای افزایش سرعت استفاده می‌کنند. برای نصب، هدف روی transformers==5.17.0 است و تنظیم trust_remote_code=True الزامی است.
عملکرد و تأخیر
ارزیابی‌های داخلی نشان می‌دهد مدل ۲۷ میلیاردی d3 با کسب امتیاز ۶۴.۱ در شاخص Jev Decision 0.3.1، پیشتاز جداول متنی و بینایی است. این مدل از Perplexity Decider v1.1 (۶۲.۸) و Jev (۶۰.۱) در بخش متن پیشی گرفته است. در جدول بینایی نیز امتیاز ۷۱.۶ را در مقابل ۷۰.۶ مدل Perplexity Decider v1.1 ثبت کرده است. با این حال، مدل Torchcast Decision 27B در مجموعه‌های عمومی امتیاز ۶۵.۱ را ثبت کرده که کمی بالاتر از ۶۴.۹ مدل d3 است.
عملکرد مدل ۲۷ میلیاردی در وظایف خاص متفاوت است:
- بهترین عملکرد: ۹۷.۷ در استخراج اسناد KIE (شامل CORD و FUNSD).
- ضعیف‌ترین عملکرد: ۳۴.۱ در R-Bench-M.
- وظایف بینایی: ۹۷.۳ در InfographicVQA و ۸۹.۹ در Mind2Web، اما عملکرد ضعیف‌تر در MMMU-Pro vision (۴۶.۲) و نظارت بر میم‌های توهین‌آمیز (Hateful Memes) با امتیاز ۴۴.۶.
بزرگ‌ترین دستاورد بهره‌وری در مدل d3-flash (۹ میلیاردی) دیده می‌شود که با امتیاز ۵۹.۰، مدل ۲۷ میلیاردی Decision 2.0 (امتیاز ۵۵.۹) را شکست داده است. بهبودهای مجموعه‌های عمومی نسبت به Decision 2.0 از ۸.۰+ (برای مدل ۲۷ میلیاردی) تا ۱۵.۱+ (برای مدل ۰.۸ میلیاردی) متغیر است. شایان ذکر است که d3-lite (۰.۸ میلیاردی) در متن پیشتاز است اما در بینایی رتبه سوم (۴۱.۱) را دارد، در حالی که d3-nano (۲ میلیاردی) در جدول بینایی پیشتاز است اما در متن از LiquidAI d1-3B عقب‌تر است (۳۵.۸ در مقابل ۴۰.۱).
تأخیر در یک GPU مدل MI325X برای درخواست‌های متنی بسیار پایین است و از ۲۱.۷ میلی‌ثانیه برای d3-nano تا ۸۴ میلی‌ثانیه برای مدل کامل d3 متغیر است. در صورت افزودن تصویر، تأخیر افزایش می‌یابد: d3-nano ۹۲.۰ میلی‌ثانیه، d3-lite ۶۰.۷ میلی‌ثانیه، d3-mini ۱۱۵.۰ میلی‌ثانیه، d3-flash ۱۷۱.۸ میلی‌ثانیه و مدل ۲۷ میلیاردی d3 ۳۴۲ میلی‌ثانیه زمان می‌برد.
تحلیل فنی
این چرخش برای جامعه فنی تأییدی بر روند جایگزینی مدل‌های غول‌پیکر با «مدل‌های کوچک تخصصی» است. vLLM Semantic Router با تغییر رویکرد از تولید متن به توزیع احتمالی، مسیریابی را به‌جای یک مسئله زبانی، به عنوان یک مسئله طبقه‌بندی (Classification) تعریف کرده است. این کار نیاز به Regexهای پیچیده یا تحلیل JSON در مسیر بحرانی درخواست را از بین می‌برد و ریسک خطاهای زمان اجرا در حفاظ‌های تولیدی (Production Guardrails) را به‌شدت کاهش می‌دهد.
اینکه یک مدل ۹ میلیاردی اکنون از پیش‌نیافت ۲۷ میلیاردی خود بهتر عمل می‌کند، نشان می‌دهد تنظیم دقیق (Fine-tuning) روی مجموعه‌داده‌های تخصصی تصمیم‌گیری، بازدهی بیشتری نسبت به افزایش صرف پارامترها دارد. این یعنی توسعه‌دهندگان می‌توانند مسیریاب‌هایی با عملکرد بالا را روی سخت‌افزارهای به‌مراتب ارزان‌تر مستقر کنند بدون اینکه دقت سیستم را فدا کنند. این بهینه‌سازی در معماری، در راستای کاهش هزینه‌های عملیاتی است، مشابه رویکردی که Oxlo.ai برای کاهش هزینه سیستم‌های تصمیم‌یار به کار گرفت.
توسعه‌دهندگان اکنون می‌توانند از طریق مجموعه Hugging Face یا مخزن گیت‌هاب vLLM Semantic Router به این مدل‌ها دسترسی پیدا کنند. معیار حیاتی بعدی که باید رصد شود، عملکرد این مدل‌ها در بنچ‌مارک‌های شخص ثالث و غیرداخلی است تا ادعاهای مربوط به بهبودهای گزارش شده تأیید شود.
گام بعدی شما
- مدل‌های Decision 3.0 را از طریق مخزن Hugging Face یا گیت‌هاب vLLM Semantic Router دریافت کنید.
- اگر از Regex برای تحلیل خروجی LLMها استفاده می‌کنید، معماری مبتنی بر احتمال (Probability-based) را جایگزین کنید تا نرخ خطای سیستم کاهش یابد.
- عملکرد مدل d3-flash را در محیط‌های با محدودیت سخت‌افزاری تست کنید تا تعادل بین دقت و هزینه استنتاج را بسنجید.
اما تأثیر این بهینه‌سازی‌ها بر کاهش هزینه‌های عملیاتی در مقیاس کلان، موضوع تحلیل بعدی ماست؛ به بررسی هزینه‌های استنتاج در مدل‌های کوچک مراجعه کنید.
گفتگو