Oxlo.ai هزینه استنتاج مدل‌های استدلالی را با قیمت‌گذاری درخواستی حذف کرد

اگر امروز برای اجرای مدل‌های استدلالی بودجه تخصیص می‌دهید، احتمالاً با «مالیات استنتاج» یا همان هزینه بالای توکن‌های اضافی در زمان فکر کردن مدل دست‌وپنجه نرم می‌کنید. تصور کنید می‌خواهید تفاوت دقت یک مدل غول‌پیکر را با یک مدل کوچک‌تر بسنجید، اما هزینه هر تست به دلیل طولانی بودن پاسخ‌ها، بودجه ماهانه شما را به سرعت می‌بلعد.

این چالش دقیقاً جایی است که یک چارچوب بنچمارک سفارشی در پایتون وارد می‌شود تا شکاف استدلالی بین DeepSeek R1 671B MoE و مدل‌های متراکم (Dense) مانند Llama 3.3 70B را ایزوله کند. با اجرای پرامپت‌های الگوریتمی پیچیده از طریق یک API واحد، توسعه‌دهندگان می‌توانند دقیقاً محاسبه کنند که معماری ترکیب خبره‌ها (Mixture of Experts) — شبیه تیمی از متخصصان که هر کدام بخشی از یک مسئله را حل می‌کنند و فقط فرد مناسب صدا زده می‌شود — در کجا از لایه‌های متراکم سنتی در منطق گام‌به‌گام پیشی می‌گیرد.

همان‌طور که در تحلیل قبلی ما درباره‌ی بهره‌وری معماری‌های MoE اشاره کردیم، صنعت اکنون از جفت‌های ساده «پرسش-پاسخ» به سمت «ردپاهای استدلالی» (Reasoning Traces) حرکت می‌کند. این ردپاها برای کدنویسی‌های حساس حیاتی هستند اما سربار توکنی عظیمی ایجاد می‌کنند که می‌تواند بودجه‌های عملیاتی را نابود کند.

زمینه و آماده‌سازی

برای ساخت این چارچوب بنچمارک، توسعه‌دهندگان به پایتون نسخه ۳.۱۰ یا بالاتر و کتابخانه openai نیاز دارند. این سیستم برای اتصال SDK شرکت OpenAI به آدرس پایه (Base URL) پلتفرم Oxlo.ai، بر روی یک کلید API از پورتال Oxlo.ai تکیه دارد.

پیش از اجرای وظایف کامل، گردش کار شامل یک مرحله «بررسی اتصال» است. یک درخواست ساده به نقطه انتهایی (Endpoint) مدل deepseek-r1-671b با این دستور که «با OK پاسخ بده»، تضمین می‌کند که محیط برنامه پیش از مصرف توکن‌ها برای وظایف واقعی، به درستی پیکربندی شده است.

طبق اعلام یک راهنمای فنی در تاریخ ۲۴ ژوئیه ۲۰۲۶ در وب‌سایت dev.to، موثرترین راه برای تست این مدل‌ها، استفاده از یک مسئله بهینه‌سازی محدود است. در این بنچمارک از یک روش اکتشافی (Heuristic) برای بسته‌بندی جعبه‌ها با رویکرد «اولین جای مناسب نزولی» (First-Fit-Decreasing Bin-Packing) استفاده شده تا مدل‌ها مجبور شوند یک کران ریاضی مشخص (11/9 OPT + 1) را اثبات کنند.

برای اجرای این فرآیند، توسعه‌دهندگان از Oxlo.ai استفاده می‌کنند که یک تغییر زیرساختی حیاتی ایجاد کرده است: قیمت‌گذاری ثابت به‌ازای هر درخواست. این رویکرد در واقع تکامل یافته‌ی همان استراتژی است که Oxlo.ai برای حذف هزینه‌های استنتاج DeepSeek R1 از طریق قیمت‌گذاری درخواست‌محور به کار گرفت تا دسترسی به مدل‌های سنگین را اقتصادی‌تر کند. این یعنی هوش مصنوعی زاینده (Generative AI) — مثل نویسنده‌ای که هر کلمه را با دقت انتخاب می‌کند — حالا می‌تواند بدون جریمه مالی، زنجیره تفکر (Chain-of-Thought) — شبیه شاگرد ریاضی که پای تخته بلند بلند فکر می‌کند تا به جواب برسد — خود را به تفصیل باز کند؛ چرا که یک پرامپت سیستمی ۲۰۰۰ توکنی، دقیقاً همان قیمت یک سلام ساده را دارد.

معماری بنچمارک

جزئیات فنی این معماری بنچمارک به شرح زیر است:

• مدل‌های مورد آزمایش: DeepSeek R1 671B MoE، Llama 3.3 70B و Qwen 3 32B.
• داور خودکار: مدل Kimi K2.6 به‌عنوان ارزیاب عمل کرده و خروجی‌ها را بر اساس شفافیت استدلال، صحت و کیفیت کد در قالب JSON امتیازدهی می‌کند.
• پرامپت: تعریف یک شخصیت «مهندس ارشد الگوریتم» که تحلیل رسمی، استدلال گام‌به‌گام و ارائه استدلال برای صحت پاسخ را اجباری می‌کند.
• وظیفه: زمان‌بندی K کانتینر با نیازهای مشخص (c_j, m_j) در N سرور با ظرفیت‌های CPU (C_i) و حافظه (M_i) متفاوت.

جزئیات پیاده‌سازی فنی

در لایه پیاده‌سازی، پرامپت سیستمی (System Prompt) مدل را مجبور می‌کند پیش از نوشتن کد، زنجیره تفکر خود را افشا کند. این همان نقطه‌ای است که معماری استدلالی عمیق DeepSeek R1 معمولاً خود را از مدل‌های متراکم جدا می‌کند.

برای حفظ ثبات در هر سه مدل، پارامتر دما (Temperature) روی ۰.۲ و سقف توکن‌ها (max_tokens) روی ۲۰۴۸ تنظیم شده است. در بخش امتیازدهی خودکار، مدل Kimi K2.6 به عنوان یک بازبین خبره فراخوانی می‌شود تا هر پاسخ در مقیاس ۱ تا ۱۰ برای سه معیار استدلال، صحت و کیفیت کد رتبه‌بندی کند. این مدل محدود شده است تا «فقط» یک شیء JSON را بازگرداند.

به گزارش منابع فنی، خروجی نهایی در یک فایل report.md جمع‌آوری می‌شود که امتیازات عددی را با گزیده‌های ۳۰۰ کاراکتری از پاسخ‌های مدل ترکیب می‌کند تا مقایسه سریع امکان‌پذیر باشد. برای توسعه‌دهنده، این به معنای آن است که «مالیات استدلال» — یعنی هزینه فکر کردن بلند مدل — به طور موثری خنثی شده است. اکنون می‌توان این بنچمارک را به یک شغل CI شبانه متصل کرد تا بدون نگرانی از جهش‌های ناگهانی هزینه توکن، پس‌رفت‌های منطقی مدل را شناسایی کرد.

این رویکرد، تمرین بنچمارک را از «بررسی دستی و تصادفی» به «ارزیابی خودکار و داور-محور» تغییر می‌دهد. با استفاده از یک مدل قدرتمندتر مانند Kimi K2.6 برای نمره دادن به سایرین، توسعه‌دهنده سوگیری‌های انسانی را از امتیازدهی پیاده‌سازی‌های پیچیده پایتون حذف می‌کند.

در نهایت، توانایی اجرای این مقایسه‌های رودررو با هزینه ثابت به تیم‌ها اجازه می‌دهد بفهمند آیا مقیاس ۶۷۱ میلیارد پارامتری R1 واقعاً بازگشت سرمایه (ROI) ملموسی نسبت به یک مدل متراکم ۷۰ میلیارد پارامتری برای کدبیس خاص آن‌ها دارد یا خیر.

برای بهینه‌سازی بیشتر، می‌توان پرامپت الگوریتمی را با وظایف عامل‌محور (Agentic) با بافتار طولانی جایگزین کرد. تست مدل DeepSeek V4 Flash در مقابل Kimi K2.6 می‌تواند فاش کند که یک پنجره بافتار ۱ میلیون توکنی چگونه بر عمق واقعی استدلال در محیط عملیاتی تأثیر می‌گذارد.

گام بعدی شما

• اگر از مدل‌های استدلالی استفاده می‌کنید، پرامپت‌های خود را به گونه‌ای تغییر دهید که مدل ابتدا «طرح تفکر» خود را بنویسد و سپس کد را تولید کند.
• برای کاهش هزینه‌ها، مدل‌های ارزان‌تر را برای پیش‌پردازش و مدل‌های استدلالی سنگین را فقط برای تایید نهایی (Judge) به کار بگیرید.
• بنچمارک‌های خود را از ارزیابی انسانی به مدل‌های داور (LLM-as-a-judge) مانند Kimi K2.6 منتقل کنید تا سوگیری‌های انسانی حذف شود.

اما داستان بهینه‌سازی این مدل‌ها با تغییر پنجره‌های متنی پیچیده‌تر می‌شود؛ اثر پنجره‌های یک میلیون توکنی بر عمق استدلال را در تحلیل ما درباره DeepSeek V4 Flash بررسی کنید.