استفاده از یک مدل پیشرو (Frontier Model) واحد برای تمامی وظایف عاملمحور، دیگر یک استراتژی بهینه و کارآمد نیست. ترکیب مدل با وزنهای باز (Open-weights) Kimi K3 و مدل بسته Fable 5 از طریق مکانیسم مسیریابی اوراکل (Oracle Routing)، توانسته است به نرخ صحت ۹۳ درصدی دست یابد. این دستاورد عملاً سقف توانایی هر یک از این مدلها را در حالت ایزوله میشکند و نشان میدهد که همافزایی مدلها برتری مطلق یک مدل واحد پیشی میگیرد.
این یافتهها که در تاریخ ۲۱ جولای ۲۰۲۶ توسط شرکت Fireworks.ai منتشر شد، درست در زمانی ارائه میشود که صنعت هوش مصنوعی از تعقیب یک «مدل خدایگونه» (God-model) واحد، به سمت معماری ترکیبی مدلها (Model Mixtures) حرکت میکند. در حالی که مدلهای پیشرو در بنچمارکهای عمومی به یک سطح اشباع یا ثبات رسیدهاند، گلوگاه واقعی برای توسعهدهندگان اکنون هزینه استنتاج در حلقههای عاملمحور طولانیمدت است؛ جایی که مصرف توکنها بهطور تهاجمی مقیاس مییابد و هزینهها را افزایش میدهد.
همانطور که در تحلیلهای قبلی ما درباره امنیت و بهینهسازی مدلهای بازمتن اشاره کردیم، توازن بین هزینه و کیفیت، کلید مقیاسپذیری در محیطهای عملیاتی است.
کالبدشکافی بنچمارکها
شرکت Fireworks.ai هر دو مدل را در ۱۰۳۰ حلقه واقعی عاملمحور بررسی کرد که در پنج خانواده بحرانی دستهبندی شده بودند. بر اساس مستندات این گزارش، اگرچه صحت کلی (Top-line accuracy) در نگاه اول مشابه به نظر میرسد، اما این مدلها تخصصهای مجزایی دارند:
- مهندسی نرمافزار (SWE): هر دو مدل تقریباً برابر هستند (۹۲.۴٪ برای K3 و ۹۲.۶٪ برای Fable). با این حال، K3 در ریاضیات نمادین و ابزارهای توسعه (Dev Tooling) برتری دارد، در حالی که Fable در وب و بصریسازی دادهها پیشتازی میکند.
- عملیات ترمینال (Terminal Ops): مدل K3 برتری واضحی در حوزههای امنیت، رمزنگاری و مهندسی معکوس نشان داد. این مدل توانست ۱۱ وظیفه را حل کند که Fable در آنها کاملاً شکست خورد؛ از جمله تحلیل رمزنگاری FEAL و تشخیص زنده نقاط آسیبپذیر.
- چندزبانه: مدل Fable همچنان برتری خود را در زبانهای Java، Python و C++ حفظ کرده است، در حالی که K3 در زبانهای JavaScript و Rust رقابت نزدیکی دارد.
- حقوقی و الگوریتمیک: مدل K3 در بنچمارکهای مربوط به عاملهای حقوقی و مسائل سبک LeetCode قدرت بیشتری از خود نشان داد.
شکاف بهرهوری اقتصادی
در حالی که عملکرد فنی مشابه است، پروفایل اقتصادی این دو مدل بهشدت از یکدیگر فاصله میگیرند. مدل Kimi K3 در حلقههای عاملمحور طولانی، تا ۵۰ برابر بهصرفهتر از Fable 5 عمل میکند. این شکاف عمیق ناشی از قیمتگذاری توکنها و تفاوت بنیادی در نحوه رویکرد هر مدل به حل مسئله است.
در وظایف مهندسی نرمافزار (SWE)، مدل K3 جامعتر عمل میکند و تقریباً ۱.۳ میلیون توکن را در ۵۵ نوبت (Turn) مصرف میکند، در حالی که Fable تنها ۱۳۰ هزار توکن را در ۲۱ نوبت به کار میگیرد. با این حال، استفاده از سیستم حافظه موقت پرامپت (Prompt Caching) این حجم زیاد را تعدیل کرده و باعث میشود K3 حتی با پردازش دهبرابر دادهها، ارزانتر باقی بماند. در مقابل، Fable در وظایف ترمینال دچار «مارپیچ خطا» (Spiral) میشود، ۱.۵ میلیون توکن را در ۶۴ نوبت مصرف میکند و اغلب با خطای زمانبندی (Timeout) مواجه میگردد.
قدرت مسیریابی اوراکل
مهمترین و اثرگذارترین یافته این گزارش، موفقیت مسیریابی اوراکل (Oracle Routing) است. این یک سقف تئوریک است که در آن ارزانترین مدلِ پاسخگوی صحیح (correct) برای هر وظیفه انتخاب میشود. در عمل، این مسیریاب اوراکل ۷۲ تا ۹۶ درصد از کل ترافیک را به K3 منتقل کرد و مدل بسته و گرانقیمت را تنها به عنوان یک استثنا و نه یک قاعده در نظر گرفت.
با هدایت وظایف به سمت تخصصیترین مدل مناسب برای آن دامنه، توسعهدهندگان میتوانند به عملکردی فراتر از هر مدل تکنفره دست یابند، در حالی که پروفایل هزینه نهایی را به ارزانترین مدل موجود در مجموعه نزدیک میکنند.
تحلیل فنی
این تغییر پارادایم نشان میدهد که «خندق رقابتی» (Moat) شرکتهای هوش مصنوعی در حال انتقال از وزنهای مدل (Model Weights) به سمت مسیریابها (Routers) است. اگر بتوان یک مسیریاب نزدیک به کمال را با استفاده از مجموعهدادههای بزرگتر از تقسیمبندیهای «وظیفه-مدل» آموزش داد، اتکا به مدلهای بسته و گرانقیمت برای کارهای روتین تبدیل به یک نقطه ضعف و بدهی مالی (Liability) میشود.
برای متخصصان فنی، این دادهها معماری «باز-به-عنوان-پیشفرض» (Open-as-Default) را تایید میکند. تنها هزینه این جایگزینی، زمان اجرای واقعی (Wall-clock time) است؛ زیرا تعداد نوبتهای بالاتر در K3 به معنای اجرای کندتر است. برای عاملهای پسزمینه (Background Agents)، کاهش ۵۰ برابری هزینه تعیینکننده است، اما در رابطهای کاربری آنی (Real-time UI)، تأخیر (Latency) ممکن است همچنان به نفع یک مدل موجزتر باشد.
توسعهدهندگان اکنون باید بر جمعآوری دادههای مسیریابی با دانهبندی بالا (High-granularity) تمرکز کنند تا بتوانند حجم کاری خاص خود را به بهینهترین وزنهای مدل موجود متصل کنند.
گام بعدی شما
- جمعآوری دادههای مسیریابی با دقت بالا برای نقشهبرداری از حجم کاری سازمان خود.
- تست جایگزینی مدلهای بسته با مدلهای وزنباز در وظایفی که نرخ خطای پایینتری در بنچمارکهای تخصصی دارند.
- بررسی پیادهسازی Prompt Caching برای مدیریت هزینههای توکن در مدلهای باز.
اما داستان سختافزاری این تحول حتی شگفتانگیزتر است — به تحلیل ما درباره تراز مصرف انرژی در مدلهای ترکیبی مراجعه کنید.
گفتگو