پرش به محتوای اصلی
پرش به محتوای مقاله

استنتاج دسته‌جمعی مصرف توکن‌های Qwen را در کدهای نرم‌افزاری ۲۴.۷٪ کاهش داد

·۲۳ مهر ۱۴۰۵۱۰ دقیقه مطالعه
ایوان نیکیتین، مدیرعامل و هم‌بنیان‌گذار فورتی‌تو - مجموعه مصاحبه
ایوان نیکیتین، مدیرعامل و هم‌بنیان‌گذار فورتی‌تو - مجموعه مصاحبه
اشتراک‌گذاری
واقعاً چه چیز جدید است؟

معرفی رمزگشای دسته‌جمعی (Swarm Decoder) که برخلاف سامانه‌های چندعاملی، بدون جابه‌جایی پیام و در لحظه تولید توکن، مسیر استدلال را هدایت می‌کند تا از انحراف مدل جلوگیری شود.

اگر امروز برای اجرای عامل‌های کدنویس هزینه می‌پردازید، احتمالاً نیمی از صورت‌حساب شما صرف توکن‌هایی می‌شود که مدل در مسیر گم شدن و تکرار اشتباهات مصرف کرده است. شرکت Fortytwo ادعا می‌کند راهکار این مشکل نه مدل‌های بزرگ‌تر، بلکه جایگزینی «تعداد پارامترها» با «تعداد همتایان» است. این استارتاپ که توسط ایوان نیکیتین (Ivan Nikitin) رهبری می‌شود، بر این باور است که جهش بعدی در هوش مصنوعی، نه در افزایش اندازه مدل‌ها، بلکه در فاصله گرفتن از رویه خطرساز «نمره دادن مدل به کار خودش» است.

به نقل از نیکیتین، تکیه بر یک مدل زبانی بزرگ (LLM) — مثل کتابخانه‌داری که میلیاردها صفحه را خوانده و حالا با همان لحن جواب می‌دهد — برای کارهای پیچیده و چندمرحله‌ای منجر به پدیده‌ای به نام «انحراف مدل» (Model Drift) می‌شود. این اتفاق زمانی رخ می‌دهد که مدل‌ها توالی‌های طولانی را اجرا می‌کنند (مثلاً هنگام نوشتن یک ویژگی نرم‌افزاری پیچیده)؛ در این حالت، مدل هدف اصلی را فراموش کرده و شروع به تولید توهمات یا تکرار خطاها می‌کند که منجر به اتلاف شدید توکن‌ها می‌شود.

همان‌طور که در تحلیل‌های پیشین ما درباره‌ی بهینه‌سازی هزینه‌های استنتاج اشاره کردیم، کاهش مصرف توکن در مقیاس صنعتی، اهمیت بیشتری نسبت به کاهش قیمت هر توکن دارد. نیکیتین و ولاد لارین (Vlad Larin)، مدیر فنی شرکت، این رویکرد را از درس‌های آموخته شده در صنعت بازی و شرکت سابق خود، Temporal، که در سال ۲۰۱۱ تأسیس شده بود، استخراج کردند. آن‌ها مشاهده کردند که جمعیت‌هایی از عامل‌ها که تحت فشار انتخاب با هم رقابت می‌کنند، اغلب نتایجی فراتر از هر فرد تک‌نفره به دست می‌آورند. این بینش منجر به خلق Fortytwo Engine شد. این رویکرد تأییدی بر این دیدگاه است که معماری سامانه‌ها و نحوه تعامل عامل‌ها عامل اصلی موفقیت هوش مصنوعی است، نه صرفاً قدرت مدل‌ها.

از عامل‌های بازی تا استنتاج دسته‌جمعی

نیکیتین مسیر رسیدن به استنتاج دسته‌جمعی را از دنیای بازی‌ها آغاز کرد؛ محیطی که او آن را گهواره هوش مصنوعی مدرن و دلیل اصلی وجود GPUها می‌داند. محیط‌های بازی یک بستر آزمایشی عملی برای یادگیری تقویتی (Reinforcement Learning) فراهم کردند و به عامل‌ها اجازه دادند در لحظه یاد بگیرند، سازگار شوند و با یکدیگر رقابت کنند.

در شرکت Temporal، نیکیتین و لارین بر تکامل هوش تمرکز کردند. آن‌ها مطالعه کردند که چگونه جمعیت‌هایی از عامل‌ها می‌توانند به نتایج برتر دست یابند، به شرطی که مکانیسمی برای شناسایی و ساختن بر روی قوی‌ترین مشارکت‌ها وجود داشته باشد. این موضوع باعث شد که «انتخاب» و «ارزیابی» به هسته فلسفه آن‌ها در مورد هوش تبدیل شود.

قبل از ظهور ChatGPT، این تیم به حوزه هوش مصنوعی محاوره‌ای گسترش یافت و پلتفرم‌هایی برای شخصیت‌های AI با حافظه و شخصیت اختصاصی ساخت. در آن زمان، پنجره متنی (Context Window) — میزان متنی که مدل هم‌زمان «در ذهن» نگه می‌دارد، شبیه میز کاری که جا برای چند ورق دارد — بسیار محدود بود و تنها بین ۵۱۲ تا ۱۰۲۴ توکن ظرفیت داشت. چون هیچ مدل واحدی نمی‌توانست تمام الزامات یک مکالمه بدون فیلم‌نامه را به طور قابل‌اعتماد مدیریت کند، آن‌ها خط لوله‌های سفارشی از مدل‌های تخصصی با مسئولیت‌های محدود ساختند.

این تجربه دو درس کلیدی داشت: اول اینکه ترکیب مدل‌های محدود در یک سیستم درست، قابلیت‌های عظیمی می‌سازد و دوم اینکه مدل‌های تخصصی برای کارهای تعریف‌شده، آموزش و ارائه (Serving) بهینه‌تری دارند. با این حال، آن‌ها همچنان با چالش مقیاس‌پذیری استنتاج به دلیل محدودیت‌های API و هزینه بالای میزبانی شخصی (Self-hosting) روبرو بودند.

سازوکار: رمزگشای دسته‌جمعی (Swarm Decoder)

برخلاف سامانه‌های چندعاملی سنتی که پیام‌ها را به صورت رفت و برگشتی بین مدل‌ها جابه‌جا می‌کنند، Fortytwo از یک رمزگشای دسته‌جمعی (Swarm Decoder) استفاده می‌کند. در این سیستم، چندین مدل با وزن‌های باز (Open Weights) — یعنی مدل‌هایی که «دستور پخت» آن‌ها علناً منتشر شده — روی یک مسیر استدلال واحد در حالی که در حال تولید است، همکاری می‌کنند.

  • هدایت در لحظه: به‌جای تولید سه پاسخ مجزا و انتخاب بهترین، این دسته در لحظه تولید، مسیر پاسخ را تغییر می‌دهند. ارزیابی و هدایت در داخل خودِ فرآیند اتفاق می‌افتد و به مدل‌ها اجازه می‌دهد مسیر را هم‌زمان با پیشروی شکل دهند.
  • ارزیابی مستمر: مدل‌ها مانند همتایانی عمل می‌کنند که فرضیات ضعیف یا میان‌برهای «تنبلی» را فوراً می‌گیرند. رمزگشای دسته‌جمعی طوری طراحی شده است که این خطاها را پیش از آنکه تلاش زیادی برای ساختن بر روی آن‌ها صرف شود، شناسایی کند.
  • بدون جریمه تأخیر: چون سیستم از پیچیدن مدل در مسیرهای غلط جلوگیری می‌کند، زمان کل اجرای تکلیف اغلب کوتاه‌تر از اجرای یک مدل تک‌نفره است. اجرا مسیر مستقیم‌تری را طی می‌کند و نیاز به بازگشت به عقب (Backtracking) را کاهش می‌دهد.

مقایسه با معماری‌های دیگر

نیکیتین تفاوت این روش را با «مجموعه‌های سطح پاسخ» (Answer-level Ensemble) توضیح می‌دهد. در آن روش، مدل‌ها پاسخ‌های جداگانه تولید می‌کنند و سپس رتبه‌بندی یا ترکیب می‌شوند. Fortytwo در سال ۲۰۲۵ نسخه‌ای از این کار را اجرا کرد که در آن رتبه‌بندی همتایان برای پاسخ‌های تکمیل‌شده، دقت را تا ۱۷ درصد نسبت به بهترین مدل تک‌نفره بالا برد. اما این رویکرد باعث افزایش تأخیر و سربار محاسباتی شد، زیرا هر مدل باید هزینه کامل توکن‌ها را می‌پرداخت تا در نهایت یک داور برنده را انتخاب کند.

در سامانه‌های چندعاملی متداول، معمولاً یک ارکستراتور و پیام‌های زبان طبیعی برای مدیریت جابه‌جایی بین عامل‌ها استفاده می‌شود. این جابه‌جایی‌ها نیاز به فراخوانی‌های استنتاج (Inference) اضافی و تکرار متن زمینه (Context) دارد. اما در رمزگشای دسته‌جمعی، هیچ جابه‌جایی پیام وجود ندارد؛ شرکت‌کنندگان روی یک مسیر واحد کار می‌کنند و تنها درباره اینکه کدام جهت بهتر است، قضاوت مبادله می‌کنند.

اعداد و ارقام: بهینه‌سازی واقعی

برای اثبات این ادعا، Fortytwo مدل Qwen 3.8 27B را روی ۴۵۰ تکلیف مهندسی نرم‌افزار در محک DeepSWE آزمایش کرد. این تکالیف شامل کارهای واقعی مهندسی نرم‌افزار با استفاده از ابزارها در زمینه‌های متنی طولانی است. نتایج طبق گزارش شرکت به شرح زیر است:

  • کاهش توکن: میانگین مصرف توکن در هر اجرا از ۱۶.۳ میلیون به ۱۲.۳ میلیون رسید (کاهش ۲۴.۷ درصدی).
  • افزایش صحت: نرخ تکمیل تکالیف از ۴۲.۲٪ به ۴۷.۸٪ رسید.
  • صرفه‌جویی کل: در کل مجموعه آزمون، ۱.۸ میلیارد توکن ذخیره شد (۵.۶ میلیارد در مقابل ۷.۴ میلیارد توکن).

نیکیتین توضیح می‌دهد که این ۴ میلیون توکن ذخیره‌شده در هر اجرا، در واقع همان «انحراف» مدل است؛ یعنی بازخوانی‌ها، تلاش‌های مجدد و بازگشت‌هایی که یک مدل تک‌نفره هنگام گم شدن انجام می‌دهد. چون دسته (Swarm) مسیرهای غلط را در لحظه می‌گیرد، سیستم هرگز مجبور نیست هزینه آن اشتباهات را بپردازد.

حل مشکل «تنبلی» مدل‌ها

مدل‌های استدلالی مدرن اغلب با یادگیری تقویتی آموزش می‌بینند تا صرفاً یک تکلیف را «تمام کنند». این موضوع منجر به عادت به تنبلی می‌شود؛ جایی که مدل ممکن است بدون بررسی خروجی ابزار، اعلام موفقیت کند، یک فراخوانی ابزار را نادیده بگیرد یا به‌جای تأیید نهایی، یک خلاصه ارائه دهد.

در ساختار تک‌مدلی، هیچ بررسی خارجی وجود ندارد. مدل خودش را نمره می‌دهد و چون مدل‌ها در خود-بازتابی (Self-reflection) ضعیف هستند، خطاها انباشته می‌شوند. این تنبلی در دنیای واقعی به این شکل ظاهر می‌شود:

  • مهندسی نرم‌افزار: عامل یک باگ را رفع می‌کند اما محدودیتی که در اولین پیام ذکر شده بود را می‌شکند، یا یک فایل را چهار بار می‌خواند چون فراموش کرده است چه چیزی یاد گرفته است.
  • پژوهش: یک اجرای طولانی ممکن است از سؤال پیچیده اصلی به سمت سؤال ساده‌تری بلغزد که پاسخ دادن به آن راحت‌تر است و در نهایت یک خلاصه کلی ارائه دهد.
  • عامل‌های خودکار: ایجاد مسیرهای فرعی گران‌قیمت، فراخوانی‌های مکرر ابزار و صورت‌حساب‌های توکنی که چندین برابر مقدار لازم است.

در دسته Fortytwo، هر تلاش تنبل توسط یک همتای دقیق‌تر رتبه‌بندی شده و رد می‌شود. این فشار، فرآیند استدلال را در تمام طول اجرا، هوشیار و سخت‌گیر نگه می‌دارد.

هوش دندانه‌دار و عملکرد

رویکرد Fortytwo پدیده «هوش دندانه‌دار» (Jagged Intelligence) را هدف قرار داده است؛ وضعیتی که مدل در یک حوزه تخصص PhD دارد اما در حوزه‌ای دیگر مهمل می‌گوید. این اتفاق می‌افتد چون دستاوردهای پس از آموزش (Post-training) با فاصله گرفتن تکالیف دنیای واقعی از داده‌های آموزشی، کاهش می‌یابند.

رمزگشای دسته‌جمعی خودِ مدل را تغییر نمی‌دهد، بلکه فرآیند استدلال را بهبود می‌بخشد. به همین دلیل، Fortytwo در ۶ محک مختلف شاهد بهبود بود. مدل هوشیارتر و دقیق‌تر می‌شود چون همتایان هر مرحله را بررسی می‌کنند. این کارایی اجازه می‌دهد قیمت موتور Fortytwo همان نرخ توکن مدل پایه باشد، چون مشتری برای مسیر کوتاه‌تر به جواب درست پول می‌دهد، نه برای بودجه محاسباتی بیشتر.

استقرار و یکپارچگی

این فناوری از دو طریق در دسترس است:
۱. Fortytwo Engine: یک API که کاملاً با ساختار OpenAI سازگار است. از آنجایی که اکوسیستم عامل‌ها (شامل عامل‌های کدنویسی، هارنس‌ها و ابزارهای ارزیابی) بر اساس این ساختار ساخته شده، تغییر آن برای توسعه‌دهندگان تنها با یک تغییر پیکربندی در Endpoint، API Key و انتخاب مدل ممکن است.
۲. Fortytwo Harbor: راهکاری برای استقرار درون‌سازمانی (On-premises) برای شرکت‌هایی که کنترل شدید داده‌ها را می‌خواهند.

چرخش در اقتصاد هوش مصنوعی

سال‌هاست صنعت روی دو اهرم تمرکز کرده است: آموزش مدل‌های بهتر (که گران است) و ارزان کردن توکن‌ها از طریق سخت‌افزار و ارائه (که چون همه از GPUهای مشابه استفاده می‌کنند، در حال هم‌گرایی است). Fortytwo اهرم سومی را معرفی می‌کند: کاهش تعداد توکن‌های مورد نیاز برای هر تکلیف.

در عصر عامل‌های خودکار که یک تکلیف کدنویسی می‌تواند میلیون‌ها توکن مصرف کند، کاهش ۲۵ درصدی حجم توکن‌ها به اندازه کاهش ۲۵ درصدی قیمت هر توکن ارزشمند است. این مکانیسم با هر مدل وزن‌باز سازگار است و با بهبودهای سخت‌افزاری، کوانتش (Quantization) و بهبودهای کرنل هم‌افزایی دارد.

آینده مقیاس‌پذیری احتمالاً در گرو جمعی‌گرایی است. به‌جای تعقیب مدل‌های تریلیون-پارامتری یا زنجیره‌های تفکر (Chain of Thought) طولانی‌تر، صنعت به سمت قضاوت توزیع‌شده میان دسته‌ای از مدل‌های تخصصی و بهینه حرکت می‌کند. با اولویت دادن به «همتایان» به‌جای «پارامترها»، Fortytwo قصد دارد مسیر استدلال را کوتاه‌تر، قابل‌اعتمادتر و به‌مراتب ارزان‌تر کند.

گام بعدی شما

  • اگر از عامل‌های کدنویس (Coding Agents) استفاده می‌کنید، مصرف توکن‌های خود را در تکالیف طولانی تحلیل کنید تا میزان «انحراف مدل» را بسنجید.
  • سازگاری API این موتور با OpenAI را برای تست در پروژه‌های کوچک بررسی کنید تا تأثیر آن بر نرخ تکمیل تکالیف را ببینید.
  • مدل‌های وزن‌باز کوچک‌تر را برای وظایف تخصصی‌تر بهینه‌ کنید تا در ساختارهای دسته‌جمعی عملکرد بهتری داشته باشند.

اما داستان سخت‌افزاری این تحول حتی شگفت‌انگیزتر است — به تحلیل ما درباره‌ی تراشه‌های Blackwell مراجعه کنید.

چرا این موضوع مهم است؟

این فناوری با کاهش ۲۵ درصدی توکن‌های مصرفی، اقتصاد عامل‌های خودکار را تغییر می‌دهد و بهره‌وری را بدون نیاز به سخت‌افزارهای گران‌تر افزایش می‌دهد. اعتبار این ادعا بر اساس نتایج ملموس در محک DeepSWE است که نشان می‌دهد مسیر کوتاه‌تر استدلال، کلید کاهش هزینه‌های عملیاتی است.

تأثیر برای ایران

برای توسعه‌دهندگان ایرانی که با محدودیت بودجه دلاری برای APIها مواجه‌اند، هرگونه کاهش در مصرف توکن‌ها مستقیماً به معنای کاهش هزینه‌های عملیاتی است. استفاده از مدل‌های وزن‌باز در این ساختار، امکان میزبانی شخصی را فراهم می‌کند.

·نگاه ما
تحریریه دات‌هوش

تمرکز بر «تعداد همتایان» به‌جای «تعداد پارامترها» نشان می‌دهد که سقف رشد مدل‌های تک‌بعدی در حال نزدیک شدن به نقطه اشباع است. این رویکرد در واقع استدلال را از یک فرآیند خطی به یک فرآیند اجتماعی-رقابتی تبدیل می‌کند که در آن صحت، محصولِ تضاد و نظارت است، نه فقط حجم داده‌های آموزشی. احتمالاً در آینده، مدل‌های «مدیر» (Orchestrator) جای خود را به لایه‌های «قضاوت توزیع‌شده» می‌دهند.

منابع

این گزارش با خط‌لولهٔ خودکار دات‌هوش از منابع معتبر جهانی تدوین و زیر نظر تحریریه منتشر شده است. روش کار ما

گفتگو

پنج‌شنبه‌های هوش‌محور

بسته‌ی هفتگی دات‌هوش

۵ خبر، ۲ ابزار، ۱ پرامپت در هر شماره. به‌زودی راه‌اندازی می‌شود — هر پنج‌شنبه صبح.

خبر کلیدی
ابزار کاربردی
پرامپت حرفه‌ای
تحلیل پژوهش
به‌زودی
زاویه‌ی ایرانی
به‌زودی
تمرین این هفته
به‌زودی

راهنماهای دات‌هوش

راهنماهای کاربردیِ دات‌هوش برای کار با هوش مصنوعی — از همین‌جا شروع کنید:

دات‌هوش

راهنمای فارسی هوش مصنوعی — با نگاه به ایران

اخبار روزانه، معرفی ابزارها و مدل‌ها، و آموزشِ کار با هوش مصنوعی؛ همیشه با این پرسش که از ایران چه چیزی کار می‌کند و چه چیزی نه.