انویدیا ترافیک توکن‌های عامل‌های کدنویسی را تا ۴۹٪ کاهش داد

اگر امروز از عامل‌های کدنویسی برای پروژه‌های طولانی استفاده می‌کنید، احتمالاً با هزینه‌های سرسام‌آور توکن و کندی استنتاج دست‌وپنجه نرم می‌کنید. مشکل اینجاست که در تسک‌های چندساعته، هر ویرایش کد، هر اجرای تست و هر خواندنِ لاگ دوباره به پنجرهٔ زمینه مدل بازمی‌گردد و حجم داده‌ها را به‌شدت افزایش می‌دهد. این وضعیت یک گلوگاه عظیم در مصرف توکن ایجاد می‌کند، زیرا هر تغییر کوچک در کد منجر به ارسال مجدد حجم زیادی از داده‌ها به مدل می‌شود.

به نقل از گزارش فنی Marktechpost، تیمی از پژوهشگران انویدیا (NVIDIA)، دانشگاه NTU و MIT برای حل این بحران، SoL-Pi را توسعه داده‌اند. این سیستم مجموعه‌ای از مکانیزم‌های بهره‌وری است که ترافیک توکن‌های ثبت‌شده را در مقایسه با عامل پایهٔ Pi، بین ۴۴.۷٪ تا ۴۹.۰٪ کاهش می‌دهد.

بهینه‌سازی لایه‌ی مدیریت (Harness)

بیشتر تلاش‌ها برای کاهش هزینه بر روی سریع‌تر کردن هسته‌ها (Kernels)، کوانتش (Quantization) یا استفاده از مدل‌های ارزان‌تر متمرکز است تا هزینه هر توکن کاهش یابد. اما SoL-Pi رویکرد متفاوتی دارد و مستقیماً «هارنس» (Harness) — یعنی لایه‌ای که فراخوانی ابزارها، مدیریت زمینه، مشاهدات و تفویض وظایف را کنترل می‌کند — هدف قرار می‌دهد تا تعداد کل توکن‌های مصرفی در هر تسک را کم کند. این رویکرد در حالی اهمیت می‌یابد که مقایسه‌های اخیر میان مدل‌های پیشرو نشان داده است که هزینه به ازای هر تسک تکمیل‌شده، همچنان یکی از چالش‌های اصلی در انتخاب مدل کدنویسی است.

تنظیم دستی یک هارنس بسیار کند است و اجزای آن به‌شدت به هم وابسته هستند؛ به این معنا که یک اصلاح در یک بخش می‌تواند به‌طور ناخواسته هزینه‌ها را در مراحل بعدی افزایش دهد. اگرچه سیستم‌هایی مانند Meta-Harness این فرآیند را خودکار می‌کنند، اما مطالعات اخیر نشان می‌دهد که هارنس‌های تکامل‌یافته ممکن است روی تسک‌های جست‌وجوی خاص بیش‌برازش (Overfit) شوند و در مواجهه با تسک‌های دیده‌نشده، بهبودهای بسیار اندکی ارائه دهند. برای مقابله با این مشکل، تیم انویدیا از یک هوش مصنوعی برای اجرای حلقه‌های پژوهشی خودکار در لایه‌ی هارنس استفاده کرد تا بهینه‌ترین پیکربندی‌های تعمیم‌پذیر را بیابد.

سازوکار جست‌وجوی خودکار

این هوش مصنوعی پژوهشگر، ردپای اجرای یک عامل مجزا را که در حال اجرای نسخه پایه Pi بود مشاهده کرد و تغییراتی را در هارنس پیشنهاد داد. این فرآیند جست‌وجو بسیار دقیق و گسترده بود و موارد زیر را شامل می‌شد:

• ۱۵۲ مسیر پیشنهادی در ۶ خانواده: زمینه (Context)، پیشرفت (Progress)، ابزارها (Tools)، تفویض (Delegation)، پرامپت و سیاست (Prompt and Policy)، و بهبود و ارزیابی (Improvement and Evaluation).
• ۵۳۵ محیط قابل اجرا، شامل ۴۹۵ مورد ساخته‌شده از جفت‌های Issue-Pull Request در گیت‌هاب و ۴۰ تسک مصنوعی با تاییدکننده‌های قابل اجرا.
• بیش از ۳,۰۰۰ اجرا و بیش از ۶۰,۰۰۰ تعامل بین عامل و محیط.

هر جست‌وجو به عنوان یک حلقه ایزوله و یک‌بارمصرف عمل می‌کرد که از یک چرخه خود-پژوهشی (Autoresearch) پیروی می‌کرد. این چرخه با یک مرحله پیاده‌سازی Ralph Loop و یک بازبین مستقل گسترش یافته بود. قوانین پذیرش تغییرات پیش از شروع جست‌وجو تثبیت شده بودند و بهینه‌ساز اجازه تغییر آن‌ها را نداشت. هر معیار قابلیت (Capability Metric) باید در محدوده تلورانس پیش‌تعیین‌شده باقی می‌ماند و کاندیدای جدید باید حداقل یکی از معیارهای بهره‌وری را بهبود می‌بخشید.

برای جلوگیری از بیش‌برازش، محک EdgeBench کاملاً کنار گذاشته شد. از ۵۱ تسک عمومی آن، ۱۱ مورد برای پذیرش یک‌طرفه کاندیداهای منجمد و ۴۰ مورد برای ارزیابی نهایی استفاده شدند. نتایج به‌دست‌آمده از این بخش هرگز به حلقه جست‌وجو بازگردانده نشد تا استقلال ارزیابی حفظ شود.

چهار مکانیزم کلیدی بهره‌وری

در نهایت، چهار سازوکار خاص از دل این پژوهش‌های خودکار بیرون آمدند تا پشتهٔ SoL-Pi را تشکیل دهند:

• تلفیق عملیات (Action Fusion): در حالت عادی، عامل Pi ابتدا یک فایل را ویرایش می‌کند و سپس یک دستور مجزا برای تست، بیلد یا اجرای آن صادر می‌کند. Action Fusion هر دو درخواست را در یک درخواست ابزار ادغام کرده و هر دو نتیجه را در یک مشاهده (Observation) بازمی‌گرداند. این کار یک رفت‌وبرگشت کامل مدل (Round Trip) را حذف می‌کند.
• فشرده‌سازی آنلاین زمینه (Online Context Compact): مراحل برنامه از طریق update_plan ردیابی می‌شوند. وقتی یک مرحله تکمیل می‌شود، هارنس تعداد درخواست‌های باقی‌مانده را تخمین زده و صرفه‌جویی پیش‌بینی‌شده در ورودی را با هزینه بازنویسی کشِ پرامپت مقایسه می‌کند. اگر این شرط برقرار باشد یا زمینه به حد نهایی پنجره برسد، فشرده‌سازی بومی Pi فراخوانی می‌شود.
• بسته‌بندی مشاهدات (ObservationPack): خروجی‌های ابزار که حجم آن‌ها بیش از ۱۰ کیلوبایت است، به‌صورت محلی آرشیو می‌شوند و برای دو درخواست بعدی ارائه‌دهنده (Provider)، به‌طور کامل ارسال می‌گردند. از درخواست سوم به بعد، مدل تنها یک شناسه (Handle) پایدار، اندازه اصلی و یک گزیده کوتاه از خطوط ابتدا و انتها را می‌بیند. صفحات دقیق داده‌ها همچنان از طریق آن شناسه قابل بازیابی هستند.
• کاهندهٔ حفظ شواهد (Evidence-Preserving Reducer): لاگ‌های بیلد و تست که حداقل ۴ کیلوبایت حجم دارند، به یک مدل ارزان‌تر یعنی GPT-5.6 Luna (در سطح High) فرستاده می‌شوند تا یک رسید (Receipt) فشرده بنویسد. یک تاییدکننده قطعی (Deterministic Verifier)، طرح (Schema)، هش منبع، وضعیت خروج، نقل‌قول‌های دقیق و اندازه رسید را بررسی می‌کند. اگر تایید شکست بخورد، یا مشکوک به نشت اطلاعات حساس (Credentials) باشد، یا رسید کوچک‌تر از اصل نباشد، هارنس به لاگ اصلی بازمی‌گردد.

نتایج و عملکرد

بر اساس ارزیابی روی ۵۱ تسک EdgeBench، سیستم SoL-Pi کاهش هزینه‌های چشمگیری را نشان داد. وقتی با مدل GPT-5.6 Sol ترکیب شد، هزینه‌های API از ۱,۳۳۹ دلار به ۸۹۴ دلار کاهش یافت، در حالی که ۹۳.۷٪ از امتیاز اصلی حفظ شد (۴۲.۰ در مقابل ۴۴.۸). به همین ترتیب، در ترکیب با Opus 5، ترافیک توکن ۴۴.۷٪ و هزینه‌ها ۳۳.۵٪ کاهش یافت و ۹۴.۳٪ از امتیاز پایه حفظ شد (۴۲.۲ در مقابل ۴۴.۸).

نکته جالب این بود که تیم یک پیکربندی «عملکردی» (Performance) یافت که از بهترین تک‌مکانیزم برای هر بک‌اند استفاده می‌کرد: ObservationPack برای GPT-5.6 Sol و Action Fusion برای Opus 5. این ترکیب امتیازات را به ترتیب ۵.۳٪ و ۱۲.۸٪ بالاتر از Pi برد. در مدل GPT-5.6 Sol، پشته کامل باعث شد ترافیک نوشتن در کش از ۰.۰۱۴۱ B به ۰.۰۳۱۶ B توکن افزایش یابد، اما با این حال هزینه کل همچنان کاهش یافت.

فراتر از EdgeBench، این سیستم تطبیق‌پذیری خود را در محیط‌های دیگر نیز نشان داد:

• Terminal-Bench 4 (۶۳ تسک فقط CPU): مدل SoL-Pi توانست ۱۵ تسک را حل کند (در مقابل ۱۸ مورد برای Codex و Pi)، اما هزینه کل را در مقایسه با Pi حدود ۲۶.۳٪ کاهش داد (۲۱۱.۱۲ دلار در مقابل ۲۸۶.۴۵ دلار). این تمرکز بر محیط‌های عملیاتی، یادآور پیشرفت‌های اخیر در مدل‌های چندمنظوره است، مانند مدل GPT-6 Astra که توانست نرخ موفقیت در وظایف پیچیده OSWorld 2.0 را به ۷۲.۶٪ برساند.
• IMO ۲۰۲۶ (تایید شده با Lean 4): مدل SoL-Pi از ۶ مسئله ۳ مورد را پاس کرد (مشابه Pi)، اما کمترین هزینه برای هر مسئله حل‌شده را با رقم ۲۰.۹۰ دلار به دست آورد.
• سوارم‌های عاملی (Agent Swarms): یک هماهنگ‌کننده Codex با ۲۰ کارگر SoL-Pi به ۱,۱۲۷ چرخه با هزینه ۶۰.۱۱ دلار رسید، در حالی که ۲۰ کارگر Pi به ۱,۳۶۶ چرخه با هزینه ۸۲.۱۲ دلار دست یافتند. در این میان، یک عامل تک Codex با هزینه ۳۹.۲۰ دلار برای ۱,۳۳۳ چرخه، همچنان ارزان‌ترین گزینه کلی باقی ماند.

تیم پژوهشی اشاره می‌کند که انتقال قابلیت‌ها بین مدل‌های مختلف (Cross-model transfer) هنوز در مراحل اولیه است، زیرا مکانیزم‌ها در Opus 5 کمتر فعال می‌شوند، چرا که جست‌وجوی اولیه بر اساس مسیرهای GPT-5.6 Sol انجام شده بود.

این تغییر تمرکز از بهینه‌سازی سطح مدل به بهینه‌سازی سطح هارنس، معیار جدیدی برای بهره‌وری عامل‌ها تعریف می‌کند. این موضوع ثابت می‌کند که «کدهای چسب» (Glue Code) اطراف یک مدل زبانی بزرگ، جایی است که بیشترین اتلاف منابع رخ می‌دهد. با خودکارسازی بهینه‌سازی این لایه، توسعه‌دهندگان می‌توانند قابلیت‌های استدلالی بالا را بدون رشد خطی هزینه‌ها (که معمولاً با تسک‌های خودمختار طولانی‌مدت همراه است) حفظ کنند.

سیستم SoL-Pi اکنون به عنوان یک افزونه با لایسنس MIT در گیت‌هاب تحت سازمان NVlabs در دسترس است و با نسخه Pi 0.85.1 و Node.js 22.19 یا جدیدتر سازگار است. شما می‌توانید جزئیات پیاده‌سازی را در مخزن رسمی گیت‌هاب بررسی کنید یا با ادغام این افزونه در جریان‌های کاری کدنویسی مبتنی بر Pi، بهبودهای بهره‌وری را تست کنید.

گام بعدی شما

• اگر از فریم‌ورک‌های عامل‌محور استفاده می‌کنید، لایه‌ی مدیریت توکن‌های ورودی را برای شناسایی تکرارهای غیرضروری بررسی کنید.
• افزونه SoL-Pi را که تحت لایسنس MIT در گیت‌هاب NVlabs منتشر شده، با نسخه‌ی Pi 0.85.1 تست کنید.
• برای کاهش هزینه‌ها، از مدل‌های کوچک‌تر برای خلاصه‌سازی لاگ‌های طولانی (مشابه مکانیزم Reducer) استفاده کنید.

اما داستان سخت‌افزاری این تحول حتی شگفت‌انگیزتر است — به تحلیل ما درباره‌ی تراشه‌های Blackwell مراجعه کنید.