راز ۱۰ میلیون توکن؛ وقتی لاگ‌های خام جایگزین آمار می‌شوند

اگر تصور می‌کنید گلوگاه بهینه‌سازی عامل‌های هوش مصنوعی (AI Agents) هوش مدل است، سخت در اشتباهید. مشکل واقعی در نبودِ بافت تشخیصی دقیق است که به بهینه‌ساز ارائه می‌شود.

طبق اعلام یوسی الیاس (Yossi Eliaz) در ۵ مه ۲۰۲۶، یک اثبات مفهوم (POC) ۲۰۰ خطی توسعه یافته است که با پیاده‌سازی یک «متا-هارنس» (Meta-harness)، این مشکل را حل می‌کند. به نقل از مستندات این پروژه در zozo123.github.io، این سیستم به یک عامل پیشنهاددهنده اجازه می‌دهد تا در ۱۰ میلیون توکن از ردپاهای اجرای خام (Raw Execution Traces) جست‌وجو کند تا نقاط شکست را شناسایی و به‌طور خودکار اصلاح نماید.

این معماری بر پایه ایسلو (Islo)، زیرساخت سندباکس توسعه‌یافته توسط آزمایشگاه ایسلو (Islo Labs)، بنا شده و از سه قابلیت کلیدی بهره می‌برد:

• محیط‌های بازتولیدپذیر (Reproducible Environments): استفاده از دستور islo snapshot save برای اطمینان از اجرای هر کاندید در محیطی کاملاً یکسان.
• موازی‌سازی گسترده (Massive Parallelism): بهره‌گیری از islo use --snapshot برای ایجاد فورک‌های ارزان و موازی.
• ردپاهای پایدار (Persistent Traces): استفاده از islo logs برای ذخیره خروجی‌ها و تفکرات عامل جهت تحلیل‌های بلندمدت.

در یک مجموعه آزمایشی شامل ۵ وظیفه (از جمله FizzBuzz)، این حلقه بهینه‌سازی تنها در ۴ گام، نرخ موفقیت را از ۰/۵ به ۵/۵ رساند. یکی از یافته‌های کلیدی، پدیده «اصلاح انتقالی» (Transfer-fix) بود؛ جایی که یک راهنمایی برای حل مسئله FizzBuzz، به‌طور اتفاقی مشکل یک وظیفه دیگر را نیز حل کرد. این بینش متقاطع تنها زمانی ممکن است که عامل پیشنهاددهنده به جای امتیازات ساده، لاگ‌های تشخیصی خام را بخواند.

همان‌طور که در تحلیل قبلی ما درباره‌ی زیرساخت‌های مدل‌های استدلالی اشاره کردیم، تمرکز صنعت در حال تغییر از «هوش مدل» به «زیرساخت حلقه بهینه‌سازی» است. این پروژه شامل یک داشبورد زنده است که هر ۲ ثانیه وضعیت فایل‌ها را بررسی می‌کند تا «موج سبز» همگرایی وظایف را به تصویر بکشد.

در حال حاضر این سیستم از یک شبیه‌ساز قطعی (Deterministic Simulator) استفاده می‌کند، اما طوری طراحی شده که تنها با تغییر ۳ خط کد، بتوان آن را به یک بک‌اند واقعی مانند کلود (Claude) متصل کرد. این انتقال اجازه می‌دهد سیستم از ویرایش ساده‌ی پرامپت‌ها فراتر رفته و ابزارهای کاملاً جدیدی را برای عامل پیشنهاد دهد.

اما این تنها بخشی از پازل است؛ تأثیر جایگزین کردن شبیه‌سازها با مدل‌های زنده بر هزینه‌های استنتاج را در گزارش بعدی بررسی خواهیم کرد.

گام بعدی شما

• بررسی متدولوژی تحلیل لاگ‌های خام به جای تکیه بر معیارهای عددی (Metrics).
• مطالعه مستندات Islo برای پیاده‌سازی محیط‌های ایزوله و بازتولیدپذیر.
• ارزیابی پتانسیل انتقال از مهندسی پرامپت به «مهندسی ابزار» خودکار.