«شکست در تعمیم»؛ نقطه ضعف عامل‌های هوش مصنوعی در محیط‌های جدید

آیا یک مدل هوش مصنوعی می‌تواند موتور محرکی را که خودش را اجرا می‌کند، طراحی و بهینه کند؟ پاسخ پژوهشگران ByteDance Seed، دانشگاه فناوری و طراحی سنگاپور، مؤسسه فناوری جورجیا، M-A-P و TokenWave.AI در قالب چارچوب HarnessDev آمده است؛ ابزاری که به‌جای تمرکز بر پاسخ نهایی، کیفیت «هارنس» (Harness) یا همان حلقهٔ اجرایی، ابزارها، بافت (Context)، وضعیت (State)، مکانیسم‌های بازیابی و سیستم‌های تأیید را که مدل برای خود می‌نویسد، ارزیابی می‌کند.

طبق گزارش این تیم، اکثر بنچمارک‌های فعلی، محیط اجرایی عامل را ثابت نگه می‌دارند، اما این رویکرد نادیده می‌گیرد که کد محیطی تا چه حد بر عملکرد اثر می‌گذارد. برای مثال، بر اساس داده‌های Terminal-Bench 2.1، مدل GPT-5 در محیط Terminus 2 تنها ۳۵.۲٪ از وظایف را حل می‌کند، اما با استفاده از Codex CLI، صحت پاسخ‌هایش به ۴۹.۶٪ می‌رسد؛ در حالی که وزن‌های مدل هیچ تغییری نکرده است. این شکاف ثابت می‌کند که اغلب محدودیت‌های توانمندی‌های عامل‌محور (Agentic)، نه در خودِ مدل، بلکه در محیط اجرایی آن است.

بستر و سازوکار چارچوب

همان‌طور که در تحلیل قبلی ما درباره‌ی جایگزین‌های سبک‌وزن مانند litelm اشاره کردیم، اکنون HarnessDev بررسی می‌کند که آیا مدل زبانی بزرگ (LLM) می‌تواند خلق این محیط‌های پیچیده را خودکار کند. این ارزیابی در دو مرحله رخ می‌دهد: خلق و تکامل.

در مرحله خلق، هر مدل یک «بذر» ضعیف دریافت می‌کند که شامل دستورات اولیه برای مدیریت فایل، جست‌وجو و توابع اولیه فرآیند (Process Primitives) به همراه نویسنده‌های نتیجه و مسیر (Trajectory Writers) است. این بذر فاقد هرگونه حلقه (Loop)، برنامه‌ریز، تأییدکننده، مکانیسم تلاش مجدد (Retry) یا قانون توقف است؛ به همین دلیل اگر بدون تغییر رها شود، در تمام تست‌ها امتیاز صفر می‌گیرد. به مدل سازنده، یک مشخصات خانواده-وظیفه (Task-family spec)، یک آموزش کوتاه طراحی و ۱ تا ۳ مورد توسعه (Development cases) داده می‌شود تا یک هارنس کامل بسازد. این کد سپس پیش از مواجهه با وظایف پنهان، منجمد می‌شود.

در مرحله تکامل، مدل کد منجمد خود را بر اساس بازخوردهای اجرایی از ۱۰۰ وظیفه در SWE-bench Pro و ۸۹ وظیفه در Terminal-Bench 2.1 بازبینی می‌کند. کاندیداهای رسمی باید این وظایف را به‌صورت جفت تکمیل کنند، با بودجه‌ای معادل ۱۰ جفت و حداکثر ۲ پروب (Probe) پنج-وظیفه‌ای بین هر جفت. نسخه‌های نهایی سپس روی ۶۳۰ نمونه‌ی مجزا (Held-out) از SWE-Pro امتیازدهی می‌شوند تا میزان تعمیم‌پذیری (Generalization) آن‌ها سنجیده شود.

تحلیل عملکرد در حوزه‌های مختلف

شش مدل پیشرو شامل Opus 4.8، GPT-5.5، Gemini 3.1 Pro، DeepSeek V4 Pro، Qwen 3.7 Max و Seed 2.0 Pro در محیط Claude Code 2.1.177 مورد آزمایش قرار گرفتند (مدل GPT-5.5 از Codex 0.144.3 استفاده کرد). آن‌ها روی ۲,۲۰۷ نمونه در ۴ دامنه و ۵ بنچمارک مختلف کار کردند: بخش عمومی SWE-bench Pro (۷۳۱ مورد)، Terminal-Bench 2.1 (۸۹ مورد)، MLE-bench (۷۵ مورد)، EQ-Bench3 (۴۶ مورد) و BrowseComp (۱,۲۶۶ مورد).

نتایج نشان‌دهنده یک شکاف عمیق در توانمندی‌هاست:

• نوشتار و یادگیری ماشین: مدل Opus 4.8 با امتیاز ۸۴.۶ در EQ-Bench3، حتی از مرجع انسانی (۸۳.۷) پیشی گرفت. در آزمایش‌های یادگیری ماشین (ML)، مدل‌های Opus (۳۲.۹) و Gemini (۳۲.۴) هر دو بهتر از مرجع ۲۴.۰ در MLE-bench عمل کردند.
• کدنویسی و جست‌وجو: مدل‌ها به‌شدت متزلزل بودند. بهترین امتیاز در BrowseComp متعلق به GPT-5.5 (۵۲.۶) بود که فاصله زیادی با مرجع انسانی (۹۲.۲) داشت. در SWE-Pro، مدل Opus 4.8 به امتیاز ۶۹.۳ رسید، در حالی که مرجع انسانی ۸۰.۰ بود. این چالش‌ها در درک ساختارهای پیچیده کد، یادآور نبردهای مدل‌های هوش مصنوعی با نام‌گذاری‌های نامنظم در کدهای قدیمی است که در آن رویکردهای ساختاریافته‌تر مانند DDD راهگشای کاهش خطاها بود.
• وظایف ترمینال: Gemini 3.1 Pro با امتیاز ۶۸.۸ در Terminal-Bench پیشتاز بود، هرچند هنوز با مرجع ۸۸.۸ فاصله دارد.

بحران «کد مرده»

یکی از تکان‌دهنده‌ترین یافته‌ها، حجم بالای کدهای بلااستفاده است. حجم کد هیچ ارتباطی با کیفیت نداشت؛ در حالی که ۱۸ هارنس در مجموع ۱۷,۱۱۱ خط کد خالص اضافه کردند، Gemini با کمترین حجم کد (۱,۰۰۶ خط)، در Terminal-Bench پیشتاز بود.

بر اساس مستندات پژوهش، از ۱۰۸ مؤلفه کد، ۱۸ مورد هرگز در اجراهای واقعی فعال نشدند. همچنین ۱۱ هارنس کلاس State را برای مدیریت وضعیت تعریف کرده بودند، اما در ۲۶,۶۷۹ مسیر اجرایی، حتی یک بار از نقاط بازرسی (Checkpoint) استفاده نشد. علاوه بر این، ۱۲۴ مورد از ۵۸۷ ویژگی نوشتاری (Writing features) به عنوان «کد مرده» شناسایی شدند. این نشان می‌دهد مدل‌ها اغلب دچار توهم (Hallucination) می‌شوند و الگوهای معماری پیچیده را بدون نیاز واقعی پیاده می‌کنند.

حساسیت به اجراکننده

کیفیت هارنس به‌شدت به مدلی که کد را اجرا می‌کند وابسته است. وقتی اجراکننده به Gemini 3.1 Pro تغییر یافت، امتیاز Opus 4.8 در SWE-Pro از ۶۹.۳ به ۳۳.۰ سقوط کرد. دلیل این اتفاق، سخت‌کد کردن محدودیت ۱۲۰ مرحله‌ای بود که فقط برای مدل اصلی بهینه شده بود. همچنین، نرخ پرس‌وجوهای تکراری در هارنس جست‌وجوی Opus پس از این تغییر، از ۱۰.۱٪ به ۸۸.۲٪ جهش کرد. این نوع ناپایداری در تنظیمات محیطی، مشابه همان مشکلاتی است که ابزار Config Drift Checker برای جلوگیری از پس‌رفت‌های رفتاری در Claude Code هدف قرار داده است.

بهره‌وری نیز تفاوت‌های فاحشی داشت. در MLE-bench، مدل GPT-5.5 با مصرف ۲۹.۳ میلیون توکن (Token) به نرخ ۱۹.۱ مدال رسید، در حالی که DeepSeek V4 برای رسیدن به نرخ ۱۹.۶، به ۲۰۸.۴ میلیون توکن نیاز داشت؛ یعنی مصرفی تقریباً ۱۹ برابر بیشتر.

شکاف تکامل و تشخیص خطا

در مرحله تکامل، ۹ تبار (Lineage) در مجموع ۷۳ نسخه رسمی تولید کردند. در حالی که سازندگانی که از زمان اجرای خود (Self-runtime) استفاده کردند، بهبود متوسط ۳.۱۱ امتیازی (بین ۱.۴۳ تا ۴.۴۴) داشتند، اما این پیشرفت نوسانی بود. تحت اجرای ثابت Gemini، تنها Opus بهبود یافت و GPT-5.5 دچار افت ۱۰.۳۲ امتیازی شد.

پیشرفت‌ها یکنواخت نبودند. از ۶۴ تغییر اعمال شده، ۸ مورد در هر دو بنچمارک افت کردند و ۱۶ مورد در یکی از آن‌ها. یک کامیت (Commit) واحد می‌توانست امتیاز جفت را تا ۴.۷۵± تغییر دهد. تنها ۳۴ مورد از ۶۴ تغییر (۵۳.۱٪) در وظایف پنهان همان جهتی را داشتند که در مرحله بازخورد نشان داده بودند، و تنها ۲ نسخه از ۹ نسخه نهایی در وظایف پنهان بهینه بودند.

این یعنی مدل‌ها در تشخیص علت شکست ناتوان‌اند. رابط اختصاصی برای عیب‌یابی (Debugging) تنها دو بار فراخوانی شد. تنها پیروزی ملموس زمانی رخ داد که Opus 4.8 متوجه شد ۹۹ مورد از ۱۰۰ اجرا گزارش موفقیت دادند اما فقط ۴۸ مورد واقعاً پاس شدند؛ مدل سپس متوجه خطای «تکمیل زودهنگام» شد و یک گیت تأیید (Completion Gate) اضافه کرد.

این تغییر در متدولوژی بنچمارک، ما را مجبور می‌کند نگاهی جدید به هوش مصنوعی عامل‌محور داشته باشیم. سؤال دیگر این نیست که «آیا مدل می‌تواند این مسئله را حل کند؟»، بلکه این است که «آیا مدل می‌تواند سیستمی را بسازد که حل این مسئله را ممکن کند؟» داده‌ها می‌گویند مدل‌ها می‌توانند نقشه بکشند، اما هنوز نمی‌توانند مهندسی محیط خود را به‌طور قابل‌اعتمادی تکرار و اصلاح کنند.

گام بعدی شما

• اگر در حال توسعه عامل‌های هوش مصنوعی هستید، به‌جای تمرکز صرف بر پرامپت، روی بهینه‌سازی حلقهٔ اجرایی (Execution Loop) متمرکز شوید.
• در طراحی ابزارها، از پیچیدگی‌های معماری (مانند State Management) پرهیز کنید مگر آنکه نیاز عملیاتی اثبات شده باشد.
• برای ارزیابی مدل‌ها، حتماً از مجموعه‌های داده‌ی پنهان (Held-out) استفاده کنید تا از بیش‌برازش (Overfitting) کد محیطی جلوگیری کنید.

اما داستان سخت‌افزاری این تحول حتی شگفت‌انگیزتر است — به تحلیل ما درباره‌ی تراشه‌های Blackwell مراجعه کنید.