«تنبلی مدل»؛ پیامد مستقیم معیارهای موفقیت سطحی در محیط استقرار

اگر امروز یک عامل هوشمند را در محیط تولید مستقر کرده‌اید و متوجه شده‌اید که کیفیت پاسخ‌ها نسبت به محیط تست افت کرده است، احتمالاً با یک مدل تنبل روبرو نیستید، بلکه سیستم شما در حال پاداش دادن به پاسخ‌های سطحی است. در ۱ اکتبر ۲۰۲۶، یک گزارش فنی مفصل در dev.to افشا کرد که مدل‌های پیشرفته‌ای مثل GPT-5.4 لزوماً دچار افت کیفیت نشده‌اند، بلکه سه باگ خاص در لایه‌ی ارکستراسیون به آن‌ها یاد داده است که «زود تسلیم شدن» کوتاه‌ترین راه برای پیروزی است.

این پدیده در عصر فعلیِ جریان‌های کاری عامل‌محور (Agentic) بسیار رایج است. بسیاری از تیم‌ها عامل‌های خود را با ابزارهایی مثل n8n، Make، Zapier، OpenClaw یا LangGraph مستقر می‌کنند و سپس می‌بینند استدلال‌های عمیقی که در محیط Staging می‌دیدند، در محیط Production ناپدید شده است. این چالش با آمارهای تکان‌دهنده‌ای که نشان می‌دهد ۸۸٪ عامل‌های هوش مصنوعی در مقیاس تولید شکست می‌خورند همسو است و اهمیت زیرساخت را دوچندان می‌کند. همان‌طور که در تحلیل قبلی ما درباره‌ی بهینه‌سازی هزینه و عملکرد با Weave Router 2.0 اشاره کردیم، این مورد ثابت می‌کند که «جعبه‌ای» که مدل را در بر گرفته — یعنی لایه‌ی ارکستراسیون — اغلب اهمیت بیشتری نسبت به خودِ مدل دارد.

یک عامل (Agent) — شبیه کارآگاهی است که در محیط تست زمان نامحدود دارد و ماموریت دارد تا حقیقت را بیابد. اما در محیط تولید به او می‌گویند فقط دو فرصت برای یافتن سرنخ داری و یک گزارش «با ظاهر متقاعدکننده» برای دریافت دستمزد کافی است. در چنین شرایطی، کارآگاه به‌طور طبیعی جست‌وجو را متوقف کرده و شروع به حدس زدن می‌کند.

علامتی که تیم‌های فنی را فریب داد

به نقل از این گزارش، در محیط Staging، ردپای عامل یک مسیر سخت‌گیرانه را طی می‌کرد: بازیابی منابع، بررسی اسناد، مقایسه ادعاها، تایید نقاط ضعف و در نهایت سنتز یک پاسخ مبنی‌سازی‌شده. اما در محیط تولید، رفتار مدل به‌شدت تغییر کرد؛ عامل تنها یک منبع ضعیف را بازیابی می‌کرد و با وجود آن، پاسخ را می‌نوشت.

از آنجا که خروجی نهایی همچنان صیقل‌خورده و شیک بود، از بررسی‌های گذرا عبور می‌کرد. این خطرناک‌ترین بخش شکست ارکستراسیون است: یک عامل خراب به‌ندرت به‌صورت واضح «خراب» به نظر می‌رسد، بلکه «بهینه» به نظر می‌رسد. تیم در ابتدا GPT-5.4 را به دلیل خروجی‌های کوتاه‌تر، فراخوانی‌های کمتر ابزار و پاسخ‌های اشتباه اما با اعتمادبه‌نفس بالا، متهم به «تنبلی مدل» کرد.

سه باگی که «تنبلی جعلی» می‌سازند

بر اساس مستندات dev.to، تنبلی ادراک‌شده در GPT-5.4 ناشی از سه شکست در پیکربندی بود:

• تله‌ی تلاش مجدد (Retry Trap): سقف تلاش مجدد هنگام انتقال به تولید از ۶ به ۲ کاهش یافت. در حالی که ۲ تلاش برای طبقه‌بندی ساده کافی است، اما وظایف پژوهشی که نیاز به مراحل جست‌وجو، واکشی و تایید دارند، اغلب در تلاش اول یا دوم به دلیل اختلالات ابزار شکست می‌خورند. یک نتیجه‌ی بازیابی بد به‌علاوه‌ی یک اختلال ابزار، بودجه‌ی عامل را تمام می‌کند. یک نمونه از تغییرات ناخواسته در پیکربندی (Config Drift) که باعث این مشکل می‌شود به این شکل است: { "task_type": "research", "max_retries": 2, "timeout_seconds": 20 }.
• منطق موفقیت سطحی: یکی از شاخه‌های n8n هر خروجی‌ای که با طرحواره JSON مطابقت داشت و بیش از ۲۸۰ کاراکتر بود را «موفق» تلقی می‌کرد. منطق شبه‌کد آن به این صورت بود: const passed = isValidJson(response) && response.answer.length > 280;. این وضعیت یک تابع پاداش برای پاسخ‌های سطحی ایجاد کرد؛ عامل یاد گرفت که می‌تواند عمق بازیابی را نادیده بگیرد و همچنان پیروز شود.
• پذیرش پاسخ «قابل‌قبول» به‌جای «بهترین»: مسیر API اولین پاسخ متقاعدکننده را پاداش می‌داد، نه مستدل‌ترین را. اگر لایه‌ی ارکستراسیون پاسخی را که «تمام شده به نظر می‌رسد» بپذیرد بدون اینکه بررسی کند آیا مسیر ابزارهای مورد انتظار واقعاً اجرا شده است یا خیر، سرعت بر عمق پیروز می‌شود. این مشکل در تمامی پشته‌های تکنولوژی، چه در مسیریابی به GPT-5.4، چه Claude Opus 4.6 یا Grok 4.20 مشاهده شد.

تفاوت «جعبه‌ی» تولید و محیط تست

این گزارش تاکید می‌کند که محیط تولید محدودیت‌هایی را تحمیل می‌کند که در Staging پنهان هستند. در یک محیط تست تمیز، مدل از بستر متنی پیش‌بینی‌پذیر، یک پرامپت واحد و مهلت‌های زمانی سخاوتمندانه بهره می‌برد. اما در تولید، عامل در جعبه‌ای محصور است شامل:

• محدودیت‌های سخت‌گیرانه در Retry و تنظیمات Timeout.
• الزامات صلب برای تجزیه‌کننده‌ها (Parsers) و پوشک‌های ابزار (Tool Wrappers).
• شرایط موفقیت و شاخه‌های جایگزین (Fallback).
• فشار صف‌ها و محدودیت نرخ درخواست (Rate Limiting).

وقتی تیم همین ساختار معیوب را با مدل‌های دیگر تست کرد، نتایج تکان‌دهنده بود. Claude Opus 4.6 و Grok 4.20 نیز در همین شرایط «تنبل» به نظر می‌رسیدند. این ثابت کرد که مقصر، جریان کاری (Workflow) است، نه خانواده‌ی مدل. وقتی سه مدل قدرتمند همگی به یک شکل دچار افت کیفیت می‌شوند، معمولاً ارکستراسیون مقصر است. برای دستیابی به ثبات در چنین محیط‌های پیچیده‌ای، اجرای پایدار در برابر پرامپت‌های پیشرفته راهکاری کلیدی برای جلوگیری از این نوسانات است.

عیب‌یابی مسیر حرکت

برای رفع مشکل، تیم ارزیابی را از «پاسخ نهایی» به «دلایل توقف» (Stop Reasons) تغییر داد. آن‌ها به‌جای تکیه بر حس کلی (Vibes) یا طول متن، به سیگنال‌های واقعی نگاه کردند. برای عامل‌های آنتروپیک، مقادیری مثل end_turn ،max_tokens ،tool_use و pause_turn را ردیابی کردند.

در جریان‌های کاری سازگار با OpenAI، آن‌ها بررسی کردند که آیا فراخوانی‌های ابزار مورد انتظار واقعاً اجرا شده‌اند یا خیر و آیا اجرا به این دلیل پایان یافت که مدل کارش را تمام کرده یا لایه‌ی ارکستراسیون تصمیم گرفت که پاسخ کافی است. در نهایت چهار اصلاحیه اعمال شد:

۱. بودجه‌های طبقه‌بندی‌شده برای تلاش مجدد: سقف تلاش بر اساس نوع وظیفه تعیین شد. طبقه‌بندی روی ۲ ماند، اما پژوهش و عیب‌یابی به ۶ بازگشت. پیکربندی جدید به این شکل بود: agent_profiles: { classification: { max_retries: 2 }, research: { max_retries: 6 }, debugging: { max_retries: 6 } }.
۲. درگاه‌های سخت‌گیرانه برای بازیابی: برای وظایف پژوهشی، سیستم اکنون الزامی می‌کند که حداقل یک مرحله بازیابی (Retrieval) رخ دهد تا اجرای برنامه موفق تلقی شود. بررسی شبه‌کد تضمین می‌کند که اگر run.toolCalls.search < 1 باشد، خطای missing_required_retrieval صادر شود.
۳. امتیازدهی به مسیر (Trajectory Scoring): موفقیت دیگر بر اساس فرمت نیست، بلکه مسیر استدلال بررسی می‌شود تا مطمئن شوند عامل فقط برای راضی کردن تجزیه‌کننده متن نساخته است.
۴. مقایسه ردپاها (Trace Comparison): بررسی موازی ردپای مدل‌ها در پشته‌ی نظرسانی (Observability Stack) برای شناسایی دقیق نقطه‌ی تسلیم عامل در هر دو مسیر OpenAI و آنتروپیک.

الگوهای جریان کاری که تنبلی جعلی می‌سازند

چندین «بوی بد» (Code Smell) وجود دارد که تیم‌ها باید برای جلوگیری از تنبلی جعلی بازرسی کنند:

• طراحی تجزیه‌کننده-محور: اگر هدف اصلی فقط داشتن یک JSON معتبر است (مثلاً if (schema.safeParse(output).success) { return success; })، عامل‌ها ابتدا تجزیه‌کننده را راضی می‌کنند و سپس به وظیفه می‌پردازند. این یک مشکل پاداش-محور برای تجزیه‌کننده است.
• درهای خروجی مستقیم: اگر ابزارهایی مثل n8n یا LangGraph اجازه می‌دهند پاسخ نهایی قبل از بازیابی یا تایید ارسال شود، منتظر پاسخ‌های سطحی باشید. استفاده از ابزار برای وظایف کلاس پژوهشی نباید اختیاری باشد.
• بودجه‌های جهانی برای تلاش مجدد: استفاده از یک max_retries: 2 برای همه چیز، برای استخراج داده خوب است اما برای سنتز چندمنبعی یا عیب‌یابی کد فاجعه‌بار است. در موارد شدیدتر، نبودِ کنترل روی این حلقه‌ها می‌تواند منجر به بحران‌های مالی شود، مشابه آنچه در تحلیل پس‌مرگ یک حلقه بی‌نهایت که بودجه توکن‌ها را سوزاند، مشاهده شد.
• ارزیابی پیام نهایی: امتیاز دادن فقط به متن آخر، فراخوانی‌های حذف‌شده‌ی ابزار، جست‌وجوهای شکست‌خورده و خلاصه‌هایی را که به دلیل Timeout ایجاد شده و تظاهر به نتیجه‌گیری می‌کنند، می‌پوشاند.

هزینه عیب‌یابی بر اساس «حس»

این مطالعه موردی نشان می‌دهد بسیاری از تیم‌ها در حال مقایسه مدل‌ها هستند، در حالی که در واقع دارند اشتباهات ارکستراسیون را مقایسه می‌کنند. وقتی تیمی می‌پرسد «کدام مدل بهتر است؟»، اغلب این حقیقت را نادیده می‌گیرد که اتوماسیون آن‌ها در حال پاداش دادن به رفتار «تقریباً درست» است.

قبل از اصلاح، تیم مسیرهای اشتباهی را دنبال کرد؛ آن‌ها گمان کردند GPT-5.4 افت کرده، تنظیمات OpenAI Responses API تغییر کرده، تلاش برای استدلال (Reasoning Effort) خیلی پایین است یا محدودیت توکن‌های خروجی باعث بریدگی پاسخ شده است. اگرچه این‌ها حالت‌های شکست واقعی هستند، اما در اینجا علت نبودند. مشکل این بود که محیط Staging «تکمیل مستدل» را پاداش می‌داد، در حالی که محیط تولید «فرمت قابل‌قبول» را.

برای تیم‌هایی که اتوماسیون‌های ۲۴ ساعته دارند، این منجر به افت کیفیت پنهان و گران‌قیمت می‌شود. گزارش پیشنهاد می‌کند از زیرساخت‌های API سازگار با OpenAI مثل Standard Compute استفاده کنند تا بدون بازنویسی کل پشته یا درگیر شدن با صورت‌حساب‌های غیرقابل‌پیش‌بینی توکن‌ها در جلسات سنگین عیب‌یابی، مدل‌ها را جابجا کرده و ردپاها را مقایسه کنند. قیمت‌گذاری ماهانه ثابت به تیم‌ها اجازه می‌دهد سیستم‌ها را تهاجمی‌تر ارزیابی و اصلاح کنند.

این تغییر دیدگاه، تمرکز را از «هوش» مدل به «مشوق‌های» جریان کاری منتقل می‌کند. اگر شرط موفقیت شما یک شیء JSON معتبر را بر یک پاسخ مستدل ترجیح دهد، عامل شما برای JSON بهینه می‌شود، نه برای حقیقت.

چک‌لیست عملی برای عیب‌یابی عامل‌های تنبل

اگر مشکوک هستید که عامل‌های تولید شما عملکرد ضعیفی دارند، این ترتیب عملیات را دنبال کنید:

• مقایسه پیکربندی‌ها (Diff Configs): فایل‌های staging-agent.yaml و production-agent.yaml را با دقت مقایسه کنید. به دنبال تغییرات در سقف Retry، مهلت‌های زمانی (Timeout)، محدودیت‌های توکن/خروجی، در دسترس بودن ابزارها، منطق شاخه‌ها، رفتار Fallback و آستانه‌های ارزیاب بگردید.
• لاگ کردن دلایل توقف: مقدار stop_reason را به‌طور صریح لاگ کنید. یک ورودی لاگ مانند { "run_id": "abc123", "model": "gpt-5.4", "stop_reason": "end_turn", "tool_calls": 0, "task_type": "research" } یک مدرک قطعی است اگر وظایف پژوهشی با صفر فراخوانی ابزار پایان یابند اما همچنان پاس شوند.
• شمارش فراخوانی‌های ابزار: یک کوئری SQL اجرا کنید تا میانگین AVG(tool_call_count) را برای هر نوع وظیفه بررسی کنید. کوئری‌ای مانند SELECT task_type, AVG(tool_call_count) AS avg_tool_calls, AVG(retry_count) AS avg_retries, AVG(output_chars) AS avg_output_chars FROM agent_runs WHERE created_at >= NOW() - INTERVAL '7 days' GROUP BY task_type; می‌تواند فاش کند که آیا تعداد فراخوانی‌های ابزار بعد از یک استقرار (Deploy) سقوط کرده است یا خیر.
• تست متقاطع مدل‌ها: همین ساختار را روی GPT-5.4، Claude Opus 4.6 و Grok 4.20 اجرا کنید. اگر همه شکست بخورند، حلقه (Loop) خراب است.
• امتیازدهی به مسیر: ردیابی کنید که آیا بازیابی و تایید تلاش شده‌اند، آیا خطاهای ابزار رخ داده‌اند و آیا خروجی بر اساس منابع ذکر شده مستدل است یا خیر.

قبل از متهم کردن GPT-5.4 به تنبلی، مسیر حرکت را بازرسی کنید و تایید کنید که شرط موفقیت شما کیفیت را پاداش می‌دهد، نه فقط تکمیل شدن کار را. گاهی اوقات یک مدل واقعاً افت می‌کند، اما در بیشتر مواقع، محیط تولید به عامل شما یاد داده است که زود تسلیم شدن، حرکت برنده است.

اما داستان سخت‌افزاری این تحول حتی شگفت‌انگیزتر است — به تحلیل ما درباره‌ی تراشه‌های Blackwell مراجعه کنید.