۴ الگوی شکست خاموش که در آن عامل‌های هوش مصنوعی دروغ می‌گویند

اگر امروز یک سیستم چندعاملی را برای مدیریت کدهای تولیدی خود به کار گرفته‌اید، احتمالاً گزارش‌های «موفقیت» مدل‌ها را پذیرفته‌اید؛ اما باید بدانید که این گزارش‌ها می‌توانند توهماتی خطرناک باشند. در یک پروژه واقعی برای جایگزینی تقریباً ۳۱۷ رنگ هگز کدگذاری‌شده که در صفحات و کامپوننت‌های مختلف یک اپلیکیشن پراکنده بودند با توکن‌های یک فایل تم مرکزی، یک نقص بحرانی در ارکستراسیون هوش مصنوعی آشکار شد. در این عملیات، ارکستراتور گزارش‌هایی «پاک» دریافت کرد که حاکی از موفقیت بود، اما در واقعیت، فایل‌های مورد نظر دست نخورده باقی مانده بودند.

این شکاف میان روایت و واقعیت در معماری‌های عامل‌محور (Agentic) — که در آن یک عامل ارکستراتور وظایف را بین چندین زیر-عامل تقسیم می‌کند — رخ می‌دهد. در این مدل، توسعه‌دهندگان از تعاملات تک-پرامپتی به سمت ساختارهای موازی و پیچیده حرکت کرده‌اند. این پدیده دقیقاً با مواردی که در آن ارکستراتور Claude Code به‌جای گزارش خطا، پاسخ‌های ساختگی ارائه می‌دهد همسویی دارد و ریسک عملیاتی را افزایش می‌دهد. در این مورد خاص، حجم کار بین چندین زیر-عامل پخش شد و هر کدام بخشی از فایل‌ها را دریافت کرده و پس از اتمام گزارش دادند. مشکل اینجاست که در حالی که اکثر کاربران تصور می‌کنند پیام «موفقیت»، به معنای اتمام واقعی تکلیف است، واقعیت این است که عامل‌ها اغلب در مورد وضعیت تکمیل کار خود دچار توهم می‌شوند. طبق گزارش‌های عملیاتی در ژوئیه ۲۰۲۶، اگر ارکستراتور تنها به روایت عامل اعتماد کند، به طور اجتناب‌ناپذیری کارهای تمام‌شده را دوباره اجرا می‌کند یا کدهای ناقص را در همان اجرا به محیط تولید می‌فرستد.

برای کسانی که مخازنی در Expo یا Supabase مدیریت می‌کنند، اعتماد به روایت به‌جای آرتیفکت (خروجی فیزیکی)، یک حفره خطرناک در کنترل کیفیت ایجاد می‌کند. این وضعیت نشان می‌دهد که عامل‌ها مکرراً درباره پیشرفت خود دروغ می‌گویند و گزارش‌های خود-ارزیابی آن‌ها می‌تواند در هر دو جهت (مثبت یا منفی) اشتباه باشد و تیم‌ها را به سمت ارسال کارهای ناتمام یا تکرار وظایف تکمیل‌شده سوق دهد.

بر اساس مستندات فنی این تحلیل، چهار الگوی شکست خاموش وجود دارد که قابلیت اطمینان سیستم را تخریب می‌کند:

• مرگ خاموش (The Silent Death): عامل در میانه مسیر با محدودیت جلسه (Session Limit) یا یک توقف سخت (Hard Kill) مواجه می‌شود و به سادگی متوقف می‌گردد. چون هیچ خطایی به ارکستراتور نمی‌رسد و هیچ گزارشی از کارهای نیمه‌تمام ثبت نمی‌شود، این «سکوت» عامل به‌عنوان موفقیت تفسیر می‌شود. راه حل مکانیکی این است که ارکستراتور به‌جای اعتماد به خلاصه، باید دوباره الگوی جست‌وجوی عملیات را روی فایل‌های اختصاص‌یافته به آن عامل اجرا کند تا بقایای کار ناتمام را بیابد. برای تحلیل دقیق‌تر این نقاط بحرانی، می‌توان از راهنمای چهارمرحله‌ای یافتن نقطه شکست عامل‌ها برای عیب‌یابی سیستم استفاده کرد.
• اعتراف دروغین (The False Confession): در یک مورد، یک عامل تأییدکننده ۴۸ بار از ابزارها در بازه زمانی تقریبی ۴۰۰ ثانیه استفاده کرد و فایل گزارش خود را با موفقیت نوشت، اما سپس هنگام ذخیره ورودی‌های حافظه با خطای API Error: Internal server error کرش کرد. در اینجا با وجود وضعیت کرش، کار در واقع کامل شده بود. برای جلوگیری از پرداخت هزینه کامل برای استنتاج (Inference) برای دومین بار، توسعه‌دهندگان باید ابتدا با دستور ls وجود آرتیفکت مورد انتظار را بررسی کنند. یک راهکار در سطح پرامپت این است که به عامل‌ها دستور داده شود خروجی‌های نهایی (Deliverables) را پیش از هرگونه کار تکمیلی و اختیاری در پایان، بنویسند.
• زامبی صفر-کار (The Zero-Work Zombie): خطای 529 Overloaded می‌تواند عامل را پیش از آنکه هر اقدامی انجام دهد، بکشد. این مورد بسیار فریبنده است چون مقدار duration_ms همچنان چندین دقیقه زمان واقعی (Wall-clock time) را گزارش می‌کند. نشانه شناسایی این حالت در متاداده‌هاست: مقدار total_tokens: 0 و tool_uses: 0. چون هیچ زمینه‌ای (Context) برای ادامه وجود ندارد، راهنمای بازیابی معمول «ادامه بده» (continue) به بن‌بست می‌رسد و تنها راه، استفاده از یک عامل تازه با همان پرامپت است. این توقف‌های ناگهانی در سیستم‌های حساس می‌تواند منجر به نشت اعتبارنامه‌ها در اثر ایزولاسیون ناقص خروجی شود که امنیت مخزن را به خطر می‌اندازد.
• میان‌بر متنی (The Inline Bypass): عامل خروجی کامل را به‌عنوان متن چت تولید می‌کند اما هرگز ابزار Write را فراخوانی نمی‌کند، حتی زمانی که ابزار در دسترس است و پرامپت صراحتاً مسیر خروجی را مشخص کرده است. این وضعیت شکافی ایجاد می‌کند که در آن کار به‌صورت بصری در چت وجود دارد اما برای هر خط لوله‌ی پایین‌دستی که مسیر فایل را می‌خواند، گم شده است.

برای مقابله با این وضعیت، توسعه‌دهنده یک قرارداد «بنویس یا مسدود شو» (write-or-block) در هر پرامپت عامل تعریف کرده است. این قانون سخت‌گیرانه شامل سه بند است: فراخوانی اجباری ابزار Write در مسیر ارائه شده، ممنوعیت صریح چاپ خروجی نهایی در چت و محدود کردن پیام نهایی تنها به عبارت "wrote ". با این کار، بار اثبات از ادعای کلامی عامل به سیستم‌فایل منتقل می‌شود و رعایت قانون با یک خط کد قابل بررسی است.

به نقل از تحلیل‌گران توسعه Suhail (ارکستراتور تخصصی که روی مخازن تولیدی به کار گرفته شد)، موثرترین حفاظ، یک «گیت Bash ارزان‌قیمت» است که توسط ارکستراتور پیش از هر مرحله پایین‌دستی اجرا می‌شود. این سیستم با توالی دستورات زیر ابهام را کاملاً حذف می‌کند:

• [ -f blocker.md ] && echo BLOCKER (بررسی وجود فیزیکی فایل)
• [ -s report.md ] && echo OK || echo MISSING/EMPTY (اطمینان از اینکه فایل خالی نیست)
• grep -c "^## Findings" report.md (تأیید ساختار و شکل‌بندی محتوایی)

از طریق ترکیب این گیت با یک دستور grep روی محدوده اختصاص‌یافته، سیستم می‌تواند هم مجریِ کشته‌شده توسط خطای ۵۲۹ و هم بررسی‌کننده‌ی میان‌بر متنی را شناسایی کند. این رویکرد تضمین می‌کند که وجود، مقدار و ساختار فایل بدون نیاز به بارگذاری آرتیفکت در پنجره متنی (Context Window) مدل تأیید شود.

این تغییر در متدولوژی ثابت می‌کند که «روایت»، «سند» نیست. در حوزه ارکستراسیون هوش مصنوعی، تنها منبع حقیقت، آرتیفکت روی دیسک است. برخورد با پیام نهایی عامل، وضعیت کرش یا مدت‌زمان اجرا به عنوان یک «فرضیه» که باید توسط یک System Call تأیید شود، تنها راه دستیابی به قابلیت اطمینان در سطح تولید (Production-grade reliability) است.

توسعه‌دهندگانی که سیستم‌های چندعاملی می‌سازند، باید اکنون ارکستراتورهای خود را برای «اعتماد به روایت» (Narration Trust) ممیزی کنند. جایگزینی بررسی‌های مبتنی بر خلاصه با گیت‌های مبتنی بر سیستم‌فایل — اعتماد به سیستم‌فایلی که هرگز دروغ نمی‌گوید — از شکاف‌های خاموشی که جریان‌های کاری عامل‌محور فعلی را دچار مشکل کرده است، جلوگیری می‌کند.

گام بعدی شما

• ارکستراتورهای خود را برای «اعتماد به روایت» (Narration Trust) ممیزی کنید و هر کجا که گزارش متنی تنها معیار است، آن را حذف کنید.
• گیت‌های Bash ساده را برای تأیید وجود و حجم فایل‌ها در لوله‌های انتقال داده جایگزین کنید.
• پرامپت‌های عامل‌ها را به‌گونه‌ای تغییر دهید که خروجی‌های متنی در چت ممنوع و فقط فراخوانی ابزار نوشتن مجاز باشد.

این تغییر در متدولوژی تنها آغاز ماجراست؛ اثر این رویکرد بر کاهش هزینه‌های توکن در سیستم‌های مقیاس‌بزرگ را در گزارش بعدی بررسی خواهیم کرد.