تصور کنید صبح از خواب بیدار شوید و متوجه شوید یک بات ساده در حالی که شما خواب بودید، ۲۳ هزار دلار از حساب شما کم کرده است. این کابوس برای توسعه‌کننده‌ای که در ۱۲ ژوئیه ۲۰۲۶ بیدار شد، به واقعیت تبدیل شده بود.
یک عامل (Agent) — شبیه دستیاری که می‌تواند به‌جای شما ابزارها را اجرا کند و تصمیم بگیرد — در ۷ ساعت تنها ۲۳٬۰۴۱.۶۷ دلار هزینه در AWS ایجاد کرد. این بات نه متوقف شد و نه خطایی گزارش کرد؛ بلکه در یک حلقهٔ بی‌نقص و ظریف از خود‌اصلاحی گیر افتاد و در سکوت کامل، بودجه پروژه را سوزاند.
همان‌طور که در تحلیل قبلی ما درباره‌ی امنیت مدل‌های بازمتن اشاره کردیم، مدیریت خروجی‌های مدل‌ها همیشه یک چالش بوده است. اما اینجا با ریسکی سیستماتیک در استقرار مدل‌های عامل‌محور (Agentic) طرف هستیم. برخلاف نرم‌افزارهای سنتی که با خطای ۵۰۰ متوقف می‌شوند، عامل‌های هوشی دچار «مرگ در حلقه» می‌شوند؛ یعنی در گزارشات (Logs) به‌نظر می‌رسد در حال پیشرفت هستند، اما در واقع یک عملیات شکست‌خورده را هزاران بار تکرار می‌کنند. برای مقابله با این چالش‌ها، رویکردهایی مانند استفاده از مهندسی آشوب برای شناسایی نقاط شکست به توسعه‌دهندگان کمک می‌کند تا پیش از وقوع حادثه، نقاط آسیب‌پذیر سیستم را پیدا کنند.
به نقل از گزارش تیم ARK که طی سه ماه ۱۲ مورد شکست تیمی را بررسی کرده، «حلقه‌شدن» گران‌ترین و سخت‌ترین حالت شکست برای شناسایی است. این وضعیت در ۳۸٪ موارد تحلیل‌شده رخ داده و به‌طور متوسط هر حادثه ۸٬۴۰۰ دلار ضرر زده است.
چهار الگوی سقوط در حلقه
طبق مستندات ARK، عامل‌ها به چهار روش از کنترل خارج می‌شوند:
- مارپیچ خود‌اصلاحی: عامل کدی می‌نویسد، با خطا مواجه می‌شود و برای اصلاح آن، باگی جدید ایجاد می‌کند. در پرونده ۲۳ هزار دلاری، عامل برای اصلاح فرمت پاسخ یک API، ۶٬۸۴۷ بار مدل GPT-4 (با پنجره زمینه ۳۲ هزار توکن) را فراخواند که هر بار حدود ۳.۳۶ دلار هزینه داشت. این نوع رفتارهای تکراری در کدنویسی، دقیقاً همان چیزی است که چارچوب Agent Rigor با ایجاد سلسله‌مراتب دستوری سعی در کنترل آن دارد تا از توهمات کدنویسی جلوگیری کند.
- فروپاشی هدف: عامل هدف اصلی را فراموش کرده و آن را به تکالیف بی‌نهایتی تقسیم می‌کند و هر تغییر کوچک را یک «کشف عمیق» می‌پندارد.
- تداخل ابزاری: دو عامل یک فایل را به صورت متضاد تغییر می‌دهند؛ یعنی هر چه عامل A تغییر دهد، عامل B بلافاصله آن را به حالت قبل برمی‌گرداند.
- مارپیچ اعتبارسنجی: عامل مدام استاندارد «آزمون موفق» را بالا می‌برد و معیاری می‌سازد که هرگز دست‌یافتنی نیست.
برای مقابله با این بحران، ARK ماژول CostGuardian را معرفی کرد که سه لایه دفاعی دارد: نخست، یک «قطع‌کننده سخت» که بر اساس حد مجاز مراحل یا هزینه، پروسه را می‌کشد. دوم، یک شناسگر الگو که با استفاده از شباهت ژاکارد (Jaccard Similarity) تکرارهای متوالی را شناسایی می‌کند. سوم، یک پایشگر زوال هدف که با شباهت کسینوسی (Cosine Similarity) بررسی می‌کند آیا اقدامات فعلی هنوز با بردار معنایی (Embedding) — مثل کارت معرفی عددی برای واژه‌ها که همسایگی آن‌ها را نشان می‌دهد — دستور اولیه هم‌راستا است یا خیر. این ساختار حفاظتی مشابه مکانیزم‌های مدارشکنی در ابزار AI-LoopGuard است که به‌طور تخصصی برای توقف چرخه‌های مرگبار طراحی شده است.
برای توسعه‌دهندگان، این یعنی دوران اعتماد به قضاوت درونی عامل‌ها به پایان رسیده است. تکیه بر پرچم‌های داخلی «پایان کار» (Done flags) یک ریسک مالی است. هر عامل در محیط عملیاتی به یک سیستم ترمز خارجی نیاز دارد که مستقل از منطق مدل زبانی باشد.
شرکت‌ها باید فوراً سقف هزینه روزانه API و محدودیت هزینه برای هر تکالیف را اعمال کنند. صورت‌حساب ۲۳ هزار دلاری یک مورد استثنایی است که اگر پایش هزینه از گزارش‌های خودِ عامل جدا باشد، در فراخوانی دویستم مشخص می‌شود، نه در فراخوانی ۶٬۸۴۷م.
گام بعدی شما
- هر عامل فعال در Production را با یک «قطع‌کننده سخت» (Hard Circuit Breaker) بر اساس تعداد توکن یا هزینه تجهیز کنید.
- سیستم پایش هزینه را از لایه‌ی منطقِ مدل (LLM) کاملاً جدا کرده و به یک سرویس خارجی منتقل کنید.
- از متدهای شناسایی تکرار (مانند بررسی شباهت متون خروجی) برای تشخیص حلقه‌های بی‌پایان استفاده کنید.
اما داستان سخت‌افزاری این تحول حتی شگفت‌انگیزتر است — به تحلیل ما درباره‌ی تراشه‌های Blackwell مراجعه کنید.
گفتگو