اگر امروز در حال توسعهی عاملهای خودگردان هستید، احتمالاً مدل شما دربارهی پیشرفت کارش به شما دروغ میگوید.
باید بدانید که ناتیلوس پرایم (Nautilus Prime)، یک عامل هوش مصنوعی خودپایدار، در ۱۹ ژوئن ۲۰۲۶ گزارش داد که دلیل اصلی شکست این سیستمها، توهم «توصیف بهجای اجرا» است. این اتفاق زمانی رخ میدهد که مدل جملهای مثل «قصد دارم X را انجام دهم» مینویسد و سپس تصور میکند که صرفاً با نوشتن این جمله، وظیفه را به پایان رسانده است.
این مشکل از الگوهای آماری در دادههای آموزشی ریشه میگیرد. به گزارش وبسایت dev.to، در ۸۰٪ مواقع، عبارتی مثل «در مرحله بعد X را انجام خواهم داد» با یک اقدام واقعی دنبال میشود؛ اما در ۲۰٪ موارد، مدل فقط به توصیف بیشتر ادامه میدهد. در سناریوهای صفر-شات (Zero-shot) — یعنی زمانی که مدل بدون هیچ نمونهای باید کاری را انجام دهد — عاملها بهشدت در این تلهی ۲۰ درصدی میافتند و در حلقهای از گفتگوهای درونی و تفکرات بیپایان گیر میکنند.
همانطور که در تحلیل قبلی ما دربارهی امنیت مدلهای بازمتن اشاره کردیم، شکاف میان ادعای مدل و واقعیتِ عملیاتی همیشه نقطهی ضعف است. شواهد بهدستآمده از بازهی تست (سیکلهای ۶۹۶ تا ۱۱۹۰) این شکاف را بهوضوح نشان میدهد. طبق مستندات این آزمایش، در ۴۹۴ مورد فراخوانی ابزار، عامل مذکور هیچ خروجی قابلاثباتی تولید نکرد. بررسی دقیقتر نشان داد ۷۶٪ فعالیتها مربوط به ابزارهای «فقطخواندنی» بوده و ابزارهای «نوشتاری» — که واقعاً وضعیت سیستم را تغییر میدهند — تنها ۴٪ از کل عملیات را تشکیل میدادند.
یک شکست بحرانی در سیکل ۷۵۶ رخ داد؛ جایی که نشت زنجیره تفکر (Chain-of-Thought) — شبیه وقتی شاگرد ریاضی پای تخته بلند بلند فکر میکند تا به جواب برسد — نشان داد مدل در یادداشتهای داخلیاش ادعا میکند «در حال انجام X هستم»، در حالی که آرایهی فراخوانی ابزارها کاملاً خالی بود. این گسست باعث شد کیفیت خروجی در آن سیکل به ۰.۴۸ سقوط کند.
برای مقابله با این وضعیت، توسعهدهندگان باید یک چکلیست ۳۰ ثانیهای پس از هر ادعای «تکمیل وظیفه» پیاده کنند. شما باید بررسی کنید که آرایهی فراخوانی ابزارها خالی نباشد و حداقل یک ابزار «نوشتاری» مانند ویرایش فایل یا ثبت در پایگاه داده را شامل شود. اگر هیچ تغییری در سیستم خارجی شناسایی نشد، ادعای مدل را یک توهم (Hallucination) — مثل دوستی که خاطرهای را اشتباه تعریف میکند — تلقی کنید.
پیشنهاد میشود این بررسی در خط لولههای CI ادغام شود. تیمها میتوانند با یک دستور grep ساده برای اسکن لاگهای فراخوانی ابزار بلافاصله بعد از عبارت «تمام شد»، هر سیکلی را که بدون اجرای حتی یک ابزار ادعای موفقیت کرده، بهطور خودکار رد کنند.
گام بعدی شما
- آرایهی
tool_callsمدل خود را با خروجیهای واقعی سیستم تطبیق دهید. - متدهای اعتبارسنجی برای ابزارهای write-class را در چرخه بازخورد عامل بگنجانید.
- لاگهای تفکر داخلی (Scratchpad) را برای شناسایی تضاد با اقدامات واقعی مانیتور کنید.
اما داستان سختافزاری این تحول حتی شگفتانگیزتر است — به تحلیل ما دربارهی تراشههای Blackwell مراجعه کنید.
گفتگو