اگر امروز در حال توسعه‌ی عامل‌های هوش مصنوعی هستید، احتمالاً می‌دانید که آن‌ها «گاهی توهم می‌زنند»، اما نمی‌توانید به مدیرتان بگویید دقیقاً چند درصد از دفعات. این شکاف به این دلیل است که اکثر تیم‌ها با توهم به عنوان یک نقص در کیفیت مدل برخورد می‌کنند، در حالی که مشکل اصلی، نبود ابزارهای اندازه‌گیری دقیق است. این چالش با یافته‌های اخیر همسو است؛ برای instance، در پروژه PhantomBench مشخص شد که مدل‌های زبانی در مواجهه با مفاهیم ناموجود، نرخ توهمی تا ۸۶.۷ درصد دارند.
به نقل از راهنمای فنی منتشر شده در ۱۹ ژوئن ۲۰۲۶ در وب‌سایت dev.to، شواهد لازم برای اثبات یک توهم، دقیقاً در لحظه پایان اجرای عامل از بین می‌روند. در محیط‌های عملیاتی، آنچه ما «توهم» می‌نامیم در واقع سه باگ متمایز است. نخست، نشت پارامتریک است؛ جایی که عامل به جای استفاده از نتیجه ابزار، به حافظه آموزش‌دیده‌اش تکیه می‌کند. دوم، مبنی‌سازی ساختگی است؛ مثل اختراع یک کد مشتری (مثلاً CUST-12345) که اصلاً در منبع وجود ندارد. سوم، سنتز غیرپشتیبانی‌شده است؛ یعنی تمام واقعیات تکه‌تکه درست هستند، اما نتیجه‌گیری نهایی از نظر منطقی در متن موجود نیست.
همان‌طور که در تحلیل‌های قبلی ما درباره‌ی امنیت مدل‌های بازمتن اشاره کردیم، شفافیت در لایه‌های میانی استنتاج کلید حل این بحران است. برای حل این مسئله، نویسنده سیستمی لایه‌بندی شده با استفاده از AgentLens برای ثبت ردپای اجرا و agent-eval برای امتیازدهی پیشنهاد می‌دهد. این رویکرد مکمل استراتژی‌های پیشرفته‌تری است که در آن طراحی اطلاعات جایگزین وزن‌های مدل برای کاهش توهمات در محیط عملیاتی می‌شود.
طبق این متدولوژی، گردش‌کار به این صورت است:
- استخراج ادعاهای قابل‌راستی‌آزمایی از خروجی.
- تطبیق این ادعاها با متن واقعی که عامل بازیابی کرده است.
- استفاده از تطبیق رشته‌ای قطعی (Deterministic String Match) به جای استفاده از یک مدل زبانی به‌مثابه داور برای شناسایی ارجاعات ساختگی.
این رویکرد به تیم‌ها اجازه می‌دهد از «حدس و گمان» به سمت متغیرهای سخت حرکت کنند؛ مثلاً متوجه شوند که ۳.۱٪ از اجراهای هفته گذشته، ادعاهایی بدون پشتوانه داشته‌اند. با این تغییر، مبنی‌سازی (Grounding) — که شبیه به چک کردن جواب‌های امتحان با کتاب درسی است — به جای یک دعای خیر بعد از استقرار، به یک گیت سخت در خط لوله CI/CD تبدیل می‌شود.
گام بعدی شما
- تمام فراخوانی‌های ابزار و مراحل بازیابی را در یک ردپای (Trace) دائمی ثبت کنید.
- بررسی‌های تطبیق مجموعه (Set-membership checks) را روی ترافیک واقعی تولیدات قدیمی اجرا کنید تا نرخ خطای پایه خود را بیابید.
- مدل‌های زبانی به‌مثابه داور را برای تشخیص توهمات فکت-محور کنار بگذارید و از تطبیق متنی استفاده کنید.
اما داستان سخت‌افزاری این تحول حتی شگفت‌انگیزتر است — به تحلیل ما درباره‌ی تراشه‌های Blackwell مراجعه کنید.
گفتگو