اگر برای عیبیابی عاملهای هوش مصنوعی خود به یک مدل زبانی تکیه کردهاید، احتمالاً بیشتر خطاها را نادیده میگیرید. تصور کنید ابزاری دارید که قرار است اشتباهات یک کارمند را پیدا کند، اما خودش در تشخیص سادهترین تکرارها ناتوان است.
بر اساس نتایج بنچمارک TRAIL، شناسگرهای مبتنی بر قانون به دقت ۶۰.۱٪ رسیدند. در مقابل، قدرتمندترین مدل فعلی یعنی GPT-5.4 تنها ۱۱.۹٪ از این خطاها را درست تشخیص داد. این تفاوت فاحش نشان میدهد که برای نظارت بر سیستمها، پیچیدگی لزوماً به معنای دقت نیست. این نتایج با تحلیلهای پیشین ما دربارهی معیارهای سطح-مسیر برای جداسازی نقاط شکست در اجرای عاملها همسو است که نشان میداد شناسایی دقیق محل خطا، کلید بهینهسازی عملکرد است.
بسیاری از توسعهدهندگان اکنون از روش «مدل به عنوان داور» برای یافتن توهم (Hallucination) — وقتی مدل با اطمینان چیزی میگوید که اصلاً وجود ندارد، مثل دوستی که خاطرهای را اشتباه تعریف میکند — استفاده میکنند. همانطور که در تحلیل قبلی ما دربارهی چالشهای نظارت بر سیستمهای عاملمحور اشاره کردیم، این رویکرد هزینهبر و غیربهینه است. در واقع، عامل (Agent) — شبیه کارمندی است که نه تنها میداند چه بگوید، بلکه ابزاری برای انجام کارها دارد — ردپاهایی ساختاری از خطاهایش به جا میگذارد که نیازی به تفکر عمیق ندارند.
ابزار Pisama از ۲۰ شناسگر قاعدهمند برای یافتن این ردپاها استفاده میکند. به نقل از گزارش ۱۵ مه ۲۰۲۶ در dev.to، این قوانین در بنچمارک TRAIL به دقت ۱۰۰٪ در شناسایی موارد مثبت رسیدند و هیچ خطای کاذبی نداشتند. مکانیزمهای کلیدی این ابزار عبارتند از:
- شناسایی حلقه: استفاده از مقایسهی هش برای یافتن وضعیتهای تکراری (F1: ۱.۰۰۰)
- نادیده گرفتن متن: اندازهگیری همپوشانی بین نیازهای ورودی و خروجی (F1: ۰.۹۷۸)
- بررسی توهمات: تطبیق نرخ موفقیت فراخوانی ابزار با نتایج ادعاشده (F1: ۰.۸۸۴)
برای تحلیل دقیقتر، یک رویکرد ترکیبی با استفاده از Claude Sonnet 4 در مکانیابی گامهای خطا، با دقت ۲۴.۱٪ توانست GPT-5.4 Mini را شکست دهد. در این ساختار، ابتدا قوانین ساده برای سرعت اجرا میروند و تنها در موارد پیچیده، درخواست برای استنتاج (Inference) — لحظهای که مدل واقعاً جواب تولید میکند؛ مثل خودِ آشپزی، نه دورهی آموزش آشپز — به مدل زبانی بزرگ (LLM) ارسال میشود. در حالی که بهینهسازی سرعت در لایهی استنتاج حیاتی است، چارچوب نرمافزاری Agent-X نیز با تمرکز بر عاملهای محلی، گامهای مهمی در جهت افزایش سرعت پاسخدهی برداشته است. مدل زبانی بزرگ مثل کتابخانهداری است که میلیاردها صفحه را خوانده و حالا با همان لحن کتابها جواب میدهد، اما برای شمردن تکرارهای یک لیست، ابزارهای ساده بسیار کارآمدترند.
گام بعدی شما
- ابزار Pisama را با دستور
pip install pisamaنصب و روی جریانهای کاری خود تست کنید. - استراتژی نظارت خود را از «مدل-داور» به «قانون-اول، مدل-بعد» تغییر دهید تا هزینه استنتاج را کاهش دهید. این تغییر استراتژی در نهایت به کاهش زمان توقف سیستمها منجر میشود؛ مشابه آنچه در کاهش ۳۲ درصدی زمان رفع خرابی در امریکن اکسپرس با بهرهگیری از عاملهای هوش مصنوعی مشاهده شد.
- روی شناسایی الگوهای تکرار در لاگهای عاملهای خود تمرکز کنید.
اما شناسایی خطاهایی که در هیچکدام از این ۲۰ الگو نمیگنجند، چالش بعدی است؛ در گزارش بعدی به بررسی مدلهای شناسایی ناهنجاری خواهیم پرداخت.
گفتگو