اگر تصور میکنید افزودن عاملهای بیشتر به یک گردش کار لزوماً دقت سیستم را بالا میبرد، باید با یک نقطهی کور بحرانی آشنا شوید. واقعیت این است که عاملی که وظیفهی یافتن خطاها را دارد، اغلب کمترین توانایی را در تشخیص اشتباهات خودش دارد.
این چالش تشخیصی، در ادامهی یافتههای ماست؛ همانطور که در تحلیل قبلی ما دربارهی CIAware-Bench اشاره کردیم، مدلهای پیشرو توانایی شناسایی مداخلات در خروجی را دارند، اما کیفیت استدلال در لایههای میانی بحثها همچنان مبهم است و اغلب منجر به «دروغهای مطمئن» میشود.
طبق گزارشی که در ۱۰ ژوئن ۲۰۲۶ منتشر شد، علی کراماتی (Ali Keramati) یک معماری دو-عاملی متشکل از یک سازنده (Constructor) و یک ناظر (Auditor) را تحلیل کرد. این تیم بر اساس مستندات منتشر شده در arxiv.org، توزیع احتمالات لگاریتمی (Log-probabilities) — که نشاندهندهی اعتماد داخلی مدل است — را با امتیازات داوری در حوزههای استدلال ریاضی و پرسشوپاسخهای واقعگرایانه مقایسه کرد. نتایج، یک عدم تقارن شدید در نقشها را آشکار کرد:
- دقت تشخیص شکستهای بحرانی در عامل سازنده (AUROC): ۰.۸۰۴
- دقت تشخیص شکستهای بحرانی در عامل ناظر (AUROC): ۰.۶۳۴
به نقل از این گزارش، همسوییِ سیگنال اعتماد با کیفیت واقعی استدلال، در عامل سازنده تقریباً دو برابر قدرتمندتر از عامل ناظر بود.
از منظر فنی، این یافته نشان میدهد پدیدهی «دروغ مطمئن» یک نقص کلی در مدل نیست، بلکه به نقش عملیاتی هر عامل (Agent) گره خورده است. ناتوانی ناظر در سیگنالدهی دقیق دربارهی شکستهایش، یک نقطهی کور خطرناک ایجاد میکند؛ یعنی دقیقاً عاملی که باید خطاها را شکار کند، کمترین احتمال را برای شناسایی ناکارآمدی خود دارد. این موضوع پیشفرض قدیمی مبنی بر اینکه «افزودن عاملهای بیشتر به دلیل افزونگی، لزوماً قابلیت اطمینان را بالا میبرد» را به چالش میکشد.
گام بعدی شما
- بررسی اینکه آیا این عدم تقارن در مقیاسهای مختلف مدلها تکرار میشود یا خیر.
- تحقیق روی روشهای تنظیم دقیق (Fine-tuning) اختصاصی برای نقشهای ناظر جهت کاهش شکاف ۰.۱۷ واحدی در AUROC.
- بازنگری در طراحی گردشهای کاری عاملمحور (Agentic) برای کاهش اتکای مطلق به تاییدیه عاملهای بازبین.
اما آیا این شکاف در مدلهای کوچکتر نیز وجود دارد؟ پاسخ این پرسش در تحلیل ما دربارهی قوانین مقیاسپذیری (Scaling Laws) نهفته است.
گفتگو