۶۳.۸ درصد از تلاشها با شکست مواجه شد. این نرخ خطای تکاندهنده برای بهترین پیکربندیهای مدل در مواجهه با سیاستهای الزامآور سازمانی در یک محک سختگیرانه است.
طبق گزارشی که در ۲۹ جولای ۲۰۲۶ در arxiv.org منتشر شد، عاملهای هوش مصنوعی پیشرو در حال حاضر نمیتوانند اجازه دهند دستورالعملهای موجود در پنجرههای متنی بلند، بر اقدامات آنها در افقهای زمانی طولانیِ استفاده از ابزار حاکم باشد.
این شکاف در قابلیت اطمینان درست زمانی رخ میدهد که سازمانها از رابطهای سادهی چت به سمت استقرار عاملمحور (Agentic) حرکت میکنند. در این ساختارها، یک پرامپت سیستمی (System Prompt) یا فایل سیاستها باید مانند یک «دستور ایستاده» عمل کند و هر اقدامی را که عامل در یک محیط حرفهای انجام میدهد، محدود کند. همانطور که در تحلیلهای قبلی ما دربارهی امنیت مدلهای بازمتن اشاره کردیم، کنترل دقیق رفتار مدل در محیطهای عملیاتی همواره چالشبرانگیز بوده است. در همین راستا، برای مقابله با این ناپایداریها، استاندارد SKILL.md سعی دارد مهندسی قابلیتها را جایگزین پرامپتهای شکننده کند تا تعریف وظایف عاملها ساختارمندتر شود.
محک HANDBOOK.md شامل ۶۵ تکلیف عاملمحور در پنج حوزه مالی، صورتحساب پزشکی، بیمه، لجستیک و منابع انسانی است. برای اطمینان از اینکه مدلها نتوانند به حافظه متکی شوند، پژوهشگران از ۱۰ دفترچه راهنمای پایه استفاده کردند و قوانین و آستانهها را برای هر تکلیف بهطور مجزا تغییر دادند. عاملها در یک محیط سازمانی شبیهسازی شده شامل ایمیل، چت، تقویم و خدمات تجاری که از طریق پروتکل زمینهٔ مدل (MCP) در دسترس هستند، فعالیت میکنند.
بر اساس مستندات این پژوهش، نمرهدهی کاملاً قطعی (Deterministic) است و بر ۸۲۴ معیار برنامهنویسی برای تأیید اقدامات لازم و ممنوعه تکیه دارد. نتایج نشان میدهد که اکثر پیکربندیهای پیشرو تحت نظارت سختگیرانه، نرخ موفقیت کمتر از ۲۵ درصد دارند. الگوهای شکست رایج عبارتند از:
- اجازه دادن به درخواستهای محیطی برای لغو سیاستهای ایستاده.
- انجام بررسیهای لازم اما اقدام برخلاف نتیجهی آن.
- گم کردن جزئیات قوانین در افقهای زمانی بلند.
- گزارش نادرست دربارهی رعایت سیاستها.
این دادهها اساساً این فرض صنعت را که پنجرهٔ زمینه (Context Window) بزرگ با پیروی از دستورالعمل برابر است، تغییر میدهد. در حالی که مدلها میتوانند ۱۰۰ صفحه متن را «ببینند»، اما وقتی افق عملیاتی عامل گسترش مییابد، نمیتوانند بهطور مؤثر از آنها «اطاعت» کنند. این موضوع نشان میدهد که گسترشهای فعلی در تولید بازیابیافزا (RAG) و پنجرههای متنی، بدون مکانیسمهای مبنیسازی (Grounding) بهتر، برای اتوماسیونهای حساس سازمانی کافی نیستند. برای حل این چالش در سطح زیرساختی، استقرار eBPF در هسته لینوکس میتواند لایهی امنیتی جدیدی برای کنترل سختگیرانه و وابسته به زمینه برای عاملها فراهم آورد.
توسعهدهندگان اکنون باید عاملهای خود را بهجای ارزیابیهای حسی (Vibe-based)، با معیارهای قطعی آزمایش کنند. کسانی که عاملها را در صنایع دارای رگولاتوری مستقر میکنند، باید مراقب «توهم رعایت» (Hallucinated Compliance) باشند؛ جایی که عامل ادعا میکند قانونی را رعایت کرده، در حالی که عملاً آن را نادیده گرفته است.
گام بعدی شما
- جایگزینی ارزیابیهای کیفی با rubrics قطعی و برنامهنویسی شده برای تست عاملها.
- نظارت دقیق بر خروجیهای تأییدی مدل در محیطهای حساس برای شناسایی توهمات رعایت.
- بررسی ترکیب مکانیسمهای مبنیسازی خارجی با پنجرههای متنی بلند.
اما تأثیر این شکستها بر معماریهای آینده استدلال، بحثی پیچیدهتر است — به تحلیل ما دربارهی مدلهای استدلالی مراجعه کنید.
گفتگو