تصور کنید عامل هوش مصنوعی شما ۵۰ دلار از بودجهٔ توکن‌هایتان را فقط برای رد کردن یک کپچا یا صفحهٔ تایید دو‌مرحله‌ای هزینه کند. اگر همین حالا از عامل‌ها در محیط عملیاتی استفاده می‌کنید، احتمالاً با این چرخه‌های تکرار بی‌پایان و شکست‌خورده روبه‌رو شده‌اید.
این وضعیت «انحراف اجرا» (Executor Drift) نام دارد؛ زمانی که مدل متقاعد می‌شود می‌تواند کاری را انجام دهد که در واقعیت محدود است، مثل ویرایش فایل‌های حساس سرور. عامل (Agent) — شبیه کارمندی مجازی است که لپ‌تاپ دارد اما کلید ورود به دفتر را ندارد — در این لحظه به‌جای توقف، دچار توهم (Hallucination) می‌شود و سعی می‌کند با روش‌های غلط، مشکل را حل کند.
همان‌طور که در تحلیل قبلی ما درباره‌ی امنیت مدل‌های عامل‌محور اشاره کردیم، مرز بین تصمیم مدل و دخالت انسان، حساس‌ترین نقطهٔ سیستم است. بر اساس گزارش dev.to در ۹ ژوئن ۲۰۲۶، پل (Paul)، بنیان‌گذار Whoff Agents، برای حل این مشکل در عامل خود به نام Atlas، از یک فایل به نام STATE.md استفاده کرد.
او سیستمی به نام «صف اقدامات» (Will-actions queue) طراحی کرد که در قالب یک جدول ساده در فایل متنی قرار دارد. این جدول چهار ستون اصلی دارد:
- سطح اثرگذاری: برچسب‌هایی مثل «حیاتی» برای اولویت‌بندی کارهای انسانی.
- تاریخ ثبت: اگر یک مورد حیاتی بیش از ۳ روز باقی بماند، منطق تصمیم‌گیری مدل تغییر می‌کند.
- قانون دو تلاش: مدل باید دو بار برای حل مشکل تلاش کند و اگر شکست خورد، درخواست را برای انسان ثبت کند.
- یکپارچگی با وضعیت: مدل در هر چرخهٔ پردازش، ابتدا این جدول را می‌خواند تا بداند چه چیزهایی متوقف شده است.
این طراحی باعث می‌شود مدل به‌جای تخیلِ راهکارهای غیرممکن، از یک «درگاه خروج» تمیز استفاده کند. در واقع، هزینهٔ استنتاج (Inference) — که مثل کرایهٔ آشپزخانهٔ صنعتی است و هرچه دستور پخت سنگین‌تر باشد گران‌تر می‌شود — با این روش به‌شدت کاهش می‌یابد.
گام بعدی شما
- یک بخش «اقدامات انسانی معلق» به فایل وضعیت (State file) عامل خود اضافه کنید.
- قانون «دو تلاش» را برای توقف چرخه‌های تکرار بی‌پایان پیاده‌سازی کنید.
- موارد حساس مثل دسترسی به فایل‌های
.envرا از دایرهٔ دسترسی مدل خارج کرده و به صف انسانی منتقل کنید.
اما داستان سخت‌افزاری این تحول حتی شگفت‌انگیزتر است؛ برای درک تأثیر تراشه‌های جدید بر سرعت استنتاج، به تحلیل ما درباره‌ی تراشه‌های Blackwell مراجعه کنید.
گفتگو