یک عامل (Agent) با دسترسی به شل، یا تبدیل به کارآمدترین کارمند سازمان شما میشود یا به یک حادثه فاجعهبار در زیرساخت تبدیل میگردد. این واقعیت تلخ، محوریت گزارش عملیاتی دقیقی است که در ۱۹ سپتامبر ۲۰۲۶ در dev.to منتشر شد و چهار حفاظ (Guardrails) لازم برای انتقال عاملها از حالت «پرواز خودکار به سمت دیوار» به ابزارهای پایدار تولید را تشریح میکند.
بسیاری از توسعهدهندگان در حال حاضر مدلهای زبانی بزرگ (LLM) — مثل کتابخانهداری که میلیاردها صفحه را خوانده و حالا با همان لحن کتابها جواب میدهد — را بدون هیچ چارچوب ایمنی به پشتههای نرمافزاری خود متصل میکنند. این کار منجر به تغییرات پیشبینیناپذیر در وضعیت سیستم میشود. برای یک اپراتور، این وضعیت شبیه دادن کلید اتاق سرور به یک کارمند تازهوارد بدون داشتن دفترچه راهنما است. هدف این است که اعتماد کورکورانه با یک زنجیره شواهد قابل تأیید جایگزین شود. این رویکرد در واقع پاسخی به ریسکهای ساختاری ناشی از اتکای صرف به مدلهای زبانی برای امنیت است که میتواند پایداری خط تولید نرمافزار را به خطر اندازد.
همانطور که در تحلیلهای قبلی ما دربارهی امنیت مدلهای بازمتن اشاره کردیم، حذف نقاط تکنقطه در مدیریت دسترسیها، اولین قدم برای کاهش ریسک است.
طبق اعلام این گزارش، خودگردانی امن بر چهار مکانیسم خاص استوار است:
- شعاع تخریب لایهبندیشده: مجوزها از طریق یک «دفتر کل اعتماد» به دست میآیند. لایه ۰ با مشاهده صرف (Read-only) شروع میشود؛ لایه ۱ اجازه میدهد عامل پس از یک هفته عملکرد بدون خطا، سرویسهای خود را ریاستارت کند؛ لایه ۲ اجازه ویرایش فایلها خارج از محیط ایزوله (Sandbox) را میدهد. اقدامات بازگشتناپذیر مثل جابهجایی پول یا تغییر هویت، برای همیشه در اختیار مالک انسانی باقی میماند. این لایهبندی دقیقاً همان فلسفهای است که در راهکار Cognous برای مهار عاملهای خودمختار از طریق انتقال حفاظها به سختافزار دنبال شده است.
- آثار شواهدی: هر اقدام باید یک لاگ JSONL غیرقابل تغییر، یک ثبت از وضعیت زیرساخت برای جلوگیری از تکرار کارها و یک دفتر کل سلامت تولید کند که عامل باید برای تکمیل تسک، آن را تطبیق دهد.
- حلقههای رفع انسداد: عاملها بهجای تسلیم شدن در اولین خطا، از یک حلقه سختافزاری استفاده میکنند: تحقیق برای یافتن راه حل $\rightarrow$ اجرا $\rightarrow$ تأیید. این چرخه حداکثر ۳ بار تکرار میشود و سپس با یک یادداشت تصمیمگیری کامل به انسان ارجاع داده میشود. این ساختار مانع از تکرار رفتارهای متناقضی میشود که پیشتر در مورد عامل Sonjomon و اولویت دادن به خویشتنداری در اصلاح خطاهای سرور مشاهده کردیم.
- پاداشهای خارجی: برای جلوگیری از تولید گزارشهای «زیبا اما بیفایده»، موفقیت عامل به معیارهای خارجی گره میخورد؛ مثلاً مقدار واقعی پول دریافتی از مشتریان از طریق درگاههای پرداخت.
بر اساس مستندات این گزارش، پشته فنی بهطور عمدی ساده نگه داشته شده تا پیچیدگی کاهش یابد. در این ساختار بهجای کوبرنتیز از تایمرهای launchd، بهجای پلتفرمهای نظارتی از لاگهای JSONL و بهجای چارچوبهای سنگین اتوماسیون مرورگر از curl استفاده شده است.
این تغییر در عمل به این معناست که مرز ایمنی هوش مصنوعی دیگر یک قانون فایروال نیست، بلکه یک دفتر کل رفتاری است. وقتی پاداشها بهجای «تکمیل تسک داخلی»، به «نتایج تجاری خارجی» گره بخورند، عامل از تولید گزارشهای توخالی دست میکشد و روی تماسهای درآمدزا تمرکز میکند.
برای کسانی که امروز عاملها را مستقر میکنند، بزرگترین ریسک حالت «تسلیم محترمانه» است. ایجاد یک حلقه ارجاع ساختاریافته تضمین میکند که وقتی انسان در نهایت مطلع میشود، بهجای یک سؤال ساده، یک یادداشت تصمیمگیری دریافت کند.
گام بعدی شما
- مجوزهای فعلی عاملهای خود را با مدل اعتماد لایهبندیشده تطبیق دهید تا شعاع تخریب احتمالی را به حداقل برسانید.
- سیستم لاگبرداری را از حالت متنی ساده به JSONL تغییر دهید تا زنجیره شواهد برای هر اقدام ایجاد شود.
- معیارهای موفقیت عامل را از «تأیید مدل» به «تأیید خارجی» (مانند تراکنش مالی یا پاسخ کاربر) تغییر دهید.
اما داستان سختافزاری این تحول حتی شگفتانگیزتر است — به تحلیل ما دربارهی تراشههای Blackwell مراجعه کنید.
گفتگو