تصور کنید یک عامل هوش مصنوعی با دسترسی کامل به پایگاه داده، دچار توهم شود و پیش از آنکه انسانی متوجه اولین اشتباهش شود، دهها دستور مخرب برای پاکسازی دادهها ارسال کند. برای جلوگیری از این فاجعه، سامانه LEASH بهعنوان یک دروازه مکانیکی طراحی شده تا فراخوانی ابزارها را بر اساس عملکرد لحظهای مسدود کند.
بسیاری از توسعهدهندگان برای ایمنی به سیستمهای «انسان در حلقه» (Human-in-the-loop) تکیه میکنند، اما این روش در مقیاس واقعی شکست میخورد؛ چرا که هیچ مهندسی ساعت ۳ صبح تمام فراخوانیهای ابزار را بررسی نمیکند. این چالشها نشان میدهد که چرا نظارت انسانی به تنهایی نمیتواند جلوی خطاهای عاملها بگیرد و نیاز به مکانیزمهای خودکار ایمنی است. بر اساس مستندات این پروژه که در ۲۶ ژوئیه ۲۰۲۶ برای هکاتون Agents of SigNoz ساخته شده، خودمختاری هوش مصنوعی نباید یک تنظیم ثابت باشد، بلکه باید مانند یک منبع متغیر مدیریت شود.
همانطور که در تحلیل قبلی ما دربارهی حفاظهای مدلهای زبانی اشاره کردیم، دستورات متنی به تنهایی کافی نیستند. LEASH در واقع یک «بودجه خطای خودمختاری» ایجاد میکند. در مهندسی قابلیت اطمینان سایت (SRE)، اگر خدماتی بودجه خطای خود را مصرف کند، استقرار نسخههای جدید متوقف میشود. LEASH همین منطق را به عامل (Agent) — مانند کارمندی که اجازه دارد کارهای خاصی را انجام دهد اما تحت نظارت است — اعمال میکند: اگر اقدامات اخیر عامل بیش از حد شکست بخورد، سطح دسترسی او بهطور خودکار پایین میآید.
مدل اقتدار سه لایه
این سامانه برای مدیریت ریسک از سه سطح دسترسی مجزا استفاده میکند:
- T3 (اقتدار کامل): عامل میتواند دادهها را بخواند، در پایگاه داده بنویسد و دستورات پاکسازی مخرب را اجرا کند.
- T2 (محدود): دسترسی میانی با قابلیتهای نوشتاری محدود.
- T1 (فقط خواندنی): محدودکنندهترین سطح؛ تمام اقدامات مخرب با خطای سخت مواجه شده و مسدود میشوند.
معماری فنی و تلهمتری
بر اساس گزارش فنی توسعهدهندگان، LEASH به چهار سرویس مجزا تقسیم شده تا منطق اجرا از اجرای عامل مستقل باشد. این سرویسها شامل agent-runner، leash-broker (درگاه اصلی) و دو ابزار پاییندستی migration-tool و resource-tool هستند. این رویکرد لایهبندی شده، یادآور تغییر رویکرد در دسترسی به عاملهای خودکار از طریق لایههای کنترل از راه دور است تا امنیت سیستم تضمین شود.
تمامی اجزا با SDK پایتونِ OpenTelemetry مجهز شدهاند. این ساختار اجازه میدهد بازهها (Spans)، معیارها و گزارشها مستقیماً از طریق پروتکل OTLP به SigNoz ارسال شوند. یک تصمیم کلیدی در طراحی، نامگذاری بازهها مانند leash.policy.decision بود تا اپراتور بتواند بدون خواندن کد، سطح دسترسی فعلی و حکم نهایی سیستم را در گراف تلهمتری ببیند.
خودکارسازی فرآیند تنزل مقام
تغییر سطح دسترسیها نه با یک پرامپت، بلکه با یک هشدار معیار در SigNoz تحریک میشود. طبق گزارش وبسایت dev.to، این هشدار زمانی فعال میشود که مجموع خطاها در بازه ۵ دقیقهای به ۳ مورد یا بیشتر برسد. پس از فعال شدن، SigNoz یک درخواست POST به وبهوکِ leash-broker ارسال میکند که شامل شناسه عامل و سطح دسترسی هدف است تا پیش از اجرای هر دستور مخرب بعدی، مقام عامل تنزل یابد.
اجرای مبتنی بر شواهد
وقتی عاملی به سطح T1 تنزل مییابد و سعی میکند دستوری مخرب اجرا کند، LEASH خطای ۴۰۳ بازمیگرداند. این پاسخ شامل یک trace_id است که مستقیماً به شکستهای ثبتشده در SigNoz لینک میشود. این یعنی عامل به دلیل شواهد تلهمتری مسدود شده است، نه به دلیل استدلال داخلی مدل. این متدولوژی در واقع جایگزینی برای رویکردهای امیدوارانه در کنترل عاملهاست و بر اساس شواهد فنی عمل میکند.
درسهایی در پیادهسازی
ساخت این سیستم نشان داد که بازههای زمانی کوتاه (مثلاً ۶۰ ثانیه) باعث ایجاد هشدارهای پرتلاطم میشوند. توسعهدهنده دریافت که پنجره ۵ دقیقهای با ۳ شکست متوالی، پایداری لازم را فراهم میکند. همچنین، نمایش تصمیمات سیاستی به صورت بازه (Span) بهجای فایلهای گزارش استاندارد، سرعت عیبیابی را ۵ برابر افزایش داد.
این رویکرد، پارادایم ایمنی را از «پیشنهاد» به «اجبار» تغییر میدهد. دستوراتی که به مدل میگوید «عاقلانه رفتار کن» صرفاً پیشنهاداتی هستند که مدل میتواند نادیده بگیرد. اما سیستمی خارج از کنترل مدل که تلهمتری را میخواند و تماس شبکه را فیزیکی مسدود میکند، تنها راه تضمین محدودیتهای سخت است.
گام بعدی شما
- اگر از عاملهای هوش مصنوعی با دسترسی Write استفاده میکنید، لایهی بررسی دسترسی را از لایهی استنتاج مدل جدا کنید.
- برای نظارت بر رفتار عاملها، بهجای بررسی لاگهای متنی، از ابزارهای تلهمتری مانند OpenTelemetry برای ردیابی نرخ خطای ابزارها استفاده کنید.
- یک بودجه خطای عددی (Error Budget) برای هر ابزار حساس تعریف کنید تا در صورت بروز توهم مدل، دسترسیها بهصورت خودکار محدود کنید.
اما داستان سختافزاری این تحول حتی شگفتانگیزتر است — به تحلیل ما دربارهی تراشههای Blackwell مراجعه کنید.
گفتگو