اگر امروز در حال توسعه‌ی سیستم‌هایی هستید که می‌توانند به‌طور مستقل تصمیم بگیرند و ابزارها را فراخوانی کنند، احتمالاً امنیت آن‌ها را بر اساس حدس و گمان مدیریت می‌کنید. این وضعیت خطرناک است، زیرا یک اشتباه کوچک در دسترسی‌ها می‌تواند کل زیرساخت شما را در عرض چند ثانیه نابود کند. اکثر تیم‌ها در حال حاضر هنگام ساخت مدل‌های زبانی بزرگ (LLM) با قابلیت فراخوانی ابزار، جریان‌های کاری چند-عاملی یا عامل‌هایی که حافظه را می‌خوانند و بر اساس آن عمل می‌کنند، در مورد امنیت خود بداهه عمل می‌کنند.
در ۱ مه ۲۰۲۶، آژانس امنیت سایبری و زیرساخت‌های حیاتی آمریکا (CISA) و آژانس امنیت ملی (NSA) سندی را با عنوان «پذیرش محتاطانه‌ی خدمات هوش مصنوعی عامل‌محور» منتشر کردند. این سند با همکاری شرکای استرالیایی (مرکز امنیت سایبری ASD)، کانادایی (مرکز امنیت سایبری کانادا)، نیوزیلندی (مرکز ملی امنیت سایبری) و بریتانیایی (مرکز ملی امنیت سایبری NCSC) تدوین شده است تا یک مدل تهدید واحد برای هوش مصنوعی زاینده (Generative AI) ایجاد کند. این راهنما به عنوان یک لنگر ضروری عمل می‌کند تا صنعت را از دستورالعمل‌های پراکنده به سمت مجموعه‌ای استاندارد از ریسک‌ها سوق دهد. این اولین راهنمای مشترک امنیت سایبری است که کشورهای Five Eyes به‌طور خاص درباره‌ی هوش مصنوعی عامل‌محور صادر کرده‌اند؛ سیستم‌هایی که در آن عامل‌های قدرت‌گرفته از LLM، اطلاعات را تفسیر می‌کنند، تصمیم می‌گیرند و به‌طور مستقل اقدام می‌کنند.
زمینه و محدوده
این سند یک استاندارد الزام‌آور نیست، بلکه یک راهنمای عملی است. همان‌طور که در تحلیل‌های قبلی ما درباره‌ی امنیت مدل‌های بازمتن اشاره کردیم، رویکرد درست این است که عامل‌ها را نه به عنوان موجوداتی جادویی یا دسته‌ای کاملاً جدید، بلکه به عنوان بازیگرانی غیرقطعی ببینیم که باید در معماری‌های امنیتی موجود جای بگیرند. این ضرورت نظارت بر سیستم‌های خودمختار را یادآور بحث‌های پیشین ما درباره‌ی حاکمیت لایه‌های کنترلی است تا از فروپاشی سیستم‌ها پیش از وقوع جلوگیری شود.
چارچوب این سند به‌طور عمدی محتاطانه طراحی شده است. این آژانس‌ها استدلال می‌کنند که تا زمانی که روش‌های ارزیابی و استانداردها به بلوغ برسند، سازمان‌ها باید فرض کنند که سیستم‌های عامل‌محور ممکن است رفتارهای غیرمنتظره‌ای داشته باشند. توصیه صریح آن‌ها این است: «تاب‌آوری، قابلیت بازگشت‌پذیری و مهار ریسک را بر افزایش بهره‌وری اولویت دهید».
جزئیات پیاده‌سازی
این سند بیش از ۱۰۰ توصیه برای سازمان‌هایی که در حال طراحی، توسعه، استقرار و بهره‌برداری از سیستم‌های عامل‌محور هستند ارائه می‌دهد و تمرکز ویژه‌ای بر دفاع و زیرساخت‌های حیاتی دارد. این رویکرد با برنامه‌های دفاع سایبری پیشرفته‌ای مانند آنچه در کالیفرنیا برای حفاظت از زیرساخت‌های حیاتی پیاده شده، هم‌راستا است.
آژانس‌ها به‌طور صریح بیان می‌کنند که این امر نیازمند ایجاد یک رشته‌ی امنیتی کاملاً جدید نیست. در عوض، اصول تثبیت‌شده‌ای مانند «اعتماد صفر» (Zero Trust)، «دفاع در عمق» و «دسترسی با کمترین امتیاز» مستقیماً کاربرد دارند. عامل‌ها باید مانند هر بازیگر دیگری در یک معماری اعتماد صفر مدیریت شوند؛ به این معنا که باید شناسه‌های رمزنگاری‌شده‌ی تأییدشده و اعتبارنامه‌های کوتاه‌مدت دریافت کنند.
پنج دسته‌ی ریسک
آژانس‌های مذکور ریسک‌های عامل‌محور را به پنج لنز مشخص تقسیم کرده‌اند:
- امتیاز (Privilege): اعطای دسترسی بیش از نیاز به عامل. وقتی یک عامل واحد مورد نفوذ قرار می‌گیرد، مجوزهای گسترده باعث می‌شود «شعاع تخریب» به‌سرعت افزایش یابد.
- طراحی و پیکربندی: تنظیمات ضعیفی که پیش از فعال شدن سیستم، شکاف‌های امنیتی ایجاد می‌کند؛ این مورد معادلِ یک «سطل داده‌ی اشتباه پیکربندی شده» (misconfigured bucket) در دنیای عامل‌هاست.
- ریسک رفتاری: زمانی که عامل هدف خود را به روش‌هایی دنبال می‌کند که طراحان هرگز پیش‌بینی نکرده یا قصد آن را نداشتند. چون مدل توسط ورودی‌هایش هدایت می‌شود، آنچه «به او گفته شده انجام دهد» و آنچه «واقعاً انجام می‌دهد» می‌تواند از هم فاصله بگیرد. این خطر زمانی جدی‌تر می‌شود که عامل‌های هوش مصنوعی بتوانند حملات سایبری کامل را بدون نظارت انسان اجرا کنند.
- ریسک ساختاری: شبکه‌های متصل از عامل‌ها که در آن یک خطای واحد منتشر شده و به‌صورت زنجیره‌ای در کل سیستم‌های سازمان پخش می‌شود.
- پاسخگویی: دشواری در ردیابی تصمیمات، حسابرسی اقدامات یا تعیین مسئولیت به‌دلیل پیچیدگی و عدم شفافیت سیستم‌های خودمختار که در مقیاس بزرگ فعالیت می‌کنند.
متخصصان تشویق شده‌اند که این ریسک‌ها را به کنترل‌های شناخته‌شده تبدیل کنند. برای مثال، ریسک‌های امتیازی باید با اعتبارنامه‌های کوتاه‌مدت و مجوزهای محدود شده (Scoped Permissions) مقابله شوند، نه با حساب‌های خدماتی مشترک. ریسک‌های طراحی و پیکربندی نیازمند بررسی‌های پیکربندی و اعمال پیش‌فرض‌های امن در تنظیمات عامل هستند. ریسک‌های رفتاری نیازمند حفاظ‌ها (Guardrails) در فراخوانی ابزارها، اعتبارسنجی خروجی‌ها و الزامات «حضور انسان در چرخه» برای اقداماتی هستند که غیرقابل بازگشت‌اند. ریسک‌های ساختاری از طریق محدود کردن شعاع تخریب و ایجاد «قطع‌کننده‌های مدار» (Circuit Breakers) بین عامل‌ها مدیریت می‌شوند. پاسخگویی نیز از طریق ثبت وقایع (Logging) و قابلیت ردیابی حل می‌شود تا بتوان پس از وقوع حادثه، دلیل اقدام عامل را بازسازی کرد.
این راهنما همچنین به عنوان زیربنای BRACE عمل می‌کند؛ یک چارچوب باز و مستقل از فروشنده برای ایمن‌سازی عامل‌های خودمختار. BRACE این پنج نگرانی را به مراحل خاص چرخه حیات متصل می‌کند: زمان ساخت (Build-time)، پیکربندی، زمان اجرا (Run-time)، اکوسیستم و خودِ عامل. چارچوب BRACE از طریق تحلیل حوادث و تحقیقات توسعه یافته است تا تعیین کند کدام کنترل‌های عینی می‌توانستند یک شکست را پیش‌گیری یا مهار کنند.
این همسویی بین شش آژانس ملی، سیگنالی مهم برای سازمان‌هاست. وقتی این نهادها بدون هماهنگی با هیچ فروشنده‌ی واحدی به یک تجزیه و تحلیل یکسان از ریسک می‌رسند، نشان می‌دهد که این دسته‌بندی‌ها واقعیت‌های بنیادی ایمنی هوش مصنوعی هستند، نه صرفاً بازتاب سلیقه‌ی یک تیم خاص.
برای یک مدیر کسب‌وکار، این بدان معناست که هدف ساخت یک عامل «بی‌نقص» نیست، بلکه ساخت سیستمی است که بتواند بقای خود را در برابر یک عامل شکست‌خورده تضمین کند. تغییر رویکرد از «جلوگیری» به «مهار» است.
عضلات فعلی شما در زمینه اعتماد صفر و کمترین امتیاز، دقیقاً ابزارهای درست برای این کار هستند. اکنون کار اصلی در قضاوت مهندسی است که برای تبدیل این اصول سطح بالا به مرزهای دسترسی عملی برای عامل‌های خاص شما مورد نیاز است.
گام بعدی شما
- معماری فعلی عامل‌های خود را در همین هفته با این پنج دسته‌ی ریسک تطبیق دهید.
- اقداماتی را که در حال حاضر «غیرقابل بازگشت» هستند شناسایی کنید.
- برای هر اقدام حساس، یک تریگر «حضور انسان در چرخه» پیاده‌سازی کنید تا پیش از آنکه باعث یک ریزش ساختاری شوند، کنترل شوند.
اما داستان سخت‌افزاری این تحول حتی شگفت‌انگیزتر است — به تحلیل ما درباره‌ی تراشه‌های Blackwell مراجعه کنید.
گفتگو