اگر عاملهای هوش مصنوعی شما دسترسی به اعتبارنامهها دارند یا تراکنشهای مالی را مدیریت میکنند، تکیه بر یک چکلیست خوداظهاری، یک ریسک امنیتی است، نه یک استراتژی حفاظتی. باید بدانید که تفاوت بین «داشتن یک کنترل» و «اثبات عملکرد آن کنترل»، در دنیای عاملهای автоном، مرز بین امنیت واقعی و توهم امنیتی است.
پروژه امنیت GenAI (GenAI Security Project) وابسته به OWASP، نقشهای جامع برای پذیرش سیستمهای عاملمحور (Agentic) رسم کرده است. در این مسیر، معماریهای لایهای جایگزین مدلهای متمرکز شدهاند تا ریسکهای ناشی از وابستگی به یک مدل واحد مدیریت شود، اما یک مشکل بنیادین دارد: این مدل، «ادعای کنترل» را میسنجد، نه خودِ کنترل را. همانطور که در تحلیل قبلی ما دربارهی لایهی نظارت بر عاملهای AI اشاره کردیم، نبودِ مکانیزمهای تایید مستقل در معماریهای پیچیده، میتواند منجر به فروپاشی کل سیستم امنیتی شود.
به نقل از مستندات منتشرشده در ۳ ژوئن ۲۰۲۶، OWASP نسخه ۲.۰ «وضعیت امنیت و حکمرانی هوش مصنوعی عاملمحور» را معرفی کرد که شامل مدل بلوغ پذیرش سازمانی (Enterprise Adoption Maturity Model) است. این چارچوب از دو محور اصلی استفاده میکند:
• استقرار (Deployment): از AT0 (هوش مصنوعی سایه یا Shadow AI) تا AT5 (عاملهای داخلی سفارشی با هویت و مرزهای کنترلشده).
• بلوغ حکمرانی (Governance Maturity): از سطح ۰ (تصمیمات موردی و پراکنده) تا سطح ۳ (حکمرانی به مثابه کد (Governance-as-Code) همراه با کلیدهای قطع اضطراری و داشبوردهای رصد انحراف در لحظه).
طبق گزارش تحلیلگران امنیتی، این مدل یک نقطهی کور خطرناک دارد؛ چراکه ثبت میکند سازمان «چه کاری» انجام میدهد، اما نمیگوید «چه کسی» آن را تایید کرده است. این مسئله یادآور چالشهای مشابهی است که در بهکارگیری معیارهای DORA برای سنجش کیفیت کد دیده میشود، جایی که سرعت تولید کد میتواند پوششی برای پوسیدگی ساختاری نرمافزار باشد. این شکاف زمانی رخ میدهد که الزامات مربوط به سیستمهای پرریسک در قانون هوش مصنوعی اتحادیه اروپا (EU AI Act) در آگوست ۲۰۲۶ اجرایی میشوند و الزام قانونی را از «ادعای نظارت» به «نظارت اثباتپذیر» تغییر میدهند. این سختگیریهای قانونی تنها به تغییرات رویهای محدود نمیشوند، بلکه جریمههای سنگین مالی برای عدم رعایت این استانداردها میتواند ثبات اقتصادی سازمانها را به مخاطره بیندازد.
برای رفع این نقص، این مدل به محور سومی به نام «نوع شواهد» نیاز دارد. با بهرهگیری از تاکسونومی ارزیابی VS-R01، ادعاها باید به پنج دسته تقسیم شوند: E1 (مستندات ایستا)، E2 (مشاهده در زمان پذیرش)، E3 (مشاهده در زمان تسویه)، E4 (بازپخش متخاصم (Adversarial Replay)) و E5 (ایزولاسیون بینبافتی).
این تغییر، معیار «بلوغ» را در میدان فنی از همراستایی داخلی به شواهد بازتولیدپذیر تغییر میدهد. در واقع، هدف از پرسشنامههای امنیتی تامینکنندگان به سمت تستهای نفوذ توسط شخص ثالث جابهجا میشود؛ زیرا وقتی عاملها با ورودیهای نامعتبر کار میکنند، تنها معیاری که در برابر بازرسیهای قانونی دوام میآورد، معیاری است که شخص ثالث بتواند بهطور مستقل آن را تایید کند.
گام بعدی شما
- حاکمیت عاملهای خود را بر اساس کلاسهای شواهدی VS-R01 بازبینی کنید تا نقاطی که خوداظهاری جایگزین واقعیت فنی شده است را بیابید.
- برای استقرار سیستمهای عاملمحور، از مدلهای تایید مستقل بهجای چکلیستهای داخلی استفاده کنید.
- تغییرات قانونی آگوست ۲۰۲۶ در اتحادیه اروپا را برای درک تعریف حقوقی «نظارت اثباتپذیر» دنبال کنید.
اما اثر این سختگیریهای قانونی بر مدلهای متنباز حتی پیچیدهتر است — به تحلیل ما دربارهی استراتژیهای وزنهای باز در محیطهای ویندکسشده مراجعه کنید.
گفتگو