تصور کنید به یک کارمند جدید دسترسی دائمی و بدون نظارت به گاوصندوق شرکت می‌دهید، فقط چون در مصاحبه اول خوب عمل کرده است؛ این دقیقاً همان اشتباهی است که سازمان‌ها با تأییدیه یک‌باره مدل‌های هوش مصنوعی مرتکب می‌شوند. اگر هنوز برای امنیت عامل‌های خود به گواهینامه‌های ایستا تکیه می‌کنید، باید بدانید که این مدارک نمی‌توانند جلوی یک عامل سرکش را که در لحظه اجرا داده‌های مشتری را افشا می‌کند، بگیرند.
به گزارش dev.to، صنعت هوش مصنوعی تا ۱۲ سپتامبر ۲۰۲۶ به سمت استفاده از شواهد پویا در سطح عامل حرکت می‌کند تا اطمینان حاصل شود که سامانه‌های خودگردان در طول اجرا قابل اعتماد باقی می‌مانند. حاکمیت سنتی بر مدل یا فروشنده تمرکز داشت، اما دو عامل (Agent) — شبیه به دو کارمند با تحصیلات یکسان اما وظایف متفاوت — ریسک‌های متفاوتی دارند؛ یکی ممکن است فقط متون عمومی را خلاصه کند، در حالی که دیگری تراکنش‌های مالی را اجرا می‌کند. همین تفاوت، شکافی در پاسخگویی ایجاد می‌کند که تأییدیه‌های ایستا قادر به پر کردن آن نیستند. این چالش‌ها منجر به توسعه راهکارهای جدیدی شده است، از جمله چارچوب باز Agentic Trust Controls که برای پر کردن شکاف‌های حاکمیتی در عامل‌های هوش مصنوعی طراحی شده است.
همان‌طور که در تحلیل‌های پیشین ما درباره‌ی امنیت مدل‌های بازمتن اشاره کردیم، کنترل دسترسی باید با ماهیت ابزار همسو باشد. در سامانه‌های عامل‌محور، ما با یک لایه کنترلی جدید روبرو هستیم: هر عامل دارای هویت، مجوزها، حافظه، ابزارها و اهداف خاص خود است.
تکامل حاکمیت داده
چارچوب‌های متداول، مدل را در زمان استقرار تأیید می‌کنند، اما نمی‌توانند تشخیص دهند که آیا یک عامل خاص در حین اجرا همچنان قابل اعتماد است یا خیر. منطق «امتیازدهی به اعتماد» (Trust Scoring) دقیقاً بر همین اساس بنا شده است: نظارت مستمر بر رفتار و تعدیل مجوزها بر اساس قابلیت اطمینان اثبات‌شده.
مکانیسم امتیازدهی به اعتماد
امتیاز اعتماد یک محاسبه بازتولیدپذیر است که بر اساس شواهد امضاشده و دارای برچسب زمانی است، نه یک عدد دلخواه تولید شده توسط هوش مصنوعی. چارچوب TrustGraph یک زیرساخت متن‌باز برای این هدف فراهم می‌کند و عامل‌ها را به سیاست‌ها و تصمیمات مشخص متصل می‌سازد. این رویکرد در پروژه TrustGraph با جایگزینی امتیازهای پویا به جای تأییدیه‌های ایستا به طور عملیاتی پیاده‌سازی شده است.
برای ساخت یک امتیاز قابل دفاع، سازمان‌ها باید پنج بعد اصلی را ارزیابی کنند:
- هویت: تأیید رمزنگاری‌شده‌ی عامل، مالک و حجم کاری.
- مجوز: اطمینان از اینکه اقدامات با هدف تجاری و دسترسی‌های فعلی مطابقت دارد.
- رفتار: مقایسه فعالیت‌های زمان اجرا با یک خط مبنای تأییدشده.
- منشأ: ردیابی مدل‌ها، پرامپت‌ها، ابزارها و داده‌های بازیابی‌شده‌ی مورد استفاده.
- نتایج: تأیید اینکه خروجی‌ها دقیق، ایمن و مطابق با سیاست‌ها هستند.
بر اساس مستندات فنی، شواهد باید دارای «نرخ زوال» باشند. یک تست امنیتی موفق در شش ماه پیش، اعتبار بسیار کمتری نسبت به یک ارزیابی امضاشده در دیروز دارد تا از ایجاد حس امنیت کاذب توسط داده‌های قدیمی جلوگیری شود.
چرا اعتماد پویا است؟
اعتماد دائمی نیست چون عامل‌ها پس از استقرار تغییر می‌کنند. تغییر در مجوزهای ابزار، دسترسی به داده‌های جدید یا به‌روزرسانی پرامپت‌ها می‌تواند قابلیت اطمینان را جابه‌جا کند. محرک‌های دیگر برای محاسبه مجدد اعتماد عبارت‌اند از:
- الگوهای فراخوانی غیرعادی.
- شکست در بررسی‌های احراز هویت و مجوز.
- خروجی‌هایی که آستانه‌های ایمنی یا کیفیت را نقض می‌کنند.
- استفاده از وابستگی‌های تأییدنشده یا منابع داده خارجی.
عملیاتی کردن حاکمیت
شرکت‌هایی مانند HONEYPOTZ INC این رویکرد مبتنی بر شواهد را به کنترل‌های ریسک موجود متصل کرده‌اند. در محیط‌های حساس، پلتفرم‌هایی مثل DeepBody تأکید می‌کنند که دسترسی ردیابی‌پذیر و پاسخگویی انسانی باید همراه با هر گردش‌کار هوش مصنوعی باشد.
تیم‌های حاکمیتی می‌توانند این سیستم را از طریق یک معماری گراف‌محور پیاده کنند تا روابط بین هویت‌ها، مدل‌ها، مجموعه‌داده‌ها و ابزارها حفظ شود. این ساختار اجازه می‌دهد فراخوانی ابزارها در یک لاگ ضدتغییر با کنترل‌های سخت‌گیرانه ثبت شود.
وقتی امتیاز کاهش می‌یابد، سیستم به‌جای یک عدد مبهم مثل «اعتماد: ۶۲»، یک کد دلیل ارائه می‌دهد؛ مثلاً: «اعتماد کاهش یافت زیرا شکست‌های مجوز افزایش یافت و شواهد ارزیابی منقضی شدند».
سپس کنترل‌های لایه‌بندی‌شده، قابلیت‌های عامل را تعیین می‌کنند:
عامل‌های با اعتماد بالا: در محدوده تأییدشده فعالیت می‌کنند.
عامل‌های با اعتماد متوسط: به ثبت وقایع بیشتر یا بازبینی انسانی نیاز دارند.
عامل‌های با اعتماد پایین: دسترسی به ابزارها را از دست داده یا قرنطینه می‌شوند.
نقشه راه پیاده‌سازی برای ۲۰۲۶
برای عملیاتی کردن انطباق هوش مصنوعی در سال ۲۰۲۶، سازمان‌ها باید مسیری ساختاریافته را طی کنند. ابتدا، برای هر عامل یک هویت منحصربه‌فرد و یک مالک پاسخگو تعیین کنید. دوم، تمام فراخوانی‌های ابزار و تغییرات امتیاز اعتماد را ثبت کنید. سوم، آستانه‌ها را بر اساس حساسیت داده‌ها و اثر اقدامات تعریف کنید.
در نهایت، تیم‌ها باید برای تصمیمات برگشت‌ناپذیر یا پرخطر، تأیید انسانی را الزامی کنند و سیستم را در برابر دست‌کاری امتیازها و تداخل سیاست‌ها آزمایش نمایند.
این چرخش در حالی رخ می‌دهد که «هوش مصنوعی سایه» (Shadow AI) در حال رشد است؛ جایی که کارکنان سریع‌تر از تیم‌های امنیتی از هوش مصنوعی زاینده (Generative AI) — شبیه به استفاده از ابزارهای غیررسمی در محیط کار بدون اجازه مدیر — استفاده می‌کنند و ریسک افشای کد منبع یا داده‌های نظارتی را افزایش می‌دهند.
برای تیم‌های مالی، مخاطرات حتی بیشتر است. در سال ۲۰۲۶، مدیران مالی در حال ارزیابی عامل‌ها برای پردازش فاکتورها و تشخیص کلاهبرداری هستند، جایی که یک شکست در اعتماد می‌تواند منجر به عدم انطباق شدید با مقررات شود.
این گذار، فرض بنیادی ایمنی هوش مصنوعی را تغییر می‌دهد: اعتماد دیگر پیش‌نیاز استقرار نیست، بلکه متغیری است که باید در هر ثانیه از عملیات، به دست آید و دوباره تأیید شود.
گام بعدی شما
- شناسایی تمام عامل‌های فعال در سازمان و تخصیص یک هویت دیجیتال منحصربه‌فرد به هر یک.
- تعریف «نرخ زوال» برای شواهد امنیتی؛ تعیین اینکه یک تست امنیتی پس از چه مدتی منقضی می‌شود.
- پیاده‌سازی لایه‌های دسترسی متغیر بر اساس امتیاز اعتماد برای ابزارهای حساس مالی و دیتابیس‌ها.
اما چالش اصلی در سال ۲۰۲۶، مدیریت این امتیازها در مقیاس هزاران عامل است — به تحلیل ما درباره‌ی پروتکل‌های ارتباطی عامل‌های چندگانه مراجعه کنید.
گفتگو