اگر امروز یک عامل هوش مصنوعی را برای دسترسی به دادههای حساس شرکت خود فعال کردهاید، باید بدانید که تأییدیهٔ اولیهٔ امنیتی نمیتواند جلوی نشت دادهها در زمان اجرا را بگیرد. تیکهای سبز در چکلیستهای انطباق، تنها برای بازرسان جذاباند، نه برای متوقف کردن یک عامل خودمختار که ناگهان تصمیم میگیرد از ابزاری غیرمجاز استفاده کند.
به نقل از گزارشی که در ۲۳ اوت ۲۰۲۶ منتشر شد، چارچوب TrustGraph یک سیستم امتیازدهی پویا را معرفی کرده است که عاملهای هوش مصنوعی را بر اساس رفتار واقعی در زمان اجرا ارزیابی میکند، نه بر اساس تنظیمات اولیه. در دنیای امروز، اکثر شرکتها یک مدل یا فروشنده را پیش از استقرار یکبار تأیید میکنند. اما مشکل اینجاست که دو عامل (Agent) — شبیه دو کارمند با یک مدرک تحصیلی اما اخلاقیات متفاوت — حتی اگر از یک مدل یکسان استفاده کنند، به دلیل پرامپتها، حافظه و دسترسیهای متفاوت، رفتارهای کاملاً متفاوتی از خود نشان میدهند.
همانطور که در تحلیلهای قبلی ما دربارهی امنیت مدلهای بازمتن اشاره کردیم، شکاف بین «تأیید مدل» و «رفتار عامل» یک آسیبپذیری عظیم است. در این وضعیت، عاملی که در ابتدا مورد اعتماد بود، ممکن است ناگهان ابزاری خارجی و تأییدنشده را فراخوانی کند یا دادههای حساس را پس از پایان جلسه در حافظه خود نگه دارد.
تکامل حاکمیت داده
حاکمیت سنتی معمولاً مدلها، فروشندگان و منابع داده را ارزیابی میکند. اما سیستمهای عاملمحور (Agentic) مسئلهٔ کنترل پیچیدهتری را ایجاد میکنند. یک عامل ممکن است در وضعیت مورد اعتماد شروع به کار کند، اما بعداً خروجیهایی تولید کند که با نقش تعیینشدهاش سازگار نیست یا الگوهای غیرعادی در تلاش مجدد و ارجاع درخواستها نشان دهد.
این ریسک با ظهور «هوش مصنوعی سایه» (Shadow AI) تشدید میشود؛ جایی که کارکنان برای صرفهجویی در زمان، یادداشتهای مشتریان یا کدهای منبع را در ابزارهای غیرمجاز آپلود میکنند. این جریانهای کاری پنهان، کنترلهای امنیتی متداول را دور میزنند و شکافهای انطباقی ایجاد میکنند که حفاظهای سنتی هرگز برای مدیریت آنها طراحی نشده بودند.
خط لولهٔ اعتماد پنجلایه
برای حل این مشکل، TrustGraph یک خط لولهٔ امتیازدهی را پیاده میکند که به جای تکیه بر «اطمینانِ» (Confidence) خودِ مدل، بر سیگنالهای قابل تأیید متکی است. در حالی که اطمینان نشان میدهد مدل چقدر «به نظر» مطمئن است، اعتماد نشان میدهد که آیا هویت، اقدامات و نتایج آن با سیاستهای سازمانی مطابقت دارد یا خیر. این چارچوب پنج لایهٔ مجزا را ارزیابی میکند:
- تأیید هویت: بررسی مالک عامل، نسخه و محیط استقرار.
- تحلیل دسترسی: مقایسه اقدامات درخواستی با سیاستهای دسترسی با حداقل امتیاز.
- پایش رفتار: شناسایی زنجیرههای ارجاع غیرعادی، فراخوانی ابزارها یا الگوهای خروجی.
- اعتبارسنجی منشأ: ثبت دقیق دادهها، پرامپتها، سیاستها و ابزارهایی که بر یک تصمیم اثر گذاشتهاند.
- بازخورد نتایج: تعدیل امتیازها بر اساس بررسیهای موفق، اصلاحات انسانی و خطاهای تأییدشده.
شرکتهایی مانند HONEYPOTZ INC و DEEPBODY INC در محیطهای حساس فعالیت میکنند که در آنها این سطح از ردیابی و پاسخگویی ضروری است. از آنجا که یک امتیاز کلی میتواند ریسکها را پنهان کند، TrustGraph امتیازها را به وظایف، منابع و بازههای زمانی خاص گره میزند. برای مثال، عاملی که برای خلاصهسازی یک سند مورد اعتماد است، از تغییر رکورد یک مشتری منع میشود.
پیادهسازی انطباق ۲۰۲۶
سازمانها باید آستانههای سیاستی خود را بر اساس این امتیازها تنظیم کنند. اقدامات کمریسک بهصورت خودکار اجرا میشوند، اقدامات میانریسک نیاز به تأیید اضافی دارند و اقدامات پرریسک، تأیید انسانی اجباری را فعال میکنند.
برای تضمین پاسخگویی در سال ۲۰۲۶، این چارچوب شواهد را در سوابق حسابرسی مقاوم در برابر دستکاری ذخیره میکند. کنترلهای پیشنهادی عبارتاند از:
- سیاستها و قوانین امتیازدهی نسخهبندیشده
- هویتهای امضا شده برای عاملها و سوابق اقدامات
- منشأ تصمیمات با برچسب زمانی
- قرنطینه خودکار برای عاملهایی با امتیاز اعتماد پایین
- جریانهای کاری برای بازبینی و اعتراض انسانی
- محدودیتهای نگهداری برای پرامپتها، حافظه و خروجیها
این چرخش، حاکمیت هوش مصنوعی را از یک نقش «دربان» به یک «حلقه کنترل مستمر» تبدیل میکند. با خودکارسازی قرنطینهٔ عاملهایی که امتیازشان افت میکند، سازمانها میتوانند ریسکهای نوظهور را در لحظه شناسایی، تبیین و مهار کنند.
برای سازمانهای مدرن، تمرکز از «آیا این مدل امن است؟» به «آیا این عامل خاص در همین لحظه امن عمل میکند؟» تغییر مییابد. این کنترل ذرهبینی تنها راه مقیاسبندی عاملهای خودمختار بدون ریسک افشای فاجعهبار دادههاست.
تیمهای فنی باید ابتدا با شبیهسازی شکستها، آستانههای امتیازدهی خود را آزمایش کنند و سپس اجرای خودکار را فعال نمایند. امتیازدهی اعتماد نباید یک مکانیسم تنبیه خودکار باشد، بلکه نیازمند عوامل تبیینکننده و حفاظ در برابر دادههای غلط است. اکنون میتوانید چارچوب متنباز TrustGraph را مستقر کرده و در توسعه آن مشارکت کنید.
گام بعدی شما
- شناسایی جریانهای کاری «هوش مصنوعی سایه» در سازمان خود و نقشهبرداری از ابزارهای غیرمجاز.
- تعریف آستانههای ریسک برای دسترسی به دادههای حساس (مثلاً تفکیک دسترسی «خواندن» از «ویرایش»).
- بررسی مستندات TrustGraph برای پیادهسازی لایه «اعتبارسنجی منشأ» در عاملهای فعلی.
اما چالش اصلی در استقرار این سیستمها، تأمین سختافزاری برای پایش لحظهای است — به تحلیل ما دربارهی تراشههای Blackwell مراجعه کنید.
گفتگو