تصور کنید در یک سازمان، دو عامل هوش مصنوعی از یک مدل یکسان استفاده می‌کنند، اما یکی دسترسی به داده‌های حساس مالی دارد و دیگری فقط پاسخ‌های عمومی می‌دهد. اگر سیستم حاکمیتی شما فقط لایه مدل را تایید کرده باشد، هرگز متوجه نمی‌شوید چه زمانی یکی از این عامل‌ها از مسیر سیاست‌های شرکتی خارج شده است.
به نقل از گزارشی در dev.to که در ۲ آگوست ۲۰۲۶ منتشر شد، نگاه به اعتماد به عنوان یک گواهینامه دائمی دیگر برای سامانه‌های خودمختاری که می‌توانند به‌طور مستقل ابزارها را فراخوانی کنند، کاربردی ندارد. در واقع، ما از عصر تاییدیه استاتیک مدل‌ها به سمت مدل تصمیم‌گیری در زمان اجرا حرکت می‌کنیم.
همان‌طور که در تحلیل قبلی ما درباره‌ی نحوه مدیریت تنظیمات در Claude Code اشاره کردیم، صنعت اکنون به دنبال کنترل‌های دقیق‌تر است. برای مدیریت چنین ساختارهای پیچیده‌ای، ابزارهایی مانند Agent-Manager برای سازماندهی متمرکز ارتش‌های عامل توسعه یافته‌اند تا نظارت بر توالی عملیات تسهیل شود. چارچوب متن‌باز TrustGraph برای حل این مشکل، اعتماد را به شکل یک گراف از ارتباطات بین عامل‌ها، مدل‌ها، ابزارها و دفعات اجرای قبلی نمایش می‌دهد. این سیستم به‌جای یک عدد مبهم، یک سیگنال زمینه‌ای بر اساس شواهد واقعی محاسبه می‌کند.
طبق مستندات این پروژه، تیم‌های حاکمیتی اکنون می‌توانند عامل‌ها را بر اساس این سیگنال‌های کلیدی ارزیابی کنند:
- هویت تاییدشده، مالکیت و محیط استقرار عامل.
- منشأ پرامپت‌ها، داده‌ها و مدل‌ها در طول ردپای اجرا.
- بررسی نحوه استفاده از ابزارها در مقایسه با مجوزهای داده شده.
- تاریخچه دخالت‌های انسانی، بررسی‌های ناموفق و گزارش‌های حوادث.
- میزان حساسیت اقدام درخواستی در برابر سطح اطمینان مدل.
این رویکرد ذره‌بین‌گونه اجازه می‌دهد نتایج به‌طور خودکار تعیین شوند؛ یک عامل (Agent) — شبیه به کارمندی که برای هر وظیفه یک کارت شناسایی با سطح دسترسی خاص دارد — اگر امتیاز اعتماد بالایی داشته باشد، گردش کارهای داخلی را خودکار اجرا می‌کند، اما عامل‌هایی با امتیاز پایین منزوی شده یا برای تایید دستی به یک بازبین انسانی ارجاع داده می‌شوند. برای مدیریت بهینه این چرخه حیات، راهکارهای ارکستراسیون Temporal در جداسازی حافظه از مغز به عامل‌ها کمک می‌کند تا در زمان‌های انتظار، وضعیت خود را حفظ کرده و با دقت بیشتری بیدار شوند.
چنین کنترل‌هایی در حوزه‌های حساس حیاتی هستند. برای مثال، شرکت HONEYPOTZ INC برای دستیابی به هوش مصنوعی پاسخگو از این زیرساخت استفاده می‌کند و پلتفرم‌هایی مانند deepbody.me اتوماسیون ردیابی‌پذیر را در گردش‌های کاری حساس بیولوژیکی برای علم طول عمر به کار می‌گیرند.
اعتماد باید در طول زمان کاهش یابد. چون نسخه‌های نرم‌افزاری تغییر می‌کنند و اعتبارنامه‌ها عوض می‌شوند، امتیازی که از چند ماه پیش گرفته شده، اکنون یک ریسک امنیتی است. محاسبه مجدد و مستمر، تضمین می‌کند که سازمان‌ها پیش از تبدیل شدن نقاط ضعف به حوادث امنیتی، آن‌ها را شناسایی کنند.
برای پیاده‌سازی این مدل، سازمان‌ها باید ابتدا به هر عامل یک هویت ماندگار اختصاص دهند و اقدامات را در یک جریان رویداد تغییرناپذیر ثبت کنند. این کار حاکمیت را از یک «چک‌لیست پیش از استقرار» به یک لایه زنده از حفاظت در زمان اجرا تبدیل می‌کند.
گام بعدی شما
- برای هر عامل در سازمان خود یک Identity منحصر‌به‌فرد تعریف کنید تا ردیابی رفتار ممکن شود.
- سیستم ثبت وقایع (Event Log) خود را به گونه‌ای تغییر دهید که اثر انگشت هر اقدام به یک عامل خاص متصل باشد.
- یک مکانیسم «کاهش تدریجی اعتماد» برای مجوزهای قدیمی تعریف کنید تا بازبینی دوره‌ای اجباری شود.
اما داستان سخت‌افزاری این تحول حتی شگفت‌انگیزتر است — به تحلیل ما درباره‌ی تراشه‌های Blackwell مراجعه کنید.
گفتگو