تصور کنید یک عامل خودکار پیش از آنکه انسانی متوجه اشتباه شود، ۱۰۰۰ ایمیل با لحنی نامناسب (Tone-deaf) برای بهترین مشتریان شرکت شما ارسال کند. برای توقف این کابوس، شرکت Cognous ابزار Open Control Stack را منتشر کرد تا حاکمیت هوش مصنوعی را از بررسی لاگ‌های واکنشی به اجرای پیش‌گیرانه تغییر دهد. این سیستم مانع از سناریویی می‌شود که در آن یک ایمیل از نظر دستوری درست و مطابق با استانداردهای برند است، اما اساساً هرگز نباید در همان ابتدا ارسال می‌شد.
در حال حاضر، اکثر سازمان‌ها برای فهمیدن اتفاقاتی که یک عامل (Agent) — شبیه به کارمندی است که می‌تواند به‌جای شما ابزارها را اجرا کند — انجام داده، به لاگ‌های اپلیکیشن تکیه می‌کنند. این رویکرد، اصطلاحاً «یک روز دیر و یک دلار کمتر» (day late and a dollar short) است؛ چون تا زمان مشاهده لاگ توسط توسعه‌دهنده، آسیب به رابطه با مشتری پیش از پیش وارد شده است. بررسی لاگ‌ها ذاتاً واکنشی است. این کار را شبیه به دوربین امنیتی تصور کنید که فقط دزدی را بعد از آنکه سارق از ساختمان خارج شده ضبط می‌کند؛ در حالی که شما در واقع به قفل روی در نیاز دارید. شما به استکی نیاز دارید که در مقابل عامل‌های شما قرار گیرد تا اقدامات را به‌صورت پیش‌گیرانه تأیید یا رد کند.
همان‌طور که در تحلیل‌های پیشین ما درباره امنیت مدل‌های بازمتن اشاره کردیم، جابجایی تمرکز از نظارت پسینی به حفاظ‌های پیش‌گیرانه، تنها راه مقیاس‌پذیری ایمن است. این رویکرد با این ایده همسو است که ارزیابی عملکرد عامل‌ها نباید توسط خود آن‌ها انجام شود تا از سوگیری‌ها و خطاهای داخلی جلوگیری گردد. بر اساس مستندات فنی Cognous، این استک از چهار پروژه متن‌باز تشکیل شده که در کنار عامل‌ها قرار می‌گیرند تا سه قابلیت اصلی را فراهم کنند: مجوزدهی (Authorize)، اجرا (Enforce) و اثبات (Prove).
سه ستون حاکمیت
- مجازدهی (Authorize): تصمیم‌گیری پیش‌دستانه در مورد اینکه عامل اجازه انجام چه کاری را دارد.
- اجرا (Enforce): اعمال آن تصمیم در لحظه تلاش عامل برای اقدام، دقیقاً پیش از اجرای عملیات و نه بعد از آن.
- اثبات (Prove): تبدیل هر اجرا به سندی که بر حسب نیاز قابل ارائه باشد، به جای اینکه چیزی باشد که باید از روی حافظه بازسازی شود.
این ساختار تضمین می‌کند که تصمیم برای مسدود کردن یا اجازه دادن به یک اقدام، دقیقاً در لحظه تلاش عامل برای عمل رخ دهد، نه پس از اجرای آن.
سازوکار حاکمیت
طبق اعلام این شرکت، این استک از طریق چهار مؤلفه مشخص عمل می‌کند:
- Declare (مانیفست اقدام عامل): این مانیفست یک بار، پیش از آنکه عامل هرگز اجرا شود، نوشته می‌شود. این ابزار سیاست‌های کلی و جامع را با قوانین دقیق (Granular) برای ریسک‌های مختلف جایگزین می‌کند. برای مثال، اقدام «استخراج لیست مشتریان برتر» روی حالت
default_action: allow(اجازه خواندن CRM) قرار می‌گیرد، در حالی که «استخراج جزئیات قرارداد» رویdefault_action: block(مسدود) تنظیم می‌شود. برای «پیش‌نویس پاسخ»، از حالتreview_mode: draft_firstاستفاده می‌شود؛ به این معنی که عامل محتوا را آماده می‌کند اما کار را به پایان نمی‌رساند. در نهایت، «ارسال ایمیل» رویdefault_action: escalateتنظیم شده که نیازمند یک محدوده authority نام‌گذاری شده و تأیید نهایی انسان است. - Control (لایه کنترل عامل): این لایه به‌صورت زنده و در کنار عامل اجرا می‌شود. هر بار که عامل می‌خواهد اقدامی کند، لایه کنترل آن را به‌صورت قطعی (Deterministic) با مانیفست چک می‌کند. این لایه هر تلاش را — و نه فقط موارد نادرست را — ثبت کرده و اقدام را اجازه، مسدود یا ارجاع می‌دهد. این معماری بر این باور استوار است که قوانین قطعی باید همچنان دروازه‌های کیفی هوش مصنوعی را کنترل کنند تا پایداری سیستم تضمین شود.
- Replay (بسته بازپخش عامل): این یک خروجی (Export) است، نه یک فرآیند. وقتی یک اجرا به پایان می‌رسد، تمام مواردی که توسط لایه کنترل ثبت شده است (شامل پیشنهادها، تصمیمات، ارجاعات و اتکاهای داده‌ای) در یک فایل واحد و قابل انتقال بسته‌بندی می‌شوند. این کار نیاز به گشتن در لاگ‌های ده‌ها سامانه مختلف برای بازسازی یک اجرای واحد را از بین می‌برد.
- Evidence (بسته شواهد حاکمیت عامل): این بسته در مراحل بعدی و بر اساس چندین اجرا جمع‌آوری می‌شود. این ابزار به شرکت‌ها اجازه می‌دهد به‌جای ادعای «به ما اعتماد کنید، ما کنترل داریم»، مدرک فیزیکی ارائه دهند؛ مثلاً گزارشی که نشان دهد در این ماه ۴۰ مورد ارسال ایمیل نیاز به تأیید داشته و دقیقاً برای هر یک چه اتفاقی افتاده است.
برای درک بهتر، فرض کنید عاملی می‌خواهد یک پرسش مشتری را پاسخ دهد. مانیفست Declare به او اجازه می‌دهد داده‌های مشتری را استخراج کند و پیش‌نویسی بنویسد. اما در لحظه‌ای که عامل سعی می‌کند جزئیات قرارداد را بخواند، لایه Control فوراً آن را مسدود می‌کند. سپس هنگامی که عامل قصد دارد دکمه «ارسال» را بزند، سیستم وظیفه را برای تأیید به یک مقام انسانی نام‌گذاری شده ارجاع می‌دهد.
تمام این فرآیند به طور کامل ضبط می‌شود. پس از پایان اجرا، بسته Replay هر مرحله را ثبت می‌کند: خواندن داده‌ها، نوشتن پیش‌نویس، مسدود شدن دسترسی، توقف ارسال و در نهایت تأیید انسانی. در طول یک ماه، این بسته‌ها تجمیع شده و به یک بسته Evidence تبدیل می‌شوند تا ثابت کنند هر اقدام حساس، تحت حاکمیت بوده است. این مکانیسم یک بحران احتمالی را به یک ردپای کاغذی ساده تبدیل می‌کند و تضمین می‌کند که گفتگوهای عصبی و پراکنده در Slack برای بازسازی علت یک شکست، با سوابق شفاف جایگزین شوند.
این معماری، مسئولیت ایمنی را از پرامپت‌های مدل (Prompt) به زیرساخت (Infrastructure) منتقل می‌کند. با برخورد متفاوت با ریسک‌های مختلف — به‌جای اعمال یک سیاست کلی بر کل عامل — شرکت‌ها می‌توانند ابزارهایی با خودمختاری بالاتر را بدون ریسک آسیب‌های فاجعه‌بار به برند مستقر کنند. این رویکرد در واقع تکمیلی بر پیاده‌سازی جریان‌های کاری خودگردان با استفاده از پروتکل MCP است تا بهره‌وری با امنیت گره بخورد.
برای توسعه‌دهندگان، این بدان معناست که دیباگینگ (Debugging) از بازسازی لاگ‌های تکه‌تکه به بررسی یک ردپای قطعی تغییر می‌کند. اثر ثانویه این اتفاق، ایجاد مسیری سریع‌تر برای رسیدن به محیط تولید (Production) برای گردش‌های کاری عامل‌محور است، زیرا «عامل ترس» از هوش مصنوعی بدون نظارت، با یک شبکه ایمنی سخت‌افزاری و کدنویسی‌شده جایگزین می‌شود.
اگر می‌خواهید حاکمیت عامل‌های هوش مصنوعی را در عمل ببینید، مخازن مربوط به مانیفست، لایه کنترل، بسته بازپخش و بسته شواهد همگی در GitHub فعال هستند. می‌توانید آن‌ها را کلون کنید و نمونه‌ها را اجرا کنید تا مشاهده کنید یک اقدام پیشنهادی چگونه در لحظه مجاز، مسدود یا ارجاع می‌شود. اطلاعات بیشتر درباره این راهکار در سایت cogno.us در دسترس است.
این نخستین پست از یک سری مقالات است. در بخش‌های آینده، ساخت مانیفست با استفاده از طرح‌های (Schemas) واقعی و قوانین اعتبارسنجی، پیاده‌سازی فنی لایه کنترل و نحوه تبدیل یک اجرای واحد به شواهد قابل بازپخش برای حسابرسان (Auditors) را بررسی خواهیم کرد.
گام بعدی شما
- مخازن GitHub پروژه Open Control Stack را بررسی کنید تا با نحوه تعریف مانیفست‌های ریسک آشنا شوید.
- گردش‌های کاری حساس سازمان خود را شناسایی کرده و برای هر کدام سطح دسترسی (Allow/Block/Escalate) تعریف کنید.
- مدل‌های نظارتی فعلی خود را از «بررسی لاگ» به «تایید پیش‌عملیاتی» تغییر دهید.
اما داستان سخت‌افزاری این تحول حتی شگفت‌انگیزتر است — به تحلیل ما درباره تراشه‌های Blackwell مراجعه کنید.
گفتگو