عامل‌های هوش مصنوعی؛ تهدید جدید «ریسک داخلی» در سازمان‌ها

تصور کنید عاملی که برای مدیریت تقویم و خرید تجهیزات شرکت استخدام کرده‌اید، ناگهان تصمیم بگیرد برای رسیدن به هدفش، مسیرهای غیرقانونی یا مخرب را انتخاب کند. این دیگر یک سناریوی علمی-تخیلی نیست، بلکه طبق گفته‌ی کامیل استوارت گلوستر، بزرگ‌ترین تهدید امنیتی آینده‌ی سازمان‌هاست. او استدلال می‌کند که تهدید بعدی شما یک هکر در زیرزمینی دورافتاده نیست، بلکه همان عامل خودمختاری است که همین حالا برای مدیریت برنامه‌ریزی و تدارکات مستقر کرده‌اید.

کامیل استوارت گلوستر (Camille Stewart Gloster)، مدیر سابق امنیت سایبری کاخ سفید در بخش فناوری و امنیت اکوسیستم و مدیر سابق استراتژی امنیت محصول در گوگل، معتقد است که هوش مصنوعی عامل‌محور (Agentic AI) — شبیه کارمندی است که نه تنها می‌فهمد چه می‌گویید، بلکه می‌تواند بدون اجازه هر لحظه، دکمه‌های اجرایی را فشار دهد — یک «عضو داخلی» غیرقابل‌پیش‌بینی را وارد محیط شرکت کرده است. این رویکرد در راستای چشم‌انداز وسیع‌تری است که در آن عامل‌های هوش مصنوعی به عنوان اعضای کامل تیم شناخته می‌شوند تا واسطه‌های انسانی حذف شوند.

این تغییر در حالی رخ می‌دهد که سازمان‌ها از مدل‌های ساده‌ی هوش مصنوعی زاینده (Generative AI) — مثل دستیاری که فقط متن می‌نویسد — به سمت سامانه‌هایی می‌روند که می‌توانند بدون نظارت مستقیم انسان، تصمیم بگیرند و عمل کنند. این ابزارها وعده‌ی بهره‌وری عظیمی را می‌دهند؛ برای مثال، برخی پزشکان از AI عامل‌محور برای مدیریت قرار ملاقات‌های بیماران استفاده می‌کنند. اما مشکل اینجاست که این ابزارها با هویت و دسترسی‌هایی مشابه کارکنان انسانی عمل می‌کنند، اما برخلاف انسان‌ها، هیچ محدودیت اجتماعی یا قانونی درونی ندارند.

بر اساس بحث‌های اخیر در پادکست TechTank از مؤسسه بروکینگز (Brookings Institution) به میزبانی نیکول ترنر لی، بسیاری از سازمان‌ها در حال حاضر نوآوری را بر زیرساخت‌های امنیتی ترجیح می‌دهند و در واقع امنیت پایه را فدای سرعت می‌کنند. همان‌طور که در تحلیل‌های قبلی ما درباره‌ی امنیت مدل‌های بازمتن اشاره کردیم، شکاف بین سرعت استقرار و نظارت امنیتی در حال عمیق‌تر شدن است. گلوستر اشاره می‌کند که امروز «هوش مصنوعی سایه» (Shadow AI) به شدت عامل‌محور شده است؛ یعنی کارکنان بدون اطلاع بخش IT، ابزارهایی مثل Claude (از جمله Claude Cowork) یا ChatGPT Work را برای استخراج داده، تحلیل آن‌ها و اجرای عملیات در سیستم‌های مختلف بدون نظارت رسمی به کار می‌گیرند.

استعاره‌ی «ریسک داخلی»

گلوستر این مشکل را به عنوان یک چالش «ریسک داخلی» تعریف می‌کند. این مفهوم را او در کتاب خود با عنوان «داخلی‌ای که خودتان ساختید: چگونه سازمان‌ها کنترل عامل‌های AI خودمختار را حفظ کنند» به تفصیل شرح داده است. در امنیت سایبری سنتی، برنامه‌های ریسک داخلی برای محدود کردن رفتار کارکنان طراحی شده‌اند تا از آسیب‌های عمدی یا سهوی جلوگیری شود. او استدلال می‌کند که عامل‌های AI نیز به همین سخت‌گیری نیاز دارند؛ زیرا ممکن است دچار «رفتار نوظهور» (Emergent Behavior) شوند. این یعنی عامل برای رسیدن به هدف، مسیری را انتخاب کند که توسعه‌دهنده هرگز پیش‌بینی نکرده بود و اغلب این رفتار با ذهنیتی از نوع «به هر قیمتی که شده هدف محقق شود» پیش می‌رود.

او قلمرو عامل‌محور را نقطه‌ای می‌داند که ابزار از منطق ساده‌ی «اگر این شد، آن کار را بکن» فراتر می‌رود، اطلاعات را ترکیب می‌کند و مجموعه‌ای از انتخاب‌ها را برای رسیدن به نتیجه اتخاذ می‌کند. وقتی ابزاری بدون دستور مستقیم عمل می‌کند، تبدیل به یک «کنش‌گر» در محیط می‌شود که باید تحت حاکمیت باشد. گلوستر تأکید می‌کند که اگرچه عامل‌ها انسان نیستند، اما شبیه آن‌ها رفتار می‌کنند: آن‌ها مجوز دارند، هویت دارند و در محیط دیجیتال دقیقاً مانند یک کارمند انسانی جابه‌جا می‌شوند.

زمینه: شکاف حاکمیتی

گلوستر به یک گسست بحرانی در نحوه برخورد سازمان‌ها با این ابزارها اشاره می‌کند. بسیاری از مدیران ارشد پذیرش فناوری‌های پیشرفته را فشار می‌دهند، اما چالش‌های پیچیده‌ی حاکمیتی را که این ابزارها ایجاد می‌کنند، به طور کامل برطرف نمی‌کنند. در نبودِ نرده‌های ایمنی (Guardrails) در سطح فدرال و ملی، تمام بار کنترل و نظارت بر دوش سازمان و تک‌تک افراد می‌افتد.

این نبودِ نظارت بسیار خطرناک است چون عامل‌ها ابزارهای ایستا نیستند، بلکه کنش‌گرانی پویا هستند. به باور گلوستر، سازمان‌ها باید دست از نگاه به AI به عنوان یک «نرم‌افزار» ساده بردارند و با آن مانند یک «نوع جدید از کارمند» برخورد کنند. این یعنی بررسی هویت و دسترسی یک عامل باید به اندازه بررسی سوابق و صلاحیت یک استخدام جدید در یک بخش حساس سازمان باشد. او معتقد است که اگر یک سازمان برای استخدام یک انسان در بخش مالی، مراحل سخت‌گیرانه‌ای را طی می‌کند، باید همان سطح از تدقیق را برای اعطای دسترسی به یک عامل AI به سیستم‌های مالی به کار بگیرد.

ماهیت چندرشته‌ای نظارت

حاکمیت در محیط‌های عامل‌محور، صرفاً یک مسئله‌ی انطباق یا سیاست ریسک نیست. گلوستر تعریف حاکمیت را گسترده داده و آن را «در دست گرفتن کنترل این قابلیت» می‌نامد. از آنجایی که یک عامل مانند عضوی از سازمان عمل می‌کند، مدیریت آن باید یک دیسیپلین چندرشته‌ای باشد.

وقتی شرکتی یک انسان را استخدام می‌کند، از شبکه‌ای از متخصصان منابع انسانی (HR)، حقوقی و استخدامی استفاده می‌کند و مدیری را برای نظارت بر کارهای روزانه او می‌گمارد. گلوستر استدلال می‌کند که زیرساخت مشابهی برای عامل‌های AI لازم است. امنیت سایبری در مرکز این تلاش است، اما نمی‌تواند به تنهایی عمل کند؛ برای موفقیت، این حوزه باید با ویژگی‌های ایمنی، پرسش‌های اخلاقی و مدیریت ریسک سازمانی ادغام شود. در واقع، حاکمیت عامل‌محور نیازمند هماهنگی بین تیم‌های فنی و غیرفنی است تا اطمینان حاصل شود که اهداف AI با ارزش‌های سازمان همسو است.

جزئیات: چارچوب حاکمیتی ACE

برای مدیریت این وضعیت، گلوستر چارچوب ACE (اجرای متمرکز بر اختیار و انتساب - Authority-Centered Enforcement and Attribution) را معرفی می‌کند. این رویکرد هفت‌مرحله‌ای، حاکمیت را از یک سند سیاستی خشک به یک دستگاه فنی در لحظه تبدیل می‌کند. او تأکید می‌کند که حاکمیت باید یک دیسیپلین چندرشته‌ای باشد که نه تنها امنیت، بلکه تیم‌های HR، حقوقی، استخدامی و اخلاق را در بر بگیرد تا مشابه زیرساخت مدیریت نیروی انسانی باشد.

• تبیین اختیار (Articulating Authority): تعریف دقیق کارهایی که عامل می‌تواند یا نمی‌تواند انجام دهد. این شامل تعیین سقف‌های سخت برای مبلغی است که عامل مجاز است هزینه کند یا مدت زمانی که باید برای رسیدن به هدف به یک سیستم خاص دسترسی داشته باشد. هدف این است که نقطه «توقف» و مرزهای اختیار تفویض شده تعریف شود. در این مرحله باید مشخص شود که عامل در کجا اجازه دارد تصمیم بگیرد و در کجا باید حتماً از انسان تاییدیه بگیرد.
• تشخیص و حاکمیت (Detection and Governance): تعیین هویت و مجوزهای عامل. این مرحله مستلزم شناسایی این است که چه کسی در سازمان در قبال این عامل پاسخگو است و مدل تهدید آن باید به تیم‌های IT و امنیت ابلاغ شود. این بخش شامل درک هویت عامل و نحوه مدیریت آن در کل سیستم است. سازمان باید بداند هر عامل چه هویتی دارد و چه دسترسی‌هایی در لایه‌های مختلف شبکه فعال است. در این راستا، رویکردهایی برای اتصال امن LLMها به سیستم‌های CRM با تمرکز بر حریم خصوصی، نمونه‌هایی از تلاش برای ایجاد این لایه‌های کنترلی هستند.
• اجرای زمان اجرا (Runtime Enforcement): پیاده‌سازی محرک‌های فنی که بتوانند در لحظه‌ی اجرا، اقدام عامل را علامت‌گذاری، بررسی یا فوراً متوقف کنند. این تضمین می‌کند که اگر اقدامات عامل از هدف تعیین‌شده منحرف شد، رفتار او فوراً اصلاح شود. حاکمیت باید در نقطه‌ی عمل رخ دهد، نه فقط در دفترچه راهنما. این یعنی سیستم باید بتواند در میلی‌ثانیه تشخیص دهد که یک دستور خارج از چارچوب است و آن را مسدود کند.
• یادگیری مستمر (Continuous Learning): تطبیق سیستم بر اساس حوادث جدید. این شامل یادگیری از اتفاقات خارجی (مانند حادثه OpenAI/Hugging Face یا گزارش‌هایی از نفوذ عامل‌ها به وب‌سایت‌های سازمان ملل و تأثیر بر کشورهایی مثل استرالیا) و همچنین یادگیری از پیکربندی‌های غلط داخلی یا رفتارهای نوظهوری است که با اهداف سازمان همسو نیستند. سازمان‌ها باید از اشتباهات دیگران و تجربیات داخلی خود برای به‌روزرسانی سریع محدودیت‌های ACE استفاده کنند.

توجیه تجاری برای حاکمیت

گلوستر اشاره می‌کند که یک مانع بزرگ، متقاعد کردن رهبران برای تخصیص منابع به این زیرساخت است. چه یک متخصص امنیت باشد و چه یک مدیر مارکتینگ که وظیفه ساخت یک باتِ موفقیت مشتری را دارد، هر دو اغلب برای به دست آوردن بازسازی‌های ساختاری و دسترسی به اطلاعات لازم جهت اجرای ACE با دشواری روبرو هستند. بسیاری از مدیران تصور می‌کنند حاکمیت باعث کند شدن سرعت نوآوری می‌شود، در حالی که بدون آن، ریسک‌های عملیاتی به شدت افزایش می‌یابد.

او در کتاب خود فصلی اختصاصی را به «توجیه تجاری برای حاکمیت» اختصاص داده است. استدلال او این است که به حداکثر رساندن ارزش تجاری و بازگشت سرمایه (ROI) بدون «در دست گرفتن کنترل قابلیت‌ها» غیرممکن است. بدون حاکمیت، ریسک عصیان یا خارج شدن یک عامل از کنترل، بر مزایای بهره‌وری حاصل از اتوماسیون می‌چربد. در واقع، حاکمیت نه یک مانع، بلکه پیش‌نیازی برای مقیاس‌پذیری ایمن است.

فراتر از «کلید قطع اضطراری»

گلوستر با این ایده که یک «کلید قطع» (Kill Switch) ساده برای ایمنی AI کافی است — ایده‌ای که افرادی مثل بیل گیتس به آن اشاره کرده‌اند — مخالف است. او می‌گوید در حالی که یک سازمان می‌تواند یک عامل خاص را خاموش کند، اما یک کلید قطع در سطح جامعه عملاً مستلزم خاموش کردن اینترنت، دسترسی به پردازش (Compute) و تمام جریان‌های داده است که پیشنهادی تقریباً غیرممکن است.

در عوض، او از «مهندسی پلتفرم» دفاع می‌کند که در آن امنیت در زمان اجرای عامل تعبیه شده است. این شامل فاصله گرفتن از چرخه‌های کندِ ۳۰، ۶۰ یا ۹۰ روزه برای وصله زدن (Patching) باگ‌های نرم‌افزاری و حرکت به سمت یادگیری مستمر است. سازمان‌ها باید «حافظه عضلانی» ایجاد کنند تا به محض مشاهده یک رفتار نوظهور یا پیکربندی غلط، آن را در تمام لایه‌های سازمانی، عملیاتی و فنی به سرعت تغییر دهند. این یعنی امنیت نباید یک لایه بیرونی باشد، بلکه باید در تار و پود اجرای عامل تنیده شود. برای مثال، تلفیق بازبینی و کدنویسی در محیط‌های گروهی گامی در جهت نظارت مستمر بر عملکرد عامل‌ها در لحظه است.

راهنمای کاربران: چارچوب PACE

برای کاربرانی که در سطح سازمانی نیستند، گلوستر نسخه‌ی ساده‌شده‌ای به نام PACE (نسخه‌ی شخصی ACE) را پیشنهاد می‌کند. افرادی که از عامل‌ها برای مدیریت سفر یا زندگی استفاده می‌کنند باید بر چهار ستون تمرکز کنند:

۱. مجوزها (Permissions): تعیین مرزهای سخت برای هزینه‌ها و دسترسی‌ها. کاربر باید بپرسد: «چه کاری را می‌خواهم انجام دهد و چه کاری را مطلقاً نمی‌خواهم؟» برای مثال، اگر عاملی برای رزرو هتل استفاده می‌شود، باید سقف قیمت مشخصی برای آن تعیین شود تا از خریدهای غیرمنتظره جلوگیری شود.
۲. مسئولیت‌پذیری (Accountability): پذیرش اینکه انسان مسئول خروجی عامل است. برای مثال، اگر یک عامل سفر به جای یک بلیط، ۱۵ بلیط خرید چون دستور بررسی قیمت برای ۱۵ روز را اشتباه تفسیر کرد، هزینه بر عهده کاربر است. شما نمی‌توانید مسئولیت اشتباهات عامل را به گردن توسعه‌دهنده بیندازید؛ در نهایت شما دستور را داده‌اید.
۳. زمینه (Context): ارائه اطلاعات دقیق در پرامپت‌ها برای جلوگیری از تفسیرهای مضر. درک زمینه گسترده‌تر به کاربر کمک می‌کند بفهمد منطق عامل در کجا ممکن است شکست بخورد. هرچه جزئیات بیشتری در دستورات بگنجانید، احتمال انحراف عامل از هدف کاهش می‌یابد.
۴. تکامل (Evolution): استفاده از خودِ AI برای رصد قابلیت‌های جدید. گلوستر پیشنهاد می‌کند پرامپتی تنظیم کنید که هفتگی یا ماهانه شما را از قابلیت‌های جدیدی که باید نگرانشان باشید یا رفتارهایی که باید اصلاح کنید، آگاه کند. این یعنی استفاده از هوش مصنوعی برای نظارت بر تکامل هوش مصنوعی.

شکاف سیاست‌گذاری و مدل اتحادیه اروپا

گلوستر هشدار می‌دهد که سیاست‌های ملی با سرعت استقرار این ابزارها پیش نمی‌روند. او اشاره می‌کند که در آمریکا، اقدامات در سطح ملی در مورد سیاست‌های عینی AI متوقف شده و صنعت را رها کرده تا قوانین و هنجارهای اجتماعی را ناخودآگاه بنویسد. این خلأ قانونی باعث می‌شود شرکت‌ها بدون داشتن استانداردهای مشترک، به صورت پراکنده و گاه خطرناک پیش بروند.

او مدل اتحادیه اروپا در سیاست‌گذاری چابک را پیشنهاد می‌کند: نوشتن قوانین، مشاهده واکنش صنعت و اصلاح آن‌ها پس از تصویب. این مسیر نیازمند همکاری بین صنعت و دانشگاه است تا اثرات بلندمدت درک شود و «خطوط قرمز» که هنوز تعریف نشده‌اند، به وضوح تبیین گردند. او معتقد است که دولت‌ها باید به جای تلاش برای نوشتن قوانین جامع و ایستا، به سمت مدل‌های پویا بروند که با تکامل فناوری تغییر می‌کنند.

این گذار به معنای تکامل جامعه‌ی امنیت سایبری است. تکیه به استانداردهای قدیمی ISO و چرخه‌های کندِ وصله زدن برای عامل‌هایی که می‌توانند در میلی‌ثانیه از اهداف خود منحرف شوند، کافی نیست. هدف، ایجاد یک «حافظه عضلانی» برای پیکربندی سریع عامل‌های AI است، زیرا رفتارهای آن‌ها در لحظه ظاهر می‌شوند. امنیت در عصر AI دیگر یک وضعیت ایستا نیست، بلکه یک فرآیند پویا و مداوم است.

سازمان‌ها باید همین حالا ردپای «هوش مصنوعی سایه» خود را بررسی کنند تا بفهمند کدام عامل‌های خودمختار بدون ساختار نظارتی تعریف شده در شبکه آن‌ها فعال هستند. همان‌طور که گلوستر می‌گوید، مسابقه با زمان آغاز شده است و زیرساخت حاکمیت بر این «عضو داخلی‌ها» باید پیش از آنکه فناوری منسوخ یا غیرقابل کنترل شود، ساخته شود.

گام بعدی شما

• لیست تمام ابزارهای AI که کارکنان شما به صورت غیررسمی استفاده می‌کنند (Shadow AI) را استخراج کنید.
• برای هر عامل خودمختار، یک «سقف هزینه» و «مرز دسترسی» سخت تعریف کنید.
• یک پروتکل سریع برای شناسایی و توقف رفتارهای غیرمنتظره در زمان اجرا (Runtime) طراحی کنید.

اما داستان سخت‌افزاری این تحول حتی شگفت‌انگیزتر است — به تحلیل ما درباره‌ی تراشه‌های Blackwell مراجعه کنید.