حفاظ‌های قطعی در برابر تأیید انسانی؛ تغییر استراتژی ایمنی آمازون

یک خطای کوچک در تأیید دسترسی یک عامل هوشمند (Agentic Action) در یک خط لوله امنیتی می‌تواند منجر به وقوع حوادثی در سطح نفوذهای گسترده شود که پس از محاسبه خسارات، هزینه‌های Forensic (جرم‌شناسی دیجیتال)، زمان توقف سرویس (Downtime) و افشای داده‌ها، میلیون‌ها دلار هزینه در بر دارد. اریک برندواین (Eric Brandwine)، معاون امنیتی آمازون (Amazon)، هشدار می‌دهد که تکیه صنعت بر حاکمیت «انسان در حلقه» (Human-in-the-Loop یا HITL) در حال ایجاد یک توهم خطرناک از ایمنی است. سازمان امنیتی آمازون سطحی از عملیات‌های عامل‌محور را مدیریت می‌کند که گسترده‌تر از آن چیزی است که اکثر سازمان‌های تجاری تا به حال مستقر کرده‌اند؛ به همین دلیل، این هشدار بیشتر یک تجربه عملیاتی حیاتی است تا یک دیدگاه تئوریک.

این تغییر دیدگاه درست زمانی رخ می‌دهد که سازمان‌ها از چت‌بات‌های ساده به سمت عامل‌های هوش مصنوعی (AI Agents) حرکت می‌کنند؛ سیستم‌هایی که می‌توانند به‌طور خودمختار سیاست‌های مدیریت دسترسی (IAM) را تغییر دهند، رکوردهای داده‌ای را حذف کنند یا ایمیل ارسال نمایند. در حالی که چارچوب‌های رگولاتوری مانند «قانون هوش مصنوعی اتحادیه اروپا» بر نظارت انسانی برای سیستم‌های پرریسک تأکید دارند، اما واقعیت عملیاتی در مقیاس بزرگ نشان می‌دهد که این رویکرد کارآمد نیست. تمرکز اکنون از خودِ مدل به لایه‌ای منتقل شده است که در آن انسان و عامل در هماهنگی شکست می‌خورند. این همان «درز عملیاتی» (Operational Seam) است؛ جایی که عامل‌ها یا در مسیر تعیین‌شده می‌مانند یا در سکوت از ریل خارج می‌شوند، در حالی که انسانی خسته صرفاً روی دکمه تأیید کلیک می‌کند.

این وضعیت شبیه به پدیده «خستگی از هشدار» (Alarm Fatigue) در بیمارستان‌ها است. وقتی کادر درمان در بخش اورژانس با انبوهی از هشدارهای مثبت کاذب (False Positives) بمباران می‌شوند، در نهایت واکنش به هشدارها را متوقف می‌کنند. طبق گزارشی از The Register در تاریخ ۲۰ ژوئن ۲۰۲۶، این «عادی‌سازی انحراف» (Normalization of Deviance) دقیقاً همان اتفاقی است که وقتی انسانی وظیفه تأیید ۵۰۰ درخواست مشابه AI را در یک بعدازظهر دارد، رخ می‌دهد. این مفهوم که نخستین بار توسط جامعه‌شناس، دایان وان (Diane Vaughan)، در مطالعه فاجعه شاتل چلنجر مطرح شد، توصیف‌گر فرسایش تدریجی نظم است؛ یعنی زمانی که استفاده از میان‌برها منجر به هیچ فاجعه فوری نمی‌شود، بنابراین فرد به آن عادت می‌کند. برندواین اشاره می‌کند که این الگو در میان کارکنان بهداشت و درمان، آتش‌نشان‌ها و خلبانان ارتش مستند شده است: «در واقع، در حالی که جان یک نفر در خطر است، باز هم انسان‌ها برای حفظ نظم و دقت دست‌وپنجه نرم می‌کنند. این ماهیت بشر است».

مکانیسم زوال تأیید

برندواین استدلال می‌کند که انسان‌ها در نقش «ربات‌های تأیید» دچار زوال عملکرد می‌شوند. او خاطرنشان می‌کند که هم انسان‌ها و هم هوش مصنوعی غیرقطعی (Non-deterministic) هستند؛ یعنی هیچ‌کدام هر بار خروجی یکسانی تولید نمی‌کنند و هر دو اشتباه می‌کنند. تفاوت در این است که ما هزاران سال تجربه از شکست‌های انسانی داریم، اما کمتر از یک دهه با مدل‌های زبانی بزرگ (LLM) مدرن سر و کار داشته‌ایم. خطر واقعی، زوالی است که در اثر تکرار رخ می‌دهد.

اگر انسانی در یک حلقه بسته برای تصمیم‌گیری درباره ابزارهای عامل‌محور قرار گیرد، کیفیت کار او در سه مرحله سقوط می‌کند و شکست معمولاً از یک جریان پیش‌بینی‌پذیر پیروی می‌کند:

• نظم اولیه (درخواست‌های ۱ تا ۵۰): بازبین با دقت زمینه‌ها (Contexts) و تفاوت‌ها (Diffs) را بررسی می‌کند. تأخیر در پاسخ بالا (۳۰ تا ۹۰ ثانیه) است و کیفیت تأیید واقعاً بالاست.
• عادی‌سازی انحراف (درخواست‌های ۵۱ تا ۴۹۹): چون هیچ فاجعه‌ای رخ نداده است، بازبین شروع به ورق زدن سریع می‌کند. تأخیر به ۳ تا ۵ ثانیه می‌رسد. این دقیقاً همان الگویی است که در آتش‌نشان‌ها و خلبانان ارتش دیده شده است.
• تأیید کورکورانه (درخواست‌های ۵۰۰ به بالا): بازبین بدون خواندن درخواست، آن را تأیید می‌کند. در این مرحله، انسان حضور فیزیکی دارد، اما توجه ذهنی غایب است.

این وضعیت باعث ایجاد «شکاف هماهنگی AI» (AI Coordination Gap) می‌شود. این شکاف به عنوان وضعیتی تعریف می‌شود که در آن عامل‌های AI سریع‌تر از توانایی بازبین انسانی برای بررسی معنادار، اقدام می‌کنند. این شکاف هر بار که یک مرحله تأیید اضافه می‌شود که سرعت آن بالاتر از ظرفیت توجه انسان است، عمیق‌تر می‌شود. این بدان معناست که اکثر طراحی‌های «انسان در حلقه»، فعالانه همان شکافی را تولید می‌کنند که ادعا می‌کردند آن را می‌بندند. ارزش حاکمیتی انسان به عنوان تابعی از فرکانس درخواست‌ها فرو می‌پاشد و او تبدیل به «نویزی به شکل تأییدکننده» می‌شود. برای درک بهتر این چالش، می‌توان به لایه‌های حیاتی برای جلوگیری از توهم در Bedrock AgentCore اشاره کرد که نشان می‌دهد چگونه نبود هماهنگی منجر به شکست‌های سیستمی می‌شود.

جبهه متحد غول‌های فناوری

آمازون در این چرخش تنها نیست. در یک هفته در ژوئن ۲۰۲۶، چهار Operator بزرگ جهان موضع‌های حاکمیتی خود را بازتعریف کردند که نشان‌دهنده یک همگرایی در نحوه مدیریت حاکمیت فناوری AI در مقیاس بزرگ است:

• گوگل کلود (Google Cloud): فرانسیس دیسوزا (Francis deSouza)، مدیر عملیات، پیش از کنفرانس Google Cloud Next در آوریل ۲۰۲۶ اعلام کرد که شرکت از استراتژی «دفاع انسان‌محور» به استراتژی «انسان در حلقه» و در نهایت به یک «استراتژی دفاع AI-محور که توسط انسان‌ها نظارت می‌شود» حرکت کرده است تا بتواند با سرعت ماشین عمل کند.
• مایکروسافت (Microsoft): ساتیا نادلا (Satya Nadella)، مدیرعامل، در پستی در X بر «یادگیری حلقه‌ای» (Loop Learning) تأکید کرد. او بر استفاده از ردپاهای واقعی سازمانی در محیط‌های RL (یادگیری تقویتی) خصوصی تأکید کرد تا دانش دامنه به سیستم‌های AI کمک کند تا بهبود یابند. او صریحاً هشدار داد که ارزیابی‌ها باید ثبت کنند که آیا مدل در برابر نتایج تجاری (Business Outcomes) در حال بهبود است یا خیر، نه اینکه فقط بنچمارک‌های خارجی را بسنجند.
• IBM: مدیران این شرکت تمرکز را به سمت «مسئولیت‌پذیری انسانی» (Human Accountability) تغییر دادند، به جای اینکه بر حضور انسان در حلقه (Humans in the loop) در تمامی مراحل توسعه، استقرار و حاکمیت تأکید کنند.
• آمازون (Amazon): برندواین صراحتاً بیان کرد که HITL «لزوماً استاندارد طلایی نیست» و باید تنها «به‌طور هوشمندانه و در جایی که مطلقاً به آن نیاز است» استفاده شود، نه در فرآیندهایی با سرعت بالا.

معماری جایگزین: نظارت به‌جای تأیید

برای حل شکاف هماهنگی، این شرکت‌ها در حال همگرایی به سمت یک توپولوژی لایه‌بندی‌شده هستند. به‌جای یک گلوگاه سریال (Seral Bottleneck) که در آن هر اقدام باید به انسان برسد، آن‌ها یک دفاع لایه‌ای را پیاده می‌کنند که حفاظ‌های قطعی (Deterministic Guardrails) را از قضاوت انسانی جدا می‌کند.

لایه‌های تفصیلی حاکمیت:

• حفاظ‌های قطعی (کف/The Floor): با استفاده از ابزارهایی مانند سرورهای MCP (Model Context Protocol) و سیاست‌گذاری به صورت کد (Policy-as-Code)، شرکت‌ها محدودیت‌های سختی تعریف می‌کنند؛ مانند سقف هزینه‌ها، لیست‌های مجاز (Allow-lists) و محدودیت‌های شعاع تخریب (Blast-radius). این‌ها قطعی هستند و هرگز دچار خستگی نمی‌شوند. پروتکل MCP در اینجا حیاتی است زیرا اجازه می‌دهد سرورها فقط ابزارهای مجاز را نمایش دهند و تضمین کنند که یک عامل فیزیکاً نمی‌تواند ابزاری خارج از سیاست تعیین‌شده را فراخوانی کند.
• اجرای خودکار (ناوگان/The Fleet): ناوگان عامل‌ها (با استفاده از فریم‌ورک‌هایی مانند LangGraph یا CrewAI) بیش از ۹۵٪ از کارهای روتین را با سرعت ماشین انجام می‌دهند. این اقدامات طبق طراحی هرگز به انسان نمی‌رسند و دفاع را از «انسان‌محور» به «AI-محور» منتقل می‌کنند. این کار تضاد میان سرعت بالای تأیید و توجه محدود انسانی را از بین می‌برد.
• تصاعد ریسک (دریچه/The Valve): تنها اقدامات بدیع (Novel)، کم‌اطمینان یا اقداماتی با شعاع تخریب بالا باعث توقف سیستم و فراخوانی انسان می‌شوند. این رویکرد بار بازبین را به حدود ۵ تا ۲۰ تصمیم در روز می‌رساند که بسیار پایین‌تر از آستانه خستگی است که توسط مرکز ملی اطلاعات بیوتکنولوژی (NCBI) در مورد خستگی از هشدار مستند شده است.
• مسئولیت‌پذیری سیستمی (سقف/The Ceiling): مالکان نام‌برده مسئول سیاست‌ها و رفتار ناوگان هستند. ردپاهای حسابرسی (Audit trails) از مستند کردن «کلیک روی یک دکمه» به مستند کردن «حاکمیت بر سیستم» تغییر می‌کنند. مدل IBM بر این مسئولیت‌پذیری در تمام مراحل تأکید دارد، نه روی محرک‌های هر اقدام به صورت مجزا.

پیاده‌سازی و اقتصاد عملیاتی

برای توسعه‌دهندگانی که از فریم‌ورک‌هایی مانند LangGraph استفاده می‌کنند، این مدل از طریق مکانیسم interrupt() عملیاتی می‌شود. به‌جای تأیید کلی، یک تابع نمره ریسک (Risk-score function) لایه اقدام را تعیین می‌کند:

• لایه پایین (LOW): ابزار در لیست مجاز است، هزینه زیر سقف است و درجه تازگی (Novelty) پایین است $
  ightarrow$ نتیجه: auto_execute (سرعت ماشین، بدون انسان).
• لایه متوسط (MEDIUM): اطمینان پایین یا الگوهای مشاهده نشده (Novelty > 0.8) $
  ightarrow$ نتیجه: queue_async_review (این اقدام ناوگان را متوقف نمی‌کند و در صف بررسی قرار می‌گیرد).
• لایه بالا (HIGH): اقدامات تخریبی (مثلاً delete_production_table)، اقداماتی که از سقف هزینه عبور می‌کنند (مثلاً بیش از ۵۰۰ دلار) یا ابزارهای غیرمجاز $
  ightarrow$ نتیجه: interrupt() فوری برای یک بازبین انسانی با سطح هشدار بالا.

این تغییر همچنین اقتصاد عملیات AI را دگرگون می‌کند. ممیزی سال ۲۰۲۶ شرکت Twarx روی ۱۲ استقرار عامل‌محور سازمانی نشان داد که ۹ مورد از آن‌ها بدون هیچ آستانه تصاعدی مستندی فعالیت می‌کردند. انتقال از سه بازبین تمام‌وقت «تأییدکننده کور» (با هزینه سالانه ۸۰ تا ۱۵۰ هزار دلار برای هر نفر) به یک مالک نظارت پاره‌وقت، می‌تواند سالانه ۱۶۰ تا ۲۴۰ هزار دلار در سازمان ذخیره کند و هم‌زمان امنیت را افزایش دهد. یک بازبین در حالت تأیید کورکورانه، در واقع دارای بازدهی منفی (Negative ROI) است: شرکت مبلغ‌های شش رقمی پرداخت می‌کند تا در معرض ریسک قانونی قرار گیرد، در حالی که هیچ ارزش نظارتی واقعی حاصل نمی‌شود.

تحلیل: مرگ تئاتر انطباق (Compliance Theater)

این حرکت نشان‌دهنده پایان «تئاتر انطباق» است. برای سال‌ها، فروشندگان HITL را به عنوان یک ویژگی ایمنی باینری (صفر و یک) فروختند؛ یا انسانی آنجا بود یا نبود. بینش برندواین این است که حاکمیت، یک ویژگی وابسته به نرخ (Rate-dependent) است. وقتی توجه انسان به عنوان یک منبع محدود در نظر گرفته شود، مدل فعلی صف‌های تأیید به یک بدهی (Liability) تبدیل می‌شود: زیرا ردی از کاغذ ایجاد می‌کند که نشان می‌دهد یک انسان یک شکست را «تأیید» کرده است و این امر مسئولیت‌پذیری را بدتر می‌کند.

برای کسب‌وکارهای کوچک، درس این است که عبارت «من همه چیز را چک می‌کنم» یک برنامه ایمنی نیست. تا هفته سوم، مالکان اغلب روی حالت خلبان خودکار (Autopilot) تأیید می‌کنند. رویکرد بهتر، تعیین محدودیت‌های قطعی است؛ مثلاً سقف بازپرداخت‌های خودکار را ۵۰ دلار تعیین کنند و هر مبلغ بالاتر از آن را تصاعد کنند. این کار ۳۰۰ مورد بررسی سریع و سطحی را با سه بررسی واقعی جایگزین می‌کند. یک حلقه کلاهبرداری در بازپرداخت‌ها که به صورت کورکورانه تأیید شود، می‌تواند هزاران دلار را پیش از آنکه مالک متوجه شود تخلیه کند و این واقعیت که «یک انسان آن را تأیید کرده است» در اختلافات مربوط به Chargeback کمکی نخواهد کرد.

مقایسه همگرایی چهار غول فناوری

بسیار تکان‌دهنده است که چهار رقیب در یک هفته از ژوئن ۲۰۲۶ به یک نتیجه یکسان رسیدند. این همگرایی سیگنالی است که حجم عامل‌ها در نهایت از نقطه‌ای عبور کرده است که انسان‌ها بتوانند به‌صورت در-خط (In-line) بر آن‌ها نظارت کنند.

چشم‌انداز آینده برای حاکمیت فناوری AI

به دنبال رهبری نادلا، سازمان‌ها احتمالاً توقف تکیه بر بنچمارک‌های عمومی مانند MMLU و شروع به درخواست ارزیابی‌های خصوصی می‌کنند که ثبت کند آیا مدل در برابر نتایجی که برای کسب‌وکار مهم است، بهبود می‌یابد یا خیر. انتظار می‌رود این تغییر به سمت ارزیابی‌های خصوصی مبتنی بر نتیجه (Outcome-based) روی ردپاهای واقعی، تا سال ۲۰۲۷ بر تصمیمات خرید و تجهیزات مسلط شود.

با نگاه به سال‌های ۲۰۲۷ و ۲۰۲۸، انتظار داریم تغییر قابل‌توجهی در چشم‌انداز رگولاتوری رخ دهد. احتمالاً رگولاتورها از زبان توصیفی «انسان در حلقه» فاصله گرفته و به سمت چارچوب‌های «مسئولیت‌پذیری سیستمی» حرکت کنند که با مدل IBM (مسئولیت‌پذیری به ازای هر سیستم به جای لاگ تأیید به ازای هر اقدام) همسو است. هدف، بستن شکاف هماهنگی از طریق تطبیق نظارت با جایی است که توجه انسان واقعاً بادوام است: خودکارسازی روتین‌ها، تصاعد موارد بدیع و مالکیت کل سیستم.