تصور کنید با سیستمی روبه‌رو هستید که هوشی فراتر از انسان دارد، اما به‌جای اینکه یک جعبه سیاه پیچیده باشد، یک «ترمز اضطراری» سخت‌افزاری و قطعی دارد. این همان تغییری است که ساتیا نادلا، مدیرعامل مایکروسافت (Microsoft)، معتقد است صنعت باید به سمت آن حرکت کند.
به نقل از پست او در شبکه اجتماعی X در ۱۰ اکتبر ۲۰۲۶، نادلا استدلال می‌کند که استراتژی‌های فعلی — یعنی صرفاً پذیرفتن یا رد کردن توصیه‌های هوش مصنوعی — دیگر برای حفظ ایمنی کافی نیستند. این هشدار در حالی می‌آید که آزمایشگاه‌های پیشرو گزارش می‌دهند تعداد دفعاتی که کنترل مدل‌ها از دست رفته، در حال افزایش است. این رویکرد در تداوم تلاش‌های مایکروسافت برای تضمین کنترل انسانی از طریق تدوین منشور اخلاقی MAI قرار دارد تا چارچوبی برای رفتار مدل‌ها ایجاد شود.
در پوشش پیشین ما از تلاش مایکروسافت برای توسعه عامل‌های محلی، دیدیم که تمرکز بر کاربر نهایی بود؛ اما دیدگاه جدید نادلا نشان می‌دهد نگرانی‌های عمیق‌تری درباره ریسک‌های سیستماتیک هوش مصنوعی متمرکز وجود دارد. او نبودِ شفافیت را یک نقطه ضعف بحرانی در معماری اعتماد می‌داند. این نگرانی‌ها در حالی شدت می‌یابد که برخی از رقبای این صنعت، مانند OpenAI، متهم شده‌اند که امنیت شبکه را فدای ممیزی‌های سطحی کرده‌اند و استانداردهای حفاظتی را نادیده گرفته‌اند.
طبق گزارش تک‌کرانچ (TechCrunch)، چارچوب ایمنی پیشنهادی نادلا شامل سه تغییر فنی کلیدی است:
- جداسازی (Decoupling): تفکیک مدل اصلی از «هارنس» یا همان لایه سازمان‌دهنده — شبیه به جدا کردن موتور ماشین از پدال ترمز تا ترمز مستقل از وضعیت موتور کار کند — برای خارجی کردن حفاظ‌ها.
- قابلیت حسابرسی (Auditability): الزام مدل به ثبت هر اقدام معنادار با شواهدی که توسط انسان قابل خواندن و غیرقابل تغییر باشد.
- لغو دستی (Manual Override): تضمین اینکه یک فرد مجاز بتواند مدل را در هر لحظه از اجرای وظیفه متوقف یا خاموش کند.
این رویکرد نادلا با استراتژی داریو آمودی، مدیرعامل آنتروپیک (Anthropic)، هم‌راستا است. هر دو معتقدند توسعه‌دهندگان باید از ابتدا فرض کنند مدل «آلوده» یا «نافرمان» شده است و به‌جای تکیه بر رفتار مدل، سیستم‌های مهارکننده بسازند.
برای مدیران کسب‌وکار، این یعنی دوران مدل‌های «نصب و اجرا» (Plug-and-Play) که مانند جعبه‌های سیاه عمل می‌کردند، به پایان می‌رسد. فاز بعدی پذیرش هوش مصنوعی در سازمان‌ها، نیازمند لایه‌های حاکمیتی سخت‌گیرانه‌ای است که بتوانند هر فرآیند منحرف شده را فوراًe متوقف کنند.
گام بعدی شما
- اگر از APIهای هوش مصنوعی در مقیاس سازمانی استفاده می‌کنید، لایه‌های نظارتی خارجی (External Guardrails) را جایگزین فیلترهای داخلی مدل کنید.
- در مستندات فنی خود، مکانیزم «توقف فوری» (Kill Switch) را به عنوان یک اولویت امنیتی تعریف کنید.
- گزارش‌های مربوط به «خروج از کنترل» در مدل‌های استدلالی را دنبال کنید تا متوجه شوید چه نوع شواهدی برای حسابرسی لازم است.
اما نحوه تبدیل این ترمزهای اضطراری به ویژگی‌های واقعی در APIها یا قوانین دولتی، به‌ویژه با رویکردهای دولت ترامپ، داستان پیچیده‌تری دارد که در گزارش‌های بعدی بررسی خواهیم کرد.
گفتگو