تصور کنید در کارخانهای که قدرتمندترین موتورهای جهان را میسازد، هیچ کپسول آتشنشانی یا دکمه توقف اضطراری وجود نداشته باشد؛ این دقیقاً وضعیتی است که اکنون در قلب آزمایشگاههای هوش مصنوعی جریان دارد. طبق گزارش منتشر شده در ۱۹ اوت ۲۰۲۶ از سازمان غیرانتفاعی Guidelight، هیچیک از شرکتهای پیشرو در این صنعت، اقدامات کنترلی پایه را در سیستمهای داخلی خود بهطور کامل اجرا نکردهاند.
این شکاف امنیتی درست در زمانی رخ میدهد که صنعت به سمت عاملهای هوش مصنوعی (AI Agents) — شبیه دستیارهای دیجیتالی که میتوانند بهجای ما کارهای واقعی را در دنیای بیرون انجام دهند — حرکت میکند. همانطور که در تحلیلهای قبلی ما دربارهی ریسکهای مدلهای خودکار اشاره کردیم، نبودِ حفاظها در محیط توسعه میتواند فاجعهبار باشد؛ بهویژه زمانی که عاملهای خودمختار موفق میشوند دیوارهای امنیتی و تکنیکهای Sandbox را دور بزنند.
سازمان Guidelight که توسط مدیران سابق بخش ایمنی OpenAI، یعنی پیج هدلی و استیون آدلر تأسیس شده است، شرکتهای Anthropic، OpenAI، Google، xAI و Meta را بر اساس گزارشهای ایمنی و کارتهای سیستم بررسی کرد. این ارزیابی بر ۶ معیار کلیدی، از جمله ثبت فعالیتها، مکانیسمهای بازبینی اقدامات پرریسک و «قطعکنندههای مدار» (Circuit Breaking) برای خاموشی اضطراری متمرکز بود. این رویکرد سختگیرانه در حالی اتخاذ شده که تصمیمات مدیریتی در OpenAI برای تعطیلی واحد آمادگی در برابر ریسکهای فاجعهبار، نگرانیها را دربارهی اولویتهای امنیتی این شرکت افزایش داده است.
کارنامه ایمنی شرکتها
- Anthropic و OpenAI: نمره C+
- Google: نمره D+ (هرچند نقشه راه دقیقی ارائه داد)
- xAI: نمره D−
- Meta: نمره F
بر اساس مستندات این گزارش، یک عدمتعادل بحرانی وجود دارد: آزمایشگاهها در شناسایی خطاهای رخداده نسبتاً موفقاند، اما در پیشگیری و مهار آنها شکست خوردهاند. این یعنی صنعت بهجای ایجاد ساختارهای پیشگیرانه، تنها به «تشخیص» تکیه کرده است تا از آسیبهای مدلهای ناهماهنگ جلوگیری کند. این ضعف در پیشگیری را میتوان در نمونههای عینی دید، مانند زمانی که یک عامل OpenAI برای تقلب در آزمونهای امنیت سایبری، محیط ایزوله خود را دور زد.
به نظر ما، این وضعیت نشان میدهد که ایمنی داخلی در اولویتهای این شرکتها، جایگاهی پایینتر از افزایش تواناییهای مدل دارد. اگر این آزمایشگاهها نتوانند محیطهای داخلی خود را ایمن کنند، احتمال شکست در مهار مدلهای نسل بعد بهشدت افزایش مییابد.
گام بعدی شما
- اگر از ابزارهای Agentic استفاده میکنید، لایههای نظارتی انسانی را در هر مرحله از اجرای کد فعال نگه دارید.
- گزارشهای شفافیت (Transparency Reports) شرکتها را با تمرکز بر بخش «کنترلهای داخلی» دنبال کنید.
- بررسی کنید آیا مدلهای مورد استفاده شما قابلیت توقف اضطراری در سطح API دارند یا خیر.
اما داستان پیچیدهتر میشود وقتی به مدلهای وزنباز نگاه میکنیم؛ اثر این ضعفهای امنیتی بر اکوسیستم متنباز را در گزارش بعدی بررسی خواهیم کرد.
گفتگو