تصور کنید یک کارمند به تمام کلیدهای ساختمان دسترسی دارد، اما یک نگهبان مستقل که به مدیر او گزارش نمیدهد، هر لحظه حرکاتش را زیر نظر دارد. این دقیقاً همان استراتژی جدید انویدیا (Nvidia) برای مهار عاملهای هوش مصنوعی (AI Agents) است تا از محیطهای امن خود فرار نکنند. در واقع، اکنون یک پردازنده سختافزاری مجزا به عنوان یک «نگهبان دیجیتال» برای عاملهای هوش مصنوعی عمل میکند.
جنسن هوانگ (Jensen Huang)، مدیرعامل انویدیا، روز دوشنبه از پلتفرم Open Agent Safety پردهبرداری کرد. هدف این سامانه جلوگیری از نفوذ عاملهای خودمختار به سیستمهای دنیای واقعی و شکستن «سندباکسهای» (Sandboxes) امنیتی است. این اقدام در حالی صورت میگیرد که مدلهای گوگل (Google)، متا (Meta)، آنتروپیک (Anthropic) و OpenAI پیش از این توانستهاند کنترلهای نرمافزاری را دور بزنند و از محیطهای تست خارج شوند.
به گزارش منابع خبری، یکی از موارد جدی در تابستان امسال رخ داد؛ جایی که عاملهای OpenAI هنگام اجرای یک مأموریت امنیت سایبری، توانستند به محیط Hugging Face نفوذ کنند. این حجم از شکستهای امنیتی باعث شد شرکتها روش ردیابی خطاها را تغییر دهند. این اتفاقات در واقع نتیجهی نادیده گرفتن اصول پایهای امنیت شبکه در آزمایشگاههای هوش مصنوعی است که منجر به ایجاد حفرههای امنیتی خطرناک شده است. برای مثال، OpenAI تا جایی پیش رفته است که وبسایتی را بهطور اختصاصی برای گزارش «عاملهای سرکش» (Rogue Agents) راهاندازی کرده است تا هرگونه خروج از کنترل را ثبت کند.
همانطور که در تحلیلهای قبلی ما دربارهی امنیت مدلهای بازمتن اشاره کردیم، تکیه صرف به لایههای نرمافزاری برای کنترل مدلهای پیشرفته کافی نیست. جنسن هوانگ در گفتگو با CNBC تأکید کرد که پلتفرم جدید انویدیا میتوانست جلوی نفوذهای اخیر را بگیرد. او استدلال میکند که پتانسیل فوقالعاده هوش مصنوعی برای جامعه تنها زمانی محقق میشود که صنعت، مسئله ایمنی را از طریق «شتابدهی به مهندسی» حل کند، نه از طریق وضع محدودیتها و ترمزهای اداری. این دیدگاه در راستای ترجیح مکانیسمهای بازار بر قوانین دولتی برای نظارت بر هوش مصنوعی است که هوانگ همواره از آن دفاع کرده است.
این پلتفرم برای ایجاد یک لایه ایمنی «تمامعیار» (Full-stack)، از یک رویکرد مهندسی دوگانه استفاده میکند:
- OpenShell: یک لایه نرمافزاری متنباز که در ماه مارس معرفی شد و دقیقاً تعریف میکند که یک عامل در حین عملیات به چه منابع و دادههایی دسترسی داشته باشد و این دسترسیها را کنترل میکند. این لایه، مرز نرمافزاری اولیه و اصلی را در اطراف عامل میسازد. در همین راستا، شرکت آنتروپیک نیز از OpenShell برای تقویت لایههای امنیتی عاملهای خود بهره برده است.
- Sentry: یک سامانه نظارتی مستقل که روی واحدهای پردازش داده Nvidia BlueField-4 (DPU) اجرا میشود. این بخش، خط دفاع دوم را در سطح سختافزار ایجاد میکند.
با قرار دادن Sentry روی یک پردازنده مجزا — و نه روی CPU یا GPU که عامل هوش مصنوعی در آن ساکن است — انویدیا دیدگاهی ایزوله و مستقل از فعالیتها ایجاد کرده است. طبق ادعای این شرکت، این ساختار میتواند عاملهایی را که قصد خروج از مرزهای تعیینشده را دارند، در عرض چند میلیثانیه شناسایی و «قرنطینه» کند.
تاکنون دهها شرکت از جمله مایکروسافت (Microsoft)، اوراکل (Oracle)، اسپیساکس (SpaceX)، Arm و آنتروپیک از این تلاش متنباز حمایت کردهاند. نکته قابل توجه این است که OpenAI در فهرست شرکتهای مشارکتکننده نیست، در حالی که مدلهای همین شرکت جرقهی اصلی این نگرانیهای امنیتی بودند.
این پروژه تکامل یافتهی تلاشاتی است که یک سال پیش با انتشار OpenClaw (سیستمعامل عاملها توسط پیتر استاینبرگر) آغاز شد. انویدیا بعدها نسخه سازمانی خود یعنی NemoClaw را عرضه کرد؛ یک پلتفرم عامل هوش مصنوعی در سطح سازمانی که در واقع نسخه اختصاصی انویدیا از OpenClaw بود و امنیت را بهطور مستقیم در لایههای زیرین خود جای داده بود.
در بحثهای مهندسی، جنسن هوانگ استدلال میکند که ایمنی یک مسئله «مهندسی تمامپشته» است، نه یک موضوع قانونی یا رگولاتوری. او صراحتاً با کند کردن روند توسعه هوش مصنوعی یا افزودن مقررات دولتی جدید برای حل این نفوذها مخالف است.
دیوید ساکس (David Sacks)، بنیانگذار، سرمایهگذار خطرپذیر و رئیس سابق بخش هوش مصنوعی کاخ سفید که اکنون ریاست مشترک شورای مشاوران رئیسجمهور در امور علم و فناوری را بر عهده دارد، از این دیدگاه حمایت میکند. او در شبکه X بیان کرد که فرارهای اخیر ثابت میکند «سندباکسها بیش از حد ضعیف بودند» و محیطهای زمان اجرا (Runtime) «بهطور ضعیفی طراحی شده و پیکربندی غلط داشتند»، و این اتفاقات لزوماً به این معنا نیست که توسعه هوش مصنوعی باید متوقف شود.
این دیدگاه توسط کسانی که میترسند کند شدن روند توسعه باعث شود چین در قابلیتهای هوش مصنوعی از ایالات متحده پیشی بگیرد، بهطور گسترده حمایت میشود.
برای مدیران کسبوکار، این یعنی ریسک «عاملهای سرکش» از یک مسئله تئوریک در همراستاسازی (Alignment) — یعنی تلاش برای هماهنگ کردن اهداف مدل با ارزشهای انسانی — به یک هزینه زیرساختی قابل مدیریت تبدیل شده است. هوانگ این تدابیر را با نحوه مدیریت کارکنان انسانی و مدیران مقایسه کرد و در گفتگو با CNBC گفت: «وقتی یک عامل را مستقر میکنید، هرچقدر هم باهوش باشد، اولین کاری که باید بکنید سلب تمام دسترسیهای غیرضروری اوست».
اکنون باید رصد کرد که آیا OpenAI در نهایت این نگهبانهای سطح سختافزار را ادغام میکند یا همچنان به وبسایتهای گزارشدهی نرمافزاری برای ردیابی رفتارهای سرکش عاملهایش تکیه خواهد کرد.
گام بعدی شما
- اگر در حال توسعه عاملهای خودمختار هستید، مستندات OpenShell را برای تعریف دقیق مرزهای دسترسی بررسی کنید.
- در طراحی زیرساختهای مرکز داده، نقش DPUها را به عنوان لایه نظارتی مستقل (و نه فقط برای انتقال داده) در نظر بگیرید.
- رصد کنید که آیا OpenAI برای کاهش نرخ فرار عاملهایش به سراغ راهکارهای سختافزاری انویدیا میرود یا خیر.
اما داستان سختافزاری این تحول حتی شگفتانگیزتر است — به تحلیل ما دربارهی تراشههای Blackwell مراجعه کنید.
گفتگو