مدل‌های متن‌باز چینی در برابر گاردریل‌های سخت‌گیرانه هوش مصنوعی غربی

تصور کنید متخصص امنیتی باشید که باید یک حفره‌ی خطرناک در سیستم بانکی را پیش از هکرها پیدا کند، اما ابزاری که برای تحلیل کد به آن نیاز دارید، به دلیل «قوانین ایمنی» از همکاری با شما خودداری می‌کند. این دقیقاً وضعیتی است که امروز بسیاری از متخصصان امنیت سایبری با آن دست‌وپنجه نرم می‌کنند.

به گزارش منابع صنعتی، آنتروپیک (Anthropic) و اوپن‌ای‌آی (OpenAI) چنان حفاظ‌ها (Guardrails) — یا همان نرده‌های ایمنی که مانند یک نگهبان سخت‌گیر، اجازه ورود به مناطق حساس را نمی‌دهند — شدیدی را پیاده کرده‌اند که پژوهش‌های قانونی برای یافتن آسیب‌پذیری‌ها عملاً متوقف شده است. این فیلترها که در اصل برای متوقف کردن هکرها و جلوگیری از سوءاستفاده طراحی شده‌اند، اکنون مدافعان شبکه را هم مانند مهاجمان بدخواه می‌بینند و از تحلیل کدهای معیوب برای یافتن نقص‌ها یا کمک به ساخت اکسپلویت‌هایی که هدفشان وصله کردن (Patching) سیستم است، خودداری می‌کنند.

این تنش در حالی رخ می‌دهد که آزمایشگاه‌های هوش مصنوعی به سمت برنامه‌های دسترسی «تأییدشده» و محدودتر می‌روند. همان‌طور که در تحلیل قبلی ما درباره‌ی ابزارهای تخصصی AI در پزشکی دیدیم که چگونه نرم‌افزارهای تشخیص بیماری‌های پوستی زمان شناسایی را به ثانیه رساندند و وظایف پزشکی را بهینه کردند، حوزه امنیت سایبری نیز به ابزارهایی با دقت بسیار بالا نیاز دارد. اما روند فعلی در ایمنی هوش مصنوعی، باعث ایجاد یک برخورد مستقیم میان ریسک‌گریزی شرکت‌های بزرگ و نیازهای فنی عملیات امنیت تهاجمی شده است.

اصطکاک در دروازه‌بانی

طبق اعلام رسمی، دولت ایالات متحده اخیراً در این فضای حساس مداخله کرده است. در ژوئن ۲۰۲۴، محدودیت‌های کنترل صادرات بر روی مدل‌های میتوس (Mythos) و فیبل (Fable) متعلق به آنتروپیک اعمال شد. این رویکرد نظارتی آمریکا در واقع زمینه‌ساز تحولاتی شد که در تحلیل پیشین ما بررسی کردیم و دیدیم چگونه محدودیت‌های صادراتی بر روی مدل میتوس، ناخواسته نقشه‌ی راه توسعه مدل‌های جاسوسی در آسیا را ترسیم کرد. این اقدام پس از آن صورت گرفت که گزارش‌هایی منتشر شد مبنی بر اینکه کاربران می‌توانند حفاظ‌های طراحی‌شده برای جلوگیری از ساخت و اجرای حملات سایبری مخرب را دور بزنند.

آنتروپیک مدل میتوس را به عنوان یک «ماشین سایبری روز قیامت» (Doomsday Cybermachine) بازاریابی کرده است که دسترسی به آن باید به شدت محدود شده و تنها در اختیار کاربران به‌دقت تأییدشده قرار گیرد. در حالی که مدل فیبل ۵ در تاریخ ۱ ژوئیه ۲۰۲۴ به دسترسی عمومی بازگشت، مدل میتوس ۵ تنها برای سازمان‌های تأییدشده آمریکایی و آن هم در چارچوب فرآیند بررسی‌های جاری دولت بازگردانده شد.

برای کاهش اثرات این محدودیت‌ها، آزمایشگاه‌های AI برنامه‌های ویژه‌ای ایجاد کردند: برنامه «دسترسی مورد اعتماد برای سایبر» (Trusted Access for Cyber) در OpenAI و «برنامه تأیید سایبری» (CVP) در آنتروپیک. پژوهشگران باید برای دسترسی به مدل‌هایی با محدودیت‌های کمتر در زمینه امنیت سایبری، در این برنامه‌ها درخواست دهند و تأییدیه بگیرند. با این حال، پژوهشگران حرفه‌ای گزارش می‌دهند که این ابزارها حتی در این برنامه‌ها نیز همچنان غیرقابل اعتماد هستند و در مسیر تحلیل‌ها مانع‌تراشی می‌کنند.

دیدگاه پژوهشگران

تاثیر این حفاظ‌های امنیتی در سطوح مختلف جامعه امنیتی به شدت احساس می‌شود:

• مارک داود، پژوهشگر باسابقه Zero-day که دهه‌ها وقت خود را صرف یافتن و فروش نقص‌های نرم‌افزاری ناشناخته به دولت‌های غربی برای عملیات‌های اطلاعاتی کرده است، استدلال می‌کند که شرکت‌های بزرگ فناوری در حال اتخاذ «تصمیمات سلیقه‌ای» در مورد اینکه چه فعالیتی در حوزه امنیت «امن» محسوب می‌شود.
• کریس آنلی، دانشمند ارشد در غول مشاوره امنیتی NCC Group، هوش مصنوعی را به یک چکش تشبیه می‌کند: ابزاری که برای ساخت و دفاع ضروری است اما ذاتاً یک سلاح (تهاجمی) است. او اشاره می‌کند که پرامپتی ساده مانند «این کد را اصلاح کن» یک مکانیسم حیاتی برای دفاع است، اما در عین حال مانند یک نقشه راه برای یافتن آسیب‌پذیری‌های بحرانی در یک پایگاه کد عمل می‌کند. در نتیجه، این دو عملکرد (دفاع و تهاجم) را نمی‌توان از یکدیگر تفکیک کرد.
• کریس تامپسون، مدیرعامل RemoteThreat و بنیان‌گذار کنفرانس Offensive AI، حفاظ‌ها را متناقض و متغیر می‌داند و می‌گوید این ابزارها از یک روز به روز دیگر متفاوت عمل می‌کنند. او بیان می‌کند که پژوهشگران وقت بسیار زیادی را صرف «مذاکره» با مدل می‌کنند — یعنی تلاش می‌کنند بفهمند چرا نتایج متناقض هستند یا چرا پاسخ‌ها بیش از حد پاک‌سازی (Sanitize) شده‌اند — به جای آنکه زمان خود را صرف تحلیل آسیب‌پذیری‌ها و استدلال روی قابلیت بهره‌برداری (Exploitability) کنند.
• یک پژوهشگر ناشناس در یک شرکت تولیدکننده قطعات گوشی‌های هوشمند اعلام کرد چون کارفرمای او عضو برنامه CVP نیست، ابزارهای آنتروپیک برای یافتن آسیب‌پذیری‌ها «به‌سختی کاربرد دارند». به گفته این پژوهشگر، اگر مدل «بویی ببرد» که کاربر در حال انجام کار مرتبط با امنیت است، فوراً متوقف شده و غیرقابل استفاده می‌شود.

چرخش به سمت مدل‌های محلی و خارجی

به دلیل این محدودیت‌های سخت‌گیرانه، صنعت در حال دوقطبی شدن میان مدل‌های ابری پیشرو (Frontier Models) و جایگزین‌های متن‌باز محلی است.

پائولو استگنو، مدیر فناوری CrowdFense — شرکتی که آسیب‌پذیری‌های ناشناخته را توسعه داده و به آژانس‌های دولتی می‌فروشد — می‌گوید شرکت‌های AI با مشتریان مانند «کودکانی که نیاز به پرستار دارند» رفتار می‌کنند. استگنو از مدل‌های پیشرو منحصراً برای مهندسی معکوس استفاده می‌کند. او از به‌کارگیری آن‌ها برای یافتن آسیب‌پذیری‌ها یا ساخت اکسپلویت‌ها اجتناب می‌کند، زیرا وارد کردن چنین کارهایی در یک مدل ابری، ریسک نشت داده‌های حساس یا جذب آن داده‌ها در دوره‌های آموزشی آینده مدل را به همراه دارد. برای انجام این وظایف، او از مدل‌های متن‌باز که به‌صورت محلی اجرا می‌شوند استفاده می‌کند.

بحرانی‌تر اینکه، پژوهشگران در حال مهاجرت گسترده به مدل‌های متن‌باز چینی مانند GLM هستند. این مدل‌ها به‌صورت رایگان قابل دانلود هستند و فاقد هرگونه بررسی کاربر یا محدودیت‌های استفاده‌ای هستند که در سیستم‌های آمریکایی دیده می‌شود. در همین راستا، شاهد ظهور استارت‌آپ‌های آسیایی هستیم که با بهره‌گیری از خلأهای ایجاد شده توسط انحصارات صادراتی آنتروپیک، مدل‌های جایگزینی را روانه بازار کرده‌اند. تامپسون هشدار می‌دهد که راندن پژوهشگران مسئول از سیستم‌های تحت مدیریت آمریکا به سمت سیستم‌های متعلق به کشورهای خارجی، «بیشتر از آنکه سودمند باشد، مضر است».

البته همه پژوهشگران به یک اندازه تحت تأثیر قرار نگرفته‌اند. جوزپه کالی، که در توسعه اکسپلویت‌ها و یافتن Zero-dayها فعالیت می‌کند، می‌گوید حفاظ‌ها مانع او نمی‌شوند. او از AI برای مهندسی معکوس اولیه، درک کد و ساخت ابزارهای پشتیبان استفاده می‌کند، اما اجازه نمی‌دهد AI شناسایی باگ یا سلاح‌سازی را مدیریت کند. کالی خاطرنشان کرد: «من روی باگ‌هایم حس مالکیت دارم و این بازی را خیلی دوست دارم که بخواهم مدل‌ها را جایگزین من کنند».

شکاف قریب‌الوقوع در توانمندی‌ها

این چرخش نشان‌دهنده یک شکاف قریب‌الوقوع در توانایی‌های میان مهاجمان و مدافعان است. تامپسون از یک «طوفان بزرگ» هشدار می‌دهد؛ موجی از حملات که با سرعت و مقیاسی اتفاق می‌افتند که هرگز پیش از این دیده نشده است. در حالی که مهاجمان از هوش مصنوعی‌های بدون محدودیت استفاده می‌کنند، شرکت‌های مشاوره امنیتی قانونی و پژوهشگران توسط لایه‌های ایمنی فلج شده‌اند.

تامپسون خواستار آن است که آزمایشگاه‌های پیشرو AI برنامه‌های خود را باز کرده و دسترسی مسئولانه فراهم کنند، در حالی که همزمان کسانی را که واقعاً از این ابزارها سوءاستفاده می‌کنند، پاسخگو بدانند. او استدلال می‌کند که بدون این تغییر، مدافعان رقابت AI را خواهیم باخت.

باید منتظر ماند و دید آیا دولت ایالات متحده کنترل‌های صادراتی را تعدیل می‌کند یا اینکه آزمایشگاه‌های AI برنامه‌های تأیید کاربر خود را گسترش می‌دهند تا از فرار کامل متخصصان (Brain-drain) به سمت جایگزین‌های «وزن‌های باز» چینی جلوگیری کنند.

گام بعدی شما

• اگر در حوزه امنیت فعالیت می‌کنید، مدل‌های وزن‌های باز (Open Weights) — که مثل دستور پخت‌های علنی در آشپزی هستند و هر کسی می‌تواند آن‌ها را در خانه اجرا کند — را برای تحلیل‌های حساس جایگزین مدل‌های ابری کنید.
• بررسی کنید آیا سازمان شما واجد شرایط عضویت در برنامه‌های دسترسی ویژه مانند CVP آنتروپیک است یا خیر.
• مدل‌های متن‌باز چینی مانند GLM را در محیط‌های ایزوله تست کنید تا تفاوت سطح آزادی در تحلیل کد را بسنجید.

اما داستان سخت‌افزاری این تحول حتی شگفت‌انگیزتر است — به تحلیل ما درباره‌ی تراشه‌های Blackwell مراجعه کنید.