پرش به محتوای اصلی
پرش به محتوای مقاله

«حفره امنیتی»؛ تمرکز استراتژی‌های ایمنی AI تنها بر تهدیدات دولتی است

·۲۸ تیر ۱۴۰۵۱ دقیقه مطالعه۱ بازدید
گفتگوی ایمنی هوش مصنوعی پیشرو نقطه کوری دارد
گفتگوی ایمنی هوش مصنوعی پیشرو نقطه کوری دارد
اشتراک‌گذاری
واقعاً چه چیز جدید است؟

افشای ساختار سازمانی تروریست‌ها برای بهره‌برداری از AI؛ آن‌ها دیگر کاربران تک‌نفره نیستند، بلکه واحدهای تخصصی و خط لوله آموزشی برای «سلاح‌سازی دیجیتال» ایجاد کرده‌اند.

تصور کنید یک گروه تروریستی به جای مراجعه به کتاب‌های قدیمی شیمی، از یک دستیار دیجیتال برای بهینه‌سازی ترکیب مواد منفجره استفاده کند. این سناریو دیگر یک فرض نظری نیست، بلکه واقعیت عملیاتی در میدان جنگ است.

طبق اعلام دانشگاه کمبریج در گزارش منتشرشده در ۱۸ جولای ۲۰۲۶، اعضای سابق گروه‌های بوکو حرام (Boko Haram) و ISWAP در شمال شرقی نیجریه جزئیات تکان‌دهنده‌ای از استفاده سیستماتیک از چت‌بات‌های تجاری برای طراحی سلاح ارائه داده‌اند. این گروه‌ها اکنون از مدل زبانی بزرگ (LLM) — که شبیه کتابخانه‌داری است که میلیاردها صفحه را خوانده و حالا با همان لحن جواب می‌دهد — برای دور زدن محدودیت‌های امنیتی استفاده می‌کنند.

همان‌طور که در تحلیل‌های پیشین ما درباره‌ی نقاط کور در یکپارچه‌سازی عامل‌های هوش مصنوعی اشاره کردیم، شکاف امنیتی فعلاً فراتر از مسائل فنی است و ریشه در تحلیل‌های ژئوپلیتیکی غلط دارد. در حالی که بحث‌های مربوط به ایمنی هوش مصنوعی (AI Safety) عمدتاً بر جعل عمیق یا حملات سایبری دولت‌ها متمرکز است، گروه‌های مسلح غیردولتی در منطقه‌ای خاکستری عمل می‌کنند که توسط شرکت‌های فناوری نادیده گرفته شده است. این تمرکز بر تهدیدات دولتی را می‌توان در هشدارهای ائتلاف Five Eyes درباره توانمندی مدل‌های پیشرو در فلج کردن دولت‌ها مشاهده کرد که اولویت‌های امنیتی فعلی را بازتاب می‌دهد.

گفتگوی ایمنی هوش مصنوعی مرزپوش نقطه کوری دارد

بر اساس مستندات این پژوهش، پذیرش سازمانیِ این ابزارها از سال ۲۰۲۳ آغاز شده و شامل چهار لایه استراتژیک است:

  • واحدهای تخصصی: تشکیل تیم‌های داخلی برای استخراج حداکثری اطلاعات از مدل‌ها.
  • خط لوله آموزشی: انتقال دانش توسط جنگجویان خارجی برای کار با ابزارها.
  • کنترل دسترسی: محدود کردن دسترسی به ابزارها برای رده‌های پایین نظامی جهت حفظ محرمانگی.
  • مدل‌های هدف: استفاده سیستماتیک از ChatGPT، Claude، Gemini، Grok و DeepSeek از طریق پرامپت‌های تغییر‌یافته برای شکستن حفاظ‌ها (Guardrails) — یا همان نرده‌های ایمنی که مانع تولید محتوای خطرناک می‌شوند.

این تغییر رفتار، معیارهای فعلی «تیم قرمز» را به چالش می‌کشد. اکثر ارزیابی‌ها توسط متخصصان فنی انجام می‌شود، اما تهدید واقعی از سوی کاربرانی صبور است که با مدل‌ها مانند یک «دفترچه راهنمای عیب‌یابی سلاح» رفتار می‌کنند. این رویکرد یادگیری متناقض، شباهت زیادی به روش‌های پیشرفته‌ی نفوذ دارد؛ مانند تکنیک «اسکواتینگ شبحی» که از توهمات AI برای دور زدن لایه‌های امنیتی استفاده می‌کند. اگر صنعت تنها به محدودیت‌های کلی تکیه کند، ریسک آن مسدود کردن دسترسی امدادگران و خبرنگاران در مناطق جنگی است، بدون اینکه بتواند جلوی مهاجمان مصمم را بگیرد.

به باور پژوهشگران، راهکار نهایی تغییر رویکرد از «فیلتر کلمات کلیدی» به «تشخیص رفتاری» است؛ یعنی شناسایی الگوهای متمرکز سوءاستفاده به جای حساسیت روی تک‌واژه‌ها.

گام بعدی شما

  • دنبال کنید آیا شرکت‌های بزرگ مدل‌های خود را بر اساس داده‌های میدانی مناطق درگیری به‌روزرسانی می‌کنند یا خیر.
  • بررسی کنید که چگونه سیستم‌های تشخیص ناهنجاری (Anomaly Detection) می‌توانند الگوهای جست‌وجوی مخرب را شناسایی کنند.
  • مطالعه کنید که توازن بین «دسترسی آزاد برای اهداف انسانی» و «بستن دسترسی برای تروریسم» چگونه مدیریت می‌شود.

اما این تهدیدات تنها بخشی از چالش‌های امنیتی است؛ اثرات مدل‌های وزن‌باز بر گسترش این توانمندی‌ها را در گزارش بعدی بررسی خواهیم کرد.

چرا این موضوع مهم است؟

این مطالعه اعتبار ادعاهای شرکت‌های فناوری درباره «ایمن بودن» مدل‌ها را به شدت تخریب می‌کند. اکنون مشخص شده که شکاف بین تئوری‌های ایمنی و واقعیت‌های میدانی، به قیمت تسهیل ساخت سلاح توسط گروه‌های تکافی‌دهنده تمام می‌شود.

تأثیر برای ایران

در حال حاضر اثر مستقیمی بر کاربران ایرانی ندارد و موضوع بیشتر برای پژوهشگران ایمنی مدل‌های بنیادی و تحلیلگران امنیتی اهمیت دارد.

·نگاه ما
تحریریه دات‌هوش

بزرگ‌ترین اشتباه شرکت‌های AI این است که تهدید را «تخصصی» می‌بینند، در حالی که تروریست‌ها از «تکرار و صبر» استفاده می‌کنند. این گزارش ثابت می‌کند که لایه‌های حفاظتی فعلی در برابر مهندسی معکوسِ انسانی که هدف مشخصی دارد، شکست می‌خورند. ضرورت جدی این است که متخصصان ضدتروریسم، جایگاهی هم‌تراز با مهندسان کامپیوتر در حلقه‌ی ارزیابی ایمنی مدل‌ها پیدا کنند.

منابع

این گزارش با خط‌لولهٔ خودکار دات‌هوش از منابع معتبر جهانی تدوین و زیر نظر تحریریه منتشر شده است. روش کار ما

گفتگو

پنج‌شنبه‌های هوش‌محور

بسته‌ی هفتگی دات‌هوش

۵ خبر، ۲ ابزار، ۱ پرامپت در هر شماره. به‌زودی راه‌اندازی می‌شود — هر پنج‌شنبه صبح.

خبر کلیدی
ابزار کاربردی
پرامپت حرفه‌ای
تحلیل پژوهش
به‌زودی
زاویه‌ی ایرانی
به‌زودی
تمرین این هفته
به‌زودی

راهنماهای دات‌هوش

راهنماهای کاربردیِ دات‌هوش برای کار با هوش مصنوعی — از همین‌جا شروع کنید:

دات‌هوش

راهنمای فارسی هوش مصنوعی — با نگاه به ایران

اخبار روزانه، معرفی ابزارها و مدل‌ها، و آموزشِ کار با هوش مصنوعی؛ همیشه با این پرسش که از ایران چه چیزی کار می‌کند و چه چیزی نه.