تصور کنید تصمیم برای شلیک یک موشک یا اعزام تیم‌های ضربت، تنها بر اساس تفسیر یک چت‌بات از یک لیست محموله گرفته شود؛ این دقیقاً همان واقعیتی است که ارتش آمریکا اکنون با آن دست‌وپنجه نرم می‌کند. یک تحلیلگر نظامی در بهار سال جاری میلادی، تنها به دلیل تکیه بر گزارشی که توسط هوش مصنوعی تولید شده بود، ایالات متحده را تا لبه‌ی یک درگیری مسلحانه با چین پیش برد.
به گزارش CNN که در ۱۸ سپتامبر ۲۰۲۶ منتشر شد، این تحلیلگر ادعا کرد که یک کشتی چینی در حال حمل قطعات سلاح‌های هسته‌ای است. ارتش پیش از آنکه متوجه جعلی بودن اطلاعات شود، هواپیماهای جنگی را اعزام کرده و تیم‌های مسلح را برای تصرف کشتی آماده کرده بود. این حادثه در حالی رخ می‌دهد که پنتاگون با شدت تمام در تلاش است تا هوش مصنوعی را در تمام ابعاد جنگ، از لجستیک تا انتخاب هدف، ادغام کند. ارتش این سرعت را یک ضرورت استراتژیک می‌بیند تا از رقبایی مانند چین عقب نماند. این رقابت تسلیحاتی در حالی شدت می‌یابد که آژانس‌های امنیتی آمریکا هشدار داده‌اند شرکت‌های چینی مدل‌های پیشرو را به‌صورت سیستماتیک تقطیر می‌کنند تا فاصله تکنولوژیک را کاهش دهند. همان‌طور که در تحلیل‌های قبلی ما درباره‌ی امنیت مدل‌های بازمتن اشاره کردیم، نبودِ لایه‌های نظارتی در مدل‌های زبانی می‌تواند منجر به نتایج فاجعه‌بار در دنیای واقعی شود.
زمینه حادثه
این گزارش اطلاعاتی در میانه جنگ با ایران در بدنه ارتش آمریکا دست‌به‌دست شد و بلافاصله زنگ خطر را به صدا درآورد. این وضعیت منجر شد تا ارتش آمریکا برای رهگیری و متوقف کردن کشتی مذکور وارد فاز عملیاتی شود.
بر اساس گفته‌های چهار منبع آگاه از این ماجرا، عملیات تقریباً به طور کامل اجرا شده بود. اعضای مسلح ارتش ایالات متحده در حال آماده‌سازی برای ورود به کشتی بودند و هواپیماهای نظامی پیش از آن در آسمان مستقر شده بودند. تنها لحظاتی پیش از اجرای نهایی عملیات بود که مقامات بررسی‌های عمیق‌تری روی گزارش انجام دادند و دریافتند که این سند با کمک هوش مصنوعی زاینده (Generative AI) تولید شده است؛ سیستمی شبیه به نویسنده‌ای که با اعتمادبه‌نفس زیاد داستان‌های تخیلی را به جای واقعیت می‌نویسد.
سازوکار شکست
ماجرا از جایی شروع شد که یک تحلیلگر در یک فرماندهی عملیات ویژه، از یک چت‌بات درباره لیست محموله کشتی‌ای سؤال کرد که منشأ آن فرماندهی عملیات ویژه پاسیفیک (US Special Operations Command Pacific) مستقر در هاوایی بود. هوش مصنوعی برای رسیدن به نتیجه، اطلاعات منابع باز (Open-source intelligence) را با داده‌های سیگنالی محرمانه (Secret signals intelligence) موجود در آرشیوهای دولتی ترکیب کرد و در نهایت به یک نتیجه کاملاً غلط درباره محموله کشتی رسید.
تحلیلگر برای اینکه یافته‌ها رسمی و معتبر به نظر برسند، برای بار دوم از هوش مصنوعی استفاده کرد تا این توهم (Hallucination) — یعنی وقتی مدل با اطمینان چیزی می‌گوید که اصلاً وجود ندارد — را در قالب یک گزارش استاندارد اطلاعاتی بسته‌بندی کند. این سند سپس در سلسله‌مراتب فرماندهی توزیع شد و در تمام سطوح به عنوان یک سند واقعی و مستند مورد اعتماد قرار گرفت.
ریسک‌های سیستمی و جزئیات
مقامات سابق نظامی ابزارهای داخلی هوش مصنوعی ارتش را «محصولات تجاری با رژ لب» توصیف می‌کنند؛ به این معنا که این ابزارها فاقد حفاظ‌های (Guardrails) ایمنی سخت‌گیرانه و تخصصی هستند که در سیستم‌های حساس نظامی لازم است. استقرار فعلی این فناوری‌ها غیرمتمرکز است و واحدهای مختلف از ابزارهای متفاوت با استانداردهای ایمنی گوناگون استفاده می‌کنند.
بر اساس بررسی منابع متعدد، ریسک‌های کلیدی شناسایی شده عبارتند از:
- فقدان اعتبارسنجی: هیچ مجموعه استاندارد واحدی برای نحوه تأیید و صحت‌سنجی اطلاعات تولیدشده توسط این ابزارها در ارتش آمریکا وجود ندارد.
- فرسایش مهارت‌ها: تحلیلگران جوان‌تر که با این ابزارها بزرگ شده‌اند و به نوعی «بومی» این فناوری هستند، تمایل بیشتری دارند خروجی‌های هوش مصنوعی را بدون نقد و به طور غیرمنتقدانه بپذیرند.
- فشار برای سرعت: هوش مصنوعی به تحلیلگران اجازه می‌دهد گزارش‌ها را سریع‌تر تولید کنند، اما به گفته منابع، این موضوع در واقع «به شما اجازه می‌دهد سریع‌تر به یک ایده غلط برسید».
- خطرات هدف‌گیری: استفاده از هوش مصنوعی در فرآیند هدف‌گیری در حال افزایش است، اما منابع می‌گویند «هیچ راهنمای واقعی» برای اینکه چگونه یک انسان در حلقه (Human-in-the-loop) باید از تلفات غیرنظامی یا آتش دوستانه (Fratricide) جلوگیری کند، وجود ندارد.
- تکرار توهمات: توهمی که منجر به ادعای سلاح‌های هسته‌ای شد، یک اتفاق تک‌افتاده نبود و موارد مشابهی در سراسر جامعه اطلاعاتی گزارش شده است.
استراتژی شتاب‌دهی
در ژانویه ۲۰۲۶، پیت هگست، وزیر دفاع، «استراتژی شتاب‌دهی هوش مصنوعی» را منتشر کرد. هدف این سیاست، قرار دادن مدل‌های پیشرو هوش مصنوعی مستقیماً در دست ۳ میلیون پرسنل نظامی و غیرنظامی در تمام سطوح دسترسی (Classification levels) است تا موانع بوروکراتیک و اداری حذف شوند.
هگست در سخنرانی خود هنگام معرفی این استراتژی اعلام کرد: «ما آزمایش‌ها را آزاد خواهیم کرد، موانع اداری را حذف می‌کنیم، سرمایه‌گذاری‌ها را متمرکز می‌کنیم و رویکرد اجرایی لازم را به نمایش می‌گذاریم تا تضمین کنیم که در زمینه هوش مصنوعی نظامی پیشتازی می‌کنیم.» هدف نهایی او دموکراتیزه کردن آزمایش‌ها و تحول هوش مصنوعی در سراسر وزارت دفاع است.
این حادثه، بحث ایمنی هوش مصنوعی را از سناریوهای تئوریک «پایان تمدن» — که اغلب توسط مهندسان سیلیکون‌ولی و مدیران شرکت‌های فناوری هشدار داده می‌شود — به فجایع تاکتیکی و فوری تغییر می‌دهد. در حالی که رهبران فناوری هشدار می‌دهند که هوش مصنوعی ممکن است محدودیت‌های انسانی را بشکند، ارتش با ریسک ملموس‌تری روبروست: انسان‌هایی که بر اساس توهمات ماشینی، تصمیمات مرگبار می‌گیرند. این تنش‌های عملیاتی در حالی رخ می‌دهد که دیپلماسی میان دو قدرت بزرگ به بن‌بست رسیده و چین برای آغاز هرگونه مذاکره امنیتی در حوزه هوش مصنوعی، دو شرط سخت‌گیرانه تعیین کرده است.
در حال حاضر هیچ راهنمای واقعی در مورد نحوه عملکرد مؤثر «انسان در حلقه» برای جلوگیری از تلفات غیرنظامی یا آتش دوستانه هنگام استفاده از هوش مصنوعی برای هدف‌گیری وجود ندارد. با این حال، ارتش به دلیل ترس از اینکه رقیبش یک گام جلوتر باشد، به ادغام هرچه بیشتر هوش مصنوعی ادامه می‌دهد، حتی با وجود این شکست‌های مستند.
گام بعدی شما
- بررسی جلسات آتی کنگره درباره «استراتژی شتاب‌دهی هوش مصنوعی» برای مشاهده اینکه آیا پنتاگون ممیزی‌های اجباری تأیید انسانی را برای گزارش‌های هدف‌گیری تولیدشده توسط AI اجرا می‌کند یا خیر.
- مطالعه استانداردهای اعتبارسنجی داده‌های ترکیبی (Hybrid Data) برای جلوگیری از توهم در گزارش‌های تحلیلی.
- دنبال کردن بحث‌های مربوط به «انسان در حلقه» (Human-in-the-loop) در سیستم‌های تصمیم‌گیر حساس.
اما داستان سخت‌افزاری این تحول حتی شگفت‌انگیزتر است — به تحلیل ما درباره‌ی تراشه‌های Blackwell مراجعه کنید.
گفتگو