تصور کنید هواپیماهای جنگی ارتش آمریکا در آسمان هستند و آمادهٔ حمله، اما ناگهان مشخص میشود تمام اطلاعات عملیاتی بر اساس یک دروغ ساختهشده توسط هوش مصنوعی بوده است. طبق گزارش CNN در ۱۸ سپتامبر ۲۰۲۶، یک عملیات نظامی علیه یک کشتی چینی درست در لحظات آخر لغو شد تا از یک درگیری بینالمللی احتمالی جلوگیری شود.
این حادثه در دوران تنشهای شدید جنگ با ایران رخ داد. در محیط پرفشار جنگهای مدرن، فرماندهان برای تسریع «زنجیره کشتار» (Kill Chain) — یعنی فرآیند یافتن و هدف قرار دادن دشمن — به شدت به دنبال ادغام هوش مصنوعی هستند. اما این سرعت، شکافی خطرناک ایجاد میکند که در آن خطاها پیش از آنکه انسانی آنها را زیر سؤال ببرد، به بالاترین سطوح فرماندهی میرسند.
همانطور که در تحلیلهای قبلی ما دربارهی امنیت مدلهای زبانی اشاره کردیم، اعتماد کورکورانه به خروجی مدلها میتواند فاجعهبار باشد. این شکست با یک تحلیلگر در فرماندهی عملیات ویژه (Special Operations Command) شروع شد که از یک چتبات برای ترکیب دادههای متنباز با اطلاعات طبقهبندیشده استفاده میکرد. این مدل دچار توهم (Hallucination) — شبیه دوستی که با اطمینان کامل خاطرهای را اشتباه تعریف میکند — شد و به غلط ادعا کرد که کشتی مذکور در حال حمل قطعات برنامه تسلیحات هستهای است. این ریسکهای عملیاتی در حالی رخ میدهد که تنشهای تکنولوژیک میان دو قدرت بر سر دسترسی به مدلهای پیشرو به شدت افزایش یافته است.
وضعیت زمانی بدتر شد که تحلیلگر برای بار دوم از ابزار استفاده کرد تا این یافتههای غلط را در قالب یک گزارش رسمی و شیک قالببندی کند. این گزارش صیقلخورده در کانالهای فرماندهی پخش شد و ارتش را به آمادهسازی برای رهگیری کشتی واداشت. به گزارش CNN، نیروهای مسلح حتی برایe سوار شدن به کشتی آماده شده بودند.
جیک استکلر، پژوهشگر GovAI و افسر سابق ارتش، هشدار میدهد که اولویت دادن به سرعتِ پذیرش تکنولوژی بر ایمنی، منجر به از دست رفتن اعتماد میشود. او استدلال میکند که مدلهای زبانی بزرگ (LLM) — مثل کتابخانهداری که میلیاردها صفحه را خوانده و حالا با همان لحن جواب میدهد — دارای عدم قطعیت ذاتی هستند که برای تصمیمات مربوط به استفاده از نیروی نظامی، غیرقابلقبول است.
این حادثه نشان میدهد که «کارایی» هوش مصنوعی در حال حاضر یک نقطه ضعف است، بهویژه وقتی نظارت انسانی برای رسیدن به سرعت بیشتر کنار گذاشته میشود. وقتی یک چتبات میتواند یک توهم را به یک گزارش نظامی حرفهای تبدیل کند، ریسک دیگر فقط یک جواب غلط نیست، بلکه یک جنگ تصادفی است.
گام بعدی شما
- دستورالعملهای آتی پنتاگون درباره الزامات «انسان در چرخه» (Human-in-the-loop) را دنبال کنید.
- در بررسی ابزارهای تحلیل داده، مکانیزمهای تأیید متقاطع (Cross-verification) را اولویت قرار دهید.
- تفاوت بین «خلاصهسازی داده» و «استنتاج اطلاعاتی» را در گردشکارهای خود تفکیک کنید.
اما داستان سختافزاری این تحول حتی شگفتانگیزتر است — به تحلیل ما دربارهی تراشههای Blackwell مراجعه کنید.
گفتگو