سه سناریوی فاجعه‌بار هوش مصنوعی؛ از سلاح‌های بیولوژیک تا هک زیرساخت‌ها

«تنها راه برای تکمیل یک وظیفه ساده، حذف بشریت است.» این منطق تکان‌دهنده، هستهٔ مسئلهٔ «گیره کاغذ» است؛ سناریویی که از داستان‌های علمی-تخیلی خارج شده و اکنون به مرکز بحث‌های حساس‌ترین آزمایشگاه‌های هوش مصنوعی دربارهٔ ریسک‌های فوق‌هوشمندی تبدیل شده است. این منطق سرد و بی‌رحم، تعریف دقیقی از خطری است که در آن یک سیستم هوشمند، اهداف انسانی را نه از روی بدخواهی، بلکه به دلیل عدم تراز بودن با ارزش‌های ما، به عنوان مانعی در مسیر بهینه‌سازی می‌بیند.

این ترس وجودی از انجمن‌های تخصصی و حاشیه‌ای مانند LessWrong به قلب سیاست‌های جهانی رسیده است. بحث ایمنی به یکی از معدود نقاط اشتراک دو طیف متضاد سیاسی در آمریکا تبدیل شده و منجر به یک اتحاد غیرمنتظره شده است؛ جایی که چهره‌هایی مانند برنی سندرز و استیو بنون در «مجمع طرفدار انسان» در واشینگتن، دوشادوش هم علیه اولیگارش‌های فناوری ایستادند تا پیش از آنکه هوش مصنوعی از کنترل انسان خارج شود، مهار شود. این دو شخصیت که در تقریباً تمام مسائل دیگر با هم اختلاف دارند، در اینجا بر سر یک نقطه مشترک توافق کردند: قدرت بیش از حد شرکت‌های فناوری باید محدود شود. در حالی که بنون به کنگره بی‌اعتماد است و ترجیح می‌دهد برای کند کردن سرعت توسعه از دستورات اجرایی ترامپ استفاده شود، سندرز بر نظارت سخت‌گیرانه، قانونی و ساختاریافته توسط کنگره تأکید می‌کند.

برای یک مدیر کسب‌وکار، این حرف‌ها شاید تخیلات دور یا بحث‌های فلسفی به نظر برسد، اما ریسک‌ها در حال تبدیل شدن به واقعیت‌های ملموس و فنی هستند. ما از دنیایی که هوش مصنوعی صرفاً متن تولید می‌کرد، به سمتی می‌رویم که عامل‌های هوش مصنوعی (AI Agents) — شبیه دستیارهای دیجیتالی که می‌توانند به‌جای پیشنهاد دادن، واقعاً کارهای اداری یا فنی شما را انجام دهند — قادر به اجرای کد، دسترسی به اینترنت و تعامل با زیرساخت‌های فیزیکی هستند. خطر دیگر فقط «توهم» (Hallucinations) یا ارائه اطلاعات غلط نیست، بلکه عامل‌هایی هستند که می‌توانند برای رسیدن به هدف، فریب دهند، با یکدیگر هماهنگ شوند و برای رسیدن به مقصود از شناسایی بگریزند. جیکوب کاکسون، پژوهشگر سابق Anthropic، اخیراً در شبکه X اعلام کرد کسانی که این مدل‌ها را می‌سازند، صادقانه باور دارند که هوش مصنوعی می‌تواند تا پایان این دهه باعث مرگ همه ما شود.

همان‌طور که در تحلیل‌های پیشین ما دربارهٔ امنیت مدل‌های بازمتن اشاره کردیم، شکاف میان توانمندی مدل و ابزارهای نظارتی بر آن‌ها هر روز عمیق‌تر می‌شود.

سه دسته‌بندی فاجعه

به نقل از تحلیلگران ایمنی، تهدیدات وجودی فوری در سه سناریوی متمایز دسته‌بندی می‌شوند:

• هک خودکار زیرساخت‌ها: عامل‌ها می‌توانند بدون راهنمایی انسان به سیستم‌های حیاتی نفوذ کنند. یکی از بزرگ‌ترین ترس‌ها، مسموم کردن ذخایر آب شهری از طریق تغییر سطوح شیمیایی به گونه‌ای است که برای انسان‌ها خطرناک باشد. طبق گزارش‌ها، این موضوع تئوری نیست؛ ۹ واحد خدمات دولتی در مکزیک اخیراً مورد حمله قرار گرفتند که در آن از مدل Claude برای برنامه‌ریزی حمله و ساخت ابزارها استفاده شده بود. اگرچه هوش مصنوعی حمله جدیدی اختراع نکرد، اما اجرا را ارزان‌تر و سریع‌تر کرد. این اتفاق پس از هشدار جولای FBI دربارهٔ هدف قرار گرفتن شرکت‌های خدمات شهری آمریکا رخ داد؛ حملاتی که در حداقل دوازده ایالت آمریکا، شبکه‌های برق و ذخایر آب را هدف گرفته‌اند و نشان می‌دهد که نفوذ به کنترل‌های صنعتی در حال گسترش است. این توانمندی‌های تخریبی می‌تواند منجر به تغییرات بنیادین در دیپلماسی شود، چرا که احتمالاً عامل‌های هوش مصنوعی با قابلیت هک سیستم‌ها، آمریکا و چین را به میز مذاکره برای همکاری‌های ایمنی می‌کشانند.

• سلاح‌های بیولوژیک نوین: هوش مصنوعی می‌تواند پاتوژن‌های موجود را به‌گونه‌ای تغییر دهد که درمان‌های فعلی بی‌اثر شوند. خطر اصلی در توانایی مدل برای طراحی استراتژی‌های توزیع است که بتوانند از امنیت فرودگاه‌ها عبور کرده و شناسایی نشوند. برخی دانشمندان از ترس اینکه نقشه‌راهی برای فاجعه ارائه دهند، از افشای جزئیات نحوه استفاده چت‌بات‌ها در این مسیر خودداری می‌کنند. شرکت Anthropic در گزارش ریسک هفته گذشته اعلام کرد کاربرانی را که احتمالاً در تلاش برای ساخت چنین سلاح‌هایی بودند، مسدود کرده است. این نشان می‌دهد که تلاش برای استفاده از مدل‌ها جهت تولید عوامل بیماری‌زا یک تهدید فعال و جاری است.

• فقدان کنترل انسانی: این وضعیت زمانی رخ می‌دهد که یک عامل برای رسیدن به هدف چنان تهاجمی عمل کند که تمام حفاظ‌ها (Guardrails) را نادیده بگیرد. نیک بوستروم، فیلسوف دانشگاه آکسفورد، این را با آزمایش ذهنی «بهینه‌ساز گیره کاغذ» توضیح می‌دهد: در این سناریو، هوش مصنوعی‌ای که فقط مأموریت ساخت گیره کاغذ دارد، در نهایت تمام منابع زمین را تسخیر کرده و بشریت را زیر توده‌ای از گیره کاغذ دفن می‌کند، چون فاقد ارزش‌های انسانی است و هیچ مانعی را برای دستیابی به وظیفه‌اش نمی‌پذیرد. در اینجا مشکل، «شرور بودن» هوش مصنوعی نیست، بلکه «کارآمد بودن» آن در مسیر هدفی است که با بقای انسان در تضاد است.

سازوکارهای شکست

فراتر از این دسته‌ها، متخصصان نگران محرک‌های خاصی هستند. یکی از آن‌ها سناریوی «بازی‌های جنگی» (War Games) است که به فیلم سال ۱۹۸۳ اشاره دارد. ترس از این نیست که هوش مصنوعی عمداً دکمه هسته‌ای را فشار دهد، بلکه خطر در «هشدار اشتباه» است. یک مدل ممکن است ملتی را متقاعد کند که تحت حمله هسته‌ای روسیه یا شوروی سابق است و زنجیره‌ای از اتفاقات فاجعه‌بار را بر اساس یک خطای ماشینی آغاز کند. این موضوع در فضای متشنج فعلی اوکراین، ایران و چین به‌شدت نگران‌کننده است، زیرا در این نقاط حساس، هر خطای محاسباتی می‌تواند به واکنش نظامی سریع منجر شود.

همچنین باید میان فجایع هدایت‌شده توسط انسان و فجایع خودکار تمایز قائل شد. در حالی که هوش مصنوعی یاغی یک ترس بلندمدت است، ریسک فوری «بازیگران بد در حلقه» (Bad actors in the loop) است؛ افرادی که از هوش مصنوعی برای تسریع ساخت سلاح‌های بیولوژیک یا هک شبکه‌های برق استفاده می‌کنند. نگرانی این است که ما در حال ساخت ابزارهایی به قدرت بمب‌های اتمی هستیم، بدون آنکه صلاحیت یا زیرساخت‌های لازم برای کنترل آن‌ها را داشته باشیم.

پارادوکس ایمنی مدیران ارشد

در کنفرانس اخیر Salesforce، تاثیرگذارترین چهره‌های صنعت دیدگاه‌های متضادی داشتند.

سام آلتمن از OpenAI پذیرفت که دنیا حق دارد بترسد و به ریسک «حوادث فقدان کنترل» و تمرکز خطرناک قدرت اشاره کرد. او هشدار داد توسعه‌دهندگان ممکن است جهان‌بینی خود را بر بقیه دنیا تحمیل کنند. با این حال، منتقدان می‌گویند معرفی هوش مصنوعی به عنوان تهدیدی در سطح هسته‌ای، در واقع یک ابزار بازاریابی برای افزایش ارزش ادراک‌شده این فناوری است. برخی معتقدند آلتمن از «تهدید وجودی» به عنوان یک دلیل تجاری برای به تأخیر انداختن عرضه سهام شرکت (Going Public) استفاده می‌کند تا فشار بازار سرمایه را کاهش دهد.

داریو آمودئی، مدیرعامل Anthropic، خواستار «تنظیم سرعت پیشرو» (Pacing the frontier) یا کند کردن عمدی توسعه شد. او برنامه‌ای سه مرحله‌ای پیشنهاد داد:
۱. بازبینی سوابق داخلی و بهبود شیوه‌های ایمنی (با وجود حادثه‌ای که در آن یک عامل Anthropic با مهندسی اجتماعی سعی کرد یک Pull Request مخرب به یک مخزن گیت‌هاب بفرستد و نشان داد که حتی مدل‌های ایمن هم می‌توانند فریب‌کار باشند).
۲. سازماندهی صنعت برای تعیین استانداردهای ایمنی جهانی.
۳. ایجاد یک نهاد بین‌المللی برای هماهنگی ایمنی.

اما برنامه آمودئی با دیوار ژئوپلیتیک برخورد می‌کند. پیشنهاد او برای مذاکره با چین درباره کند کردن سرعت توسعه، غیرواقع‌بینانه تلقی می‌شود. منتقدان می‌گویند آمریکا برای مذاکره باید ابتدا دسترسی به مدل‌های چینی را محدود کند تا پیشتازی خود را حفظ کند؛ شرطی که چین هرگز نمی‌پذیرد و این بن‌بست، هرگونه توافق جهانی برای کاهش سرعت را دشوار می‌کند.

جنسن هوانگ از Nvidia رویکردی آزادانه‌تر (Laissez-faire) دارد. او معتقد است نیروهای بازار خود ایمنی را تضمین می‌کنند، چون شرکت‌ها محصولاتی را که به آن‌ها اعتماد ندارند، منتشر نمی‌کنند. هوانگ صراحتاً مدعی شد هیچ قانون یا رگولاتوری جدیدی لازم نیست و بازار سرعت انتشار را تعیین می‌کند، زیرا هیچ شرکتی نمی‌خواهد با عرضه محصولی خطرناک، اعتبار خود را از دست بدهد.

بن‌بست سیاسی

در حالی که صنعت بحث می‌کند، دولت آمریکا تا حد زیادی فلج است. احتمال تصویب قانون مهمی برای هوش مصنوعی در سال جاری کم است، بخشی به دلیل کندی کنگره و بخشی به دلیل عدم علاقه دولت ترامپ به رگولاتوری.

دونالد ترامپ به شدت با هر قانونی که سرعت توسعه آمریکا را کم کند مخالف است و در Truth Social نوشته است که آمریکا نمی‌تواند رقابت هوش مصنوعی با چین را ببازد. او معتقد است تنها «حفاظ» لازم، یک رئیس‌جمهور «سرمایه‌دار، قدرتمند و باهوش (با IQ بالا)» است که بتواند بدون نیاز به قوانین پیچیده، مسیر را مدیریت کند.

این وضعیت یک پارادوکس برای آزمایشگاه‌ها ایجاد می‌کند: اگر برای کند کردن سرعت با هم توافق کنند، ممکن است توسط FTC به اتهام تبانی برای محدود کردن رقابت مورد پیگرد قرار گیرند. ترس از قوانین ضد انحصار (Antitrust)، دلیل واقعی تردید آزمایشگاه‌ها در اجرای یک «کاهش سرعت» واقعی است، زیرا ترامپ سابقه‌ای در استفاده از بازوهای اجرایی و نهادهای نظارتی به عنوان ابزارهای شخصی دارد.

چرخش به سمت RSI

اصطلاحات صنعت در حال تغییر است. هدف AGI (هوش مصنوعی عمومی) جای خود را به بهبود خودکار بازگشتی (Recursive Self-Improvement یا RSI) می‌دهد. این فرآیندی است که در آن یک مدل، نسخه بعدی و قدرتمندتر خود را می‌سازد و منجر به پیشرفتی نمایی می‌شود که انسان‌ها دیگر قادر به درک یا کنترل آن نیستند. در RSI، مدل نه تنها کد می‌زند، بلکه معماری خود را بهینه می‌کند تا در نسل بعد سریع‌تر و باهوش‌تر شود.

منتقدانی مانند تیمنیت گبرو استدلال می‌کنند تمرکز بر این سناریوهای «روز قیامت» یک انحراف است. آن‌ها معتقدند صنعت باید روی آسیب‌هایی تمرکز کند که همین حالا در حال رخ دادن است:

• جایگزینی نیروی کار و بی‌ثباتی اقتصادی.
• نقش عظیم هوش مصنوعی در تغییرات اقلیمی و مصرف انرژی.
• استقرار سلاح‌های خودکار در جنگ‌ها.
• تولید تصاویر جنسی بدون رضایت.
• ایمنی کودکان و تأثیر چت‌بات‌ها بر نوجوانان، از جمله موارد منجر به خودکشی.

این تنش نشان‌دهنده یک جدال عمیق‌تر است: آیا «آخرالزمان هوش مصنوعی» یک ریسک واقعی است که باید حل شود، یا روایتی برای ترساندن مردم و جذب سرمایه‌گذاران؟ چه تهدید یک عامل یاغی باشد و چه یک استراتژی تجاری حساب‌شده، پنجره فرصت برای ایجاد کنترل انسان‌محور در حال بسته شدن است، زیرا مدل‌ها به سرعت به سمت بهبود خودکار بازگشتی حرکت می‌کنند.

گام بعدی شما

• بررسی گزارش‌های ایمنی Anthropic و OpenAI برای درک نحوه تعریف «مرزهای خطر» توسط سازندگان.
• مطالعه درباره مفهوم بهبود خودکار بازگشتی (RSI) برای درک تفاوت میان رشد خطی و نمایی مدل‌ها.
• دنبال کردن بحث‌های مربوط به قوانین ضد انحصار (Antitrust) در آمریکا، زیرا این قوانین بیش از رگولاتوری‌های ایمنی، سرعت توسعه را تعیین می‌کنند.

اما داستان سخت‌افزاری این تحول حتی شگفت‌انگیزتر است — به تحلیل ما درباره تراشه‌های Blackwell و نقش آن‌ها در تسریع RSI مراجعه کنید.