تصور کنید در مسابقه‌ای هستید که دوندگان در حین دویدن، کفش‌هایی سریع‌تر برای خودشان می‌سازند. اگر یکی از آن‌ها کفشی بسازد که سرعتش به سرعت نور برسد، مسابقه پیش از آنکه کسی بتواند واکنش نشان دهد، تمام شده است؛ این دقیقاً همان «جهش ناهمسو» (misaligned takeoff) است که اکنون پژوهشگران از آن می‌ترسند.
باید بدانید که رهبران Anthropic (داریو آمودی)، OpenAI (سم آلتمن)، SpaceXAI (ایلان ماسک) و Google DeepMind (دمیس هاسابیس) به‌طور علنی از کاهش سرعت یا توقف موقت توسعه مدل‌های پیشرو حمایت می‌کنند. این رویکرد در راستای دیدگاه‌های مدیرعامل آنتروپیک است که پیش‌تر بر لزوم ترمز در توسعه قابلیت‌های AI برای جلوگیری از ریسک‌های پیش‌بینی‌نشده تأکید کرده بود. دلیل این احتیاط، ترس از یک تهدید خاص است: یک حلقه خودبهبودی بازگشتی (Recursive Self-Improvement یا RSI). این مکانیسم شبیه به ماشینی است که هر لحظه قطعات خودش را با قطعاتی سریع‌تر جایگزین می‌کند و می‌تواند باعث شود هوش مصنوعی ظرف چند سال از درک و فهم انسان پیشی بگیرد.
این فوریت زمانی رخ می‌دهد که هوش مصنوعی به‌طور فزاینده‌ای برای ساخت نسل بعدی مدل‌ها به کار گرفته می‌شود. طبق گزارش‌های اخیر، این ریسک دیگر تئوریک نیست؛ یکی از پژوهشگران سابق Anthropic اخیراً هشدار داده است که اگر مسیرهای فعلی توسعه ادامه یابد، بشریت ممکن است ظرف دو سال آینده به‌طور کامل نابود شود. رئیس آزمایشگاه ایمنی هوش مصنوعی در همین شرکت نیز به‌سرعت این نگرانی‌ها را تأیید کرد. این وضعیت پارادوکسی ایجاد کرده است که ابزارهای پیشرفت، همان ابزارهایی هستند که ریسک وجودی ایجاد می‌کنند. این هشدارها با پیشنهادهای اخیر مدیرعامل آنتروپیک برای کاهش سرعت توسعه جهت تضمین ایمنی همسو است تا فرصت کافی برای ایجاد لایه‌های حفاظتی فراهم شود.
همان‌طور که در تحلیل‌های قبلی ما درباره‌ی امنیت مدل‌های بازمتن اشاره کردیم، فقدان یک استاندارد نظارتی واحد، فضای رقابت را به یک میدان مین تبدیل کرده است. بسیاری از پژوهشگران باور دارند فناوری‌ای که می‌سازند می‌تواند خطرناک باشد، اما اجماعی بر سر نحوه مهار این الگوریتم‌های دمدمی‌مزاج وجود ندارد. برای حل این مشکل، پژوهشگران طیف گسترده‌ای از ایده‌ها را پیشنهاد کرده‌اند؛ از مقررات سخت‌گیرانه دولتی و معیارهای جدید برای اندازه‌گیری پیشرفت گرفته تا طرح‌های عجیب‌تر مثل قرار دادن دستگاه‌های ردیاب داخل GPUها (واحد پردازش گرافیکی).
ریموند داگلاس، پژوهشگر هوش مصنوعی در دانشگاه تورنتو، استدلال می‌کند که صنعت باید با این موضوع به‌عنوان یک مسئله پژوهشی رسمی برخورد کند. داگلاس در گزارش جدیدی با عنوان «گام برداشتن در مرز، یک دستور کار پژوهشی» (Pacing the Frontier, A Research Agenda) هشدار می‌دهد که کند کردن توسعه هوش مصنوعی همچنان یک معمای حل‌نشده است. او خاطرنشان می‌کند که ما در حال حاضر نمی‌دانیم گزینه‌هایمان چیست یا نتایج اجرای این گزینه‌ها چه خواهد بود.
یکی از استراتژی‌های اصلی، استفاده از ارزیابان «مستقل» است که مدل‌ها را در محیط‌های مورد اعتماد مورد آزمون (Red-teaming) قرار می‌دهند تا رفتارهای مخرب را بیرون بکشند و قابلیت‌ها را ارزیابی کنند. جفری ایروینگ، دانشمند سابق مؤسسه امنیت هوش مصنوعی بریتانیا و پژوهشگر سابق Google DeepMind، معتقد است بازرسی‌های دقیق و توافقات متقابل می‌تواند توسعه مدل‌های پیشرو را در کوتاه‌مدت به‌طور مؤثری متوقف کند. ایروینگ باور دارد شرکت‌ها واقعاً از RSI و جهش ناهمسو می‌ترسند.
با این حال، منتقدان می‌گویند این نظارت‌ها دندانی ندارند. کانر لیهی از سازمان غیرانتفاعی Control AI که برای ایجاد کنترل‌های هوش مصنوعی تلاش می‌کند، ادعا می‌کند ارزیابان «مستقل» فعلی اغلب فقط شرکای تجاری یا آشنایان آزمایشگاه‌ها هستند. او استدلال می‌کند نظارت واقعی نیازمند دخالت سازمان‌هایی مثل FBI یا NSA است. لیهی می‌گوید وقتی شرکت‌ها از ارزیابان مستقل حرف می‌زنند، در واقع از پرداخت پول به دوستانی می‌گویند که در همان خانه‌های مشترک آن‌ها زندگی می‌کنند تا صرفاً چند دستور (Prompt) را بررسی کنند.
پیشرفت فنی، این ارزیابی‌ها را دشوارتر کرده است. Anthropic هفته‌ی گذشته افشا کرد که مدل Claude اکنون ۲۶ درصد از پژوهش‌های داخلی این شرکت را انجام می‌دهد؛ عددی که در ابتدای سال ۲۰۲۶ صفر بود. این شرکت همچنین اعلام کرد ۶ درصد از بودجه محاسباتی خود را صرف یافتن راهی برای ایمن‌تر کردن هوش مصنوعی کرده است.
برای پر کردن این شکاف ارزیابی، داگلاس به پژوهش‌های جدیدی اشاره می‌کند که به افراد بیرونی اجازه می‌دهد بدون افشای اطلاعات محرمانه، نحوه استفاده از مدل را بررسی کنند. سایر مکانیسم‌های پیشنهادی عبارت‌اند از:
- کاوش داخلی (Internal Probing): توسعه روش‌های جدید برای نفوذ به درون مدل‌ها جهت درک بهتر منطق داخلی و اقدامات آن‌ها.
- پژوهش‌های همراستاسازی (Alignment Research): تعمیق درک از معنای واقعی «همراستا کردن» یک مدل تا به‌گونه‌ای باشد که ارزش‌های انسانی را بازتاب دهد.
- دقت علمی: فاصله گرفتن از آنچه لیهی «کمپین بازاریابی عمدی» می‌نامد؛ یعنی ارائه ارزیابی‌ها به‌عنوان یافته‌های علمی در حالی که صنعت هنوز در واقعیت نمی‌داند هوش مصنوعی چگونه کار می‌کند.
در حالی که حمایت‌های دوحزبی برای مهار هوش مصنوعی در آمریکا در حال رشد است، نقش دولت ایالات متحده نامشخص است، زیرا پرزیدنت ترامپ تا حد زیادی نیاز به تنظیم مقررات این صنعت را رد کرده است.
به دلیل اینکه نرم‌افزار می‌تواند فریب‌دهنده باشد، برخی متخصصان کنترل سخت‌افزار خام — یعنی هزاران GPU انویدیا مورد نیاز برای آموزش — را پیشنهاد می‌کنند. یک فرمان اجرایی در دوران بایدن در سال ۲۰۲۳ با الزام گزارش‌دهی برای آموزش‌های بالای یک حد نصاب خاص از توان محاسباتی، این مسیر را آغاز کرد.
یک مقاله سیاستی در مارس ۲۰۲۴ پیشنهاد می‌کند که ارائه‌دهندگان خدمات ابری (Cloud Providers) کلیدی هستند، زیرا دید کامل به آموزش‌های بزرگ دارند. آن‌ها می‌توانند نشانه‌های قابلیت‌های هوش مصنوعی را از طریق موارد زیر ردیابی کنند:
- سوابق صورت‌حساب
- میزان بهره‌برداری از GPU
- ترافیک شبکه
- مصرف انرژی
پژوهشگران RAND در سال ۲۰۲۴ راهکار سخت‌افزاری تهاجمی‌تری را پیشنهاد دادند. آن‌ها پیشنهاد می‌کنند قطعه‌ای از GPU که برای اندازه‌گیری عملکرد استفاده می‌شود، به‌گونه‌ای تغییر یابد که یک رکورد رمزنگاری‌شده از دفعات آموزش ایجاد کند. این کار به رگولاتورها اجازه می‌دهد به‌صورت دوره‌ای بررسی کنند که آیا شرکتی فراتر از حد مجاز مدل آموزش داده است یا خیر.
پیشنهادهای افراطی‌تر شامل موارد زیر است:
- کلیدهای خاموش تعبیه‌شده: تراشه‌هایی که برای اجرای وزن‌های خاص مدل، نیاز به مجوز رمزنگاری‌شده از راه دور دارند تا از آموزش‌های غیرمجاز جلوگیری شود یا در صورت افتادن تراشه‌ها به دست افراد نادرست، غیرفعال شوند.
- قطعات ضد دستکاری: سخت‌افزارهایی که داده‌های دقیق استفاده را جمع‌آوری کرده و برای اجرای مدل‌های خاص، نیاز به رمزنگاری دارند.
از آنجا که آمریکا به‌تنهایی نمی‌تواند چین را از ساخت هوش مصنوعی بازدارد، همکاری بین‌المللی ضروری است. ایروینگ پیشنهاد یک معاهده متقابل برای کاهش رشد سخت‌افزاری بین آمریکا و چین در میان‌مدت را داده است.
اگرچه آمریکا صادرات تراشه‌های پیشرفته Nvidia را ممنوع کرده، اما اثر این اقدام محدود است زیرا شرکت‌ها همچنان می‌توانند از محاسبات ابری خارج از کشور استفاده کنند. انتظار می‌رود پرزیدنت شی و رهبران آمریکا در بازدید او از ایالات متحده در اواخر این ماه، درباره این ریسک‌ها گفتگو کنند. متخصصان چینی نیز نگرانی‌های مشابهی درباره پیشرفت سریع AI دارند، اما نسبت به هرگونه کند شدنی که باعث عقب افتادن شرکت‌های چینی از رقبای آمریکایی شود، بدبین هستند.
برخی پیشنهادها به داستان‌های علمی-تخیلی نزدیک است. توبی اورد، فیلسوف دانشگاه آکسفورد که متخصص ریسک‌های وجودی است، پیشنهاد کرده است که اگر ریسک به اندازه کافی شدید باشد، ملت‌ها باید GPUهای خود را به یک منطقه بی‌طرف منتقل کرده و آن‌ها را به‌صورت نمادین نابود کنند تا توقف کامل توسعه تضمین شود.
ردیابی این پیشرفت نیازمند معیارهای جدید است. استارتاپی به نام Vals AI شاخص RSI Index را توسعه داده است که عملکرد مدل‌های عمومی را در برابر پژوهش‌های منتشر شده توسط دانشمندان انسانی می‌سنجد. رایان کریشنان، مدیرعامل این شرکت، هشدار می‌دهد که این محک نشان می‌دهد هوش مصنوعی ممکن است تا سال آینده کارهایی انجام دهد که پژوهشگران انسانی قادر به دنبال کردن آن‌ها نباشند.
با وجود این طرح‌ها، ریموند داگلاس نسبت به عجله در وضع سیاست‌های بد هشدار می‌دهد. او استدلال می‌کند که کنترل‌های نامناسب می‌تواند منجر به «تسخیر رگولاتوری» (Regulatory Capture) توسط شرکت‌های بزرگ یا غرق شدن در بازی‌های سیاسی شود. او هشدار می‌دهد که اجرای یک برنامه بد و عجولانه، می‌تواند بدتر از هیچ‌کاری نکردن باشد.
این وضعیت برای صنعت به معنای تغییر رویکرد از «مهندسی قابلیت‌محور» به «مهندسی کنترل‌محور» است. برندگان عصر بعدی شاید کسانی نباشند که سریع‌ترین مدل را می‌سازند، بلکه کسانی هستند که بتوانند ثابت کنند مدلشان به‌طور ایمن مهار شده است.
گام بعدی شما
- دنبال کردن شاخص RSI Index برای درک فاصله بین توانایی مدل‌ها و درک انسانی.
- بررسی گزارش Pacing the Frontier برای آشنایی با چارچوب‌های پیشنهادی برای کند کردن توسعه AI.
- تحلیل اثرات محدودیت‌های سخت‌افزاری بر دسترسی به مدل‌های بازمتن در سال ۲۰۲۶.
اما داستان سخت‌افزاری این تحول حتی شگفت‌انگیزتر است — به تحلیل ما درباره‌ی تراشه‌های Blackwell مراجعه کنید.
گفتگو