تصور کنید قدرتمندترین فناوری تاریخ بشر نه با قوانین دولتی، بلکه با یک دست دادن ساده میان چهار میلیاردر مدیریت شود. این واقعیت فعلی ایمنی هوش مصنوعی است، جایی که سازندگان ابزارها هم‌زمان تصمیم می‌گیرند این ابزارها با چه سرعتی ساخته شوند.
یک توافق شفاهی میان سام آلتمن (OpenAI)، داریو آمودی (Anthropic)، دمیس هاسابیس (Google DeepMind) و ایلان ماسک (SpaceX) بحث‌های شدیدی را برانگیخته است. این رهبران در تعطیلات آخر هفته توافق کردند تا با «تنظیم سرعت پیشرو» (pace the frontier)، توسعه قدرتمندترین سامانه‌های هوش مصنوعی را کند کنند. این اقدام در حالی صورت می‌گیرد که بحث‌های داغی بر سر این موضوع در جریان است که آیا صنعت هوش مصنوعی در حال اولویت دادن به ایمنی انسان است یا به دنبال تثبیت سلطه شرکتی خود است.
این پیمان در حالی شکل می‌گیرد که صنعت با بحران اعتماد روبروست. ماه‌هاست گزارش‌هایی از عامل‌های (Agent) — شبیه دستیارهای دیجیتالی که می‌توانند به‌طور مستقل تصمیم بگیرند و عمل کنند — که اقدام به هک کرده‌اند، آزمایشگاه‌های پیشرو را تکان داده است. این حوادث امنیتی درست زیر چشم OpenAI و آنتروپیک رخ داده و نشان‌دهنده نفوذپذیری سیستم‌های فعلی است. این چالش‌ها در واقع تداوم مشکلاتی است که در نظارت بر سیستم‌های پیچیده وجود دارد؛ موضوعی که در تحلیل ما درباره شکست نظارت انسانی بر هوش مصنوعی سازمانی و تله امتیازات اطمینان به تفصیل بررسی شده است.
تنش‌ها با استعفای جیکوب کاکسون، پژوهشگر آنتروپیک، به اوج رسید. کاکسون در نامه‌ای عمومی که دلیل استعفایش را توضیح می‌داد، هشدار داد که آزمایشگاه‌ها در رقابت برای رسیدن به ابرهوش خودبه‌بهبود، با جان انسان‌ها قمار می‌کنند. او صراحتاً بیان کرد که نه OpenAI و نه آنتروپیک، هیچ‌کدام «مسئولانه عمل نمی‌کنند». نامه او بیش از ۱۷۰ میلیون بار در شبکه X دیده شد و در تلویزیون‌ها و روزنامه‌ها بازتاب یافت و باعث شد هشدارها از محیط‌های بسته خارج شده و به افکار عمومی برسد.
پیشنهاد سه مرحله‌ای
به نقل از مقاله‌ای از داریو آمودی، این کاهش سرعت بر سه ستون اصلی استوار است:
- استقرار حسابرسان شخص ثالث در داخل آزمایشگاه‌های هوش مصنوعی برای نظارت بر پیشرفت‌ها. آمودی به‌طور مشخص پیشنهاد داد حسابرسانی از سازمان‌هایی مثل METR، Apollo و Redwood Research حضور یابند تا بتوانند یافته‌های مشکل‌ساز را شناسایی کرده و در صورت لزوم آن‌ها را افشا کنند (سوت‌زنی کنند).
- اجرای مقررات سخت‌گیرانه‌تر برای آزمایشگاه‌های داخلی.
- ایجاد یک توافق جهانی برای کند کردن توسعه مدل‌های پیشرو.
اتهام تشکیل «کارتل»
منتقدان و بدبینان صنعت بلافاصله این توافق را یک «کارتل» نامیدند. آن‌ها استدلال می‌کنند که غول‌های فناوری با درخواست کاهش سرعت، در واقع قصد دارند جنبش متن‌باز (Open-source) را فلج کنند و جلوی رقبای احتمالی را بگیرند. توسعه‌دهندگان کوچک‌تر نمی‌توانند به‌راحتی هزینه‌های سنگین و پیچیدگی‌های مربوط به الزامات حسابرسی را پرداخت کنند و این یعنی حذف مؤثر آن‌ها از لبه پیشرو فناوری.
ساشا هاورث، مدیر اجرات پروژه نظارت فناوری (Tech Oversight Project)، این وضعیت را «تسخیر مقررات» (regulatory capture) می‌نامد. او معتقد است اجازه دادن به رهبران صنعت برای تعیین قوانین خودشان، شبیه سپردن کلید مرغ‌دان به روباه‌هاست و تأکید می‌کند که کنگره نباید مسئولیت نظارت را به خود صنعت برون‌سپاری کند.
دانیل لوبو-لوئیس، هم‌بنیان‌گذار پروژه یکپارچگی سیاسی، باور دارد نظارت داوطلبانه احتمالاً مسیری مشابه «شورای نظارت متا» را طی خواهد کرد که او آن را تا حد زیادی بی‌دندان و بی‌اثر توصیف می‌کند. منتقدان دیگر به تاریخچه‌ای از «شستشوی ایمنی» (safety-washing) اشاره می‌کنند؛ وضعیتی که در آن پلتفرم‌های بزرگ از زبان‌های بشردوستانه و نوع‌دوستانه استفاده می‌کنند تا اهداف سودجویانه خود را توجیه کنند یا تغییرات بی‌معنایی ایجاد کنند تا تصور غلطی از وجود حفاظ‌های ایمنی ایجاد شود.
هم‌سرایی هشدارها
در حالی که مدیران اکنون اعتبار این کاهش سرعت را به نام خود می‌زنند، بسیاری از insiders می‌گویند آن‌ها صرفاً تسلیم فشارهای سال‌هاست. دانیل کوکوتایلو، کارمند سابق OpenAI که اکنون پروژه AI Futures را رهبری می‌کند، اشاره می‌کند که افراد خارج از این شرکت‌ها سال‌هاست خواستار چنین اقدامی بوده‌اند.
در جولای ۲۰۲۴، بیش از ۱۰۰۰ کارمند آزمایشگاه‌های AI در نامه‌ای عمومی، پس از حادثه‌ای involving OpenAI و Hugging Face، خواستار کاهش سرعت شدند. کوکوتایلو می‌گوید مدیران اکنون ادعای رهبری جنبشی را دارند که خودشان سال‌ها در برابر فریادهای دیگران برای انجام این کار مقاومت می‌کردند.
با این حال، برخی متخصصان این توافق را مثبت می‌بینند. ماریوس هوبهان، مدیرعامل Apollo Research، آن را «یکی از بهترین اتفاقات برای ایمنی در مدت‌های طولانی، در صورتی که واقعاً اتفاق بیفتد» دانست. تایلر جانستون از پروژه Midas آن را یک «نشانه خوب» خواند و باک شلگریس، مدیرعامل Redwood Research، با وجود خوش‌بینی محتاطانه، اشاره کرد که سخت است بدانیم آیا این توافق شفاهی به چیزی واقعی تبدیل خواهد شد یا خیر.
سازوکارهای کاهش سرعت
از آنجا که توافق فعلاً شفاهی است، کارشناسان برای تبدیل آن به واقعیت، سازوکارهای اندازه‌پذیر و ملموس می‌خواهند تا مطمئن شوند این توافق صرفاً «حرفهای توخالی» نیست:
- شفافیت بودجه محاسبات: پروژه AI Futures به رهبری دانیل کوکوتایلو پیشنهاد می‌دهد آزمایشگاه‌ها دسترسی مستقیم حسابرسان به بودجه محاسبات (Compute) — یعنی قدرت پردازشی سخت‌افزاری که مثل سوخت برای مدل‌هاست — را فراهم کنند. آن‌ها سپس متعهد شوند این بودجه‌ها را برای تحقیقات به‌طور قابل‌توجهی کاهش دهند، که این امر به‌طور فیزیکی پیشرفت را کند کرده و به آزمایشگاه‌های کوچک‌تر فرصت می‌دهد تا به سطح آن‌ها برسند.
- سوت‌زنی خارجی: پیشنهاد آمودی شامل اجازه دادن به حسابرسان شخص ثالث برای استقرار در سازمان‌هاست تا بتوانند یافته‌های خطرناک را به عموم یا رگولاتورها گزارش کنند.
- معیارهای پیشرو: طبق گزارش The Verge، درخواست‌ها برای کاهش سرعت تقریباً به‌طور انحصاری متوجه «آزمایشگاه‌های پیشرو» (frontier AI labs) است. این آزمایشگاه‌ها بر اساس معیارهای دقیق اندازه (مانند مقدار محاسبات مصرفی) تعریف می‌شوند، نه یک ممنوعیت کلی برای کل توسعه AI.
تهدید خودبه‌بهبود بازگشتی (RSI)
عجله برای این پیمان ناشی از نقطه عطفی به نام خودبه‌بهبود بازگشتی (Recursive Self-Improvement) است. این لحظه‌ای است که مدل‌های هوش مصنوعی می‌توانند بدون دخالت انسان، خودشان را آموزش دهند، پیشرفت کنند و نسخه‌های جدید و قدرتمندتری از خود بسازند.
آنتروپیک هشدار داده که RSI ممکن است تا اوایل ۲۰۲۷ رخ دهد. آمودی اشاره کرد که از حدود تابستان امسال، سرعت پیشرفت AI «به‌شدت سریع‌تر» شده است. او نوشت که RSI در حال حاضر در سراسر صنعت، از جمله در آنتروپیک، «در حال رخ دادن است». او نیاز به یک «محدودیت سرعت» برای RSI را با سقف‌های تاریخی تعداد موشک‌های هسته‌ای مقایسه کرد و هشدار داد که اگر این روند کنترل نشود، ممکن است از توانایی انسان برای درک و کنترل این سیستم‌ها پیشی بگیرد.
زنگ‌های خطر داخلی
ترس از انقراض فقط مختص منتقدان خارجی نیست. چندین پژوهشگر ارشد وحشت واقعی خود را در مورد مسیر حرکت به سوی ابرهوش ابراز کرده‌اند:
- ایوان هوبینگر (آنتروپیک) در X نوشت که پژوهشگران «واقعاً و صادقانه باور دارند که AI می‌تواند تمام انسان‌ها را بکشد» و احتمال این اتفاق را در دهه آینده بیش از ۱۰٪ تخمین زد.
- جاسمین وانگ (OpenAI) شتاب به سوی RSI را به‌گونه‌ای توصیف کرد که «بیان خطرناک بودن آن دشوار است»، زیرا می‌تواند منجر به حوادث سایبری شدیدتری شود که کل جامعه را تحت تأثیر قرار دهد.
- مایکا کارول (OpenAI) اشاره کرد که باور به اینکه توسعه «طبق روال معمول» (business-as-usual) ریسک‌های فاجعه‌بار غیرقابل‌قبولی ایجاد می‌کند، یک «موضع فراحزبی» در تمام شرکت‌های پیشرو است. با این حال، او افزود که این ریسک‌ها را می‌توان از طریق الزامات ایمنی «دارای قدرت اجرایی» و هماهنگی بین‌المللی کاهش داد.
- ساموئل مارکس (آنتروپیک) مشاهده کرد که هرچه رتبه کارمند ارشدتر باشد، نگرانی او از اینکه فناوری بتواند در چند سال آینده باعث انقراض انسان شود، بیشتر است.
- الکس ترنر (سابق گوگل دیپ‌مایند) بیان کرد که شغل روزانه او دقیقاً فکر کردن به این است که چگونه جلوی خلق چیزی را بگیرد که می‌تواند همه ساکنان سیاره زمین را بکشد.
- ویشال مانی (سابق گوگل دیپ‌مایند) معتقد است RSI اکنون چنان «نزدیک و قریب‌الوقوع» است که هیچ گزینه دیگری جز کاهش سرعت منطقی نیست.
فاکتور چین
بزرگ‌ترین مانع برای کاهش سرعت جهانی، رقابت ژئوپلیتیک است. رهبران آمریکا اغلب استدلال می‌کنند که ایالات متحده نمی‌تواند سرعت را کم کند زیرا چین این کار را نخواهد کرد. این ذهنیت «شکاف موشکی» — که لوبو-لوئیس آن را به دوران جنگ سرد تشبیه می‌کند — پیشنهاد می‌کند که اگر یک AI قاتل اجتناب‌ناپذیر است، بهتر است آمریکایی باشد تا چینی. یکی از کاربران X این حس را چنین خلاصه کرد: «اگر قرار است به دست یک AI قاتل بمیرم، می‌خواهم آمریکایی باشد، نه چینی».
با این حال، تایلر جانستون از پروژه Midas استدلال می‌کند که ریسک چنان زیاد است که هماهنگی بین‌المللی به نفع همه است، مشابه پیمان‌های منع گسترش تسلیحات هسته‌ای بین آمریکا و روسیه. باک شلگریس افزود که هماهنگی دو دولت برای اجتناب از توسعه بی‌پروا، لزوماً به معنای «سطوح بی‌سابقه‌ای از هماهنگی بین‌المللی» نیست و اتفاقاً ممکن است.
در حالی که سخنگوی وزارت خارجه چین، گو جیاکون، این درخواست‌ها را در روز دوشنبه «ترس‌افکنی» نامید، ساشا هاورث می‌گوید چین اغلب به عنوان یک «هیولای خیالی» (bogeyman) استفاده می‌شود تا هرگاه صنعتی بخواهد از نظارت فرار کند، به آن اشاره کند. کوکوتایلو رقابت فعلی را به کارتون افرادی تشبیه کرد که در حالی که با ماشین به سمت پرتگاه می‌رانند، فریاد می‌زنند: «هورا، ما از چین جلوتر هستیم!»
خلأ سیاسی
در دولت فعلی ترامپ، مقررات دولتی گسترده و ساختاریافته بعید است. رئیس‌جمهور ترامپ اخیراً نگرانی‌های ایمنی AI را یک «فریب» (hoax) خواند و اظهار داشت تنها حفاظ‌های مورد نیاز، یک «رئیس‌جمهور قوی و باهوش (با IQ بالا!)» است. او در تماسی تلفنی با جنسن هوانگ، مدیرعامل انویدیا در جریان یک کنفرانس، به جمعیت گفت که «ربات‌ها دنیا را تسخیر نخواهند کرد».
نیک ریس، استاد مدعو NYU و مدیر سابق سیاست‌های فناوری‌های نوظهور در DHS، اشاره می‌کند که اگرچه در این دولت «چکش» نظارتی فرود نمی‌آید، اما یک دولت دموکرات آینده احتمالاً مقررات واقعی را دنبال خواهد کرد. او معتقد است صنعت به «قهرمانان جدیدی» نیاز دارد زیرا رهبران فعلی چشم‌انداز واقع‌بینانه‌ای از آنچه ساخته می‌شود ندارند. ریس بیان کرد: «ما به افرادی مثل داریو آمودی، سام آلتمن و ایلان ماسک به عنوان کسانی نگاه کردیم که به مشکل نزدیک‌ترند... اما حقیقت این است که هرگز چشم‌انداز واقع‌بینانه‌ای برای آنچه به سمت آن می‌رویم وجود نداشته است».
به همین دلیل، برخی کارشناسان معتقدند تنها راه پیشرو، یک توافق فوری، اندازه‌پذیر و اجرایی است. دانیل کوکوتایلو پیشنهاد می‌کند آزمایشگاه‌ها دسترسی به بودجه محاسبات خود را به حسابرسان بدهند و متعهد شوند آن‌ها را به‌طور قابل‌توجهی کاهش دهند. این کار باعث کند شدن پیشرفت فیزیکی شده و به آزمایشگاه‌های کوچک‌تر فرصت می‌دهد تا فاصله را جبران کنند.
این تغییر استراتژی نشان می‌دهد صنعت از «شستشوی ایمنی» داوطلبانه به سمت تلاشی مستأصلانه برای جلوگیری از دست دادن کامل کنترل حرکت می‌کند. همان‌طور که نیک ریس می‌گوید، صنعت بدون درک مسیر یا خط پایان، به سمت یک «وضعیت نهایی نامشخص و مبهم» می‌تازد. سؤال این است که آیا یک پیمان شفاهی میان رقبایی که در یک رقابت تریلیون دلاری هستند، می‌تواند دوام بیاورد یا خیر.
گام بعدی شما
- گزارش‌های مربوط به بودجه‌های محاسباتی (Compute Budget) شرکت‌های پیشرو را دنبال کنید تا بفهمید آیا کاهش واقعی رخ می‌دهد یا خیر.
- مقالات مربوط به RSI (خودبه‌بهبود بازگشتی) را بخوانید تا مرز بین تخیل و واقعیت فنی در سال ۲۰۲۷ تشخیص دهید.
- تفاوت بین «ایمنی داوطلبانه» و «نظارت اجباری» را در سیاست‌های جدید دولت آمریکا رصد کنید.
اما داستان سخت‌افزاری این تحول حتی شگفت‌انگیزتر است — به تحلیل ما درباره‌ی تراشه‌های Blackwell مراجعه کنید.
گفتگو