پرش به محتوای اصلی
پرش به محتوای مقاله

«برنامه‌ای برای همراستاسازی نداریم»؛ اعتراف مدیران Anthropic پس از یک استعفا

·۳۰ شهریور ۱۴۰۵۵ دقیقه مطالعه
افراد خوب از انجام کارهای بد امتناع می‌کنند.
افراد خوب از انجام کارهای بد امتناع می‌کنند.
اشتراک‌گذاری
واقعاً چه چیز جدید است؟

نکته جدید این است که هشدارها دیگر فقط از سوی فیلسوفان یا منتقدان خارجی نیست، بلکه مهندسان عملیاتی که دستشان در کد است و مدیران تیم‌های همراستاسازی، صراحتاً به نبود برنامه برای کنترل ابرهوش مصنوعی اعتراف می‌کنند.

تصور کنید مهندسی که تمام زندگی حرفه‌ای خود را وقف ساختن دنیایی بهتر کرده، ناگهان تصمیم بگیرد تمام مزایای مالی و سهامش را رها کند تا فریاد بزند: «ما داریم با جان انسان‌ها قمار می‌کنیم». این دقیقاً اتفاقی است که برای جک کاکسون در ۹ سپتامبر ۲۰۲۶ رخ داد. او با استعفا از آنتروپیک (Anthropic)، یکی از پیشروترین آزمایشگاه‌های هوش مصنوعی، هشدار داد که رقابت برای رسیدن به ابرهوش مصنوعیِ خودبهبوددهنده، باعث شده شرکت‌ها حفاظ‌های ایمنی را فدای سرعت کنند.

کاکسون نه یک مدیر ارشد است و نه یک دانشمند مشهور، و حتی مدرک دکترا در اختیار ندارد. او مهندسی است که در ۲۷ سالگی، با انگیزه‌ای برای «بهتر کردن جهان» و جذب شده توسط شهرت آنتروپیک در زمینهٔ ایمنی، به این شرکت پیوست. او سه سال را در بخش پیش‌آموزش (Pretraining) — یعنی مرحله‌ای که مدل مثل کودکی تمام داده‌های جهان را می‌خواند تا زبان را یاد بگیرد — گذراند و در هر دو آزمایشگاه بزرگ هوش مصنوعی روی تحقیقات پیش‌آموزش کار کرد، تا اینکه در نهایت تصمیم گرفت دیگر نتواند در این مسیر مشارکت کند.

این استعفا در حالی رخ می‌دهد که صنعت در تضاد شدیدی میان عرضه سریع محصولات و ریسک‌های وجودی قرار دارد. برای بسیاری، این حرکت بازتابی از افشاگری فرانسیس هاوگن در فیس‌بوک در سال ۲۰۲۱ است؛ جایی که داده‌های داخلی دربارهٔ سلامت روان نوجوانان در برابر رشد شرکت نادیده گرفته شد. خروج کاکسون یک نمایش تبلیغاتی شرکتی نیست؛ او دقیقاً دو ماه پیش از زمان آزادسازی سهامش (Vesting) استعفا داد و سود مالی قابل‌توجهی را فدا کرد تا صدای خود را به گوش جهان برساند. او صراحتاً بیان کرد: «من دیگر هیچ سودی در بالا بردن ارزش بازار آنتروپیک نمی‌بینم.»

به نقل از گزارش وب‌سایت carette.xyz، کاکسون شرکت‌ها را «شرور» نمی‌نامد، بلکه معتقد است فشار برای پیروزی در رقابت هوش مصنوعی، مهندسان را مجبور به میان‌بر زدن در پروتکل‌های ایمنی می‌کند. این ادعا توسط ایوان هوبینگر (Evan Hubinger)، مدیر تیم همراستاسازی (Alignment) — یعنی فرآیندی شبیه به تربیت یک سگ برای اطاعت از دستورات صاحبش تا مدل آسیب نزند — در آنتروپیک تأیید شده است. هوبینگر در نوشته‌ای صریح تأیید کرد: «جک در اینجا درست می‌گوید؛ ما واقعاً و صادقانه باور داریم که هوش مصنوعی می‌تواند باعث مرگ تمام انسان‌ها شود!»

هوبینگر به طور مشخص احتمال انقراض بشر در دهه آینده را بیش از ۱۰٪ تخمین زده است. او اعتراف کرد که اگرچه آنتروپیک تمام تلاش خود را می‌کند، اما شرکت به طور واضح در مسیر حل مسئلهٔ همراستاسازی برای ابرهوش مصنوعی قرار ندارد و هنوز برنامهٔ مشخصی برای دستیابی به این هدف تدوین نکرده است.

زمینه و واکنش‌ها به هشدار

واکنش به خروج کاکسون گسترده بود و بیش از ۱۱۵ میلیون بازدید جذب کرد. این موج شدید نگرانی در میان مهندسان، کارآفرینان و قانون‌گذاران نشان می‌دهد که جهان پیش از این هم به خطرات مشکوک بود. وقتی افراد داخلی ریسک‌ها را تأیید می‌کنند، خشم حاصل شده در رسانه‌های اجتماعی تنها یک «تبلیغات بد» نیست، بلکه نشانه‌ای از یک بحران عمیق‌تر است.

الگوی افشاگری و شباهت‌ها

شباهت این اتفاق با پروندهٔ فرانسیس هاوگن تکان‌دهنده است. در سال ۲۰۲۱، هاوگن اسلایدهای داخلی فیس‌بوک را فاش کرد که نشان می‌داد شرکت می‌دانست اینستاگرام باعث بدتر شدن تصویر بدنی یک از هر سه دختر نوجوان می‌شود. داده‌ها نشان داد که ۱۳٪ از کاربران بریتانیایی و ۶٪ از کاربران آمریکایی که افکار مربوط به خودکشی را گزارش کرده بودند، ریشهٔ این تمایلات را در اینستاگرام می‌دیدند. کاکسون نیز مانند هاوگن، ابتدا سعی کرد از درون سیستم تغییر ایجاد کند، اما در نهایت به این نتیجه رسید که سازوکارهای داخلی برای تغییر، هیچ تأثیری بر مسیر حرکت شرکت ندارند.

فرهنگ «فرسودگی با لبخند»

بحران تنها به پروتکل‌های ایمنی محدود نمی‌شود، بلکه به وضعیت روانی نیروی کار رسیده است. یک نظرسنجی در سال ۲۰۲۶ از کارکنان بخش فناوری، یک افول سیستماتیک در کیفیت را فاش کرد و پاسخ‌دهندگان وضعیتی را توصیف کردند که آن‌ها «فرسودگی با لبخند» می‌نامند.

یافته‌های کلیدی این نظرسنجی صنعتی عبارتند از:

  • ۵۳٪ از کارکنان فناوری به تازه‌واردهای این رشته توصیه می‌کنند که از ورود به این حوزه اجتناب کنند.
  • ۶۷٪ از توسعه‌دهندگان اکنون زمان بیشتری را صرف رفع خطاهای (Debugging) کدهای تولیدشده توسط هوش مصنوعی می‌کنند تا نوشتن منطق اصلی برنامه.
  • یک باور غالب وجود دارد که مهندسان اکنون می‌توانند کارهای «بیشتر و سریع‌تر» تولید کنند، اما نه «بهتر».

این محیط باعث ایجاد معامله‌ای شده است که در آن روحیه و اخلاق حرفه‌ای در برابر حقوق‌های نجومی معامله می‌شود. نتیجه، فرهنگی است که در آن مهندسان ساخت الگوریتم‌های اعتیادآور، قراردادهای دفاعی یا ابزارهای نظارتی را با این توجیه می‌پذیرند که «اگر من این کار را نکنم، کس دیگری که بدتر است آن را انجام می‌دهد».

برای یک خواننده متخصص، این تغییر نشان می‌دهد که «تب طلای هوش مصنوعی» در حال ایجاد بدهی فنی عظیم و فرسایش اخلاقی است. آسایش تبدیل به دشمن مسئولیت‌پذیری شده است. معامله کردن روحیه در برابر پول، یک تصمیم شغلی نیست، بلکه تراکنشی است که در آن مهندس بخشی از وجود خود را که قرار بود دلسوز باشد، می‌فروشد.

وقتی کسانی که ماشین را می‌سازند هشدار می‌دهند که خطرناک است، این سر و صدا نشانه شکست سیستماتیک است و نه یک ترند شبکه‌های اجتماعی. اگر سازوکارهای داخلی تغییر — که هم هاوگن و هم کاکسون سعی در استفاده از آن‌ها داشتند — شکست بخورند، مسئولیت بر دوش تک‌تک افراد می‌افتد.

انتخاب همچنان باقی است: دریافت حقوق و نادیده گرفتن ریسک، یا امتناع از مشارکت در یک مسیر خطرناک. کسانی که امتناع می‌کنند لزوماً قهرمان نیستند، اما انسان‌هایی هستند که از انجام کارهای بد سر باز می‌زنند.

در آینده منتظر جلسات قانون‌گذاری دربارهٔ نظارت بر هوش مصنوعی باشید، زیرا استعفای کاکسون پیش از این باعث شده تا قانون‌گذاران خواستار نظارت سخت‌گیرانه‌تری بر تحقیقات ابرهوش مصنوعی شوند.

گام بعدی شما

  • جلسات قانون‌گذاری پیش‌رو دربارهٔ نظارت بر تحقیقات ابرهوش مصنوعی را دنبال کنید.
  • در صورت فعالیت در تیم‌های توسعه، پروتکل‌های ایمنی داخلی شرکت خود را با استانداردهای باز جهانی مقایسه کنید.
  • دربارهٔ مفهوم «بدهی اخلاقی» در توسعه نرم‌افزار مطالعه کنید تا اثرات بلندمدت سرعت در برابر کیفیت را درک کنید.

اما داستان سخت‌افزاری این تحول و فشار برای محاسبات بیشتر حتی شگفت‌انگیزتر است — به تحلیل ما دربارهٔ تراشه‌های Blackwell مراجعه کنید.

چرا این موضوع مهم است؟

این اتفاق اعتبار ادعاهای مربوط به ریسک‌های وجودی هوش مصنوعی را از سطح تئوری به سطح تجربه عملی می‌برد. تأیید احتمال ۱۰ درصدی انقراض توسط یک مدیر داخلی، فشار بر دولت‌ها برای وضع قوانین سخت‌گیرانه را دوچندان می‌کند.

تأثیر برای ایران

این خبر اثر مستقیمی بر کاربران ایرانی ندارد، اما برای پژوهشگران ایرانی در حوزه ایمنی هوش مصنوعی، تأییدی بر اهمیت توسعه ابزارهای نظارتی مستقل است.

·نگاه ما
تحریریه دات‌هوش

استعفای کاکسون نشان می‌دهد که تضاد میان «سرمایه» و «ایمنی» به نقطه انفجار رسیده است. وقتی یک مهندس مزایای مالی کلان را رها می‌کند، یعنی ریسک‌های فنی دیگر با حقوق‌های بالا پوشانده نمی‌شوند. این اتفاق احتمالاً موجی از خروج متخصصان اخلاق‌مدار از آزمایشگاه‌های بزرگ و انتقال آن‌ها به پروژه‌های متن‌باز و نظارتی را به راه می‌اندازد.

منابع

این گزارش با خط‌لولهٔ خودکار دات‌هوش از منابع معتبر جهانی تدوین و زیر نظر تحریریه منتشر شده است. روش کار ما

گفتگو

پنج‌شنبه‌های هوش‌محور

بسته‌ی هفتگی دات‌هوش

۵ خبر، ۲ ابزار، ۱ پرامپت در هر شماره. به‌زودی راه‌اندازی می‌شود — هر پنج‌شنبه صبح.

خبر کلیدی
ابزار کاربردی
پرامپت حرفه‌ای
تحلیل پژوهش
به‌زودی
زاویه‌ی ایرانی
به‌زودی
تمرین این هفته
به‌زودی

راهنماهای دات‌هوش

راهنماهای کاربردیِ دات‌هوش برای کار با هوش مصنوعی — از همین‌جا شروع کنید:

دات‌هوش

راهنمای فارسی هوش مصنوعی — با نگاه به ایران

اخبار روزانه، معرفی ابزارها و مدل‌ها، و آموزشِ کار با هوش مصنوعی؛ همیشه با این پرسش که از ایران چه چیزی کار می‌کند و چه چیزی نه.