آنتروپیک ۹۴ صفحه از پرونده عرضه را به عوامل خطر اختصاص داد

آنتروپیک در پرونده عرضه اولیهٔ سهام خود ۹۴ صفحه را به عوامل خطر اختصاص داده است. محور بلندترین بخش این پرونده بهبود بازگشتی هوش مصنوعی است؛ فرایندی که شرکت آن را هم بزرگ‌ترین مزیت رقابتی خود می‌داند و هم سازوکاری برای خطر وجودی.

در بهبود بازگشتی (Recursive Self-Improvement یا RSI)، انسان‌ها تحقیق و توسعهٔ مدل‌های هوش مصنوعی را به مدل‌های دیگر می‌سپارند. این نخستین بار است که یک آزمایشگاه پیشرو در یک سند رسمی و نظارتی، مزیت اصلی خود را مستقیماً به خطر وجودی گره می‌زند. تا پیش از این، چنین هشدارهایی از سوی پژوهشگران یا منتقدان مطرح می‌شد، نه در اسناد عرضهٔ خود شرکت.

پرونده عرضه اولیه آنتروپیک در یک نگاه

• آنتروپیک فرم S-1 را برای عرضهٔ اولیهٔ سهام ثبت کرده است.
• ۹۴ صفحه از این سند به عوامل خطر اختصاص دارد و این بخش با فاصلهٔ زیاد بزرگ‌ترین بخش آن است.
• عبارت «خطرات وجودی» سه بار در متن آمده است.
• آنتروپیک نخستین آزمایشگاه پیشرویی است که در پرونده‌ای برای کمیسیون بورس و اوراق بهادار آمریکا (SEC) مزیت رقابتی را به خطر وجودی پیوند می‌دهد.
• آنتروپیک یک شرکت منفعت عمومی (Public Benefit Corporation) است و قانوناً باید میان سود و منفعت عمومی توازن برقرار کند.

بهبود بازگشتی هوش مصنوعی چگونه کار می‌کند

آنتروپیک این پویایی بازگشتی را «بستن حلقه» می‌نامد. این شرکت در بخش مربوط به مزیت‌های اصلی خود می‌نویسد که بستن حلقه «یکی از مهم‌ترین مزیت‌های ساختاری در هوش مصنوعی پیشرو» است.

به گفتهٔ آنتروپیک، ناکامی در بستن حلقه یعنی «عقب ماندن تدریجی و فزاینده، چون رقبا پیوسته از هوش مصنوعی برای تقویت توانایی‌های توسعهٔ خود استفاده می‌کنند». هوش مصنوعی همین حالا هم نقش بزرگی در این حوزه دارد. دست‌کم یک آزمایشگاه از روشی نزدیک به RSI برای سرعت دادن به توسعهٔ مدلی استفاده کرده که «فراتر از وزن‌هایش عمل می‌کند».

اما سناریویی که بحث آخرالزمانی را پیش می‌کشد، وضعیتی است که در آن انسان‌ها دیگر هیچ نقشی در این حلقه ندارند.

زبان صریح آنتروپیک دربارهٔ خطرات وجودی

پرونده در چند بخش، خطر را با زبانی صریح شرح می‌دهد:

• «سیستم‌های هوش مصنوعیِ به‌اندازهٔ کافی پیشرفته، اگر با حفاظت‌ها، نظارت و تدابیر امنیتی مناسب توسعه، استقرار و اداره نشوند، می‌توانند خطرات فاجعه‌بار یا وجودی برای بشریت ایجاد کنند.»
• «با خودکار شدن چشمگیر تحقیق و توسعهٔ هوش مصنوعی به دست خود سیستم‌های هوش مصنوعی، خطرها افزایش می‌یابد؛ برای مثال اگر این سیستم‌ها پیشرفت هوش مصنوعی را از توان ما برای ارزیابی و ایمن‌سازی مدل‌های جدید فراتر ببرند.»
• «با خودمختارتر شدن سیستم‌های هوش مصنوعی و توانایی آن‌ها برای انجام اقدامات مهم با نظارت انسانی کمتر، این خطر وجود دارد که چنین سیستم‌هایی، چه به دلیل ناهمسویی با نیت انسان، چه خطا در تعریف هدف و چه رفتارهای صیانت از خود، به‌طور مستقل، در مقیاس وسیع و بدون دخالت انسان اقدامات زیان‌بار انجام دهند.»

این توصیف یادآور «قلمرو اسکای‌نت» (Skynet territory) است؛ یعنی سیستم‌های خودمختاری که بدون دخالت انسان آسیب می‌زنند.

خطر در دنیای فیزیکی

آنتروپیک دربارهٔ ربات‌ها و تجهیزات فیزیکی هم هشدار داده است: «وقتی مدل‌های ما تجهیزات فیزیکی را هدایت می‌کنند، خطاها، رفتار ناهمسو، دستکاری خصمانه یا سوءاستفاده ممکن است به آسیب بدنی، خسارت به اموال، آسیب به تجهیزات گران‌قیمت یا مواد آزمایشی، یا انتشار مواد خطرناک منجر شود و چنین پیامدهایی ممکن است فوری و برگشت‌ناپذیر باشند.»

واکنش صنعت و کنگره

• جیکوب کاکسون (Jacob Coxon)، پژوهشگر سابق آنتروپیک، با استعفای پرسروصدایش خبرساز شد. او مهار RSI را در صدر خواسته‌هایش از صنعت قرار داد.
• کارکنان گوگل دیپ‌مایند هم هشدارهای مشابهی داده‌اند.
• چند لایحه در کنگرهٔ آمریکا ممنوعیت RSI را پیشنهاد می‌کنند.
• برنی سندرز یکی از حامیان یکی از این لایحه‌هاست.
• در این میان، تریلیون‌ها دلار ارزش بازار در میان است.

همهٔ آزمایشگاه‌های پیشرو با همین تناقض روبه‌رو هستند: سازوکاری که می‌تواند به فاجعه برسد، برای رقابت ضروری است.

تناقض رقابت و ایمنی

آنتروپیک می‌پذیرد که کنار گذاشتن RSI یعنی عقب ماندن از رقبایی که آن را دنبال می‌کنند. این وضعیت نوعی رقابت به سوی پایین (race-to-the-bottom) می‌سازد. در چنین رقابتی، سرمایه‌گذاری در ایمنی به ضعف رقابتی تبدیل می‌شود.

ساختار شرکت منفعت عمومی لایهٔ دیگری به این تناقض اضافه می‌کند. آنتروپیک قانوناً موظف است سود و منفعت عمومی را متوازن کند. با این حال، پرونده‌اش استدلال می‌کند که دنبال کردن همان فناوری‌ای که می‌تواند این تعهد را نقض کند، از نظر رقابتی اجتناب‌ناپذیر است.

قانون‌گذاران و قدم‌های بعدی

قانون‌گذاران اکنون سندی دست‌اول دارند که در آن خود آزمایشگاه ابعاد خطر وجودی را در ۹۴ صفحه شرح داده است. این سند بحث سیاست‌گذاری را از گمانه‌زنی به شواهد مستند می‌برد.

روند بررسی SEC نشان می‌دهد که آیا متن عوامل خطر بدون تغییر باقی می‌ماند یا نه. کنگره ممکن است از این پرونده در جلسه‌های مربوط به محدودسازی RSI استفاده کند. نخستین جلسهٔ گزارش درآمد هم نشان می‌دهد مدیران آنتروپیک این تناقض را در برابر افکار عمومی چگونه توضیح می‌دهند.

گام بعدی شما

• بخش Risk Factors پرونده S-1 را بخوانید تا با عبارت‌های دقیق آنتروپیک دربارهٔ RSI آشنا شوید.
• لایحه‌های کنگره دربارهٔ ممنوعیت بهبود بازگشتی را دنبال کنید؛ نتیجهٔ آن‌ها می‌تواند مسیر توسعهٔ مدل‌ها را تغییر دهد.
• اگر از API آنتروپیک استفاده می‌کنید، برای احتمال تغییر سیاست‌ها یا محدودیت در استقرار مدل‌ها برنامه داشته باشید.