تصور کنید قدرتمندترین مدلهای هوش مصنوعی جهان، بدون هیچ بازرسی خارجی، اجازه داشته باشند خودشان را بازنویسی و ارتقا دهند. این سناریوی ترسناک حالا سام آلتمن و ایلان ماسک را به یک میز مذاکره کشانده است تا خواستهی داریو آمودی، مدیرعامل Anthropic را بپذیرند: «سرعت توسعه را برای تضمین ایمنی کاهش دهید.»
این توافق در حالی شکل میگیرد که صنعت با ریسک «خودبهبودی بازگشتی» (Recursive Self-Improvement) دستوپنجه نرم میکند. همانطور که در تحلیلهای قبلی ما دربارهی امنیت مدلهای بنیادی اشاره کردیم، این پدیده شبیه به ماشینی است که میتواند قطعات خودش را در حین حرکت تعویض کند و هر لحظه سریعتر شود، تا جایی که کنترل آن از دست انسان خارج شود. اکنون اجماع رهبران صنعت بر این است که ارزیابیهای داخلی آزمایشگاهها دیگر کافی نیست.
به گزارش وبسایت the-decoder.com در ۱۳ سپتامبر ۲۰۲۶، جزئیات این تحول به شرح زیر است:
- سام آلتمن، مدیرعامل OpenAI، در گفتگو با Fortune تأیید کرد که این شرکت به دلیل نگرانیهای ایمنی، امسال وارد بازار بورس نخواهد شد.
- دمیس هاسابیس، مدیر سابق DeepMind، حمایت نسبی خود را از پیشنهادهای نظارتی آمودی اعلام کرده است.
- ایجاد سازوکارهای ارزیابی مستقل اکنون به یک هدف مشترک میان آلتمن و آمودی تبدیل شده است.
با این حال، همه متخصصان با ایده «محدودیت سرعت» موافق نیستند. پیمان میلانفر، پژوهشگر گوگل، معتقد است فرضِ خودبهبودی بازگشتی سادهانگارانه است. او استدلال میکند که حلقههای بازخورد ذاتاً ناپایدار هستند و هر سیستمی که سعی کند خودش را بهبود ببخشد، به دلیل حاشیه پایداری، بهطور طبیعی کند خواهد شد.
برای دنیای کسبوکار، این وضعیت نشاندهنده تنش میان رقابت برای رسیدن به هوش مصنوعی عمومی (AGI) و فشارهای مالی برای عرضه سهام است. وقتی غولهای این صنعت داوطلبانه سرعت را کم میکنند یا از ورود به بازارهای عمومی میگریزند، یعنی ریسکهای ایمنی یا ناپایداری مالی، بر جذابیت سرمایههای والاستریت غلبه کرده است.
گام بعدی شما
- ساختار نهادهای نظارتی پیشنهادی را دنبال کنید تا ببینید آیا قدرت اجرایی دارند یا صرفاً مشورتی هستند.
- گزارشهای مربوط به تأخیر در IPO شرکتهای AI را به عنوان سیگنالی برای سنجش سطح ریسک مدلهای جدید تحلیل کنید.
- تفاوت دیدگاههای فنی درباره «پایداری مدلها» را در مقالات پژوهشی گوگل دنبال کنید.
اما این بحثهای نظارتی تنها بخشی از ماجراست؛ اثر این تصمیمات بر استراتژیهای سختافزاری انویدیا را در گزارش بعدی بررسی خواهیم کرد.
گفتگو