تصور کنید یک نیروگاه گداخت هسته‌ای با توان یک تراوات را مدیریت می‌کنید، اما تنها دلیلی که می‌دانید این سازه ایمن است، تأییدیهٔ یک مدل هوش مصنوعی است که هیچ انسانی منطق آن را نمی‌فهمد. این کابوسِ احتمالی، هستهٔ هشدار جدید امیت ساهی (Amit Sahai) است: ما در حال واگذاری مسئولیت آینده به ماشین‌هایی هستیم که زبانشان برای ما ناشناخته است.
به نقل از یادداشتی که در ۲۶ سپتامبر ۲۰۲۶ در وب‌سایت terrytao.wordpress.com منتشر شد، ساهی معتقد است دنیای پژوهش در حال ورود به عصر «تواضع» است؛ جایی که حتی برترین دانشمندان احساس می‌کنند دیگر نمی‌توانند با سرعت پیشرفت AI همگام شوند. این شکاف، یک بحران در عاملیت انسانی ایجاد می‌کند. ساهی استدلال می‌کند که چون هوش مصنوعی قادر است ایده‌های ریاضی زیبا و بدیع تولید کند، اگر ما تلاش برای درک این اکتشافات را رها کنیم، در واقع مسئولیت جمعی خود را در برابر آینده کنار گذاشته‌ایم.
این هشدار در حالی می‌رسد که سیستم‌های هوش مصنوعی از محاسبات ساده عبور کرده و وارد حوزه نوآوری مفهومی شده‌اند. این توانمندی را پیش‌تر در دستاورد مدل Claude در بررسی رسمی قضیه فرمات مشاهده کردیم که نشان داد ماشین‌ها می‌توانند در کوتاه‌ترین زمان ممکن، پیچیده‌ترین اثبات‌های ریاضی را بازسازی کنند. ساهی اشاره می‌کند که برای دهه‌ها، جامعه ریاضیات دایره‌ای کوچک از افرادی بود که می‌توانستند با تغییرات سریع مفهومی پیش بروند. او دانشجویان مقطع کارشناسی را به یاد می‌آورد که احساس می‌کردند سرعت پیشرفت دانشجویان برتر بسیار زیاد است؛ هرچند آن‌ها می‌توانستند ایده‌ها را بفهمند، اما زمان بسیار بیشتری برای این کار نیاز داشتند. در نهایت، تقریباً همه آن دانشجویان رویای دنبال کردن پژوهش‌های ریاضی را رها کردند. اکنون اما سرعت توسط ماشین‌ها تعیین می‌شود و این موضوع تهدیدی است برای پژوهشگران انسانی که احساس می‌کنند دیگر نمی‌توانند مشارکتی اثرگذار داشته باشند.
همان‌طور که در تحلیل‌های پیشین ما درباره‌ی امنیت مدل‌های بازمتن اشاره کردیم، وابستگی به سیستم‌های بسته یا غیرقابل‌تفسیر، ریسک‌های سیستمی ایجاد می‌کند. ساهی استدلال می‌کند که وسوسهٔ ترک پژوهش به دلیل «سرعت بیشتر ماشین‌ها»، ما را به تمدنی می‌برد که فناوری‌های قدرتمندی دارد اما ظرفیت ذهنی برای تأیید صحت آن‌ها را از دست داده است. او تأکید می‌کند مدل‌هایی که با آن‌ها کار کرده، ایده‌هایی تولید می‌کنند که فراتر از استدلال‌های هر پژوهشگر انسانی است و بسیار پیچیده‌تر از محاسبات چشمگیر یا استدلال‌هایی است که یک پژوهشگر قوی انسانی پیش‌تر درک کرده باشد.
ریسک اعتماد کورکورانه
ساهی برای تبیین این خطر، سناریوی یک نیروگاه گداخت هسته‌ای با توان یک تراوات را مثال می‌زند. فرض کنید یک AI طرحی رادیکال ارائه دهد که وعده برق پاک و فراوان را می‌دهد، اما بر اساس اصولی است که هیچ انسانی تا به حال تصور نکرده است.
- ربات‌ها می‌توانند قطعات را فوراً بسازند.
- خودِ AI می‌تواند طرح را از نظر ریاضی «اثبات» کند.
- اما مدل زیربنایی برای انسان یک جعبه سیاه (Black Box) — شبیه به یک دستگاه جادویی که ورودی می‌گیرد و جواب می‌دهد اما کسی نمی‌داند داخلش چه می‌گذرد — باقی می‌ماند.
در این حالت، ما دربارهٔ ساخت ماشینی تصمیم می‌گیریم که جریان‌های انرژی عظیم را مدیریت می‌کند — در حالی که یک تراوات مقدار «دیوانه‌کننده‌ای از توان الکتریکی» است — بدون اینکه بدانیم در صورت خرابی، چگونه این انرژی‌ها مهار می‌شوند. ما نخواهیم دانست وقتی سیستم خاموش می‌شود چه اتفاقی برای انرژی ذخیره شده می‌افتد، یا چگونه مطمئن شویم که مواد به همان شکلی که انتظار می‌رود رفتار می‌کنند.
ساهی استدلال می‌کند وقتی یک پیشنهاد واقعاً نوآورانه باشد، ارث‌بری از اعتماد حاصل از آزمایش‌های گذشته غیرممکن است. ما به جوامع انسانی مستقلی نیاز داریم که بفهمند چرا یک طرح کار می‌کند تا ایمنی آن را توجیه کنند. او تأکید می‌کند که این درک نباید فقط در اختیار سازمان ارائه‌دهنده فناوری باشد؛ تخصص مستقل برای جلوگیری از جلسات استماع عمومی حیاتی است، جایی که در غیر این صورت، تنها متخصصان شرکت سازنده می‌توانند استدلال‌های فنی را دنبال کنند.
ذخیره استراتژیک ذهنی
برای جلوگیری از آینده‌ای که تصمیمات حیاتی بر اساس دلایلی غیرقابل‌فهم گرفته شوند، ساهی مفهومی به نام «ذخیره استراتژیک ذهنی» (Deployable Intellectual Reserve) را پیشنهاد می‌دهد. او خواستار تشکیل گروه‌هایی از افراد خبره در ریاضیات است که آماده باشند تا در صورت نیاز، برای رمزگشایی از پیشرفت‌های حاصل از AI فراخوانده شوند.
این تغییر رویکرد، تعریف نقش ریاضی‌دان را تغییر می‌دهد. آن‌ها دیگر فقط پژوهشگرانی برای تولید علم جدید نیستند، بلکه به پلی بین اکتشافات AI و فهم انسانی تبدیل می‌شوند. این کار مستلزم آن است که متخصصان مهارت‌های خود را در حوزه‌هایی به کار بگیرند که بسیار فراتر از علایق پژوهشی معمول آن‌هاست.
ساهی معتقد است توانایی ما در درک ایده‌های دشوار و ناآشنا، به یکی از مهم‌ترین خدماتی تبدیل خواهد شد که می‌توانیم به جامعه ارائه دهیم. این فرآیند باید با سرعتی پیش برود که برای انسان قابل تحمل باشد، فارغ از اینکه AI با چه سرعتی عمل می‌کند.
نقش کلنجار رفتن‌های مشترک
درک مفاهیم دشوار نیازمند «کلنجار رفتن» و تلاش است؛ فرآیندی که ساهی معتقد است باید به صورت جمعی رخ دهد. او گروه‌های پژوهشی را تصور می‌کند که کل ترم‌ها یا سال‌ها وقت صرف می‌کنند تا تنها یک مجموعه از ایده‌های خارق‌العاده تولید شده توسط AI را تحلیل و کالبدشکافی کنند.
- این گروه‌ها از خودِ AI به عنوان ابزاری برای فهم اکتشافات همان AI استفاده می‌کنند.
- این روند تضمین می‌کند که عاملیت انسانی در تکامل فناوری محوریت داشته باشد.
- از انحصار دانش در دست سازمان‌های مالک AI جلوگیری می‌کند.
- سیستم‌های AI احتمالاً بسیار مفید خواهند بود تا پژوهشگران با پیشینه‌های متنوع بتوانند به طور مؤثر با یکدیگر گفتگو کنند و مفاهیم غریب را بفهمند.
ساهی یادآور می‌شود که انسان‌ها سابقهٔ مطالعه طولانی‌مدت روی نتایج بزرگِ هم‌نوعان خود را دارند؛ اکنون باید همین اولویت را برای نتایج تولید شده توسط AI اعمال کنیم. این مسیر نیازمند افزایش چشمگیر تعداد پژوهشگران ریاضی در سطح جهان است، زیرا ایده‌های پیشگامانه با سرعت زیادی انباشته می‌شوند.
عاملیت انسانی در برابر کارایی ماشین
برخی استدلال می‌کنند که AI پژوهشگران را چنان کارآمد می‌کند که به تعداد کمتری از انسان‌ها نیاز خواهد بود. ساهی این ادعا را رد می‌کند و به محدودیت‌های بنیادین بیولوژیکی اشاره می‌کند. عمقِ فهم، زمان و همکاری صادقانه می‌طلبد و هر انسان ظرفیت محدودی دارد و نمی‌توان از او بیش از حد توانش خواست.
او تأکید می‌کند که اگرچه AI می‌تواند تضمین‌های ریاضی ارائه دهد، اما یک قضیه تنها در چارچوب یک مدل وجود دارد. درک آن تضمین، نیازمند درک مدل، شواهد تجربی و عدم‌قطعیت‌های موجود است. این یک وظیفه انسانی است که نمی‌توان آن را برون‌سپاری کرد، مگر اینکه بخواهیم توانایی تصمیم‌گیری درباره جایگزین‌ها برای نوع دنیایی که می‌خواهیم بسازیم را از دست بدهیم.
این سرمایه‌گذاری ذهنی یک رویای آرمان‌شهری نیست، بلکه ضرورتی عملی برای ایمنی و حکمرانی است. بدون جامعه‌ای از انسان‌ها که بتوانند با خروجی‌های سطح بالای AI تعامل کنند، ما با ریسک تکیه کورکورانه به اقتدار الگوریتم‌ها روبرو هستیم. ساهی در نهایت می‌گوید عاملیت انسانی ارزشی بنیادین است و ما باید توانایی تصمیم‌گیری درباره آینده‌مان را حفظ کنیم.
این دیدگاه با کمک GPT 6 Astra و بازخوردهای داکشیتا خورانا (دانشجوی سابق ساهی)، آیزاک هر (دانشجوی فعلی)، ترنس تائو (همکار) و اعضای خانواده‌اش، آنانانت ساهی و گیریجا راناده، توسعه یافته است.
گام بعدی شما
- اگر در حوزه فنی فعالیت می‌کنید، به جای پذیرش خروجی‌های AI به عنوان «حقیقت مطلق»، تمرین کنید تا مسیر استدلال مدل را به صورت دستی بازسازی کنید.
- برای مدیران محصول: در طراحی سیستم‌های حساس، لایه‌ای از «تأیید انسانی مستقل» (Independent Human Verification) را پیش‌بینی کنید که وابسته به ابزارهای خودِ سازنده نباشد.
- مطالعه در مورد مفاهیم تفسیرپذیری (Interpretability) را آغاز کنید تا بدانید چگونه می‌توان لایه‌های پنهان مدل‌ها را به زبان انسانی ترجمه کرد.
اما این بحث تنها به ریاضیات ختم نمی‌شود؛ چالش‌های اخلاقی و حقوقیِ مالکیتِ دانشی که هیچ انسانی آن را درک نمی‌کند، ابعاد پیچیده‌تری دارد که در گزارش‌های بعدی بررسی خواهیم کرد.
گفتگو