پژوهش پرینستون: عامل‌های هوش مصنوعی فاقد خلاقیت برای خودبهبودی هستند

تصور کنید یک پژوهشگر ارشد را استخدام کرده‌اید که می‌تواند هزاران مقاله را در ثانیه بخواند و صدها آزمایش را هم‌زمان اجرا کند، اما در نهایت نتیجه‌ای می‌گیرد که هیچ ارزش علمی ندارد. این دقیقاً وضعیتی است که عامل‌های هوش مصنوعی فعلی در مواجهه با مسائل باز و پیچیده تجربه می‌کنند. عامل‌های AI هنوز قادر به انجام پژوهش‌های باز (Open-ended Research) نیستند؛ یافته‌ای که مستقیماً بزرگ‌ترین وعده صنعت، یعنی «خودبهبودی بازگشتی»، را تهدید می‌کند. در حالی که مدل‌ها می‌توانند کد بنویسند، داده‌های آموزشی مصنوعی تولید کنند و حتی تراشه‌های کامپیوتری که روی آن‌ها اجرا می‌شوند را بهینه کنند، اما در لحظه‌ای که یک وظیفه نیازمند «سلیقه» انسانی و قضاوت اصیل است، کاملاً ناتوان‌اند.

این شکاف در حالی رخ می‌دهد که غول‌هایی مثل OpenAI و Anthropic در رقابتی شدید برای ساخت مدل‌هایی هستند که بتوانند سرعت توسعه خودشان را افزایش دهند. برای مدیران کسب‌وکار، این یعنی «انفجار هوش» — وضعیتی که در آن AI به‌سرعت خود را تکرار کرده و بدون کمک انسان به ابرهوش تبدیل می‌شود — احتمالاً بسیار دورتر از آن چیزی است که در بروشورهای بازاریابی می‌خوانیم.

خودبهبودی بازگشتی (Recursive Self-Improvement) — شبیه به مهندسی که هر روز ابزارهای کارش را ارتقا می‌دهد تا فردا سریع‌تر کار کند — افقی نظری است که در آن AI معماری و الگوریتم‌های خود را بهبود می‌بخشد و یک حلقه بازخورد از پیشرفت انفجاری ایجاد می‌کند. شرکت‌های AI هر انگیزه‌ای برای دستیابی به این هدف دارند و خودبهبودی را به عنوان نقطه عطف بعدی صنعت می‌بینند. شرکت OpenAI ساخت یک پژوهشگر خودکار AI را به عنوان هدف صریح خود اعلام کرده و Anthropic نیز مسیر مدل‌هایی را ترسیم کرده که توسعه خودشان را تسریع کنند. با این حال، گروهی از پژوهشگران چندین مؤسسه معتقدند زمان‌بندی‌های اعلام‌شده برای خودکارسازی این فرآیند، بسیار جلوتر از شواهد موجود است. این دیدگاه در تضاد با برخی گزارش‌های خوش‌بینانه است، مانند مطالعه IAPS که مدعی بود سرعت خودکارسازی پژوهش‌های AI از پیش‌بینی‌ها پیشی گرفته است.

بیشتر پژوهش‌های فعلی درباره خودکارسازی، توانایی عامل در انجام کارهای محدود با پاسخ‌های قابل بررسی را می‌سنجند؛ مثلاً حل یک مسئله مهندسی خاص یا آموزش مدل‌های زبانی کوچک در برابر یک بنچمارک مشخص. اما پیشرفت واقعی در پژوهش‌های AI نیازمند تفکر باز است؛ یعنی انتخاب فرضیات، تصمیم‌گیری درباره اینکه چه شواهدی یک پرسش را پاسخ می‌دهد یا دانستن اینکه چه زمانی باید همه چیز را رها کرد و از ابتدا شروع کرد.

برای سنجش این محدودیت‌ها، پژوهشگرانی به رهبری پیتر کیرگیس (Peter Kirgis) و سایاش کاپور (Sayash Kapoor) در دانشگاه پرینستون روشی به نام «ارزیابی سایه» (Shadow Evaluation) ابداع کردند. در این روش، AI باید به پرسشی از یک مقاله باکیفیت اما منتشرنشده پاسخ دهد تا اطمینان حاصل شود که مدل نمی‌تواند پاسخ را از داده‌های آموزشی یا اینترنت حفظ کرده باشد یا صرفاً آن را آنلاین پیدا کند. آن‌ها مدل Claude Opus 4.8 متعلق به Anthropic را که روی نرم‌افزار متن‌باز OpenClaw اجرا می‌شد، مأمور کردند تا مسائل دو مقاله ارسالی به کنفرانس معتبر NeurIPS ۲۰۲۶ را حل کند.

از آنجا که مقالات منتشر نشده بودند، عامل‌ها مجبور بودند به استدلال خود تکیه کنند. آن‌ها منابع گسترده‌ای در اختیار داشتند تا موفق شوند:

• شش روز زمان اختصاصی برای کار روی پروژه.
• ۳۰۰۰ دلار اعتبار API شرکت Anthropic.
• بودجه اختصاصی واحد پردازش گرافیکی (GPU) و کامپیوترهای مجازی برای اجرای آزمایش‌ها.
• دسترسی کامل به وب آزاد.

عامل‌ها با دو مسئله پیچیده و باز روبرو شدند:

۱. کنترل پرسونا (Persona Control): این پرسش که آیا «پرسوناهای» یک مدل زبانی بزرگ (که رفتار مدل را تعیین می‌کنند) را می‌توان از طریق ویرایش وزن‌ها (Weights) — یعنی میلیاردها عددی که اطلاعات آموخته شده را ذخیره می‌کنند — کنترل کرد یا خیر.
۲. تشخیص قابلیت اطمینان (Reliability Detection): اینکه چگونه شناسگری طراحی شود که تشخیص دهد زمانی که یک مدل پیش‌بینی‌های خود را بر اساس داده‌های صفحه‌جداول (Spreadsheet) انجام می‌دهد، چه وقت غیرقابل‌اعتماد شده است.

نویسندگان انسانی مقالات، خروجی AI را دقیقاً همان‌طور که یک مقاله ارسالی به کنفرانس را نمره می‌دهند، ارزیابی کردند و هر دو مقاله تولید شده توسط AI رد شدند. پژوهشگران متوجه شکاف عمیقی بین توانایی فنی و خلاقیت روشنفکرانه شدند. عامل‌ها در «مهندسی پژوهش» موفق بودند؛ یعنی ادبیات موضوع را بررسی کردند، صدها آزمایش گرفتند و داده‌ها را جمع‌آوری کردند. اما در خودِ «پژوهش»، به تعبیر کاپور، «به‌طور واضح بد» عمل کردند. آن‌ها آزمایش‌های عجیبی را اجرا کردند، در برخی موارد فرضیات را روی مجموعه‌های داده مصنوعی بسیار کوچک آزمایش کردند و در نوشتن متنی قابل‌فهم مشکل داشتند. بحرانی‌ترین نکته این بود که هیچ مشارکت نوآورانه‌ای به این حوزه اضافه نکردند. کاپور اشاره کرد که مقالات تولید شده «اصلاً نزدیک به استانداردهای» یک کنفرانس برتر AI نبودند.

کاپور اشاره کرد که عامل‌ها خیلی سریع به رویکردهای بی‌ثمر متعهد می‌شدند. اگرچه گاهی فرضیاتی جسورانه و مشابه نویسندگان اصلی می‌ساختند، اما بر اساس داده‌های بسیار محدود، آن‌ها را رد می‌کردند. علاوه بر این، آن‌ها توانایی بازگشت (Backtrack) نداشتند؛ یعنی اگرچه می‌توانستند تغییرات کوچکی در مسیر بدهند، اما نمی‌توانستند استراتژی خود را از اساس بازنگری کنند یا استراتژی‌های جدید را از صفر امتحان کنند. این ناتوانی در بازنگری استراتژیک، ریشه در ضعف‌های ساختاری مدل‌های فعلی دارد که برخی پژوهشگران معتقدند راه حل آن جایگزینی احتمالات با قوانین فیزیکی برای مصونیت سیستم است. سایر شکست‌های سیستماتیک عبارت بودند از:

• حلقه‌های بازخورد: ناتوانی در پذیرش بازخوردهای عامل‌های زیرمجموعه یا ابزارهای بازبینی AI؛ آن‌ها به‌جای اصلاح متدولوژی، فقط ادعاهای خود را محدودتر کردند و جملات احتیاط‌آمیز (Caveats) اضافه کردند.
• مدیریت منابع: استفاده ناکارآمد از توکن (Token)، توان محاسباتی و زمان.
• پیروی از دستورالعمل: نادیده گرفتن محدودیت‌های مربوط به طول مقاله و زمان‌بندی مراحل مختلف پژوهش.

جالب این است که عامل‌ها دچار سوءاستفاده از پاداش (Reward Hacking) نشدند؛ یعنی داده‌ها را برای موفق به نظر رسیدن جعل نکردند یا پنهان نکردند. اگرچه عامل‌های کمکی — AIهایی که توسط عامل اصلی برای انجام بخش‌های کوچک کار ایجاد شده بودند — گاهی دچار توهم (Hallucination) می‌شدند یا نتایج را اشتباه بیان می‌کردند، اما عامل ارشد نظارتی (Orchestrator) این خطاها را شناسایی می‌کرد.

این شکست احتمالاً از نحوه آموزش مدل‌ها ناشی می‌شود. یادگیری تقویتی (Reinforcement Learning) برای کارهایی که نشانگرهای موفقیت خودکار و قابل بررسی دارند، عالی عمل می‌کند. مدل‌ها در هر چیزی که بتوان آن‌ها را در رژیمی با تایید سریع موفقیت تمرین داد، مهارت می‌یابند. اما پژوهش‌های باز که نیازمند «جهش خلاقانه» هستند، پاسخ قطعی ندارند که مدل بتواند روی آن تمرین کند. همان‌طور که کاپور توضیح می‌دهد، ایجاد محیط‌های آموزشی برای کارهایی که ذاتاً باز هستند، بسیار دشوارتر است.

جک کلارک (Jack Clark)، هم‌بنیان‌گذار Anthropic، در خبرنامه Import AI این یافته‌ها را تأیید کرد و آن را با تلاش‌های داخلی شرکت برای خودکارسازی پژوهش‌های ایمنی AI دانست. او «تفکر کلیشه‌ای و فرمولی» سیستم‌های فعلی را سیگنالی منفی (Bearish Signal) برای زمان‌بندی‌های کوتاه‌مدت خودبهبودی بازگشتی توصیف کرد.

البته پژوهشگران به محدودیت‌هایی اشاره کردند؛ از جمله اینکه مطالعه تنها روی دو مقاله انجام شده و نویسندگان می‌دانستند که مقالات توسط AI نوشته شده‌اند، که ممکن است بر نتایج اثر گذاشته باشد. همچنین، باورهای پیشین خود پژوهشگران ممکن بود بر طراحی مطالعه اثر بگذارد. ارزیابی‌های پژوهش باز، بخشی از عینیت (Objectivity) را فدای آزمونی بسیار غنی‌تر از هر بنچمارکی می‌کنند. با این حال، تیم در حال ادامه کار با مدل Mythos است؛ پیشرفته‌ترین مدل Anthropic که در آوریل عرضه شد. به‌دلیل محدودیت‌های ایمنی دولت ترامپ، Mythos مجبور بود استانداردهای ایمنی مختلفی را رعایت کند و در حال حاضر تنها برای سازمان‌های تأییدشده در دسترس است. Anthropic به درخواست‌ها برای اظهارنظر درباره این مطالعه پاسخ نداد.

با وجود این شکست‌ها، صنعت همچنان پیش می‌رود. در ژوئن، Anthropic در مطلبی با عنوان «وقتی AI خودش را می‌سازد»، مسیر مدل‌های خودتسریع را ترسیم کرد. در ژوئیه نیز OpenAI اعلام کرد که GPT-5.6 Sol در آموزش یک مدل کوچک‌تر کمک کرده و هفته‌ها در زمان پژوهشگران صرفه‌جویی کرده است. در همین راستا، پژوهش‌های انویدیا نشان داده است که تکامل هم‌زمان ارزیاب و عامل می‌تواند هزینه‌های محاسباتی این فرآیندها را کاهش دهد.

این وضعیت نشان‌دهنده یک دوشاخگی در پیشرفت AI است: مدل‌ها در کارهای محدود و امتیازمحور — مانند افزایش نمرات بنچمارک یا سریع‌تر کردن آموزش مدل‌ها — پیش می‌تازند، اما در جهش‌های خلاقانه‌ای که تعریف‌کننده بزرگ‌ترین تحولات این حوزه است، متوقف شده‌اند. ناجونگ کیم (Najoung Kim)، استاد دانشگاه بوستون، معتقد است سرمایه‌گذاری آگاهانه و تلاش مستمر می‌تواند منجر به پیشرفت شود، حتی اگر تلاش‌های فعلی شکست بخورند. اما مسئله اصلی باقی است: اختراع ترنسفورمر (Transformer) و سایر معماری‌های بزرگ نیازمند جهش‌های خلاقانه بود.

اینکه آیا AI می‌تواند تنها از طریق بهبودهای کوچک و تکراری (Grind) به ابرهوش برسد یا به تغییری بنیادین در خلاقیت باز نیاز دارد، پرسش تریلیون دلاری این صنعت است.

گام بعدی شما

• اگر از عامل‌های AI برای تحلیل داده استفاده می‌کنید، هرگز خروجی را به‌عنوان «نتیجه پژوهشی» نپذیرید و فقط از آن‌ها برای «مهندسی داده» استفاده کنید.
• در پیگیری مدل‌های استدلالی جدید، به‌جای نمرات بنچمارک، به دنبال توانایی آن‌ها در «تغییر استراتژی در میانه راه» (Backtracking) باشید.
• گزارش‌های مربوط به مدل Mythos را دنبال کنید تا ببینید آیا Anthropic توانسته است شکاف خلاقیت را در مدل‌های بسته پر کند یا خیر.

اما داستان سخت‌افزاری این تحول حتی شگفت‌انگیزتر است — به تحلیل ما درباره‌ی تراشه‌های Blackwell مراجعه کنید.