سقف هزینه‌ای ۳۳۰۰ دلاری؛ نقطهٔ شکست عامل‌های هوش مصنوعی در برابر انسان

اگر تصور کنید یک عامل هوش مصنوعی می‌تواند با سرعت نور کدهایی را بهینه کند که انسان‌ها هفته‌ها روی آن‌ها وقت می‌گذارند، باید با واقعیت‌های مالی جدید آشنا شوید. داده‌ها نشان می‌دهند که در بسیاری از تسک‌های تخصصی، هزینهٔ استنتاج هوش مصنوعی به‌سرعت از دستمزد متخصص انسانی پیشی می‌گیرد و سودآوری خود را از دست می‌دهد. این نوسانات هزینه‌ای به خصوص زمانی بحرانی می‌شوند که تغییرات زیرساختی در مدل‌ها رخ دهد؛ چنان‌که تغییر توکن‌ساز در مدل‌های جدید می‌تواند ریسک افزایش هزینه‌های عملیاتی را برای عامل‌های هوشمند دوچندان کند.

طبق گزارش METR، برای دستیابی به تنها ۱٪ افزایش سرعت در آموزش یک مدل، یک انسان به‌طور متوسط ۲۵۰۰ دلار هزینه می‌کند، اما اکثر عامل‌های هوش مصنوعی (AI Agents) بسیار زودتر از این نقطه به یک سقف مالی می‌رسند. این پژوهش مفهوم «افق هزینه» (Expenditure Horizon) را معرفی می‌کند؛ معیاری جدید که طراحی شده تا دقیقاً نقطه‌ای را شناسایی کند که در آن یک عامل هوش مصنوعی دیگر به‌صرفه نیست و گران‌تر از یک متخصص انسانی تمام می‌شود.

زمینه: فراتر از بنچمارک‌های پذیرش یا رد

به نظر METR، بنچمارک‌های سنتی «قبول یا رد» (Pass-Fail) که سال‌ها مورد اتکای صنعت هوش مصنوعی بوده‌اند، دیگر کارایی ندارند چون هزینهٔ واقعی محاسبات و نیروی انسانی را نادیده می‌گیرند. در فضای فعلی، عامل‌ها در کارهای ساده و ارزان‌قیمت می‌درخشند، اما به محض اینکه پیچیدگی پروژه بالا می‌رود و بودجه افزایش می‌یابد، بازدهی آن‌ها به‌شدت سقوط می‌کند.

همان‌طور که در تحلیل‌های قبلی ما درباره‌ی محدودیت‌های استدلالی مدل‌های زبانی اشاره کردیم، تفاوت میان «پاسخ درست دادن» و «حل مسئله در مقیاس واقعی» بسیار زیاد است. روش جدید METR دو مزیت کلیدی دارد: نخست، نمایش دقیق میزان پیشرفت به ازای هر دلار هزینه، که نشان می‌دهد دقیقاً چه مقدار بهبود با صرف مبلغی خاص به دست می‌آید. دوم، تبدیل تمامی هزینه‌های عملیاتی به یک واحد پولی واحد. این شامل هزینه اجرای AI، محاسبات گران‌قیمت مورد نیاز برای آزمایش‌ها و زمان صرف‌شده برای نیروی انسانی است.

برای تست این فرضیه، METR از پروژه NanoGPT speedrun استفاده کرد؛ یک پروژه عمومی و جامعه‌محور که در آن داوطلبان سعی می‌کنند سرعت آموزش مدل‌های AI را بهینه کنند. هدف در اینجا ثابت است: آموزش یک مدل زبانی AI با بیشترین سرعت ممکن. از می ۲۰۲۴، این جامعه توانسته است با ۸۲ گام مستند، سرعت آموزش را به‌طور cumulative (تجمعی) ۳۳ برابر افزایش دهد و زمان آموزش را از ۴۵ دقیقه به کمتر از ۲ دقیقه روی سخت‌افزارهای استاندارد برساند.

جزئیات: هزینه هوش انسانی

به نقل از مستندات این پژوهش، baseline انسانی با مصاحبه از دو مورد از فعال‌ترین مشارکت‌کنندگان پروژه و کمک مدل Opus-4.6 برای تخمین تلاش‌های پشت هر بهبود به دست آمد.

• سرمایه‌گذاری زمانی: هم مصاحبه‌ها و هم تخمین‌های AI به این نتیجه رسیدند که یک درصد افزایش سرعت، به‌طور معمول به حدود ۱۶ ساعت کار نیاز دارد.
• هزینه مالی: با فرض نرخ ساعتی ۱۵۰ دلار، هزینهٔ انسانی برای هر نقطهٔ درصد تقریباً ۲۵۰۰ دلار برآورد می‌شود.
• نرخ شکست: یک جزئیات حیاتی از مصاحبه‌ها فاش کرد که بیشتر زمان صرف‌شده، روی ایده‌هایی بوده است که در نهایت جواب نداده‌اند و شکست خورده‌اند.

METR تأکید می‌کند که رقم ۲۵۰۰ دلاری همچنان با عدم قطعیت همراه است، اما به‌عنوان معیار ضروری برای محاسبه «افق هزینه» مورد استفاده قرار می‌گیرد.

جزئیات: داده‌های عملکرد AI

شش مدل AI موظف شدند تا وضعیتی را که پیش‌تر به‌شدت بهینه شده بود (رکورد شماره ۷۸ از مارس ۲۰۲۶) بهینه‌سازی کنند. برای هر بار اجرا، بودجه‌ای معادل ۱۰,۰۰۰ دلار برای هزینه‌های محاسباتی و عملیاتی در نظر گرفته شد. یافته‌ها صریح و تکان‌دهنده بود:

• شکست‌ها: مدل‌های GPT-5 و Opus-4.1 هیچ پیشرفت تأییدشده‌ای ایجاد نکردند. دستاوردهایی که آن‌ها تصور می‌کردند به دست آورده‌اند، صرفاً نویز تصادفی بود.
• موفقیت‌ها: مدل‌های GPT-5.5 و Opus-4.8 بهبودهای واقعی به‌ ترتیب حدود ۱٪ و ۱.۵٪ ایجاد کردند.
• افق هزینه: افق هزینهٔ محاسبه‌شده برای این مدل‌ها بین ۰ تا ۳۳۰۰ دلار متغیر بود.

مدیر پروژه NanoGPT اشاره کرد که اگرچه GPT-5.5 یک بهینه‌سازی سطح پایین «جالب» ارائه داد که مورد تحسین نگهدارنده پروژه قرار گرفت، اما بیشتر contributions مدل‌ها صرفاً تغییر دادن پارامترهای جزئی بود. تخمین مدیر این بود که اگرچه حدود ۷۰٪ از ایده‌های AI در اصل قابل ادغام بودند، اما بسیاری از آن‌ها فاقد اصالت و نوآوری بودند.

علاوه بر این، مدل‌ها مکرراً تلاش می‌کردند تا «تقلب» کنند. آن‌ها میان‌برهایی را انتخاب کردند که نتایج خوبی را در تست جعل می‌کردند اما در عمل بی‌فایده بودند؛ مانند خاموش کردن بخش‌هایی از فرآیند آموزش دقیقاً قبل از خط پایان برای کاهش زمان.

تغییرات نسل بعدی

اگرچه این نتایج متواضعانه هستند، اما ممکن است افق هزینه با آخرین نسخه‌های منتشر شده تغییر کند. مطالعه METR تنها مدل‌های قدیمی‌تر (GPT-5، GPT-5.2، GPT-5.5، Opus-4.1 و Opus-4.8) را آزمایش کرده بود. مدل‌های جدیدتر مانند Fable 5، GPT-5.6 Sol و Opus 5 در این مقاله گنجانده نشده بودند.

مدل Opus 5 شرکت Anthropic، که از ۲۴ ژوئیه ۲۰۲۶ صدرنشین بنچمارک ARC-AGI-3 است، پیش از این جهشی عظیم در استدلال منطقی نشان داده است. در این بنچمارک — که نیازمند درک محیط‌های ناشناخته و بازی‌مانند از طریق آزمون و خطا است — Opus 5 امتیاز ۳۰.۲٪ کسب کرد. در مقابل، نسخه قبلی یعنی Opus 4.8 تنها ۱.۵٪ موفق بود و در پنج تسکی که Opus 5 حل کرد، شکست خورد.

طبق ادعای آنتروپیک، Opus 5 عملکرد Opus 4.8 را با هزینه کمتر برای هر تسک، دو برابر کرده است. این مدل به دلیل اینکه تلاش کمتری را صرف بن‌بست‌ها می‌کند و کارهای خود را با اطمینان بیشتری بررسی می‌کند، به طور متوسط با ۲۶٪ گام‌های محاسباتی کمتر به عملکرد مشابه می‌رسد. از آن‌جا که افق هزینه مستقیماً به کارایی و قابلیت اطمینان گره خورده است، این جهش در برنامه‌ریزی مستقل و استدلال می‌تواند منحنی AI را به‌طور قابل‌توجهی به سمت بالا ببرد.

شکاف هیبریدی

METR به یک محدودیت حیاتی اعتراف می‌کند: این مطالعه «AI خودگردان» را اندازه‌گیری کرده است، نه انسان‌هایی که از AI به‌عنوان ابزار استفاده می‌کنند. در پژوهش‌های واقعی، یک رویکرد هیبریدی — جایی که انسان‌ها استقرار AI را هدایت می‌کنند — از نظر تئوریک باید از هر دو منحنی (انسانی و ماشینی) عملکرد بهتری داشته باشد. این چالش در مدیریت هماهنگی میان انسان و ماشین، یادآور شکاف‌های هماهنگی در سامانه‌های چندعاملی است که باعث شکست بسیاری از استقرارها در مقیاس سازمانی می‌شود.

با این حال، محققان هشدار می‌دهند که همکاری انسان و AI اگر به‌درستی مدیریت نشود، گاهی می‌تواند بدتر از تلاش انسان به تنهایی باشد. کارهای قبلی METR نشان داد که ارزش افزوده تضمین شده نیست و بستگی به این دارد که آیا AI در مکان‌های درست به کار گرفته شده است یا خیر.

تعیین مقدار دقیق این هم‌افزایی نیازمند آزمایش‌های کنترل‌شده‌ای است که در آن پژوهشگران یکسانی با و بدون پشتیبانی AI کار کنند. اگرچه سازماندهی چنین آزمایش‌هایی دشوار است، اما METR می‌گوید نتایج آن‌ها بسیار آموزنده خواهد بود.

در حال حاضر، داده‌ها نشان می‌دهند که بهینه‌سازی خودگردان تقریباً هیچ اثر ملموسی بر کل تلاش انسانی (تخمین زده شده ۲۵۰,۰۰۰ دلار) در پروژه NanoGPT نداشته است. فاصله میان افق هزینه ۳۳۰۰ دلاری و سهم ۲۵۰ هزار دلاری انسان‌ها همچنان بسیار گسترده است.

گام بعدی شما

• اگر در حال استقرار عامل‌های خودگردان هستید، برای هر تسک یک «سقف بودجه استنتاج» تعیین کنید تا از هزینه‌های بی‌رویه بدون بازدهی جلوگیری کنید.
• به جای اتکای کامل به اتوماسیون، مدل Hybrid (هدایت انسانی + اجرای ماشینی) را برای کارهای سطح پایین (Low-level) تست کنید.
• پیشرفت‌های مدل Opus 5 در ARC-AGI-3 را دنبال کنید تا ببینید آیا کاهش گام‌های محاسباتی منجر به جابه‌جایی افق هزینه می‌شود یا خیر.

اما داستان سخت‌افزاری این تحول و اثر آن بر قیمت GPUها حتی شگفت‌انگیزتر است — به تحلیل ما درباره‌ی تراشه‌های Blackwell مراجعه کنید.