۱۸.۳۴ دلار برای هر تسک. این رقم طبق گزارش ۲ سپتامبر ۲۰۲۶ از FrontierHarness، هزینهٔ برخی از عامل‌های باکارایی بالاست و نشان می‌دهد هزینه‌های مهندسی نرم‌افزار مبتنی بر هوش مصنوعی، به‌شدت از کیفیت آن‌ها فاصله گرفته و برای محیط‌های تولیدی (Production) به‌شدت گران شده است.
این تحلیل در حالی منتشر می‌شود که صنعت از رابط‌های سادهٔ چت به سمت عامل‌های (Agents) خودمختاری حرکت می‌کند که قادر به اجرای تسک‌ها در محیط ترمینال هستند. برای توسعه‌دهندگان، چالش اصلی دیگر این نیست که آیا یک عامل می‌تواند باگ را حل کند یا خیر، بلکه این است که آیا هزینهٔ این راهکار، بیشتر از ارزشِ رفع آن باگ است یا نه. این دغدغه در راستای رویکردهای جدید برای ارزیابی پایداری و قابلیت اطمینان عامل‌های هوشمند است که فراتر از صحت ساده، بر پایداری سیستم تمرکز دارند.
همان‌طور که در تحلیل‌های پیشین ما درباره‌ی اقتصاد استنتاج مدل‌های زبانی اشاره کردیم، بهینه‌سازی هزینه در مقیاس سازمانی حیاتی است. در این راستا، FrontierHarness v1.0 چندین محیط اجرایی را روی ران‌تایم‌های Runta ارزیابی کرد تا با استفاده از نقاط بازرسی (Checkpoints) طلایی، وضعیت یکسان vCPU و حافظه را تضمین کند. داده‌های این گزارش شکاف‌های بحرانی در بهره‌وری را افشا می‌کند:
- Claude Code (v2.1.23): ۱۹ تسک را با موفقیت پاس کرد اما به میانگین هزینهٔ ۱۸.۳۴ دلار برای هر تسک رسید. این رقم در حالی ثبت شده که تکنیک‌های کشینگ در Claude Code پیش‌تر پتانسیل کاهش چشمگیر هزینه‌های ورودی را نشان داده بودند.
- OpenCode (v1.18.19): هزینهٔ کمتری را گزارش کرد، اما طبق مستندات این گزارش، حذف موارد شکست باعث پنهان شدن هزینهٔ واقعی شده است؛ با احتساب شکست‌ها، قیمت به ۳.۲۴ دلار برای هر تسک می‌رسد.
- سایر محیط‌های تست شده: این ارزیابی شامل Codex (v0.148.0)، DeepSeek Harness (v0.1.0-rc.8) و Kimi Code (v0.37.2) بود.
به نقل از این گزارش، یک نقطه کور خطرناک در بنچمارک‌های فعلی وجود دارد: نرخ برخورد حافظه پنهان (Cache Hit Rate). یک شکست ذخیره‌شده در حافظه که ۳۰۰ نوبت (Turn) طول بکشد، می‌تواند منابع بیشتری نسبت به یک خطای کوتاه در حافظه مصرف کند؛ این یعنی نرخ بالای کش همیشه به معنای کاهش هزینه نیست. این نوع تناقض در تحلیل داده‌ها، مشابه فریب‌های موجود در شاخص‌های نظارتی GPU است که می‌تواند منجر به تشخیص غلط از کارایی واقعی سیستم شود.
برای جامعه فنی، این یافته معیار «پیشرو» (State-of-the-art) را از نرخ خالص موفقیت به «بهره‌وری تعدیل‌شده با هزینه» تغییر می‌دهد. توانایی حل یک تسک پیچیده نرم‌افزاری بی‌معنی است اگر مصرف توکن (Token) توسط عامل، فرآیند را در مقیاس سازمانی از نظر اقتصادی غیرقابل‌تحمل کند.
توسعه‌دهندگانی که قصد دارند گردش‌کارهای عامل‌محور خود را اعتبارسنجی کنند، اکنون می‌توانند محیط‌های خود را در Runta تست کنند که در حال حاضر ۱۰۰ دلار اعتبار به کاربران جدید می‌دهد.
گام بعدی شما
- در محاسبهٔ ROI عامل‌های خود، حتماً هزینهٔ تسک‌های شکست‌خورده را در میانگین نهایی لحاظ کنید.
- نرخ Cache Hit را به تنهایی به عنوان شاخص کاهش هزینه در نظر نگیرید و مصرف توکن در هر Turn را رصد کنید.
- برای تست محیط‌های اجرایی بدون هزینه اولیه، از اعتبارات رایگان Runta استفاده کنید.
اما داستان سخت‌افزاری این تحول حتی شگفت‌انگیزتر است — به تحلیل ما درباره‌ی تراشه‌های Blackwell مراجعه کنید.
گفتگو