کدام مدل هوش مصنوعی برای کدنویسی پیچیده مقرون‌به‌صرفه‌تر است؟

اگر امروز در حال توسعه عامل‌های خودمختار هستید، باید با یک موازنه جدی روبرو شوید: آیا استدلال برتر Claude Fable 5.1 در مخازن کد پیچیده را می‌پسندید یا قیمت تهاجمی و یکپارچگی ابزارهای بومی GPT-5.6 Sol را؟ انتخاب بین این دو مدل دیگر بر سر این نیست که کدام‌یک «باهوش‌تر» است، بلکه بحث بر سر این است که کدام مدل یک وظیفه مشخص را با کمترین هزینه دلاری به پایان می‌رساند.

این مقایسه در حالی رخ می‌دهد که صنعت از رابط‌های ساده‌ی چت به سمت عامل‌های خودمختار (Autonomous Agents) — شبیه به کارمندانی دیجیتال که می‌توانند ساعت‌ها بدون نظارت روی یک پروژه کار کنند — حرکت می‌کند. همان‌طور که در تحلیل قبلی ما درباره‌ی این موضوع که چگونه عامل‌های GPT-5.6 می‌توانند «تراژدی منابع مشترک» (Tragedy of the Commons) را در آزمایش‌های توکن بازسازی کنند اشاره کردیم، تمرکز اکنون بر توجیه اقتصادی این عامل‌ها در مقیاس واقعی است. استک هوش مصنوعی شما را مانند یک نیروی کار تصور کنید؛ شما برای وارد کردن داده‌ها یک پژوهشگر دکترا استخدام نمی‌کنید و برای معماری یک کدبیس، یک کارمند اداری نمی‌گیرید. همین منطق اکنون در مسیریابی مدل‌ها (Model Routing) جاری است.

شکاف هوشی

به نقل از گزارش ۸ سپتامبر ۲۰۲۶ وب‌سایت Artificial Analysis، این دو مدل در محک‌های مختلف تفاوت‌های شدیدی دارند. مدل Fable 5.1 با امتیاز ۵۳ در شاخص هوش v4.3 پیشتاز است، در حالی که Sol امتیاز ۴۷ را کسب کرده است. این ارزیابی‌ها پس از معرفی شاخص جدید در ۷ سپتامبر صورت گرفت که در آن Terminal-Bench 4.0 جایگزین نسخه ۲.۱ شد و AutomationBench-AA نیز به این مجموعه اضافه گردید.

در کدنویسی مبتنی بر ترمینال، این فاصله عمیق‌تر است. Fable در Terminal-Bench 4.0 امتیاز ۵۲.۰٪ را به دست آورد، در حالی که Sol تنها ۳۹.۹٪ موفق بود. این یعنی Fable در مدیریت کارهای سخت خودمختار، مانند ویرایش‌های گسترده در کل مخزن کد و بازیابی پس از شکست‌های میانی، بسیار توانمندتر است. این روند در بنچمارک‌های منتشرشده توسط خود Anthropic نیز تکرار شده است، جایی که Fable در Terminal-Bench 4.0 با اختلاف ۱۸.۵ درصد (۵۵.۸٪ در برابر ۳۷.۳٪) پیشتاز Sol بود. در این راستا، رقابت‌ها تنها بین غول‌ها نیست و مدل‌های بهینه‌تر نیز وارد میدان شده‌اند؛ برای مثال مدل ارزان‌قیمت Luna توانسته است بخش بزرگی از باگ‌های کد را با هزینه‌ای بسیار اندک شناسایی کند.

با این حال، Sol در وظایف مربوط به استفاده از کامپیوتر (Computer-use) برتری قاطعی دارد. در OSWorld 2.0، مدل GPT-5.6 Sol با امتیاز ۶۲.۶٪، مدل Fable (۴۱.۷٪) را با اختلافی بیش از ۲۰ درصد شکست داد. این نشان می‌دهد که یک برنامه برای کنترل سیستم‌عامل و یک عامل کدنویسی ترمینال، ممکن است به مدل‌های کاملاً متفاوتی نیاز داشته باشند. من توصیه می‌کنم از تبدیل شاخص کلی به یک رتبه‌بندی جهانی اجتناب کنید؛ زیرا کاربرد خاص شماست که برنده را تعیین می‌کند.

شواهد دقیق بنچمارک‌ها

برای درک این تفاوت عملکردی، باید به وظایفی نگاه کنیم که Fable در آن‌ها پیشتاز است. مقایسه‌های مستقیم Anthropic نشان می‌دهد Fable در هر ۵ وظیفه مشترک برتری دارد:

• Terminal-Bench-Science: برتری Fable با ۳۰.۲ درصد (۵۲.۶٪ در برابر ۲۲.۴٪).
• Terminal-Bench 4.0: برتری ۱۸.۵ درصدی Fable.
• GDPval-AA v2: امتیاز Elo مدل Fable برابر ۱۸۵۳ در مقابل ۱۷۱۱ برای Sol (اختلاف ۱۴۲ Elo).
• AutomationBench: برتری ۱۱.۸ درصدی Fable (۳۱.۴٪ در برابر ۱۹.۶٪).
• CursorBench 3.2.0: برتری ۶.۲ درصدی Fable (۷۳.۴٪ در برابر ۶۷.۲٪).

باید توجه داشت که Anthropic خطای استاندارد ۳.۵ تا ۴.۵ درصدی را برای هر مدل در Terminal-Bench-Science گزارش کرده است. همچنین، امتیاز ۸۸.۸ درصدی OpenAI در نسخه قدیمی Terminal-Bench 2.1 توانایی کدنویسی Sol را تأیید می‌کند، اما چون از بنچمارک قدیمی‌تری استفاده کرده، نمی‌توان آن را مستقیماً با نتایج Terminal-Bench 4.0 مقایسه کرد. برای ارزیابی واقعی در دنیای کدنویسی، من از ویرایش‌های کل مخزن، تست‌های قابل اجرا، وظایف بازبینی (Review) و بهینه‌سازی عملکرد استفاده می‌کنم. تفکیک مفید زمانی رخ می‌دهد که مدل‌ها مجبور باشند فایل‌ها را بررسی کنند، دستورات را اجرا کنند، شکست‌ها را تشخیص دهند و تکرار (Iterate) کنند.

قراردادهای API و قابلیت‌ها

قبل از مقایسه امتیازات، باید بررسی کرد که آیا هر مدل با حلقه اجرای برنامه سازگار است یا خیر. هر دو مدل از ورودی متن و تصویر پشتیبانی می‌کنند و حداکثر خروجی ۱۲۸ هزار توکن (Token) — تکه‌های کوچکی از متن، شبیه برش‌های یک کیک طولانی که مدل تکه‌تکه می‌خورد — دارند. اما پنجره زمینه (Context Window) — میزان متنی که مدل هم‌زمان در ذهن نگه می‌دارد، مثل میز کاری که جا برای چند ورق دارد — در Sol برابر ۱.۰۵ میلیون توکن و در Fable یک میلیون توکن است.

هزینه‌های ابزار و یکپارچگی

مدل Sol برای کاهش هزینه‌های مهندسی، از یک استک ابزاری بومی گسترده استفاده می‌کند. API پاسخ‌های آن شامل موارد زیر است:

• جست‌وجوی وب و فایل
• مفسر کد (Code Interpreter) و شل میزبانی‌شده
• اعمال وصله (Apply Patch) و استفاده از کامپیوتر
• پروتکل MCP، مهارت‌ها و جست‌وجوی ابزار

OpenAI همچنین فراخوانی برنامه‌ریزی‌شده ابزارها و اجرای چند-عاملی (Multi-agent) را برای خانواده GPT-5.6 توصیف می‌کند. برای برنامه‌ای که در حال حاضر به این اجزا نیاز دارد، استفاده از Sol تعداد المان‌های زمان اجرا را که توسعه‌دهنده باید یکپارچه کند، کاهش می‌دهد. این «هزینه مهندسی» باید در برابر هزینه خام استنتاج (Inference) سنجیده شود.

در مقابل، Fable 5.1 روی کارهای دانشی حرفه‌ای و عامل‌های طولانی‌مدت تمرکز دارد. Anthropic بر توانایی این مدل در برنامه‌ریزی، بازیابی از مراحل شکست‌خورده و گزارش پیشرفت در طول اجرای مستمر تأکید می‌کند. من این جایگاه‌سازی را به تست‌هایی با شکست‌های میانی و فرصت‌های متعدد برای بازیابی ترجمه می‌کنم. یک پاسخ تمیز به یک پرامپت کوتاه، اطلاعات زیادی به من نمی‌دهد که آیا یک عامل می‌تواند تغییرات یک مخزن کد را پس از شکست اولین اجرای تست به پایان برساند یا خیر. با این حال، Fable محدودیت‌های بیشتری در انتخاب اجباری ابزارها دارد؛ توسعه‌دهندگان باید قبل از مهاجرت یک حلقه قطعی (Deterministic) که به فراخوانی ابزاری خاص نیاز دارد، حالت‌های پشتیبانی‌شده را بررسی کنند.

موازنه تأخیر

در حداکثر توان، هر دو مدل توان عملیاتی (Throughput) مشابهی حدود ۶۹.۹ توکن در ثانیه دارند (Sol: ۶۹.۸ و Fable: ۶۹.۹). تفاوت اصلی در زمان تا نخستین توکن (TTFT) است.

Sol با ۱۳۲.۱۰ ثانیه بسیار سریع‌تر شروع می‌کند. Fable بیش از دو برابر زمان بیشتری می‌گیرد و ۲۷۷.۴۷ ثانیه ثبت کرده است. برای یک دستیار کدنویسی تعاملی، این تأخیر یک عامل تعیین‌کننده برای رد مدل (Dealbreaker) است؛ اما برای یک عامل شبانه‌روزی، اهمیتی ندارد. با این حال، این اندازه‌گیری‌ها مربوط به پیکربندی‌های حداکثر توان است. طول پرامپت، بار ارائه‌دهنده و وضعیت حافظه پنهان (Cache) همگی می‌توانند این نتایج را تغییر دهند. همچنین زمان تا نخستین توکن با مدت زمان کل وظیفه متفاوت است. برای استفاده تعاملی، من تنظیمات تلاش کمتر و هم‌زمانی (Concurrency) مورد نظر را تست می‌کنم.

اقتصاد توکن‌ها

در ورودی‌های تازه، Sol برنده مطلق است. نرخ ورودی پایه آن ۴ دلار به ازای هر میلیون توکن (MTok) است، در حالی که Fable ۱۰ دلار می‌گیرد. توکن‌های خروجی نیز الگوی مشابهی دارند: ۲۰ دلار برای Sol و ۵۰ دلار برای Fable. یعنی Fable برای ورودی و خروجی‌های معمولی و بدون حافظه پنهان، ۲.۵ برابر گران‌تر است.

اما با استفاده از حافظه پنهان (Caching)، محاسبات تغییر می‌کند. خواندن از حافظه پنهان در Fable حدود ۳۷.۵٪ ارزان‌تر از Sol است (۰.۲۵ در برابر ۰.۴۰ دلار). همچنین تفاوتی در ماندگاری نوشتن حافظه پنهان وجود دارد: پیش‌فرض Sol ۳۰ دقیقه است، در حالی که قیمت Fable برای یک نوشتن پنج دقیقه‌ای است.

برای یک درخواست با زمینه کوتاه شامل ۱۰۰ هزار توکن ورودی و ۱۰ هزار توکن خروجی، هزینه‌ها چنین است:

• Sol: (۰.۱ × ۴ دلار) + (۰.۰۱ × ۲۰ دلار) = ۰.۶۰ دلار
• Fable: (۰.۱ × ۱۰ دلار) + (۰.۰۱ × ۵۰ دلار) = ۱.۵۰ دلار

این تخمین‌ها شامل هزینه‌های نوشتن حافظه پنهان و هزینه‌های ابزار نمی‌شود. یک API یکپارچه چند-مدلی می‌تواند تست‌ها را ساده کند؛ برای مثال CometAPI هر دو مدل را با نرخ‌های دروازه‌ای (Gateway) ۳.۲۰/۱۶ دلار برای Sol و ۸/۴۰ دلار برای Fable لیست کرده است که همان درخواست را به ترتیب ۰.۴۸ یا ۱.۲۰ دلار می‌کند.

حجم‌های کاری میلیونی

در زمینه‌های متنی عظیم، ساختار قیمت‌ها تغییر می‌کند. پنجره زمینه Sol با ۱.۰۵ میلیون توکن، کمی بزرگتر از پنجره یک میلیونی Fable است. با این حال، Sol زمانی که ورودی از ۲۷۲ هزار توکن فراتر رود، نرخ‌های بالاتری اعمال می‌کند:

• ورودی: ۸ دلار/MTok
• ورودی حافظه پنهان: ۰.۸۰ دلار/MTok
• نوشتن حافظه پنهان: ۱۰ دلار/MTok (افزایش یافته از ۵ دلار)
• خروجی: ۳۰ دلار/MTok

مدل Fable نرخ‌های مستند یک میلیون توکنی خود (۱۰ دلار ورودی، ۵۰ دلار خروجی و ۰.۲۵ دلار خواندن حافظه پنهان) را بدون جریمه اضافی برای حجم‌های بالای ۲۷۲ هزار توکن در این پیکربندی حفظ می‌کند.

یک نوبت (Turn) را با ۱۰۰ هزار توکن ورودی بدون حافظه پنهان، ۹۰۰ هزار توکن خوانده شده از حافظه پنهان و ۲۰ هزار توکن خروجی در نظر بگیرید:

• Sol: (۰.۱ × ۸) + (۰.۹ × ۰.۸۰) + (۰.۰۲ × ۳۰) = ۲.۱۲ دلار
• Fable: (۰.۱ × ۱۰) + (۰.۹ × ۰.۲۵) + (۰.۰۲ × ۵۰) = ۲.۲۲۵ دلار

شکاف قیمتی تقریباً از بین می‌رود زیرا خواندن ارزان‌تر حافظه پنهان در Fable، قیمت پایه بالای آن را جبران می‌کند. این مثال فرض می‌کند که پیشوند ۹۰۰ هزار توکنی قبلاً کش شده و ۱۰۰ هزار توکن ورودی جدید به عنوان نوشتن حافظه پنهان محاسبه نمی‌شود. همچنین شامل نوشتن اولیه حافظه پنهان و هزینه‌های ابزار نیست. سهم ۲۰ هزار توکن خروجی شامل تمام خروجی‌های صورت‌حسابی، از جمله توکن‌های استدلال است.

پیکربندی‌های استدلالی

مدل Sol شش سطح تلاش (Effort) مختلف دارد تا توسعه‌دهندگان بتوانند تعادل بین کیفیت، تأخیر و هزینه را تنظیم کنند. Fable از «تفکر تطبیقی» استفاده می‌کند که در آن استدلال (Reasoning) — یعنی وقتی مدل قبل از جواب، یک قدم درنگ می‌کند و فکر می‌کند، شبیه شطرنج‌بازی که چند حرکت جلوتر را می‌بیند — فعال می‌ماند اما عمق آن توسط تنظیمات تلاش (مثلاً Medium یا High) کنترل می‌شود.

بنابراین مقایسه «پیش‌فرض در برابر پیش‌فرض» گمراه‌کننده است. یک درخواست Sol با تلاش «متوسط» از نظر محاسباتی معادل یک درخواست Fable با تلاش «بالا» نیست. برچسب‌های تلاش یکسان، بودجه‌های محاسباتی یکسانی را ایجاد نمی‌کنند. توسعه‌دهندگان باید تنظیمات دقیق مورد نظر برای استقرار خود یا بودجه‌های معادل را مقایسه کنند.

امنیت و مدیریت داده‌ها

هر دو ارائه‌دهنده حفاظ‌هایی برای کارهای حساس سایبری و علمی پیاده کرده‌اند. OpenAI از لایه‌های حفاظتی و نظارت استفاده می‌کند.

Anthropic در Fable رویکرد متفاوتی دارد و درخواست‌های حساس زیست‌شناسی یا سایبری را به مدل‌های ضعیف‌تر هدایت می‌کند. نکته حیاتی این است که Anthropic برای این درخواست‌های تغییر مسیر، هزینه premium مدل Fable را نمی‌گیرد. همچنین Fable یک دوره پیش‌فرض ۳۰ روزه برای نگهداری داده‌ها دارد، مگر اینکه استثناهای سازمانی اعمال شود. برای محصولات امنیتی، کارهای رگوله شده یا استقرارهای حساس به حریم خصوصی، این رفتارها باید در ارزیابی برنامه گنجانده شوند، زیرا تست‌های معمولی کدنویسی ممکن است هرگز این موارد را فعال نکنند.

گام بعدی شما (سیاست مسیریابی استراتژیک)

برای اکثر محیط‌های تولید، یک سیاست مسیریابی ترکیبی (Hybrid Routing) کارآمدترین مسیر است. از Sol برای کارهای روتین پیشرو و دستیارهای تعاملی استفاده کنید، جایی که تأخیر و هزینه پایه در اولویت هستند.

تنها برای وظایف سخت خودمختار، مانند تغییرات پیچیده در مخازن کد یا پژوهش‌های طولانی‌مدت، به Fable 5.1 ارتقا دهید. هزینه اضافی Fable تنها زمانی توجیه‌پذیر است که نرخ تکمیل موفقیت‌آمیز وظایفی را که Sol در آن‌ها شکست می‌خورد، افزایش دهد. در این زمینه، برخی مدل‌های دیگر مانند Grok نیز تلاش کرده‌اند با کاهش قیمت‌ها جایگاه خود را تثبیت کنند، اما گزارش‌ها نشان می‌دهد Grok 4.7 در کدنویسی عامل‌محور نتوانسته است به استانداردهای لازم برسد.

برای توجیه این مسیریابی، توسعه‌دهندگان باید تست‌ها را بر اساس حجم کاری اولویت‌بندی کنند:

• تغییرات سخت خودمختار در مخزن: با Fable شروع کنید؛ نرخ تکمیل، تست‌ها و بازیابی پس از شکست را تأیید کنید.
• پژوهش‌های طولانی‌مدت: با Fable شروع کنید؛ پایداری و تکمیل موفق را تأیید کنید.
• استنتاج پیشرو با حجم بالا: با Sol شروع کنید؛ کیفیت را در هزینه مورد نیاز تأیید کنید.
• کدنویسی تعاملی: با Sol شروع کنید؛ تأخیر را در تلاش و هم‌زمانی استقرار یافته تأیید کنید.
• عاملی با ابزارهای بومی زیاد: با Sol شروع کنید؛ موفقیت ابزار و الزامات یکپارچگی را تأیید کنید.
• گردش کار استفاده از کامپیوتر: با Sol شروع کنید؛ بررسی کنید آیا برتری OSWorld منتقل می‌شود یا خیر.
• زمینه متنی میلیونی: هر دو را تست کنید؛ چرخه کامل حافظه پنهان و هزینه جلسه را ارزیابی کنید.
• برنامه موجود OpenAI: با Sol شروع کنید؛ بررسی کنید آیا مهاجرت ارزش کافی اضافه می‌کند یا خیر.

این تغییر، صنعت را از «وفاداری به مدل» به سمت «اقتصاد مبتنی بر وظیفه» می‌برد. برای اجرای ارزیابی‌ای که مسیریابی را توجیه کند، من از یک مجموعه وظایف ثابت با درخواست‌های فرمت بومی استفاده می‌کنم. اجراها را با ترتیب متناوب تکرار می‌کنم تا یک خط پایه مشترک ایجاد شود. برای هر وظیفه، موارد زیر را ثبت می‌کنم: صحت، موفقیت ابزار، تلاش‌های مجدد، کل توکن‌های مصرفی، TTFT، زمان کل سپری شده و هزینه کل به ازای هر وظیفه موفق.

هدف دیگر یافتن بهترین مدل نیست، بلکه بهینه‌سازی هزینه به ازای هر تکمیل موفق است. یک مسیریاب (Router) زمانی جایگاه خود را به دست می‌آورد که اقتصاد وظایف تکمیل‌شده را در کیفیت مورد نیاز بهبود بخشد. اگر یک مدل در حال حاضر این الزامات را برآورده می‌کند، من پیاده‌سازی را ساده نگه می‌دارم.

اما داستان سخت‌افزاری این تحول حتی شگفت‌انگیزتر است — به تحلیل ما درباره‌ی تراشه‌های Blackwell مراجعه کنید.