اگر برای کاهش هزینههای استنتاج عاملهای هوش مصنوعی به ابزارهای فشردهساز توکن تکیه کردهاید، احتمالاً با اعداد واقعی فاصله زیادی دارید. طبق یک محک جدید که در ۸ اوت ۲۰۲۶ منتشر شد، این ابزارها تنها ۶ تا ۳۲ درصد صرفهجویی واقعی ایجاد میکنند، در حالی که تبلیغات صنعتی ادعای کاهش ۶۰ تا ۹۰ درصدی داشتند. این مطالعه توسط توسعهدهندهای از repowise انجام شده و پنج ابزار مختلف را در محیطهای Codex و Claude Code با استفاده از ۴۸ پرسش مربوط به مجموعه داده SWE-bench آزمایش کرده است. برای اطمینان از دقت، ۲۶۱ اجرا با ایندکسهای تازه برای هر ابزار و یک خط مبنای «بدون ابزار» تعریف شد تا مقایسهای دقیق و پیشثبت (preregistered) صورت گیرد.
برای توسعهدهندگان، شکاف میان بازاریابی و واقعیت تکاندهنده است. بسیاری از ابزارها وعده میدهند با فشردهسازی شدید پنجره زمینه (Context Window) — که مثل میز کاری است که جا برای چند ورق دارد، نه برای کل کتابخانه — هزینهها را کاهش دهند. اما رفتار واقعی یک عامل (Agent) که شامل بازگشت به عقب (backtracking) و برنامهریزی مجدد است، این دستاوردها را میبلعد. تصور کنید ابزاری یک فایل را عالی فشرده کند، اما عامل در طول یک جلسه ۱۰ بار آن فایل را بخواند؛ در این حالت صرفهجویی تئوریک کاملاً از بین میرود.
همانطور که در تحلیلهای قبلی ما دربارهی بهینهسازی هزینههای استنتاج اشاره کردیم، تفاوت میان «فشردهسازی تکفایل» و «بهینهسازی کل جلسه» بسیار زیاد است. به نقل از گزارش dev.to، نتایج در Codex (با مدل gpt-5.6-sol) نشان داد که repowise با ۳۱.۶ درصد کاهش در توکنهای خروجی (p<0.0001) پیشتاز است و پس از آن CodeGraph با ۲۴.۴ درصد (p<0.0001) و Serena با ۱۴.۸ درصد (p<0.0001) قرار دارند. این نتایج در حالی به دست آمده که مدل gpt-5.6-sol اخیراً رکورد جدیدی را در بنچمارک ARC-AGI-3 ثبت کرده است که تواناییهای استدلالی آن را به چالش میکشد. ابزارهای ضعیفتری مثل Graphify و code-review-graph تنها ۸.۹ درصد (p=0.003) و ۶ درصد (p=0.046) صرفهجویی کردند. نکته مهم این است که وقتی نتایج برای «تستهای متعدد» اصلاح شدند، تنها سه ابزار از پنج ابزار همچنان از نظر آماری معنادار باقی ماندند.
شکست در Claude Code
بحرانیترین یافته این پژوهش مربوط به Claude Code است. در حالی که Codex برای هر پرسش از تمام ابزارها استفاده میکرد، Claude Code بهندرت آنها را فراخوانی کرد. برای مثال، ابزار code-review-graph در ۱۵ پرسش حتی یک بار هم فراخوانی نشد، در حالی که Graphify ۳ بار و Serena ۴ بار استفاده شدند.
این اتفاق به دلیل نحوه بارگذاری پروتکل زمینه مدل (MCP) — شبیه به منویی است که فقط وقتی لازم باشد باز میشود — در Claude Code رخ میدهد. این مدل طرحهای (schemas) MCP را «در لحظه» (on demand) بارگذاری میکند و اغلب پیش از آنکه عامل ابزار را کشف کند، جلسه به پایان میرسد. در مقابل، Codex طرحها را از ابتدا نصب (mount) میکند و ابزارها فوراً در دسترس هستند. یعنی ابزاری که در تئوری ۳۰ درصد صرفهجویی میکند، اگر توسط Claude Code فراخوانی نشود، در عمل صفر درصد سود دارد.
موازنه عملکرد و کیفیت
سرعت ایندکسگذاری نیز تفاوتهای شدیدی دارد. CodeGraph در ۱۶.۴ ثانیه ایندکس کرد، اما repowise در حالی که تولید متن (prose generation) خاموش بود ۳۶۶.۸ ثانیه و با تنظیمات پیشفرض مقداردهی اولیه تا ۱۰۵۸ ثانیه زمان برد. این تفاوت ۲۲ برابری یعنی برای توسعهدهندگانی که مدام مخزن کد (Repository) را عوض میکنند، زمان ایندکسگذاری ممکن است از سودِ کاهش توکن بیشتر شود. گزینههای دیگر شامل code-review-graph است که در ۴۴.۸ ثانیه ایندکس کرد.
از نظر کیفیت خروجی، یک داور کور هیچ برنده مشخصی پیدا نکرد. تمام ابزارها نمرهای اندکی پایینتر از عاملِ بدون ابزار گرفتند، اما این تفاوت (۰.۰۴ تا ۰.۲۵ امتیاز در مقیاس ۱۰) کمتر از نویز خودِ محک بود که ۰.۶۹ امتیاز است. بنابراین، کاهش توکنها کیفیت را پایین نمیآورد، اما آن را بهبود نمیبخشد.
جزئیات بازیابی قطعی
در یک محک بازیابی قطعی مجزا (ContextBench) که بدون استفاده از مدل زبانی (LLM) انجام شد، ابزارها پروفایلهای متفاوتی از نظر دقت داشتند:
- repowise: متد
get_answerآن توانست ۸۷.۶ درصد از فایلهای طلایی (gold files) را از میان حدود ۱۹ فایل ارائه شده پیدا کند. - code-review-graph: ۴۴.۵ درصد از فایلها را یافت اما با ارائه ۵.۴ فایل، بالاترین دقت (Precision) را با عدد ۰.۲۴۰ ثبت کرد.
این یعنی اگر اولویت شما دقت (توکنهای کمتر) باشد تا پوشش (coverage)، code-review-graph ممکن است برتر باشد، هرچند این لزوماً رفتار واقعی عامل را منعکس نمیکند.
این دادهها فرض بنیادین مبنی بر اینکه افزودن یک ابزار MCP بهطور خودکار هزینهها را کم میکند، تغییر میدهد. برای یک توسعهدهنده، دیگر نمیتوان به نرخ فشردهسازی «هر بار ارسال» (per-payload) اعتماد کرد. مثلاً بارگذاری یک کامیت با repowise حدود ۳۹۳ توکن میگیرد در مقابل ۱۳,۹۸۴ توکن برای خواندن فایلهای تغییریافته (فشردهسازی ۳۵.۶ برابری)، اما صرفهجویی کل جلسه در Claude Code به تنها ۱۵.۹ درصد میرسد.
گام بعدی شما
- اگر از Claude Code استفاده میکنید، جلسات را با دستور
claude --verboseاجرا کنید و با grep بررسی کنید آیا ابزارهای شما واقعاً فراخوانی میشوند یا خیر. - برای حل مشکل کشف ابزار، یک هوک
PreToolUseدرsettings.jsonاضافه کنید تا به عامل یادآوری شود ابتدا از ابزار کاهش توکن استفاده کند. برای مثال:
{ "hooks": { "PreToolUse": [ { "matcher": "Read", "hooks": [ { "type": "command", "command": "echo 'Consider using your token-saving tool first.'" } ] } ] } }
- دستور مستقیم «همیشه قبل از خواندن فایلها از ابزار codegraph_search استفاده کن» را به فایل
CLAUDE.mdاضافه کنید.
از تکیه بر جداول هزینهای که «گرم شدن حافظه پومپت» (prompt-cache warming) را در نظر نمیگیرند، اجتناب کنید. یک تست نشان داد که code-review-graph حدود ۴۳ درصد ارزانتر است، اما این نتیجه صرفاً به دلیل این بود که اولین بازو قیمت کامل را پرداخت کرد در حالی که بازوهای بعدی از حافظه پنهان (cache) استفاده کردند. برای مقایسهی صادقانه کارایی ابزار، همیشه توکنهای خروجی را گزارش کنید نه هزینه کل را. برای ثبت مصرف توکن در هر جلسه از دستور claude --output-format json استفاده کنید.
اما داستان سختافزاری این تحول حتی شگفتانگیزتر است — به تحلیل ما دربارهی تراشههای Blackwell مراجعه کنید.
گفتگو