اگر امروز عاملهایی با دهها ابزار پیچیده اجرا میکنید، احتمالاً بخش زیادی از بودجه API شما صرف ارسال تکراری توکنهای تعریف ابزار میشود. BrainGrid، پلتفرم تخصصی مستندات فنی، در ۱۷ ژوئن ۲۰۲۶ راهکاری برای توقف این اتلاف منابع در مدلهای آنتروپیک (Anthropic) پیدا کرد.
این تغییر بر پایه استفاده از کشینگ موقت (Ephemeral Caching) است؛ قابلیتی که مانع از ارسال مجدد تعاریف استاتیک ابزارها در هر چرخه درخواست میشود. ارسال مداوم طرحوارههای حجیم ابزار، شبیه به این است که برای هر جرعه قهوه، هزینه یک فنجان کامل را بپردازید؛ شما در واقع هزینه دادههای تکراری را میدهید. این رویکرد برای بهینهسازی هزینهها مکمل راهکارهای مدیریتی است، مانند آنچه در کاهش ۶۰ درصدی هزینه API با مسیریابی هوشمند در گیتوی Dubhe مشاهده کردیم. همانطور که در تحلیلهای پیشین ما دربارهی مرزهای ایمنی مدلهای آنتروپیک دیدیم، توسعهدهندگان اکنون در حال انتقال از بحثهای تئوریک به بهینهسازیهای سختافزاری و مالی در مقیاس واقعی هستند.
طبق گزارش نیکو آکوستا (Nico Acosta)، مدیرعامل BrainGrid در وبسایت dev.to، این تیم با مهاجرت به AI SDK v5 و استفاده از پارامتر providerOptions توانست کشینگ را فعال کند. جزئیات فنی این پیادهسازی به شرح زیر است:
- ساختار هزینه: توکنهای ورودیِ کششده ۲۵٪ گرانتر نوشته میشوند، اما در درخواستهای بعدی (Cache Hit)، هزینه آنها به تنها ۱۰٪ قیمت استاندارد میرسد.
- قانون سلسلهمراتبی: آنتروپیک از سیستم «نقطه کش» استفاده میکند. اگر آخرین ابزار در یک آرایه به عنوان «قابل کش» علامتگذاری شود، تمام ابزارهای پیش از آن بهطور خودکار کش میشوند.
- پیادهسازی: تنها سه خط پیکربندی در تعریف ابزار برای فعالسازی
cacheControl: { type: 'ephemeral' }نیاز است.
به نظر ما این تغییر، گلوگاه اصلی را از «انتقال توکن» به «منطق برنامه» منتقل میکند. در هر عاملی که ابزارها بیش از چهار بار در یک گفتگو فراخوانی شوند، آن ۲۵٪ هزینه اولیه کاملاً توسط ۹۰٪ تخفیف در درخواستهای بعدی جبران میشود. این یعنی توسعهدهندگان میتوانند بدون نگرانی از افزایش خطی هزینهها، از تعاریف توصیفی و دقیقتر برای ابزارها استفاده کنند تا دقت عاملها بالا برود.
گام بعدی شما
- آرایههای ابزارهای خود را بررسی کنید و پیچیدهترین ابزار قابل کش را به انتهای لیست منتقل نمایید.
- اثر کشینگ موقت را بر روی پرامپتهای سیستمی حجیم یا زمینههای کدنویسی استاتیک آزمایش کنید.
- نرخ Cache Hit را در داشبورد آنتروپیک بررسی کنید تا نقطه بهینه تعداد ابزارها را بیابید.
اما داستان سختافزاری این تحول حتی شگفتانگیزتر است — به تحلیل ما دربارهی تراشههای Blackwell مراجعه کنید.
گفتگو