اگر امروز برای مدیریت هزینه‌های استنتاج خود از مسیریاب‌های هوش مصنوعی استفاده می‌کنید، احتمالاً با یک «مالیات پنهان» دست‌وپنجه نرم می‌کنید. نتایج چهار ماه آزمایش در دنیای واقعی نشان می‌دهد که یک مدل واحد و آزمایش‌شده، تقریباً همیشه از مسیریابی‌های پویا عملکرد بهتری دارد.
بر اساس این یافته، شرکت Manifest تصمیم گرفت قابلیت مسیریابی مدل‌های زبانی خود را کنار بگذارد و این سرویس را در ۱ سپتامبر ۲۰۲۶ به‌طور کامل تعطیل کند.
این تصمیم، موجهه‌ی تبلیغاتی پیرامون مسیریاب‌هایی را که برای کاهش هزینه، مدل‌ها را در لحظه عوض می‌کنند، به چالش می‌کشد. هدف این ابزارها ارسال کارهای ساده به مدل‌های ارزان و کارهای پیچیده به مدل‌های گران است، اما واقعیتِ عملیاتی بسیار پیچیده‌تر است. همان‌طور که در تحلیل قبلی ما درباره‌ی جایگزینی مهندسی پرامپت با سخت‌افزارهای JSON برای پایداری سیستم‌ها اشاره کردیم، این چرخش دوباره تأکید می‌کند که پیش‌بینی‌پذیری بر بهینه‌سازی‌های تئوریک برتری دارد. در همین راستا، بررسی مکانیسم Frugon برای اعتبارسنجی مدل‌های کوچک نشان می‌دهد که هرگونه کاهش هزینه در سطح مدل باید پیش از اجرا با شواهد عملیاتی تأیید شود.
طبق گزارش manifest.build، مسیریاب Manifest که در مارس عرضه شده بود، درخواست‌ها را به چهار سطح «ساده»، «استاندارد»، «پیچیده» و «استدلالی» تقسیم می‌کرد. با این حال، بررسی رفتار ۷۰۰۰ کاربر ابری، شکست‌های بحرانی را آشکار کرد:
- ناکامی پرامپت: پرامپت اولیه تنها یک جرقه است. پیچیدگی واقعی اغلب دیرتر و از طریق فراخوانی ابزارها یا جست‌وجو در وب مشخص می‌شود؛ بنابراین مسیریاب نمی‌تواند از ابتدا مدل مناسب را پیش‌بینی کند. این چالش با رویکرد دسته‌بندی عملکردی برای تسهیل مهاجرت بین مدل‌ها متفاوت است که سعی دارد پیچیدگی‌های انتقال را مدیریت کند.
- بهره‌وری حافظه پنهان: حافظه‌های پنهان (Cache) برای پرامپت‌های سیستمی و تاریخچه، هزینه خواندن را ۷۵ تا ۹۰ درصد کاهش می‌دهند. مسیریابی که مدل را عوض می‌کند، این پیوستگی را می‌شکند و به‌طور متناقض هزینه‌ها را بالا می‌برد.
- انحراف رفتاری: جابه‌جایی بین مدل‌ها در یک نشست، کیفیت کلی کار را پایین می‌آورد و مانع از آن می‌شود که مهندسان بر ظرافت‌های یک ابزار خاص مسلط شوند.
ناپایداری در جریان‌های کاری عامل‌محور (Agentic) — مانند دستیارهای هوشمندی که خودشان تصمیم می‌گیرند چه قدمی بردارند — لایه‌ای از عدم قطعیت اضافه می‌کند که ارزیابی‌ها و نظارت بر سیستم را دشوار می‌کند. برای مهندسان نرم‌افزار، مدیریت این نوسانات اغلب بیشتر از مقدار توکنی که ذخیره می‌شود، از ساعت‌های کاری آن‌ها می‌گیرد.
این موضوع نشان می‌دهد که برای اکثر توسعه‌دهندگان، «بهترین» مدل، ارزان‌ترین گزینه برای یک پرامپت واحد نیست، بلکه مدلی است که بیشترین ثبات را داشته باشد. انتخاب دستی مدل بر اساس هدف، در محیط‌های عملیاتی حساس، همچنان بر مسیریابی خودکار برتری دارد.
گام بعدی شما
- اگر در حال حاضر لایه مسیریابی دارید، نرخ برخورد حافظه پنهان (Cache Hit Rate) خود را ممیزی کنید.
- بررسی کنید آیا صرفه‌جویی در هزینه توکن‌ها، توجیه می‌کند که ثبات رفتاری مدل را فدا کنید یا خیر.
- استراتژی خود را از «بهینه‌سازی هزینه» به «بهینه‌سازی پیش‌بینی‌پذیری» تغییر دهید.
اما تأثیر این رویکرد بر معماری‌های توکن-محوری حتی پیچیده‌تر است؛ برای درک بهتر این موضوع به تحلیل ما درباره‌ی پروتکل زمینهٔ مدل (MCP) مراجعه کنید.
گفتگو