تکتک توکنهایی که برای یک بهروزرسانی ساده در جیرا هزینه میکنید، در واقع در حال تخلیه بودجه مهندسی شماست. اگر هنوز تمام درخواستهای خود را به گرانترین مدلها میسپارید، باید بدانید مدلهای پیشرو برای استدلالی هزینه میگیرند که یک مدل کوچک محلی میتواند رایگان انجام دهد. در ۱۰ ژوئیه ۲۰۲۶، یک توسعهدهنده نقشهای را برای کاهش شدید هزینههای API هوش مصنوعی به اشتراک گذاشت که در آن انتخاب مدلهای زبانی (LLM) دقیقاً مانند مدیریت زیرساختهای ابری (Cloud Infrastructure) را میبیند. به جای ارسال هر درخواست به یک مدل پیشرو، این استراتژی «قدرت پردازش مغزی» مدل را با پیچیدگی واقعی تسک مطابقت میدهد.
بسیاری از تیمها با مدل زبانی بزرگ (LLM) — شبیه کتابخانهداری که میلیاردها صفحه را خوانده و حالا با همان لحن جواب میدهد — مانند یک ابزار یکپارچه برخورد میکنند و هر دو نوع تسک ساده و پیچیده، از بهروزرسانیهای ساده جیرا گرفته تا مشخصات پیچیده معماری، را به یک نقطه انتهایی گرانقیمت میفرستند. طبق گزارش منتشرشده در ۱۰ ژوئیه ۲۰۲۶، این رویکرد باعث ایجاد یک «نشتی بودجه خاموش» (Slow burn budget leak) میشود که در آن وظایف پیشپاافتاده به اندازه تصمیمات حیاتی مهندسی هزینه میبرند. این چالش با مشکلات عملیاتی در مدیریت هزینههای عاملهای هوش مصنوعی همسو است که نشان میدهد صرفاً مدل ارزانتر، راهکار نهایی برای مهار هزینهها نیست. همانطور که در تحلیلهای قبلی ما درباره امنیت مدلهای بازمتن اشاره کردیم، مدیریت بهینهی منابع در استقرار مدلها کلید بقای پروژههای مقیاسپذیر است.
برای حل این مشکل، این توسعهدهنده سیستمی سهلایه بر اساس پژوهشهای مسیریابی (Routing) و مدلهای آبشاری (Cascade) پیاده کرده است. در این چارچوب، توکنهای گرانقیمت فقط برای تصمیمات پرریسک رزرو میشوند و حجم کار بین سه لایه «معمار»، «اسب کاری» و «کاربردی» تقسیم میشود.
سلسلهمراتب سهلایه مدلها
- لایه معمار (Architect): از مدلهای با قدرت استدلال بالا مانند GLM 5.2 استفاده میکند. این لایه مسئول بررسی PRها، دیباگهای سخت و تدوین مشخصات فنی است. هدف در این سطح «خطای صفر» است؛ زیرا یک فرض اشتباه در این مرحله میتواند هزاران دلار هزینه زمانی هدررفته برای تیم مهندسی تحمیل کند. برای بهینهسازی این فرآیند بررسی، میتوان از مخازن بویلرپلیت هوش مصنوعی بهره جست تا زمان بررسی کد و هزینههای استنتاج کاهش یابد.
- لایه اسب کاری (Workhorse): توسط مدلهای سریعتر و ارزانتر مثل DeepSeek-V4-Flash تغذیه میشود. این سطح وظیفه مدیریت پیشنویسهای کد، نوشتن تستهای واحد (Unit Tests) و کارهای تکراری بازسازی کد (Refactoring) را بر عهده دارد.
- لایه کاربردی (Utility): مدلهای میزبانیشده (Self-hosted) مانند Qwen، Llama یا DeepSeek را از طریق ابزار OMLX بهکار میگیرد. این مدلها تغییر وضعیتهای تیکت، بهروزرسانیهای ساده و خلاصهسازیها را با هزینه نزدیک به صفر (تنها هزینه سختافزار/محاسباتی) انجام میدهند. این رویکرد در واقع بخشی از جریان مهاجرت توسعهدهندگان به سمت استکهای صفر دلاری است تا وابستگی به APIهای پولی حذف شود.
سازوکار مسیریابی و ارجاع
به نقل از مستندات این پروژه، انتخاب مدل بهصورت دستی نیست، بلکه از یک جریان مسیریابی پویا استفاده میشود. در ابتدا، مدل GLM 5.2 یک «ساختار شکست کار» (Work Breakdown Structure یا WBS) تولید میکند. سپس مدل DeepSeek-V4-Flash پیشنویس این شکست کار را تهیه میکند و در نهایت دوباره GLM 5.2 آن را بازبینی کرده تا وظایف را بر اساس پیچیدگی استدلال و ریسک شکست طبقهبندی کند.
یکی از حیاتیترین بخشها، «قطعکننده مدار ارجاع» (Escalation Circuit Breaker) است. برای جلوگیری از توهم (Hallucination) — حالتی که مدل با اطمینان چیزی میگوید که وجود ندارد، شبیه دوستی که خاطرهای را اشتباه تعریف میکند — و همچنین جلوگیری از «حلقه توهم» که در آن یک مدل ارزان بارها در یک تست مشابه شکست میخورد، لایه اسب کاری فقط ۳ بار فرصت تلاش دارد. اگر تستها پس از سه بار شکست بخورند، سیستم زمینه (Context) را بستهبندی کرده و تسک را با یک دستور صریح به لایه معمار ارجاع میدهد: «اسب کاری در یک حلقه گیر کرده است؛ این چرخه را بشکن».
سنجش موفقیت فراتر از قیمت توکن
بر اساس گزارش وبسایت dev.to، قیمت توکن به تنهایی یک معیار فریبنده است. این توسعهدهنده بهجای اکتفا به قیمت، شاخصهای کلیدی عملکرد (KPI) زیر را رصد میکند:
- نرخ ارجاع (Escalation Rate): اگر تعداد زیادی از وظایف از لایه اسب کاری به معمار منتقل شوند، سیستم در واقع بابت یک تلاش ارزانِ ناموفق، «مالیات» پرداخت کرده است.
- هزینه به ازای هر تسک تکمیلشده: مجموع کل هزینه لازم برای رسیدن به یک تست پاسشده، بدون توجه به اینکه چه تعداد مدل در این مسیر درگیر بودهاند.
- نرخ اصلاح انسانی: تعداد دفعاتی که یک مهندس انسان مجبور است برای رفع خطای مسیریابی یا خطای مدل بهصورت دستی دخالت کند.
اثر لایه ارکستراسیون
به طرز غافلگیرکنندهای، انتخاب لایه سازماندهنده یا همان «هارنس» (Harness)، بیشتر از انتخاب خودِ مدل بر هزینهها اثر میگذارد. توسعهدهندگان دریافتند که نحوه بازپخش زمینه (Context Replay) در هر نوبت و نحوه تشخیص شکستها، محرکهای اصلی اقتصاد توکن هستند. برای لایه کاربردی، از OMLX برای مدیریت میزبانی شخصی (Self-hosting) و مسیریابی مدلهای محلی استفاده شده تا کارهای اداری و مدیریتی کاملاً از APIهای شخص ثالث جدا شده و هزینهای تحمیل نکنند.
این رویکرد سوال بنیادی را تغییر میدهد: بهجای «بهترین مدل کدام است؟»، میپرسیم «ارزانترین گزینهای که بعداً بابت نتیجهاش پشیمان نشوم، کدام است؟»
برای خواننده، این بدان معناست که بهرهوری واقعی در هوش مصنوعی نه در یک پرامپت بهتر، بلکه در یک معماری مسیریابی هوشمندتر نهفته است. با برخورد با LLMها به عنوان یک منبع محاسباتی لایهبندی شده، میتوانید کیفیت سطح پیشرو را برای موارد حیاتی حفظ کنید و در عین حال هزینههای اتوماسیونهای پیشپاافتاده را حذف کنید.
گام بعدی شما
- تحلیل توزیع تسکهای تیم خود کنید تا بفهمید چند درصد از درخواستها واقعاً به استدلال سطح بالای «معمار» نیاز دارند.
- برای کارهای روتین، استقرار مدلهای کوچک از طریق ابزارهایی مثل OMLX یا Ollama را جایگزین APIهای گرانقیمت کنید.
- یک مدار قطعکننده (Circuit Breaker) برای جلوگیری از حلقههای تکراری مدلهای ارزان پیادهسازی کنید.
اما بهینهسازی هزینه تنها نیمی از مسیر است؛ تاثیر معماریهای مدلهای استدلالی بر کاهش مصرف GPU را در گزارش بعدی بررسی خواهیم کرد.
گفتگو