ادغام NeMo Switchyard و Kong هزینه استنتاج عامل‌های AI را کاهش داد

تصور کنید هزینهٔ هر چرخهٔ تفکرِ عامل‌های هوشمند شما به‌جای هزاران دلار، تنها چند سنت باشد. این تغییر بنیادین با انتقال تصمیمات مسیریابی از کدهای شکنندهٔ اپلیکیشن به لبهٔ زیرساخت (Infrastructure Edge) ممکن شده است. این گذار در یک تحلیل فنی در ۱۹ اوت ۲۰۲۶ برجسته شد و نشان داد که چگونه ادغام NVIDIA NeMo Switchyard در Kong AI Gateway راهکاری برای پایان دادن به هزینه‌های ناپایدار «توکنومیکس عامل‌محور» (Agentic Tokenomics) ارائه می‌دهد.

در واقع، اکثر استقرارهای هوش مصنوعی در سطح سازمانی با یک گلوگاه مقیاس‌پذیری مواجه هستند که نه در سطح هوش، بلکه در اقتصاد است. سیستم‌های عامل‌محور (Agentic) — که از حلقه‌های خودکار برای برنامه‌ریزی، اجرای ابزارها و خود-بازبینی (Self-reflection) استفاده می‌کنند — ترافیک توکنی را تولید می‌کنند که یک مرتبه بزرگی (Order of Magnitude) بیشتر از رابط‌های چت استاندارد است. این چالش‌های اقتصادی دقیقاً همان نقطه‌ای است که گارتنر هشدار داده بود بازدهی بسیاری از عامل‌های هوش مصنوعی سازمانی را طی ۹۰ روز متوقف می‌کند. اگر هر گام از یک حلقهٔ چند-مرحله‌ای عامل‌محور، یک مدل پیشرو و گران‌قیمت مانند GPT-4o یا Claude 3.5 Sonnet را فراخوانی کند، اقتصاد واحد عملیاتی (Unit Economics) به‌سرعت غیرقابل‌تحمل و ناپایدار می‌شود.

همان‌طور که در تحلیل قبلی ما درباره‌ی NVIDIA Nemotron 3 و طراحی سخت‌افزار-محور آن برای عامل‌ها اشاره کردیم، تمرکز اکنون بر لایه ارکستراسیون است. از نظر تاریخی، توسعه‌دهندگان سعی می‌کردند این مشکل را با سخت‌کد کردن (Hardcoding) منطق مسیریابی مستقیماً در کد اپلیکیشن حل کنند. من کدبیس‌هایی را دیده‌ام که پر از بلوک‌های شکننده if/else هستند؛ کدهایی که سعی می‌کنند طول پرامپت یا تراکم کلمات کلیدی را بررسی کنند تا تصمیم بگیرند آیا درخواست را به یک مدل متن‌باز ارزان‌تر بفرستند یا به یک API گران‌قیمت و بسته.

این رویکرد یک ضدالگوی معماری (Architectural Anti-pattern) است. این روش منطق برنامه را به‌شدت به ارائه‌دهندگان خاص مدل گره می‌زند، کنترل‌های متمرکز امنیتی و محدودیت‌های نرخ (Rate-limiting) را دور می‌زند و باعث می‌شود تیم‌های پلتفرم نتوانند بدون استقرار مجدد کد (Redeploy)، مسیریابی مدل‌ها را به‌صورت پویا بهینه کنند. برای حل این مشکل، تصمیمات مسیریابی باید از لایه اپلیکیشن جدا شده و به لبهٔ زیرساخت، یعنی درگاه API یا همان گیت‌وی منتقل شوند. این استراتژی بهینه‌سازی لایه‌ای، مشابه رویکردی است که Elastic InfoSec برای کاهش ۶۰ درصدی فراخوانی‌های LLM خود به کار گرفت.

معماری گیت‌وی

با جاسازی NeMo Switchyard — یک کتابخانه متن‌باز برای مسیریابی مدل‌ها — مستقیماً در Kong AI Gateway، سازمان‌ها مسیریابی را از لایه برنامه جدا می‌کنند. در یک ساختار سنتی، گیت‌وی به عنوان یک پروکسی معکوس برای احراز هویت و مسیرهای استاتیک URI عمل می‌کند. اما یک «گیت‌وی هوش مصنوعی» باید تکامل یابد تا بتواند محموله‌های (Payloads) خاص مدل‌های زبانی بزرگ (LLM) را تجزیه کند، بودجه‌های توکنی را مدیریت نماید و تصمیمات پویا برای مسیریابی به سمت مدل‌های بالادستی بگیرد.

وقتی کونگ با Switchyard ادغام می‌شود، گیت‌وی پیش از ارسال محموله، تصمیم مسیریابی را به موتور تصمیم‌گیر Switchyard می‌سپارد. این تفکیک وظایف (Separation of Concerns) تضمین می‌کند که گیت‌وی بر روی ورودی/خروجی شبکه با کارایی بالا، امنیت و ترجمه پروتکل تمرکز کند، در حالی که Switchyard بر تحلیل معنایی و بهینه‌سازی مسیریابی متمرکز می‌شود.

یک درخواست معمولی چرخهٔ حیات مشخصی را طی می‌کند:

• دریافت درخواست (Request Ingestion): اپلیکیشن کلاینت یک درخواست LLM (مثلاً یک محموله استاندارد تکمیل چت سازگار با OpenAI) را به یک نقطه اتصال واحد و یکپارچه که توسط Kong AI Gateway ارائه شده، ارسال می‌کند.
• پیش‌پردازش گیت‌وی (Gateway Pre-processing): کونگ سیاست‌های استاندارد سازمانی را اعمال می‌کند؛ اقداماتی مانند اعتبارسنجی کلیدهای API، بررسی محدودیت‌های نرخ و حذف داده‌های حساس با استفاده از فیلترهای پیشگیری از نشت داده (DLP).
• رهگیری توسط Switchyard (Switchyard Interception): گیت‌وی کونگ متن پرامپت و متادیتا را به پلاگین NeMo Switchyard منتقل می‌کند که به عنوان یک پل با کارایی بالا به موتور Switchyard عمل می‌کند.
• ارزیابی معنایی (Semantic Evaluation): Switchyard پرامپت را تحلیل می‌کند. این موتور می‌تواند از مدل‌های طبقه‌بندی، جست‌وجوی شباهت معنایی در برابر یک پایگاه داده برداری از انواع پرامپت‌های شناخته شده یا قوانین اکتشافی (Heuristic) استفاده کند. برای مثال، عبارت «سلام، چطوری؟» به عنوان کم‌پیچیده طبقه‌بندی می‌شود، در حالی که «یک پیاده‌سازی امن از درخت قرمز-سیاه در زبان Rust بنویس» به عنوان پرامپت با پیچیدگی بالا شناسایی می‌شود.
• انتخاب مدل بالادستی (Upstream Selection): بر اساس طبقه‌بندی و سیاست‌های تعریف شده (کاهش هزینه، کاهش تأخیر یا جایگزینی سخت‌گیرانه)، Switchyard مدل هدف را انتخاب می‌کند. یک پرامپت کم‌پیچیده ممکن است به NVIDIA Nemotron-3.5-Lightning هدایت شود، در حالی که وظایف پیچیده به یک مدل پیشرو (Frontier) می‌روند.
• تغییر فرمت محموله و ارسال (Payload Transformation and Forwarding): کونگ محموله درخواست را ترجمه می‌کند تا با طرح (Schema) API خاص ارائه‌دهنده مدل هدف مطابقت داشته باشد، اعتبارنامه‌های ارائه‌دهنده را از خزانه امن (Secure Vault) خود تزریق کرده و درخواست را ارسال می‌کند.
• پاسخ و جمع‌آوری معیارها (Response and Metric Collection): مدل بالادستی پاسخ را برمی‌گرداند. کونگ آن را به کلاینت منتقل کرده و همزمان میزان مصرف توکن، تأخیر و دقت مسیریابی را در ابزارهای نظارتی متمرکز ثبت می‌کند.

سه مکانیزم مسیریابی

NeMo Switchyard یک ابزار ساده برای تطبیق الگوها نیست؛ بلکه یک چارچوب مسیریابی بسیار بهینه است. این ابزار یک موازنه بنیادی را مدیریت می‌کند: هزینه تصمیم‌گیری برای مسیریابی (از نظر تأخیر یا پردازش) نباید بیشتر از صرفه‌جویی حاصل از انتخاب یک مدل ارزان‌تر در پایین‌دست باشد.

۱. مسیریاب معنایی (بر پایه بردار/Embedding)
این مکانیزم از یک مدل بردارساز (Embedding) سبک و بسیار بهینه استفاده می‌کند تا پرامپت ورودی را به یک بردار تبدیل کند. سپس یک جست‌وجوی سریع «شباهت کسینوسی» (Cosine-similarity) را در برابر مجموعه‌ای از خوشه‌های پرامپت یا «مسیرهای» پیش‌تعریف شده انجام می‌دهد. برای مثال، می‌توان خوشه‌هایی برای «پرس‌وجوهای پشتیبانی مشتری» و «تولید SQL» تعریف کرد. اگر پرامپتی با پشتیبانی مشتری همسو باشد، به یک مدل متوسطِ Fine-tune شده هدایت می‌شود؛ اگر با SQL همسو باشد، به یک مدل تخصصی کدنویسی می‌رود. چون مقایسه‌های برداری بسیار سریع هستند، این رویکرد تأخیر ناچیزی ایجاد می‌کند که در زیرساخت‌های شتاب‌یافته با GPU اغلب زیر یک میلی‌ثانیه است.

۲. مسیریاب مدل-به‌مثابه-داور (بر پایه طبقه‌بندی/Classifier)
برای تصمیمات مسیریابی بسیار پیچیده که در آن‌ها فاصله معنایی کافی نیست، Switchyard از یک مدل طبقه‌بندی تخصصی مانند NVIDIA Nemotron-3.5-Lightning بهره می‌برد. این مدل به‌طور خاص آموزش دیده است تا پرامپت‌ها را بر اساس دشواری، دامنه موضوعی و ایمنی دسته‌بندی کند. اگرچه این روش تأخیر بیشتری ایجاد می‌کند — معمولاً بین ۱۰ تا ۳۰ میلی‌ثانیه بسته به سخت‌افزار و دسته‌بندی (Batching) — اما دقت بسیار بالاتری برای وظایف ظریف فراهم می‌کند. مسیریاب پرامپت را ارزیابی کرده و یک محموله JSON خروجی می‌دهد که کلاس مدل هدف را مشخص می‌کند.

۳. مسیریاب قاعده‌مند و اکتشافی (Rule-Based and Heuristic)
برای سناریوهای قطعی (Deterministic)، Switchyard اجازه می‌دهد قوانینی صریح بر اساس متادیتا تعریف شوند. این قوانین می‌توانند هدرهای درخواست، سطح اشتراک کاربر، مصرف توکن‌های تاریخی جلسه فعلی یا کلمات کلیدی خاص را بررسی کنند. این قابلیت برای اعمال مرزهای سخت ضروری است؛ مثلاً هدایت تمام درخواست‌های کاربران سطح رایگان به مدل‌های متن‌باز، یا تضمین اینکه هر پرامپتی حاوی اطلاعات شناسایی شخصی (PII) منحصراً به مدل‌های On-premise و خود-میزبان ارسال شود.

موازنه هزینه و تأخیر

برای تجسم این استراتژی‌ها، می‌توانیم آن‌ها را بر اساس ویژگی‌های عملیاتی ترسیم کنیم:

• قاعده‌مند/اکتشافی: تأخیر کمتر از ۱ میلی‌ثانیه، هزینه پردازش نزدیک به صفر، ظرافت پایین. بهترین گزینه برای مرزهای سخت انطباق (Compliance) و مسیریابی بر اساس سطح کاربر.
• بردار معنایی: تأخیر ۱ تا ۵ میلی‌ثانیه، هزینه پردازش بسیار کم، ظرافت متوسط. بهترین گزینه برای مسیریابی دامنه-محور (مثلاً کدنویسی در مقابل نویسندگی خلاق).
• مدل طبقه‌بندی (Nemotron-3.5-Lightning): تأخیر ۱۰ تا ۳۰ میلی‌ثانیه، هزینه پردازش کم تا متوسط، ظرافت بالا. بهترین گزینه برای مسیریابی بر اساس پیچیدگی و بهینه‌سازی پویا هزینه-عملکرد.

در عمل، مؤثرترین استقرارها در محیط تولید از یک رویکرد ترکیبی استفاده می‌کنند: ابتدا مسیریابی قاعده‌مند برای انطباق، سپس مسیریاب بردار معنایی برای طبقه‌بندی دامنه، و در نهایت بازگشت به مدل طبقه‌بندی تنها زمانی که امتیاز اطمینان (Confidence Score) مسیریابی به زیر یک آستانه خاص برسد.

نقطه «سربه‌سر» (Break-even) این معماری به گردش کار بستگی دارد. برای پرامپت‌های کوتاه با زمان اجرای ۱۰۰ میلی‌ثانیه، جریمه ۱۵ میلی‌ثانیه‌ای مسیریابی، یک ضربه ۱۵ درصدی است. اما برای استدلال‌های پیچیده عامل‌محور که ۱.۵ تا ۴ ثانیه زمان می‌برند، این سربار نامحسوس است. در مقابل، سود مالی عظیم است. هدایت ۷۰٪ ترافیک از یک مدل پیشرو (۱۵ دلار به ازای هر میلیون توکن) به یک مدل محلی مانند Nemotron-3.5-Lightning (۰.۰۷ دلار به ازای هر میلیون توکن) هزینه‌های عملیاتی را به‌شدت کاهش می‌دهد.

پیاده‌سازی در محیط عملیاتی

پیاده‌سازی این سیستم نیازمند پیکربندی‌های اعلامی (Declarative) در قالب YAML در کونگ است. یک استقرار در سطح تولید معمولاً شامل یک confidence_threshold (مثلاً ۰.۸۵) است. اگر مدل طبقه‌بندی کمتر از ۸۵٪ مطمئن باشد که یک مدل ارزان می‌تواند وظیفه را انجام دهد، به‌طور خودکار درخواست را به یک مدل پرمیوم ارتقا می‌دهد.

در ادامه، یک مثال عینی از پیکربندی اعلامی کونگ برای این ساختار آمده است:

_format_version: "3.0"
_transform: true
services:
  - name: ai-gateway-service
    url: http://localhost:8080
routes:
  - name: agentic-chat-route
    paths:
      - /v1/chat/completions
plugins:
  - name: ai-gateway-switchyard
    config:
      routing_strategy: "complexity_based"
      default_fallback_backend: "premium-frontier-llm"
      router_settings:
        classifier_model: "nvidia/nemotron-3.5-lightning"
        confidence_threshold: 0.85
        latency_budget_ms: 25
      backends:
        - name: "utility-local-llm"
          provider: "openai-compatible"
          url: "http://nemotron-lightning-service.local:8000/v1"
          api_key: "${LOCAL_NEMOTRON_API_KEY}"
          max_tokens_limit: 2048
          cost_per_million_tokens: 0.07
          selection_criteria:
            max_complexity: "medium"
            allowed_domains: ["general", "simple-qa", "formatting"]
        - name: "premium-frontier-llm"
          provider: "openai"
          url: "https://api.openai.com/v1"
          api_key: "${OPENAI_API_KEY}"
          max_tokens_limit: 4096
          cost_per_million_tokens: 15.00
          selection_criteria:
            max_complexity: "high"
            allowed_domains: ["complex-reasoning", "code-generation", "math"]
  - name: rate-limiting
    config:
      second: 100
      policy: local

پارامترهای کلیدی پیکربندی عبارتند از:

• routing_strategy: "complexity_based": به پلاگین دستور می‌دهد تا از قابلیت‌های طبقه‌بندی برای ارزیابی پیچیدگی ساختاری و معنایی استفاده کند.
• default_fallback_backend: یک مکانیزم ایمنی (Fail-safe). اگر موتور مسیریابی با خطا مواجه شود یا زمان پاسخگویی (Timeout) تمام شود، درخواست به مدل پیشرو پرمیوم هدایت می‌شود تا در دسترس بودن سرویس به قیمت کاهش موقت حاشیه سود تضمین شود.
• router_settings.confidence_threshold: در این مثال روی ۰.۸۵ (۸۵٪) تنظیم شده است. اگر اطمینان طبقه‌بندی‌کننده به اینکه utility-local-llm می‌تواند پرامپت را مدیریت کند کمتر از این مقدار باشد، درخواست به premium-frontier-llm ارتقا می‌یابد.
• cost_per_million_tokens: اعلام معیارهای هزینه مستقیماً در پیکربندی به گیت‌وی اجازه می‌دهد تا صرفه‌جویی‌های مالی را به‌صورت لحظه‌ای برای ذینفعان تجاری ردیابی و گزارش کند.

چالش‌های عملیاتی

مدیریت وضعیت (State Management) همچنان یک مانع اصلی در گفتگوهای چند-مرحله‌ای است. اگر یک جلسه برای یک نوبت پیچیده به مدل پیشرو ارتقا یابد، آن مدل نیاز به زمینه (Context) نوبت‌های قبلی دارد که توسط مدل کوچک‌تر مدیریت شده بودند. گیت‌وی باید یا وضعیت جلسه را حفظ کند (ذخیره نوبت‌های قبلی و تزریق آن‌ها به محموله جدید) یا «چسبندگی جلسه» (Session Stickiness) را اجبار کند.

راهکار پیشنهادی، «چسبندگی جلسه با تایمر کاهش» (Session stickiness with a decay timer) است. هنگامی که یک جلسه ارتقا می‌یابد، برای مدت زمان آن حلقه تعامل فعال روی مدل پرمیوم باقی می‌ماند و سپس منطق مسیریابی برای جلسات جدید بازنشانی می‌شود.

برای تضمین آمادگی در محیط تولید، تیم‌های پلتفرم باید این چک‌لیست را دنبال کنند:

• استقرار محلی مسیریاب: موتور NeMo Switchyard را به صورت یک sidecar یا میکروسرویس محلی اختصاصی روی همان سخت‌افزار فیزیکی یا نود کوبرنتیز (Kubernetes node) که Kong AI Gateway قرار دارد اجرا کنید تا تأخیر انتقال شبکه به حداقل برسد.
• قطع‌کننده‌های جایگزین (Fallback Circuit Breakers): بررسی‌های سلامت فعال (Active Health Checks) کونگ را برای نظارت بر موتور مسیریابی و ارائه‌دهندگان LLM پایین‌دست پیکربندی کنید. اگر یک ارائه‌دهنده شکست بخورد، کونگ باید فوراً به جایگزین‌ها مسیریابی کند.
• محدودیت نرخ توکن-محور (Token Bucket Rate Limiting): محدودیت نرخ را بر اساس مصرف واقعی توکن‌ها اعمال کنید، نه تعداد خام درخواست‌ها. Kong AI Gateway می‌تواند معیارهای مصرف را در هدرهای پاسخ تجزیه کرده و سهمیه‌های کاربر را به‌صورت پویا کاهش دهد.
• نظارت بر انحراف (Drift Monitoring): به‌طور منظم درخواست‌های مسیریابی شده را بازرسی کنید تا مطمئن شوید مدل طبقه‌بندی، پرامپت‌های پیچیده را به اشتباه طبقه‌بندی نمی‌کند (که منجر به تجربه کاربری ضعیف می‌شود) یا بیش از حد به مدل‌های پرمیوم تخصیص نمی‌دهد (که هدف کاهش هزینه را از بین می‌برد).

این تغییر، مدل‌های زبانی را به نقاط انتهایی کالایی (Commoditized Utility Endpoints) و قابل تعویض تبدیل می‌کند. تیم‌های پلتفرم اکنون می‌توانند مدل‌ها را عوض کرده یا آستانه‌های هزینه را بدون شکستن حتی یک خط کد کلاینت تنظیم کنند. برای بهینه‌سازی استک خود، پرکارترین حلقه‌های عامل‌محور را شناسایی کرده و یک نمونه محلی از Switchyard را برای انتقال ترافیک به سمت جایگزین‌های متن‌باز بهینه تست کنید.