گیت‌وی Bifrost هزینه استنتاج ابزارهای هوش مصنوعی را ۹۲.۲٪ کاهش داد

اگر برای هر دور استنتاج در یک سیستم عامل‌محور ۳۷۷ دلار هزینه می‌کنید، باید بدانید که این رقم می‌تواند به ۲۹ دلار برسد. Bifrost با تغییر بنیادین در نحوه تعامل مدل‌ها با ابزارها، نرخ هزینه‌های توکن را ۹۲.۲٪ کاهش داده است. این کاهش چشمگیر هزینه از طریق تغییر رویکرد در تعامل مدل‌ها با ابزارها حاصل شده است؛ یعنی فاصله گرفتن از روش «کلاسیک» MCP که در آن پنجره زمینه (Context Window) با تعاریف انبوه ابزارها پر می‌شد.

بسیاری از سازمان‌ها امروز با هرج‌ومرجی در زیرساخت‌های هوش مصنوعی دست‌وپنجه نرم می‌کنند. تصور کنید شرکتی را که هم‌زمان از شش ارائه‌دهنده مختلف هوش مصنوعی استفاده می‌کند: OpenAI برای ChatGPT، Anthropic برای Claude و Groq برای استنتاج‌هایی که سرعت در آن‌ها حیاتی است. هر یک از این ارائه‌دهندگان فرمت‌های API، مدل‌های احراز هویت، محدودیت‌های نرخ (Rate Limits) و هزینه‌های متفاوتی دارند. همچنین، هر کدام حالت‌های شکست (Failure Modes) خاص خود را دارند. در چنین وضعیتی، کد اپلیکیشن شما باید تمام این جزئیات را بداند، تیم امنیتی باید درخواست‌ها را در تمام این مسیرها حسابرسی کند، تیم مالی باید هزینه‌ها را در چندین پلتفرم ردیابی نماید و تیم انطباق (Compliance) باید حاکمیت داده‌ها را در همه آن‌ها تضمین کند.

وقتی ابزارهای خارجی — مانند سیستم‌های فایل، جستجوی وب، پایگاه‌داده‌ها، سیستم‌های تیکتینگ یا منطق‌های تجاری سفارشی — را به این مجموعه اضافه می‌کنید، پیچیدگی به شدت افزایش می‌یابد؛ زیرا هر کلاینت باید اتصالات و اعتبارنامه‌های (Credentials) خاص خود را حفظ کند. اینجاست که پروتکل زمینهٔ مدل (MCP) وارد می‌شود؛ استانداردی باز که به مدل‌های هوش مصنوعی اجازه می‌دهد ابزارها را در زمان اجرا کشف و اجرا کنند، به‌جای آنکه صرفاً به تولید متن محدود باشند. این استاندارد در واقع نیاز به توسعه APIهای مجزا برای دسترسی به داده‌ها را به شدت کاهش می‌دهد و یکپارچگی بیشتری میان مدل و ابزار ایجاد می‌کند.

اما مدیریت این اتصالات در مقیاس صنعتی نیازمند یک گیت‌وی است. Bifrost این مشکل را با تکرار همان کاری حل می‌کند که گیت‌وی‌های HTTP برای دهه‌ها انجام داده‌اند: متمرکز کردن کنترل. Bifrost هم به‌عنوان یک گیت‌وی هوش مصنوعی (که ترافیک LLM را به بیش از ۲۰ ارائه‌دهنده مسیریابی می‌کند) و هم به‌عنوان یک گیت‌وی MCP (که به سرورهای ابزار متصل شده و آن‌ها را ارائه می‌دهد) عمل می‌کند.

معماری کنترل

Bifrost بین اپلیکیشن‌های شما (یا کلاینت‌های خارجی MCP مانند Claude Desktop و Cursor) و سرورهای MCP بالادستی قرار می‌گیرد. به‌جای آنکه هر کلاینت اتصالات مستقل خود را مدیریت کند، این گیت‌وی ابزارها را از چندین سرور MCP در یک رجیستری واحد تجمیع کرده و یک لایه حاکمیتی سخت‌گیرانه شامل احراز هویت، فیلترینگ ابزارها، بودجه‌بندی و محدودیت نرخ را اعمال می‌کند.

در Bifrost، این الگو در دو نقش مکمل پیاده‌سازی شده است:

• MCP Client: اتصال به سرورهای MCP خارجی از طریق STDIO، HTTP یا SSE.
• MCP Server (Gateway): ارائه ابزارهای تجمیع‌شده در مسیر /mcp برای Claude Desktop، Cursor و سایر کلاینت‌های سازگار با MCP.

جزئیات اتصال

پروتکل‌های اتصال در سه روش مدیریت می‌شوند:

• STDIO: یک زیرپردازش (Subprocess) ایجاد کرده و از طریق stdin/stdout ارتباط برقرار می‌کند. این روش برای ابزارهای محلی، ابزارهای خط فرمان (CLI) و اسکریپت‌ها ایده‌آل است.
• HTTP: درخواست‌ها را به یک نقطه اتصال HTTP ارسال می‌کند. این روش برای APIهای راه دور، میکروسرویس‌ها و توابع ابری (Cloud Functions) مناسب است.
• SSE (Server-Sent Events): برای اتصالات پایدار استفاده می‌شود و بهترین گزینه برای داده‌های بلادرنگ و ابزارهای استریم است.

احراز هویت از طریق یک پارامتر auth_type در سطح بالای هر کلاینت پیکربندی می‌شود. گیت‌وی از پنج نوع پشتیبانی می‌کند: none (بدون احراز هویت)، headers (هدرها)، oauth (او-آت)، per_user_oauth (او-آت کاربر-محور) و per_user_headers (هدرهای کاربر-محور). لازم به ذکر است که انواع احراز هویت OAuth فقط برای اتصالات HTTP و SSE اعمال می‌شوند و تنها جریان «کد مجوز» (Authorization Code flow) را پیاده‌سازی می‌کنند و از حالت client-credentials پشتیبانی نمی‌کنند.

برای شناسایی در سطح سازمانی، Bifrost Enterprise با ارائه‌دهندگان OIDC مانند Okta، Microsoft Entra و Keycloak ادغام می‌شود تا نقش‌ها را از گروه‌های IdP، نقش‌های اپلیکیشن یا ادعاهای سفارشی (Custom Claims) استخراج کرده و در هر نشست همگام‌سازی کند.

نقاط اتصال گیت‌وی و کشف ابزارها

وقتی Bifrost به‌عنوان یک سرور MCP عمل می‌کند، کلاینت‌های خارجی به دو نقطه اتصال اصلی متصل می‌شوند:

• POST /mcp: برای کشف ابزارها و اجرای آن‌ها با استفاده از JSON-RPC 2.0.
• GET /mcp: برای استفاده از Server-Sent Events جهت حفظ اتصالات پایدار.

کلاینت‌ها میزبان MCP خود را به آدرس http://your-bifrost-gateway/mcp تنظیم می‌کنند. آن‌ها می‌توانند به‌صورت اختیاری یک کلید مجازی را در هدرهای Authorization یا x-bf-vk یا x-api-key یا x-goog-api-key ارسال کنند.

ابزارها هنگام اتصال کلاینت کشف شده و در فواصل زمانی قابل تنظیم (به‌صورت پیش‌فرض ۱۰ دقیقه) به‌روزرسانی می‌شوند. برای جلوگیری از تداخل نام‌ها، هر ابزار از یک قرارداد نام‌گذاری پیشوندی پیروی می‌کند: clientName-toolName (برای مثال، filesystem-read_file).

مسیرهای اجرا و امنیت

Bifrost برای جلوگیری از مشکل «عامل‌های سرکش» (Rogue Agent)، دو مدل اجرای متمایز را پیاده‌سازی کرده است.

۱. مسیر گیت‌وی LLM (استنتاج + ابزارها)
در این جریان، سیستم بدون وضعیت (Stateless) و صریح است. وقتی اپلیکیشن شما /v1/chat/completions را فراخوانی می‌کند، Bifrost به‌طور خودکار دستورات ابزار را اجرا نمی‌کند. جریان به این صورت است:
۱. POST /v1/chat/completions $ \rightarrow $ مدل LLM پیشنهادهای فراخوانی ابزار را برمی‌گرداند (اما اجرا نمی‌کند).
۲. بررسی اپلیکیشن $ \rightarrow $ اپلیکیشن شما فراخوانی‌ها را بررسی کرده، قوانین امنیتی را اعمال می‌کند یا تایید کاربر را می‌گیرد.
۳. POST /v1/mcp/tool/execute $ \rightarrow $ فراخوانی‌های تایید شده به‌طور صریح اجرا می‌شوند.
۴. POST /v1/chat/completions $ \rightarrow $ گفتگو با نتایج ابزارها ادامه می‌یابد.

۲. مسیر خالص گیت‌وی MCP (مانند Claude Desktop و Cursor)
وقتی کلاینت‌های MCP خارجی مستقیماً به /mcp متصل می‌شوند، Bifrost ابزارها را از طریق پروتکل MCP ارائه می‌دهد. در اینجا، اپلیکیشن میزبان (و نه Bifrost) حلقه عامل را اجرا کرده و تصمیم می‌گیرد که آیا هر tools/call نیاز به تایید کاربر دارد یا خیر. در این حالت، تنظیمات tools_to_auto_execute در Bifrost نادیده گرفته می‌شود؛ زیرا این تنظیم فقط در «حالت عامل» (Agent Mode) زمانی که Bifrost خودش حلقه LLM را مدیریت می‌کند، کاربرد دارد.

مکانیسم‌های فیلترینگ ابزارها

امنیت از طریق رویکرد «رد پیش‌فرض» (Deny-by-default) اعمال می‌شود. اگر یک کلید مجازی هیچ mcp_configs پیکربندی شده‌ای نداشته باشد، هیچ ابزاری دریافت نمی‌کند. کلاینت‌هایی که در mcp_configs لیست نشده‌اند، به‌طور ضمنی مسدود می‌شوند. دسترسی‌ها در سه سطح فیلتر می‌شوند:

• پیکربندی کلاینت: پارامتر tools_to_execute در هر کلاینت MCP (به‌عنوان خط پایه).
• هدرهای درخواست: استفاده از x-bf-mcp-include-clients و x-bf-mcp-include-tools در هر درخواست.
• پیکربندی کلید مجازی: آرایه mcp_configs (که اولویت آن بر هدرهای درخواست است).

برای مثال، یک کلید محیط Staging را می‌توان به‌گونه‌ای محدود کرد که فقط به یک کلاینت پایگاه‌داده خاص و یک ابزار واحد دسترسی داشته باشد؛ این کار از طریق یک درخواست POST به /api/governance/virtual-keys با بدنه JSON انجام می‌شود.

حل مشکل مالیات توکن با Code Mode

بزرگ‌ترین هزینه پنهان در هوش مصنوعی عامل‌محور، «مالیات توکن» است. در MCP کلاسیک، تعریف هر ابزار موجود در هر نوبت گفتگو به مدل تزریق می‌شود. با رشد کتابخانه ابزارهای شما، هزینه‌های ورودی (Input Costs) به شدت افزایش می‌یابد.

Bifrost این مشکل را با Code Mode حل کرده است. به‌جای ارائه صدها تعریف ابزار به‌طور مستقیم، هوش مصنوعی کدی پایتونی می‌نویسد تا ابزارها را در یک محیط ایزوله (Sandbox) ارکستره کند. در بنچمارک‌هایی که شامل ۵۰۸ ابزار در ۱۶ سرور بود، این روش توکن‌های ورودی را ۹۲.۸٪ کاهش داد (از ۷۵.۱ میلیون به ۵.۴ میلیون توکن) و هزینه تخمینی را از ۳۷۷ دلار به ۲۹ دلار در هر دور رساند، در حالی که نرخ موفقیت ۱۰۰٪ حفظ شد.

چشم‌انداز سازمانی

برای سازمان‌هایی که به پایداری بالا (High Availability) نیاز دارند، Bifrost Enterprise یک لایه خوشه‌بندی و یک بک‌اِند PostgreSQL اضافه می‌کند. این نسخه مفهوم MCP Tool Groups را معرفی می‌کند؛ بسته‌های قابل استفاده مجددی از ابزارهای MCP که می‌توان آن‌ها را به کلیدهای مجازی، تیم‌ها، مشتریان، کاربران، ارائه‌دهندگان یا API Keyها متصل کرد. در زمان درخواست، Bifrost تنها مجموع ابزارهای گروه‌های منطبق را ارائه می‌دهد و یک لایه سیاست‌گذاری را بالاتر از پیکربندی‌های هر کلید قرار می‌دهد.

حاکمیت اداری

حاکمیت اداری از طریق RBAC مدیریت می‌شود که به‌جای اجرای ابزارها در زمان اجرا، بر سطح اداری (چه کسی می‌تواند تنظیمات را ویرایش کند یا لاگ‌ها را بخواند) نظارت دارد. مجوزهای RBAC جفت‌های «منبع $ \times $ عملیات» هستند (مثلاً MCPGateway:Update یا AuditLogs:View). سه نقش سیستمی تعریف شده است:

• Admin: دارای ۴۲ مجوز.
• Developer: دارای ۲۷ مجوز.
• Viewer: دارای ۱۴ مجوز.

نسخه Enterprise همچنین ردپاهای رویدادهای اداری امضا شده و قابل فیلتر (Audit Logs) را فراهم می‌کند که قابلیت خروجی به JSON، JSON Lines یا Syslog دارند. لاگ‌های درخواست‌ها را می‌توان به‌طور خودکار به S3، GCS یا BigQuery صادر کرد. همچنین حفاظ‌هایی (Guardrails) برای شناسایی داده‌های حساس (PII)، شناسایی اسرار (Secrets)، ایمنی محتوا و Regexهای سفارشی روی ترافیک LLM و اجرای ابزارهای MCP در دسترس است.

تحلیل مقایسه‌ای

در مقایسه با سایر گزینه‌های صنعتی، توازن‌ها روشن است:

• Docker MCP Gateway: یک راهکار با لایسنس MIT برای ارکستراسیون سرورهای MCP به‌عنوان کانتینرهای ایزوله است. این ابزار سندباکسینگ شبکه قوی، محدودیت منابع و جریان‌های OAuth داخلی دارد اما فاقد مسیریابی LLM و بهینه‌سازی توکن Code Mode است.
• Microsoft MCP Gateway: یک پروکسی معکوس بومی K8s برای AKS است. این سیستم مسیریابی Stateful آگاه از نشست و ادغام عمیق با Entra ID را فراهم می‌کند و اجازه می‌دهد APIهای REST از طریق Azure API Management به‌عنوان سرورهای MCP ارائه شوند، اما ساختار آن بین چندین سرویس (AKS gateway، APIM و API Center) تقسیم شده است.
• AWS AgentCore: یک سرویس کاملاً مدیریت‌شده در Bedrock است. این سرویس از جستجوی معنایی در کاتالوگ ابزارها و IAM SigV4 بومی پشتیبانی می‌کند، اما متمرکز بر Bedrock است و لایه متن‌باز یا امکان استقرار در محیط‌های ایزوله (Air-gapped) را ندارد.
• Kong MCP Gateway: گیت‌وی هوش مصنوعی Kong (نسخه ۳.۱۲ به بعد) را با افزونه‌هایی برای تبدیل REST-to-MCP و OAuth 2.1 گسترش می‌دهد. با این حال، این‌ها افزونه‌های پولی سازمانی هستند و مسیریابی بومی LLM در بیش از ۲۰ ارائه‌دهنده را شامل نمی‌شوند.

سلامت، تاب‌آوری و عملکرد

Bifrost کلاینت‌های متصل MCP را با بررسی‌های سلامت (Health Checks) قابل تنظیم نظارت می‌کند. به‌طور پیش‌فرض، هر ۱۰ ثانیه یک Ping با مهلت ۵ ثانیه ارسال می‌شود؛ ۵ شکست متوالی باعث می‌شود کلاینت «ناپایدار» علامت‌گذاری شود. کلاینت‌های HTTP/SSE از استراتژی اتصال مجدد make-before-break استفاده می‌کنند، در حالی که کلاینت‌های STDIO از روش close-first بهره می‌برند. برای مدیریت شکست‌های گذرا، مکانیزم Backoff نمایی خودکار به کار گرفته شده است.

تأخیر (Latency) یک دغدغه حیاتی برای گیت‌وی‌های عملیاتی است. بنچمارک‌های Bifrost نشان می‌دهند که در ۵۰۰۰ درخواست در ثانیه (RPS) در مسیر مسیریابی LLM، سربار هر درخواست تنها ۱۱ میکروثانیه است که آن را برای بارهای کاری حساس به تأخیر مناسب می‌کند.

استقرار و مدل‌سازی هزینه

گزینه‌های استقرار از یک دستور ساده npx -y @maximhq/bifrost برای توسعه محلی تا استقرار در VPC برای محیط‌های ایزوله متغیر است. لایه Enterprise همچنین Bifrost Edge (نسخه آلفا) را ارائه می‌دهد که ترافیک AI و MCP را از هر لپ‌تاپ بدون نیاز به پیکربندی مجدد هر اپلیکیشن، از طریق گیت‌وی مسیریابی می‌کند.

برای استقرار سازمانی در محیط عملیاتی، خط پایه توصیه شده عبارت است از:

• پادهای گیت‌وی: حداقل ۳ پاد، هر کدام با ۴ vCPU و ۱۶ گیگابایت رم.
• PostgreSQL: ۸ vCPU و ۱۶ تا ۲۴ گیگابایت رم. استفاده از ذخیره‌سازهای شیء (S3, GCS) برای بدنه لاگ‌ها، فشار روی نوشتن در PostgreSQL را کاهش داده و تأخیر داشبورد را بهبود می‌بخشد. آرشیو لاگ‌های حسابرسی در بخش audit_logs.object_storage پیکربندی می‌شود.

اثرات اقتصادی

فراتر از زیرساخت، توجیه اقتصادی یک گیت‌وی MCP عمدتاً بر بهره‌وری توکن‌ها استوار است. علاوه بر Code Mode، Bifrost قابلیت‌های زیر را ارائه می‌دهد:

• بودجه‌های کلید مجازی: محدودیت‌های دلاری با دوره‌های بازنشانی قابل تنظیم.
• محدودیت نرخ: کنترل توکن‌ها و تعداد درخواست‌ها برای هر کلید مجازی.
• کشینگ معنایی (Semantic Caching): کاهش هزینه و تأخیر برای پرس‌وجوهای مشابه (در نسخه متن‌باز موجود است).
• فیلترینگ ابزارها: کاهش اندازه زمینه حتی در حالت کلاسیک MCP از طریق ارائه ابزارهای ضروری.

این تغییر به سمت گیت‌وی‌های متمرکز MCP به این معناست که عصر «غرب وحشی» در استفاده از ابزارها توسط عامل‌ها به پایان می‌رسد. سازمان‌ها اکنون از آزمایش‌های ساده به سمت یک صفحه کنترل ساختاریافته می‌روند که در آن هر فراخوانی ابزار، حسابرسی، بودجه‌بندی و برای هزینه بهینه شده است.

برای مشاهده این صرفه‌جویی‌ها در عمل، توسعه‌دهندگان می‌توانند با نسخه متن‌باز از طریق npx -y @maximhq/bifrost شروع کنند یا مجموعه کامل حاکمیتی را در مستندات Enterprise بررسی نمایند.

گام بعدی شما

• اگر از ابزارهای MCP در Cursor یا Claude Desktop استفاده می‌کنید، نسخه متن‌باز Bifrost را با دستور npx -y @maximhq/bifrost تست کنید.
• هزینه‌های توکن خود را در حالت‌های مختلف (تزریق مستقیم در برابر Code Mode) مقایسه کنید تا گلوگاه‌های مالی را شناسایی کنید.
• برای محیط‌های سازمانی، استقرار در VPC را برای حفظ حریم خصوصی داده‌ها در اولویت قرار دهید.

اما داستان سخت‌افزاری این تحول حتی شگفت‌انگیزتر است — به تحلیل ما درباره‌ی تراشه‌های Blackwell مراجعه کنید.