تصور کنید به جای کلنجار رفتن با کتابخانه‌های مختلف برای هر مدل، تنها با یک درخواست ساده بتوانید بین مدل‌های گوگل، آنتروپیک و OpenAI جابه‌جا شوید. این وعده‌ی اصلی fastapi-multi-llm-starter است؛ قالب متن‌بازی که در ۱۰ سپتامبر ۲۰۲۶ منتشر شد تا پراکندگی APIهای ارائه‌دهندگان هوش مصنوعی را به پایان برساند.
به نقل از مستندات این پروژه، هدف اصلی حذف وابستگی به SDKهای پایتونی است که برای هر شرکت متفاوت است. در واقع این ابزار مانند یک مترجم همه‌کاره عمل می‌کند که زبان‌های مختلف مدل‌ها را به یک زبان واحد تبدیل می‌کند تا برنامه‌نویس مجبور نباشد برای هر مدل، کد جدید بنویسد. همان‌طور که در تحلیل قبلی ما درباره‌ی Oxlo.ai و رفع گلوگاه‌های استنتاج اشاره کردیم، تمرکز ابزارهای جدید اکنون از قدرت مدل به سمت بهبود تجربه‌ی توسعه‌دهنده تغییر کرده است. این رویکرد یادآور استراتژی‌های معماری ترکیبی NLP است که در آن وظایف بر اساس پیچیدگی بین مدل‌های مختلف توزیع می‌شوند تا بهره‌وری افزایش یابد.
طبق گزارش منتشر شده، ادغام مدل‌های مختلف معمولاً به دلیل تفاوت در منطق تجزیه (Parser) برای رویدادهای ارسالی سرور (SSE) و فرمت‌های ناسازگار بلوک‌های استدلال، باعث ایجاد بدهی فنی می‌شود. این قالب به جای استفاده از فریم‌ورک‌های سنگین، از فراخوانی‌های HTTP ناهمگام مستقیم از طریق httpx.AsyncClient استفاده می‌کند تا سرعت و کنترل بیشتری فراهم کند. در این میان، پیاده‌سازی صحیح جریان‌های داده نیازمند رعایت استانداردهای امنیتی است، مشابه آنچه در بررسی مرزهای امنیتی برای جداسازی جریان داده‌های AI مورد بحث قرار دادیم.
معماری فنی
مرکز این سامانه یک نقطه اتصال (Endpoint) با مسیر POST /v1/chat/stream است که چهار رویداد استاندارد را ارسال می‌کند:
thinking: توکن‌های مربوط به زنجیره تفکر (Chain-of-Thought) — شبیه وقتی شاگرد ریاضی پای تخته بلند بلند فکر می‌کند تا به جواب برسد.content: متن پاسخ نهایی برای کاربر.tool_call: درخواست‌های مربوط به فراخوانی تابع (Function Calling).done: سیگنال پایان جریان داده.
برای جلوگیری از سخت‌کد کردن (Hardcoding)، این پروژه از یک کاتالوگ به نام models.json استفاده می‌کند. به این ترتیب توسعه‌دهندگان می‌توانند مدل‌های جدیدی مثل Claude Sonnet 5، Gemini 3.8 Flash یا GPT 5.6 Terra را تنها با ویرایش یک فایل JSON اضافه کنند. در نهایت، بک‌اند این گزینه‌ها را به‌صورت پویا از طریق GET /v1/models ارائه می‌دهد. پیش از انتقال ترافیک عملیاتی به چنین زیرساخت‌هایی، توصیه می‌شود معیارهای حیاتی بازرسی زیرساخت‌های واسط را برای اطمینان از پایداری سیستم بررسی کنید.
این تغییر معماری به معنای پایان وابستگی به یک ارائه‌دهنده (Provider Lock-in) در سطح کد است. با استانداردسازی بدنه درخواست و جریان پاسخ، می‌توان مدل‌ها را بر اساس هزینه یا تأخیر (Latency) بدون نیاز به بازنویسی بخش فرانت‌اند جابه‌جا کرد.
گام بعدی شما
- کد منبع را از گیت‌هاب دریافت کرده و تحت لایسنس MIT در پروژه‌های خود به کار ببرید.
- با اجرای محیط Playground در آدرس
http://localhost:8000/تأخیر استنتاج و صحت بلوک‌های استدلال را تست کنید. - فایل
models.jsonرا برای افزودن مدل‌های اختصاصی خود شخصی‌سازی کنید.
اما مدیریت این مدل‌ها تنها نیمی از مسیر است؛ برای درک چگونگی بهینه‌سازی هزینه‌های استنتاج در مقیاس بالا، به تحلیل ما درباره‌ی تراشه‌های Blackwell مراجعه کنید.
گفتگو