اگر امروز برای مدیریت مدلهای مختلف هوش مصنوعی از چندین API مجزا استفاده میکنید، هزینه و پیچیدگی عملیاتی شما قرار است بهشدت کاهش یابد. این اتفاق با تبدیل LiteLLM به یک ارائهدهنده بومی در زیرساخت ابری اوراکل (OCI) رخ داده است تا توسعهدهندگان بدون درگیری با جزئیات فنی هر مدل، تنها با یک رابط کاربری به همه آنها دسترسی داشته باشند.
طبق گزارشی که در ۲۶ ژوئن ۲۰۲۶ در وبسایت dev.to منتشر شد، این ادغام یک قابلیت سطح اول (First-class) است و برخلاف افزونههای جامعهمحور، مستقیماً در لایه مدیریت استنتاج (Inference) — که شبیه به لحظهٔ واقعی آشپزی است، نه یادگیری دستور پخت — قرار گرفته است. همانطور که در تحلیل قبلی ما دربارهی سادهسازی استقرار سرورها با vLLM اشاره کردیم، صنعت اکنون از مرحلهٔ «چگونه مدل را اجرا کنیم» به مرحلهٔ «چگونه دسترسی به مدلهای مختلف را مدیریت کنیم» رسیده است.
بر اساس مستندات این سرویس، کاربران اکنون میتوانند درخواستهای خود به کاتالوگ متنوعی از مدلها در OCI مسیردهی کنند، از جمله:
- Meta Llama 4 (شامل نسخههای Maverick، Scout، ۳.۳ و ۳.۲ Vision)
- xAI Grok (نسخههای ۴، ۳ و Grok Code)
- Cohere Command (نسخههای A و +R) و Cohere Embed (v۳ و v۴)
- مدلهای Google Gemini و OpenAI از طریق زیرساخت اوراکل
LiteLLM تمام کارهای دشوار نظیر امضای درخواستهای OCI Signature v1، تکرار خودکار درخواستهای شکستخورده و پیادهسازی حفاظها (Guardrails) در سطح تولید را بر عهده میگیرد. به زبان ساده، کد برنامه شما فقط با LiteLLM صحبت میکند و این ابزار مانند یک مترجم خبره، درخواست را به زبان هر ارائهدهنده ترجمه کرده و سپس به اوراکل میفرستد تا پاسخ نهایی تولید شود.
این همکاری تعداد ارائهدهندههای پشتیبانیشده در LiteLLM را به بیش از ۱۰۰ مورد رساند. به گزارش منابع صنعتی، این روند مشابه استراتژی AWS در Bedrock AgentCore و Cisco در AI Defense است و نشان میدهد غولهای ابری دیگر به جای ساخت ابزارهای پراکنده، به دنبال درگاههای استاندارد و پیشساخته هستند.
گام بعدی شما
- اگر در OCI فعالیت میکنید، مسیر پیکربندی OCI config را در LiteLLM تنظیم کنید تا دسترسی فوری به مدلهای Llama 4 و Grok برقرار شود.
- لیست مدلهای فعال خود را با یک فایل کانفیگ ساده مدیریت کنید تا از تکرار کد برای APIهای مختلف خلاص شوید.
- هزینههای استنتاج خود را از طریق لایه مدیریت یکپارچه LiteLLM رصد کنید تا از بودجههای پیشبینینشده جلوگیری کنید.
اما داستان سختافزاری این تحول حتی شگفتانگیزتر است — به تحلیل ما دربارهی تراشههای Blackwell مراجعه کنید. در همین راستا، OpenAI نیز برای کاهش وابستگی به سختافزارهای موجود، استراتژی متفاوتی را برای ساخت تراشههای استنتاج اختصاصی دنبال میکند تا انحصار فعلی را به چالش بکشد. این تلاشها در نهایت به همکاریهای پیچیدهای نظیر مشارکت OpenAI و Broadcom منجر شده تا عملکردی در سطح تراشههای Blackwell به دست آورند.
گفتگو