اگر امروز زیرساخت استنتاج مدلهای خود را بر پایه مقیاسدهندههای استاندارد کوبرنتیز بنا کردهاید، احتمالاً کاربران شما در صفهای طولانی منتظر میمانند در حالی که سیستم تصور میکند ظرفیت کافی دارد. این بحران زمانی رخ میدهد که پردازنده گرافیکی به ۱۰۰٪ ظرفیت میرسد اما پردازنده مرکزی (CPU) تقریباً بیکار است و سیگنال اشتباهی به سیستم ارسال میکند.
این شکاف زیرساختی درست زمانی رخ میدهد که کوبرنتیز به استاندارد صنعتی برای هوش مصنوعی زاینده (Generative AI) تبدیل شده است. طبق گزارش CNCF در نظرسنجی سالانه ۲۰۲۵، ۶۶٪ سازمانهایی که مدلهای هوش مصنوعی را میزبانی میکنند، از کوبرنتیز برای مدیریت بخشی یا تمام بارهای کاری استنتاج خود استفاده میکنند. همانطور که در تحلیل قبلی ما دربارهی بهینهسازی تجربه خرید با ابزارهای Agentfix اشاره کردیم، تمرکز صنعت اکنون به سمت کارایی محاسباتی زیرساختی جابهجا شده است تا این عاملها در مقیاس واقعی عملیاتی شوند. این تلاش برای بهینهسازی لایهی نرمافزاری در کنار رویکردهای سختافزاری قرار دارد؛ برای مثال، استراتژی OpenAI در توسعه تراشه Jalapeño نیز دقیقاً با هدف کاهش هزینههای استنتاج مدلهای زبانی و افزایش بهرهوری سختافزاری دنبال میشود.
برای حل این مشکل، توسعهدهندگان به ترکیب KServe و KEDA (KEDA) روی آوردند. بر خلاف روشهای سنتی، این پشته (Stack) اجازه میدهد مقیاسدهی نه بر اساس منابع عمومی سیستم، بلکه بر اساس معیارهای دقیق GPU انجام شود.
بر اساس مستندات فنی این دو ابزار، نقش آنها به شرح زیر است:
- KServe: یک پروتکل استاندارد و بدونسرور (Serverless) برای سرویسدهی به مدلها فراهم میکند.
- KEDA: سیستم را قادر میسازد تا مقیاسدهی را بر اساس رویدادهای خارجی و معیارهای سفارشی، مانند پهنای باند حافظه GPU یا بار محاسباتی، فعال کند.
این تغییر، فرض بنیادی استقرار AI را دگرگون میکند: محاسبات دیگر یک منبع ایستا برای تخصیص بیش از حد نیست، بلکه به یک ابزار پویا تبدیل شده که با حجم درخواستها نفس میکشد. برای اپراتورها، این یعنی کاهش هزینههای ابری و حذف تأخیرهای «راهاندازی سرد» (Cold Start) — شبیه به گرم کردن موتور ماشین قبل از حرکت که در مقیاسدهی ضعیف، زمان زیادی از کاربر میگیرد.
گام بعدی شما
- معیارهای فعلی HPA خود را بررسی کنید تا ببینید آیا گرههای GPU در حالی که کاربران منتظرند، بیکار میمانند یا خیر.
- مستندات KEDA را برای فعالسازهای معیار سفارشی (Custom Metric Triggers) مطالعه کنید تا رویدادهای مقیاسدهی را با تلمتری واقعی GPU هماهنگ کنید.
- مدلهای استقرار خود را به سمت معماری Serverless KServe ببرید تا مدیریت هزینه بهینه شود.
اما تأثیر این بهینهسازی بر تأخیر نهایی (Latency) در مدلهای بسیار حجیم حتی پیچیدهتر است؛ برای درک بهتر، تحلیل ما درباره مدیریت حافظه KV Cache را دنبال کنید.
گفتگو