AWS در ۶ نوامبر ۲۰۲۶ پشتیبانی GPU چندنمونه (MIG) را برای SageMaker Inference فعال کرد. یک پارتیشن H100 در تست‌ها از A100 کامل ۵۳ تا ۸۹ درصد توکن در ثانیه بیشتر تحویل داد. این محدودیت در تخصیص کل GPU، چالش‌هایی است که تجمیع GPUهای توزیع‌شده برای حذف نیاز به خوشه‌های مرکزی سعی می‌کند برطرف کند.
اعلام و دامنه
این قابلیت تنها برای نقاط پایانی بی‌درنگ (Real-time endpoints) که از مولفه‌های استنتاج (Inference components) استفاده می‌کنند اعمال می‌شود. مولفه استنتاج سازوکوی SageMaker برای استقرار چند مدل روی یک نقطه پایانی و تخصیص محاسبه به هر کدام است. نقاط پایانی تک‌مدل، بدون سرور (Serverless) و استخرهای نمونه‌های ناهمگن قابل تقسیم‌بندی نیستند. بارهای کاری ناهمگام (Asynchronous) هم خارج از دامنه‌اند چون فراخوانی ناهمگام نمی‌تواند یک مولفه استنتاج را هدف قرار دهد.
محدودیت‌های تخصیص کل GPU
تخصیص کل GPU تراکم مدل روی نمونه‌های SageMaker را محدود می‌کرد، صرف‌نظر از نیاز واقعی حافظه یا محاسبه. دو عامل این تغییر را برانگیخت:
- تعداد شتاب‌دهنده‌ها سقف تعداد مدل‌هایی را تعیین می‌کرد که یک نمونه می‌تواند میزبانی کند.
- مشتریانی که قصد ارتقا به GPU جدیدتر را داشتند باید کل دستگاه را اختصاص می‌دادند.
MIG هر GPU را به برش‌های ثابت محاسبه و حافظه تقسیم می‌کند و جریمه راه‌اندازی سرد (Cold start) نقاط پایانی چندمدلی را حذف می‌کند. از آنجا که هر مدل مقیم باقی می‌ماند، تأخیر ناشی از بارگذاری اولین مدل روی دستگاه مشترک نیز از بین می‌رود.
همکاری Salesforce
Salesforce در تعریف الزامات و اعتبارسنجی پیاده‌سازی اولیه نقش داشت. ریچارد چانگ (Richard Chang)، معمار مهندسی نرم‌افزار Salesforce، گفت شرکت انتظار دارد MIG بارهای کاری را با ایمنی ادغام کند، بهره‌وری GPU را بهبود بخشد و هزینه استنتاج را کاهش دهد در حالی که عملکرد و جداسازی قابل‌پیش‌بینی حفظ می‌شود. Salesforce در حال آماده‌سازی اعتبارسنجی با بارهای کاری تولیدی نماینده است، بنابراین این مزایا انتظارها هستند نه نتایج تولید گزارش‌شده.
فیلدهای کنترل API
دو فیلد API اختیاری چیدمان را کنترل می‌کنند:
- AcceleratorPartitionLayouts برش را روی یک نوع تولید (Production variant) اعلام می‌کند.
- AcceleratorPartitionType پروفایل مورد استفاده توسط یک مولفه استنتاج را انتخاب می‌کند.
هیچ عملیات API جدید، نوع منبع جدید، یا اقدام IAM جدیدی وجود ندارد. حذف هر دو فیلد رفتار موجود نقطه پایانی را حفظ می‌کند. چیدمان انتخاب‌شده به‌صورت یکنواخت روی هر شتاب‌دهنده در هر نمونه در نوع تولید اعمال می‌شود.
مثال چیدمان و سربار تأمین
مثال AWS هر یک از هشت A100 روی یک ml.p4d.24xlarge را به پارتیشن‌های mig-4g.20gb، mig-2g.10gb و mig-1g.5gb تقسیم می‌کند و ۲۴ پارتیشن در سراسر نقطه پایانی تولید می‌کند. هر کپی مولفه استنتاج یک پارتیشن درخواستی را اشغال می‌کند، در حالی که InvokeEndpoint همچنان مدل‌ها را با نام مولفه خطاب می‌کند بدون شناسه پارتیشن. در تست‌های AWS، برش شتاب‌دهنده‌ها حدود ۱۷ ثانیه به تأمین اضافه کرد.
مرزهای جداسازی
جداسازی تنها محاسبه و حافظه GPU را پوشش می‌دهد. مدل‌ها روی یک نمونه همچنان موارد زیر را مشترک دارند:
- CPU میزبان
- حافظه میزبان
- ذخیره‌سازی
- شبکه
- مسیریابی نقطه پایانی
مولفه‌ای که پروفایلی را درخواست کند که در چیدمان وجود نداشته باشد رد می‌شود، نه اینکه یک GPU کامل دریافت کند. تغییر چیدمان یک نقطه پایانی در حال اجرا نیازمند نقطه پایانی جدید و مهاجرت ترافیک است. انتقال یک مولفه به پروفایل دیگر مولفه جدیدی می‌طلبد.
متدولوژی بنچمارک
AWS یک پارتیشن mig-3g.40gb H100 را با یک A100-40GB کامل مقایسه کرد، با استفاده از Llama-3.1-8B-Instruct روی نقاط پایانی بی‌درنگ تولیدی SageMaker. هر دو طرف از موارد زیر استفاده کردند:
- یک رونمای مدل
- کانتینرهای یکسان
- توکن‌سازهای (Tokenizers) یکسان
- پیکربندی‌های کلاینت یکسان
- genai-bench برای رانندگی پنج شکل ترافیک در سطوح همزمانی ۲ تا ۵۱۲
راهنمای پروفایل NVIDIA برای پروفایل H100 تست‌شده، سه سهم از هفت چندپردازشگر جریان (Streaming multiprocessor) و چهار واحد از هشت واحد حافظه را اختصاص می‌دهد. دو پیکربندی ظرفیت حافظه قابل‌مقایسه‌ای دارند اما تخصیص محاسبه متفاوت است. بهبود بازدهی توکن در استنتاج، هدف مشابهی است که تراشه Maia 300 مایکروسافت با افزایش ۴۰٪ی بازدهی توکن بر مگاوات دنبال می‌کند.
نتایج بنچمارک
در سراسر تست‌ها، AWS گزارش داد:
- ۵۳ تا ۸۹ درصد توکن خروجی در ثانیه بیشتر از پارتیشن H100 در بار که در آن سود هزینه هر سناریو بیشینه بود.
- تأخیر بین توکنی (Inter-token latency) ۸.۹ تا ۴۲.۱ درصد کمتر.
- زمان تا نخستین توکن (Time to first token) ۵.۶ تا ۴۷.۵ درصد کمتر.
- در بالاترین همزمانی روی بارهای کاری ۶٬۰۰۰ و ۸٬۰۰۰ توکنی، A100 در یک‌سوم تا یک‌نیمه از درخواست‌ها مهلت سرویس‌دهی را از دست داد در حالی که پارتیشن هیچ‌کدام را از دست نداد.
تحلیل هزینه
تحلیل هزینه AWS، ارائه‌شده به‌صورت مقایسه موردبه‌منظور نه حکم کلی، کاهش ۱۸ تا ۳۴ درصدی هزینه هر میلیون توکن خروجی را پس از عبور از نقطه تعادل بارهای کاری نشان داد. این نقطه در موارد زیر رخ داد:
- همزمانی ۶۴ برای پرامپت‌های ۱۰۰ توکنی
- همزمانی ۴ برای پرامپت‌های ۸٬۰۰۰ توکنی
زیر نقطه تعادل، A100 کامل ارزان‌تر باقی ماند، که بارهای کاری ورودی کوتاه یا همزمانی پایین را برای GPU قدیمی کامل مناسب‌تر می‌سازد. مقایسه واحد هزینه قیمت‌های نمونه تقاضا-محور را بر تعداد واحدهای تست‌شده در هر نمونه تقسیم کرد. توسعه سخت‌افزارهای جدید مانند ورا روبین در برابر بلک‌ول در ابر اوراکل نشان‌دهنده رقابت در افزایش ظرفیت محاسباتی است.
سخت‌افزار پشتیبانی‌شده و محدودیت‌های عملیاتی
راه‌اندازی چهار خانواده نمونه را پوشش می‌دهد:
| خانواده نمونه | شتاب‌دهنده | حافظه GPU | حداکثر پارتیشن در هر GPU |
|---|---|---|---|
| P4d | NVIDIA A100 | ۴۰ GB | ۷ |
| P5 | NVIDIA H100 | ۸۰ GB | ۷ |
| G7 | NVIDIA RTX PRO 4500 Blackwell | ۳۲ GB | ۲ |
| G7e | NVIDIA RTX PRO 6000 Blackwell Server Edition | ۹۶ GB | ۴ |
تقسیم GPU در US East (N. Virginia)، US East (Ohio)، US West (Oregon)، Asia Pacific (Singapore)، Asia Pacific (Tokyo)، Europe (Frankfurt) و Europe (Ireland) در دسترس است، مشروط بر در دسترس بودن نمونه در منطقه و سهمیه نقطه پایانی. هیچ پارتیشنی شتاب‌دهنده‌ها را فراگیر نمی‌کند، بنابراین مدل‌هایی که GPU کامل یا چند GPU می‌طلبند همچنان به دستگاه‌های کامل نیاز دارند.
صورتحساب و تله‌متری
مشتریان همچنان برای نمونه GPU کامل پرداخت می‌کنند؛ تقسیم‌بندی می‌تواند ظرفیت قابل استفاده را افزایش دهد اما قیمت ساعتی را کاهش نمی‌دهد. نقاط پایانی تقسیم‌بندی‌شده و مولفه‌های استنتاج آن‌ها همچنین متریک‌های بهره‌وری GPU، CPU یا حافظه را به CloudWatch منتشر نمی‌کنند، اگرچه متریک‌های فراخوانی و تأخیر در دسترس باقی می‌مانند.
الزامات درایور و AMI
روی P4d، پروفایل mig-1g.10gb نیازمند درایور NVIDIA R525 یا جدیدتر است. AWS مشتریان را به یک AMI استنتاج جدیدتر هدایت می‌کند چون تصویر پیش‌فرض آن را فراهم نمی‌کند.
پیامدهای برنامه‌ریزی ظرفیت
برای برنامه‌ریزی ظرفیت، این راه‌اندازی هر شتاب‌دهنده پشتیبانی‌شده را به چندین اندازه GPU ثابت تبدیل می‌کند، اما استقرار تراکم‌دار با جداسازی سخت‌افزاری همراه است با:
- صورتحساب کامل نمونه صرف‌نظر از تعداد پارتیشن
- چیدمان‌هایی که درجا قابل تغییر نیستند
- تله‌متری بهره‌وری کاهش‌یافته
بنچمارک AWS ارزش اندازه‌گیری ترافیک واقعی را نشان می‌دهد: پارتیشن H100 در آن تست‌ها برتری عملکرد و هزینه در شرایط متن‌بسیار سنگین تحویل داد، در حالی که نتایج نقطه تعادل A100 کامل را برای بارهای کاری سبک‌تر ارزان‌تر نگه داشت.
توصیه‌ها
تیم‌هایی که بارهای کاری LLM متن‌بسیار روی SageMaker اجرا می‌کنند باید منحنی‌های همزمانی خود را در برابر نقاط تعادل منتشرشده پروفایل‌بندی کنند قبل از مهاجرت. به پشتیبانی آتی NVIDIA Blackwell GB200 و اینکه آیا AWS تقسیم‌بندی را به نقاط پایانی بدون سرور یا ناهمگام گسترش می‌دهد، توجه کنید.
گام بعدی شما
- منحنی همزمانی بارهای کاری متن‌بسیار فعلی را با نقاط تعادل ۶۴ (ورودی ۱۰۰ توکنی) و ۴ (ورودی ۸٬۰۰۰ توکنی) مقایسه کنید تا مزیت هزینه را بسنجید.
- اگر از P4d استفاده می‌کنید، مطمئن شوید AMI استنتاج درایور R525+ را برای پروفایل mig-1g.10gb تأمین می‌کند.
- متریک‌های CloudWatch فراخوانی و تأخیر را برای پارتیشن‌های جدید رصد کنید، چون متریک‌های بهره‌وری GPU/CPU/حافظه در دسترس نخواهند بود.
گفتگو