Amazon SageMaker AI روتر استنتاج منطقهای خود را به صورت عمومی در دسترس قرار داد. این سرویس درخواستهای استنتاج را هنگام اتمام ظرفیت محلی به طور خودکار به نقاط پایانی سالم در مناطق و حسابهای دیگر AWS هدایت میکند و منطق فایلوور سفارشی را غیرضروری میسازد.
نحوه عملکرد روتر استنتاج
روتر یک هدف فراخوانی واحد میپذیرد که میتواند نقاط پایانی در زمان واقعی، اجزای استنتاج و نقاط پایانی ناهمزمان را در چندین منطقه و حساب ترکیب کند. مدلها، پیکربندی نقاط پایانی، نمونهها، کانتینرها و سیاستهای مقیاسدهی خودکار تغییر نمیکنند و فراخوانیهای مستقیم InvokeEndpoint در کنار ترافیک هدایتشده ادامه مییابند. روتر خود ظرفیت ایجاد نمیکند، مدل مستقر نمیکند و نقاط پایانی را مقیاس نمیدهد؛ هر مقصد باید از قبل در منطقه خود در حال اجرا باشد.
سیگنالهای سلامت و تصمیمگیری فایلوور
روتر ترجیحاً مقاصد سالم در منطقه خود را انتخاب میکند و درخواستها را به صورت یکسان بین چندین نقطه پایانی سالم محلی توزیع میکند. نمره سلامت بر اساس درخواستهای اخیر در هر منطقه مقصد محاسبه میشود:
- خطاهای سرور، محدودیتها و تایماوتها نمره را کاهش میدهند
- خطاهای پلتفرم بیشترین کاهش را ایجاد میکنند
- خطاهای ناشی از درخواست مانند ورودی نامعتبر نمره را تغییر نمیدهند
- تأخیر مدل در محاسبه نمره سلامت لحاظ نمیشود
SageMaker AI حالتهای سالم، بیشازحدبارشده و ناپایدار را به CloudWatch منتشر میکند. مقاصد بیشازحدبارشده بخشی از ترافیک خود را از دست میدهند، در حالی که مقاصد ناپایدار فقط یک سهم کوچک حفظ میکنند تا روتر بتواند بازیابی را شناسایی کند. AWS میگوید ترافیک حدود یک دقیقه پس از خطاهای مداوم جابجا میشود، یا بعدتر برای مقاصد با ترافیک کم، و پس از بازیابی در چند دقیقه بازمیگردد. مشتریان نمیتوانند وزنها، ترتیب فایلوور، آستانهها یا زمان فایلوور را تنظیم کنند. مشابه این رویکرد، مسیریابی هوشمند LLM از طریق OpenRouter نیز خطاهای ناشی از کمبود ظرفیت را تا ۴۶ درصد کاهش داده است.
رفتار تلاش مجدد و مشاهدهپذیری
برای استنتاج در زمان واقعی، روتر فقط یک بار تلاش دوم در یک مقصد دیگر میکند وقتی مدل اجرا نشده باشد — از جمله بعد از محدودیت، خطای ۵۰۳، مدل آمادهنشده، رد شدن به دلیل سقف ترافیک یا رد دسترسی به مقصد. هرگز تایماوتها، خطاهای ۵۰۰ یا خطاهای مدل را تلاش مجدد نمیکند. درخواستهای ناهمزمان در هر مقصد مجاز یک بار تلاش میشوند، مقاصد محلی اول، تا زمانی که یکی پذیرد.
هر پاسخ در زمان واقعی مقصد سرویسدهنده را در InvokedRoutedResourceArn شناسایی میکند و یک RoutingReason با مقدار local-preferred، capacity-available، failover یا only-healthy فراهم میکند. معیارهای OpenTelemetry در CloudWatch درخواستها و خطاها به ازای هر مقصد، مدت مقصد، هزینه شبکه روتر و بینمنطقهای و سلامت را اضافه میکنند. پاسخهای ناهمزمان مقصد خود را نام نمیگذارند، اگرچه معیارهای CloudWatch نشان میدهند درخواستها کجا قرار گرفتهاند. برای افزایش کارایی نقاط پایانی میتوان از پارتیشنهای H100 در SageMaker استفاده کرد که به طور قابلتوجهی سریعتر از A100 عمل میکنند.
کنترلهای ظرفیت و دسترسی
ترافیک بیش از حد میتواند یک مقصد گیرنده را به محدودیت بکشد. به صورت پیشفرض، یک نقطه پایانی در زمان واقعی هر مقدار ترافیک بینمنطقهای را میپذیرد. یک سقف اختیاری به مالک اجازه میدهد نرخ فراخوانی تستشده بار به ازای هر نمونه و حداکثر درصد در دسترس برای مناطق دیگر را تنظیم کند. در مثال AWS، ۵۰ فراخوانی در ثانیه به ازای هر نمونه، سقف ۲۰٪ و چهار نمونه ۴۰ درخواست بینمنطقهای در ثانیه مجاز میکنند، که با افزودن دو نمونه به ۶۰ میرسد.
فقط درخواستهای از مناطق دیگر در برابر این سقف محاسبه میشوند و فراخوانیهای از منطقه خود نقطه پایانی هرگز توسط این مکانیزم محدود نمیشوند. درخواستهای بیش از حد قبل از اجرای مدل رد میشوند و یک بار در جای دیگری تلاش مجدد میشوند؛ اگر هیچ مقصدی نتواند پذیرد، برنامه خطای محدودیت دریافت میکند. برای مقاصد بینحساب، هر دو حساب باید درخواستها را مجاز کنند. یک سیاست نقطه پایانی میتواند دسترسی را به یک روتر نامشده محدود کند.
محدودیتهای استقرار و قیمتگذاری
سرویس در اکثر مناطق تجاری AWS به جز me-south-1 و me-central-1 به صورت عمومی در دسترس است، برای استنتاج در زمان واقعی و ناهمزمان. از استریمینگ پاسخ پشتیبانی نمیکند. درخواستهای زمان واقعی حدود یک دقیقه فرصت دارند تا پاسخ مقصد را دریافت کنند، بارهای زمان واقعی میتوانند تا ۶ مگابایت باشند، و هر روتر تا ۲۰ هدف مسیریابی با تا ۱۰ مقصد در هر هدف را پشتیبانی میکند.
روتر خودش منطقهای است، بنابراین AWS توصیه میکند روترها در دو منطقه ایجاد کنید و بین آنها سمت کلاینت جابجا شوید تا لطف ورود لچکدار باشد. مرزهای محفوظی دادهها نیز نیاز به پیکربندی صریح دارند چون یک درخواست ممکن است در منطقه روتر یا در هر منطقه مقصد ثبتشده پردازش شود.
هزینه اضافی هدایت وجود ندارد؛ مشتریان نرخهای استاندارد نقطه پایانی و اجزای استنتاج SageMaker AI و نرخهای استاندارد CloudWatch برای معیارهای روتر را پرداخت میکنند.
تحلیل داتهوش: چالش اقتصادی باقی مانده
انتقال منطق فایلوور به لایه سرویس ابری پیچیدگی کد را حذف میکند، اما معادل محاسباتی — تهیه و نگهداری ظرفیت استنتاج در مناطق متعدد — همچنان یک تصمیم اقتصادی است. تیمها باید بین هزینه ظرفیت بیکار و ریسک قطعی سرویس تعادل برقرار کنند، و روتر تنها مکانیزم جابجایی ترافیک را ساده میکند، نه تصمیم سرمایهگذاری.




گفتگو