اگر از Kubernetes برای مقیاس‌پذیری استنتاج استفاده می‌کنید، با کابوس Cold-Start (شروع سرد) آشنا هستید؛ زمانی که GPUها برای چندین دقیقه بیکار می‌مانند تا وزن‌ها بارگذاری و موتورها مقداردهی اولیه شوند. این تأخیر در دنیای واقعی به معنای نقض توافق‌نامه‌های سطح خدمات (SLA) و از دست دادن کاربران است.
در ۲۷ مه ۲۰۲۶، انویدیا (NVIDIA) راهکاری به نام Dynamo Snapshot را معرفی کرد تا این تأخیر را به سطح نزدیک به صفر برساند. همان‌طور که در تحلیل‌های پیشین ما درباره‌ی بهینه‌سازی زیرساخت‌های GPU اشاره کردیم، گلوگاه اصلی همواره در زمان مقداردهی اولیه موتورهای استنتاج بوده است. این تلاش برای بهینه‌سازی زمان استنتاج، در راستای موج گسترده‌تری از پژوهش‌ها برای افزایش کارایی مدل‌های زبانی است؛ برای مثال، پژوهش‌های اخیر Nous Research توانستند زمان پیش‌آموزش LLMها را بدون تغییر در معماری تا ۲.۵ برابر کاهش دهند.
این سیستم به جای بوت سنتی، از مکانیسم «انجماد و ذوب» (Freeze-and-Thaw) استفاده می‌کند. طبق مستندات انویدیا، این رویکرد ترکیبی از ابزار CRIU (Checkpoint/Restore in Userspace) برای وضعیت میزبان و ابزار تخصصی cuda-checkpoint برای وضعیت دستگاه GPU است تا یک Worker گرم‌شده را ذخیره و در لحظه بازیابی کند.
برای عملیاتی کردن این فرآیند، انویدیا سه بهینه‌سازی کلیدی را پیاده کرد:
- آزادسازی KV Cache: سیستم با استفاده از API مدیریت حافظه مجازی CUDA، بافر KV Cache را پیش از ذخیره‌سازی حذف می‌کند. این اقدام حجم چک‌پوینت مدل Qwen3-0.6B را از ۱۹۰ گیگابایت به ۶ گیگابایت کاهش داد.
- شتاب‌دهی CRIU: بازیابی سریال حافظه در CRIU استاندارد برای مدل‌های بزرگ بسیار کند است. انویدیا با معرفی بازیابی موازی memfd و I/O نامتقارن (AIO) بومی لینوکس، پهنای باند NVMe را با ۱۲۸ درخواست خواندن هم‌زمان اشباع کرد.
- سرویس حافظه GPU (GPU Memory Service یا GMS): حیاتی‌ترین بخش که وزن‌های مدل را از چرخه حیات پردازش جدا می‌کند. این کار اجازه می‌دهد وضعیت پردازش و وزن‌ها به‌طور هم‌زمان از کانال‌های پهنای باند مختلف بازیابی شوند.
به نقل از گزارش developer.nvidia.com، این بهینه‌سازی‌ها منجر به کاهش ۲۱ برابری زمان استارت برای مدل gpt-oss-120b شد و زمان بازیابی را با استفاده از SSDهای NVMe محلی به زیر ۵ ثانیه رساند. در حال حاضر این سیستم از بارهای کاری vLLM و SGLang در حالت تک-GPU پشتیبانی می‌کند.
این تغییر، پیش‌فرض‌های مربوط به مقیاس‌پذیری زیرساخت‌های هوش مصنوعی را دگرگون می‌کند. با تبدیل یک مدل گرم‌شده به یک آرتیفکت قابل بازیابی، اپراتورها می‌توانند سیاست‌های Auto-scaling تهاجمی‌تری را بدون ریسک Timeout پیاده کنند.
گام بعدی شما
- بررسی سازگاری نسخه‌های فعلی vLLM با GMS برای کاهش هزینه‌های عملیاتی.
- رصد ادغام GMS با بک‌اندهای قابل تعویض در به‌روزرسانی‌های آتی.
- پیگیری پشتیبانی از multi-GPU و multi-node از طریق هوک‌های PyTorch و NCCL.
ama داستان سخت‌افزاری این تحول حتی شگفت‌انگیزتر است — به تحلیل ما درباره‌ی تراشه‌های Blackwell مراجعه کنید.
گفتگو