چگونه Dynamo Snapshot انویدیا زمان Cold-Start استنتاج را به زیر ۵ ثانیه رساند؟
انویدیا مکانیزم جدیدی برای ذخیره و بازیابی وضعیت مدلها در Kubernetes توسعه داده است که تأخیر چند دقیقهای Cold-Start را حذف میکند. این سیستم با جداسازی وزنهای مدل از وضعیت…