اگر برای مدیریت مدلهای چندوجهی هزینه میکنید، احتمالاً میدانید که بخش بزرگی از بودجه شما صرف نگه داشتن مدلها در حافظه برای جلوگیری از تأخیر میشود. ShadowSocial.io با معرفی یک سیستم صفبندی «صفر-بیکاری»، این اتلاف منابع را بهطور کامل حذف کرد.
مدلهای هوش مصنوعی زاینده (Generative AI) — شبیه به آشپزخانههای صنعتی که برای آماده بودن سریع، تمام اجاقها را ۲۴ ساعته روشن نگه میدارند — معمولاً حجم عظیمی از حافظه را اشغال میکنند. طبق گزارش فنی منتشر شده در ۵ اوت ۲۰۲۶، این پلتفرم با جداسازی درخواستها از مرحله تولید، سختافزارهای گرانقیمت را تنها در لحظه پردازش فعال میکند. همانطور که در تحلیلهای قبلی ما درباره بهینهسازی هزینههای استنتاج اشاره کردیم، حذف هزینههای پایه (Baseline) کلید مقیاسپذیری در مدلهای بزرگ است. این رویکرد در واقع تکامل یافتهی مفاهیمی است که در تفکیک استدلال از حافظه برای تقویت عاملهای هوشمند بررسی کرده بودیم.
این معماری بر سه رکن اصلی استوار است:
- صف صفر-بیکاری (Zero-Idle-RAM Queue): درخواستها بهجای برخورد مستقیم با مدل، ابتدا وارد یک صف سبک میشوند.
- کارگران پویا (Dynamic Workers): یک فرآیند مجزا، درخواست را برداشته و مدلهای Qwen-Max یا Wan 2.1 را فقط برای مدت زمان استنتاج (Inference) — یعنی همان لحظه آشپزی و تولید جواب — در RAM بارگذاری میکند.
- پراکسی معکوس Caddy: این ارکستراتور ترافیک را در لحظه فعال شدن و بارگذاری مدل، به سمت کارگران هدایت میکند.
به محض پایان استنتاج، سیستم مدل را از حافظه تخلیه میکند. این رویکرد به پلتفرم اجازه میدهد بدون داشتن یک اثر انگشت دائمی و سنگین از RAM، با افزایش یا کاهش تعداد نمونههای کارگر، به جهشهای ناگهانی ترافیک پاسخ دهد.
این تغییر، فرض رایج مبنی بر نیاز به تخصیص دائمی حافظه برای کاهش تأخیر را به چالش میکشد. توسعهدهندگان اکنون میتوانند با توزیع هزینه بارگذاری روی چندین درخواست در صف، مدلهای قدرتمندتر را روی زیرساختهای ارزانتر اجرا کنند. تنها هزینه این روش، زمان بارگذاری اولیه برای هر دسته (Batch) است که در برابر صرفهجویی عظیم در هزینه RAM، قابل چشمپوشی است.
گام بعدی شما
- بررسی ابزارهای Service Discovery برای کاهش زمان «راهاندازی سرد» (Cold Start) در مدلهای پویا.
- پیادهسازی الگوی جداسازی درخواست از تولید (Decoupled Orchestration) در پروژههایی با ترافیک نوسانی.
- ارزیابی مدلهای بزرگتر که پیش از این بهدلیل محدودیت RAM غیرقابل استفاده بودند.
اما داستان سختافزاری این تحول حتی شگفتانگیزتر است؛ برای درک نحوه مدیریت حافظه در مقیاس صنعتی، به تحلیل ما درباره تراشههای Blackwell مراجعه کنید.
گفتگو