اگر امروز یک سیستم هوش مصنوعی در مقیاس تولیدی مدیریت می‌کنید، احتمالاً متوجه شده‌اید که گلوگاه اصلی شما دیگر وزن‌های مدل نیست، بلکه پهنای‌باند حافظه است. طبق راهنمای فنی منتشر شده در ۲ اکتبر ۲۰۲۶ توسط dev.to، بحران واقعی در تولیدات خودبازگشتی (Autoregressive) مربوط به KV-Cache است؛ همان حافظه‌ای که وضعیت‌های کلید و مقدار را ذخیره می‌کند تا مدل مجبور نباشد هر توکن قبلی را دوباره محاسبه کند. این چالش به قدری حیاتی است که برخی مدل‌های پیشرو مانند DeepSeek توانسته‌اند اشغال حافظه KV Cache را تا ۴۳۷ برابر کاهش دهند تا کارایی استنتاج را بهینه کنند.
در پوشش پیشین ما از مدیریت منابع در SDKهای هوش مصنوعی، دیدیم که تمرکز از امنیت API به تخصیص منابع در سطح پایین منتقل شده است. برای اکثر توسعه‌دهندگان، وضعیت فعلی شبیه این است که بخواهید یک شهر مدرن را با سیستمی اداره کنید که در هر بلوک فقط یک ماشین اجازه تردد دارد؛ زیرساخت فعلی به‌سادگی نمی‌تواند جریان پویا و متغیر داده‌ها را مدیریت کند. در همین راستا، برخی سرویس‌دهندگان برای رفع این گلوگاه‌ها، مدل‌های قیمت‌گذاری درخواستی را جایگزین روش‌های سنتی کرده‌اند تا بهره‌وری استنتاج را افزایش دهند.
برای حل این مشکل، مهندسان به سراغ PagedAttention رفته‌اند؛ مکانیزمی که با حافظه واحد پردازش گرافیکی (GPU) — شبیه به نحوه مدیریت حافظه مجازی در سیستم‌عامل‌ها — برخورد می‌کند. در این روش، به‌جای اختصاص یک بلوک عظیم و پیوسته برای حداکثر طول توالی، سیستم KV-Cache را به صفحات کوچک و با اندازه ثابت (معمولاً ۱۶ یا ۳۲ توکن) تقسیم می‌کند.
این چرخش معماری مزایای حیاتی زیر را به همراه دارد:
- حذف تکه‌تکه شدن: بلوک‌های حافظه دیگر نیازی ندارند از نظر فیزیکی پشت سر هم باشند.
- نگاشت پویا: یک مدیریت‌کننده حافظه، بلوک‌های منطقی را در لحظه به بلوک‌های فیزیکی متصل می‌کند.
- بهره‌وری VRAM: این روش مانع از هدررفت ۶۰ تا ۸۰ درصدی حافظه ویدیویی (VRAM) می‌شود و خطاهای رایج CUDA Out of Memory را کاهش می‌دهد.
به نقل از منابع فنی، صنعت اکنون از دسته‌بندی ایستا به سمت دسته‌بندی پیوسته (Continuous Batching) حرکت می‌کند. در سیستم‌های ایستا، کل دسته باید منتظر بماند تا طولانی‌ترین درخواست به پایان برسد. اما در دسته‌بندی پیوسته، درخواست‌های جدید می‌توانند در هر گام تولید وارد شوند و درخواست‌های تکمیل‌شده فوراً خارج شوند. این رویکرد در مدیریت خوشه‌های GPU، بحث‌های جدیدی را درباره تفاوت مدل‌های پرداخت به‌ازای هر درخواست در برابر مدل‌های توکن‌محور ایجاد کرده است.
این تغییر، معیار سنجش زیرساخت‌های هوش مصنوعی را از «تأخیر ساده» به «تعداد توکن در ثانیه به ازای هر دلار محاسبات» تغییر می‌دهد. برای یک متخصص، این یعنی تفاوت بین سیستمی که زیر بار زیاد می‌پاشد و سیستمی که به‌صورت خطی با تقاضا مقیاس می‌پذیرد.
گام بعدی شما
- استک استنتاج خود را برای پشتیبانی از PagedAttention بررسی کنید.
- ابزارهای با کارایی بالا مانند vLLM را برای بهینه‌سازی توان عملیاتی در محیط تولید بررسی کنید.
- نرخ هدررفت VRAM را در مدل‌های فعلی خود اندازه‌گیری کنید تا میزان سود حاصل از این تغییر را تخمین بزنید.
اما داستان سخت‌افزاری این تحول حتی شگفت‌انگیزتر است — به تحلیل ما درباره تراشه‌های Blackwell مراجعه کنید.
گفتگو