اگر برای بهینه‌سازی حافظهٔ موقت (KV-cache) عامل‌های هوش مصنوعی به کلاسترهای میلیون دلاری GPU وابسته هستید، باید بدانید که قواعد بازی تغییر کرده است. تصور کنید بتوانید رفتار سخت‌افزاری پیچیدهٔ یک سیستم استنتاج را بدون دسترسی به یک تکه سخت‌افزار A100، با دقتی خیره‌کننده پیش‌بینی کنید.
طبق مستنداتی که در ۹ ژوئن ۲۰۲۶ منتشر شد، شبیه‌ساز AGENTSERVESIM قادر است عملکرد سرویس‌دهی عامل‌های مدل زبانی بزرگ (LLM) را روی CPUهای معمولی با خطایی کمتر از ۶ درصد بازتولید کند. این دستاورد به توسعه‌دهندگان اجازه می‌دهد تا سیاست‌های پیچیدهٔ سرویس‌دهی را بدون نیاز به شتاب‌دهنده‌های گران‌قیمت آزمایش کنند.
بیشتر معماری‌های فعلی، درخواست‌های مدل زبانی را به عنوان رویدادهای بدون حالت (Stateless) می‌بینند، اما عامل‌ها در واقع برنامه‌هایی «با حالت» (Stateful) هستند. همان‌طور که در تحلیل قبلی ما درباره‌ی مدیریت حافظه در مدل‌های زبانی اشاره کردیم، پیچیدگی تعاملات عامل‌محور، فشار زیادی بر زیرساخت‌های مدیریت حافظه وارد می‌کند. به همین دلیل، بک‌اِندها باید شکاف‌های زمانی ناشی از ابزارها و حالت‌های قابل بازگشت KV را مدیریت کنند تا کارایی سیستم حفظ شود.
AGENTSERVESIM برای رسیدن به این دقت، ارزیابی‌ها را در سطح «برنامه» (Program Granularity) و نه «درخواست» انجام می‌دهد. این سیستم از چهار ماژول ترکیب‌پذیر تشکیل شده است:
- Program Orchestrator: برای حفظ ترتیب نوبت‌ها و هویت عامل.
- Tool Simulator: برای مدل‌سازی شکاف‌های زمانی ایجاد شده توسط فراخوانی ابزارهای خارجی.
- Session-Aware Router: برای توزیع درخواست‌ها با آگاهی از وضعیت حافظه پنهان (Cache).
- KV Residency Model: برای ردیابی جایگذاری حافظه در HBM، DRAM میزبان و CXL.
بر اساس بررسی‌های فنی، این تغییر در دانه‌بندی شبیه‌سازی، رویه بنیادین این حوزه را تغییر می‌دهد. با گذار از ارزیابی سطح-درخواست به سطح-برنامه، پژوهشگران می‌توانند محلی‌بودن حافظه در نوبت‌های متوالی را بدون هزینهٔ گزاف استقرار H100 بهینه کنند. نتیجهٔ ثانویهٔ این تحول، افزایش سرعت چرخه‌ی تکرار (Iteration Cycle) برای لایه‌های مدیریت حافظه است که پشتیبان عامل‌های هوش مصنوعی طولانی‌مدت هستند.
گام بعدی شما
- بررسی تأثیر شبیه‌سازهای آگاه از سخت‌افزار بر طراحی موتورهای سرویس‌دهی (Serving Engines) نسل بعد.
- تحلیل نحوه مدیریت حافظه در مدل‌هایی که به سمت سلسله‌مراتبی بزرگ‌تر و پراکنده‌تر حرکت می‌کنند.
- آزمایش سیاست‌های مسیریابی جدید در محیط‌های شبیه‌سازی‌شده پیش از استقرار روی سخت‌افزار.
اما داستان سخت‌افزاری این تحول با ظهور حافظه‌های CXL حتی پیچیده‌تر می‌شود — به تحلیل ما درباره‌ی معماری‌های حافظه نسل جدید مراجعه کنید.
گفتگو