اگر امروز یک خوشه GPU در مقیاس صنعتی مدیریت میکنید، احتمالاً متوجه شدهاید که سختافزار تراز اول لزوماً به معنای تجربهٔ کاربری روان نیست. مشکل اصلی جایی است که ذخیرهسازها نمیتوانند با سرعت خواندن و نوشتن KV Cache در مدلهای با پنجرهٔ زمینه بلند همگام شوند و همین موضوع باعث ایجاد لرزش در زمان تا نخستین توکن (TTFT) میشود. این گلوگاه باعث میشود هوش مصنوعی حتی با وجود میانگین سرعت بالا، کند و نامنظم به نظر برسد.
در حالی که ذخیرهسازهای داخلی ثابت کردهاند که میتوانند کار کنند، مقیاسپذیری در مراکز محاسباتی اکنون نیازمند تغییری به سمت رعایت مداوم محدودیتهای توافقنامه سطح خدمات (SLA) است. برای حل این تنش، شرکت Mingxin یک چارچوب قابلیت اطمینان قابلراستیسنجی ایجاد کرده است که بهجای تکیه بر برگه مشخصات فروشندگان، بر دادههای اندازهگیریشده در محیط واقعی (In-band) و بازتولیدپذیر تمرکز میکند.
همانطور که در تحلیلهای پیشین ما دربارهی زیرساختهای محاسباتی مدلهای زبانی اشاره کردیم، مقیاسپذیری در مراکز داده اکنون نیازمند گذار از «پیک عملکرد» به «پایداری عملکرد» است. بسیاری از اپراتورها با پدیده «شکستهای کند» (Slow Failures) دستوپنجه نرم میکنند؛ وضعیتی که در آن ذخیرهساز کرش نمیکند، اما تحت بار طولانیمدت، عملکردش بهشدت افت میکند. برای اکثر اپراتورها، ریسک اصلی یک قطعی کامل سیستم نیست، بلکه یک «پرتگاه عملکردی» (Performance Cliff) است که تجربه کاربری را در زمان استنتاج با همزمانی بالا تخریب میکند. این چالشها نشان میدهند که چگونه معماریهای سنتی داده میتوانند عامل اصلی پیشبینیهای نادرست و ناکارآمدی در سیستمهای هوش مصنوعی باشند.
به نقل از استانداردهای SNIA (انجمن صنعت شبکهسازی ذخیرهساز)، قابلیت اطمینان مجموعهای از تداوم دادهها، در دسترس بودن و کیفیت سرویس است. Mingxin این مفهوم را به سه لایه عملیاتی تقسیم کرده است:
- پایداری عملکرد: اندازهگیری اینکه آیا توان عملیاتی (Throughput) و تأخیر (Latency) تحت بار مداوم ثابت میمانند تا از شکستهای کند جلوگیری شود.
- یکپارچگی دادهها: اطمینان از فعال بودن چکسامهای سرتاسری و حفاظت در برابر قطع برق، بهویژه هنگام استفاده از NVIDIA GPUDirect Storage که با دور زدن بافرهای CPU، سرعت را بالا میبرد.
- در دسترس بودن: تست زمان واقعی جابهجایی (Switchover) پس از وقوع خطا و بررسی تأثیر پنجرههای بازسازی (Rebuild Windows) بر حجم کاری فعال.
زمینه: چرا ارزیابی لایهای اهمیت دارد؟
قابلیت اطمینان را نمیتوان به سادگی به «خراب نشدن دیسکها» تقلیل داد. هر لایه با حالتهای شکست متفاوتی مرتبط است. تست کردن تنها پیک عملکرد و نادیده گرفتن پایداری، منجر به ایجاد پرتگاههای عملکردی تحت بار تولیدی میشود. از سوی دیگر، تست کردن تنها یکپارچگی دادهها و نادیده گرفتن در دسترس بودن، منجر به بازیابیهای طولانیمدت (Long-tail recovery) در زمان شکست سختافزاری میگردد.
علاوه بر این، طبق مستندات Kubernetes در مورد مکانیزمهای اتصال حجم ذخیرهسازی، طراحی دامنه شکست (Failure Domain) در خوشههای استنتاج کانتینری مستقیماً بر استراتژیهای زمانبندی و بازیابی اثر میگذارد. این موضوع ثابت میکند که ارزیابی در دسترس بودن باید لزوماً با مکانیزمهای ارکستراسیون لایههای بالادستی گره بخورد. در واقع، برای دستیابی به پایداری واقعی، باید از رویکردهای جدیدی برای ارزیابی پایداری و تزریق خطا در عاملهای هوشمند استفاده کرد تا نقاط ضعف سیستم پیش از استقرار شناسایی شوند.
پایداری عملکرد: بارهای کاری با زمینه بلند
در مورد مدلهای استنتاجی بزرگ، فشار ذخیرهساز روی خواندن و نوشتن KV Cache متمرکز است. Mingxin در گزارش R2 خود از یک مدل ترکیب خبرهها (MoE) با ۴۸۰ میلیارد پارامتر، با موازیسازی TP8 و یک بار کاری بازیابی سرد (Cold-recovery) با زمینه بلند استفاده کرد تا یک محدوده عملکرد بازتولیدپذیر به دست آورد:
- توان عملیاتی: بهبودها از ۲۹٪ (حد پایین) در سطح ۸ همزمانی تا ۴۰٪ (حد بالا) در سطح بهینه ۱۶ همزمانی متغیر بود. در مقیاس کامل ماشین با پیکربندی TP4×2، این بهبود بین ۳۵ تا ۳۶ درصد ثبت شد [منبع: اندازهگیری شده، گزارشهای R2/R3].
- تأخیر: مقدار p50 برای TTFT از بازه ۱۰.۱۷ تا ۳۵.۷۳ ثانیه به ۷.۵۳ تا ۲۶.۳۵ ثانیه کاهش یافت که نشاندهنده افت ۲۶ تا ۳۲ درصدی است [منبع: اندازهگیری شده، گزارش R2].
این اعداد حیاتی هستند چون میانگین تأخیر یک معیار توخالی (Vanity Metric) است؛ در واقع آستانههای P95 و P99 هستند که تعیین میکنند آیا یک کسبوکار توانایی رعایت توافقنامه سطح خدمات (SLA) خود را دارد یا خیر. اهمیت موضوع در اینجا «ثبات داخلی» (In-band consistency) است؛ بهبودهای توان عملیاتی باید در محیط واقعی اندازهگیری شوند و در مرحله گیت اصلی G3 تأیید گردند، نه اینکه صرفاً به عنوان یک مقدار بهینه تکمقداری گزارش شوند.
جزئیات یکپارچگی دادهها و در دسترس بودن
در بخش یکپارچگی دادهها، تمرکز بر زنجیره چکسام سرتاسری است. بر اساس مستندات NVIDIA GPUDirect Storage، مکانیزمهایی که بافر CPU را دور میزنند، تعداد کپیهای داده را کم میکنند اما نیازمند انتقال منطق چکسام به سمت ذخیرهساز یا کارت شبکه (NIC) هستند.
چکلیست تأیید یکپارچگی:
- تأیید فعال بودن CRC سرتاسری در مسیر نوشتن.
- راستیآزمایی اینکه حفاظت در برابر قطع برق (Power-loss protection)، حافظه DRAM Cache را پوشش میدهد.
- اطمینان از حفظ اسنپشاتهای سازگار در طول فرآیندهای بازسازی.
برای ارزیابی در دسترس بودن نیز باید تستهای تزریق خطا (Fault Injection) اجرا شوند. معماری مرجع NVIDIA DGX SuperPOD مرزهای دامنه شکست را در سه بخش محاسبات، ذخیرهساز و شبکه تعریف میکند. ارزیابی باید سه سناریوی خاص را تأیید کند:
۱. زمان بازسازی و تأثیر عملکردی پس از شکست یک دیسک واحد.
۲. جابهجایی مسیر (Path switchover) پس از شکست یک گره واحد.
۳. حالتهای کاهشیافته (Degraded modes) پس از نقص در کنترلکننده یا NIC.
حل تله «جایگزینی داخلی»
بسیاری از سازمانها هنگام جایگزینی ذخیرهسازهای وارداتی با جایگزینهای داخلی شکست میخورند، زیرا به پهنای باند تئوریک موجود در برگههای مشخصات تکیه میکنند. طبق مستندات Ascend، مسیر مهاجرت شامل یکپارچگی چندلایه درایورها، کتابخانههای ارتباطی و پشتههای پروتکل ذخیرهسازی است، به این معنی که پهنای باند تئوریک بهندرت بهطور مستقیم محقق میشود.
دادههای Mingxin در گزارش R9 روی پلتفرم Ascend 910B شکاف عمیق بین تئوری و واقعیت را نشان میدهد. تستهای استقرار واقعی، شتاب بارگذاری استنتاج مدل را ۶.۲ تا ۹.۳ برابر افزایش داد. بهطور مشخص، بارگذاری سرویس DeepSeek-32B از ۶۹۱ ثانیه به ۱۱۲ ثانیه و مدل DeepSeek-70B از ۱۳۹۹ ثانیه به ۱۵۰ ثانیه کاهش یافت [منبع: اندازهگیری شده، گزارش R9].
اشتباه رایج دیگر، مقایسه بینپلتفرمی است. Mingxin هشدار میدهد که مقایسه ذخیرهساز داخلی روی یک پلتفرم GPU با ذخیرهساز وارداتی روی پلتفرمی دیگر کاملاً بیاساس است. همانطور که در مقاله «مقایسه خانوادههای نمونه GPU برای AI، HPC و رندرینگ» اشاره شده، خانوادههای مختلف نمونههای GPU تفاوتهای چشمگیری در نحوه مونت کردن ذخیرهساز و پهنای باند دارند. Mingxin برای کنترل متغیرها، از ۸ عدد GPU مدل AMD Instinct MI308X استفاده کرده است.
معیارهای در دسترس بودن و بازیابی
در دسترس بودن صرفاً به معنای زمان فعال بودن (Uptime) نیست، بلکه درباره «نقطه هدف بازیابی» (RPO) است. در گزارش R1، شتاب ذخیرهسازی نقاط بازرسی (Checkpoint) برای یک مدل LoRA ۳۲ میلیارد پارامتری با ۸ عدد GPU، ۱.۹ برابر ثبت شد.
پهنای باند نوشتن پایدار از ۳.۲۶ گیگابایت بر ثانیه به ۶.۴۰ گیگابایت بر ثانیه (۹۶٪ افزایش) رسید و پنجره اسنپشات برای یک مدل کامل ۶۵.۶ گیگابایتی از ۱۷۸ ثانیه به ۹۴ ثانیه کاهش یافت [منبع: اندازهگیری شده، گزارش R1]. پنجرههای ذخیرهسازی کوتاهتر مستقیماً مقدار دادههای از دست رفته در زمان شکست سیستم را کاهش میدهد.
فرآیند پذیرش گیتدار
برای جلوگیری از شکست در استقرار، Mingxin مدل «تست مشترک گیتدار» ۱۰ هفتهای را اجرا میکند:
۱. G1: پذیرش ورود (Arrival acceptance).
۲. G2: تعیین خط پایه تکگره (Single-node baseline).
۳. G3: گیت اصلی (تأیید آستانههای کمی؛ برای مثال کاهش TTFT باید $\ge 25%$ یا توان عملیاتی بین $+29%$ تا $+40%$ باشد).
۴. G4: تست پایداری ۷۲ ساعته.
این فرآیند تضمین میکند که اگر راهکار ذخیرهسازی نتواند آستانه مشخصی را رد کند، استقرار فوراً متوقف شود. علاوه بر این، مدل اندازهگیری پس از امضای NDA در قالب پایتون قابل بازتولید است و این بازتولیدپذیری را به بخش اصلی ارزیابی قابلیت اطمینان تبدیل میکند.
این چارچوب، معیار ذخیرهسازهای AI را از «پیک تئوریک» به «قابلیت اطمینان پایدار» تغییر میدهد. با تمرکز بر تأخیر P99 و ثبات داخلی، اپراتورها در نهایت میتوانند پیشبینی کنند که پشته AI آنها تحت استرس دنیای واقعی چگونه رفتار خواهد کرد.
گام بعدی شما
- توزیع تأخیر P99 ذخیرهساز فعلی خود را در بارهای کاری با پنجره متنی بلند بررسی کنید تا ریسک «شکستهای کند» را شناسایی کنید.
- در هنگام ارزیابی فروشندگان جدید، بهجای پهنای باند پیک، روی «پایداری توان عملیاتی» در بازههای زمانی طولانی تأکید کنید.
- برای مدلهای MoE، تأثیر سرعت خواندن KV Cache را روی TTFT در محیط عملیاتی بسنجید.
اما داستان سختافزاری این تحول حتی شگفتانگیزتر است — به تحلیل ما دربارهی تراشههای Blackwell مراجعه کنید.
گفتگو