اگر برای ساخت عامل‌های هوش مصنوعی با مشکل تأخیر و هزینه‌های بالا می‌جنگید، سخت‌افزار جدید انویدیا بازی را تغییر می‌دهد. طبق گزارش فنی انویدیا در ۱۴ مه ۲۰۲۶، پلتفرم Vera Rubin بازدهی پردازش را در هر مگاوات تا ۳۵ برابر افزایش داده است.
عامل‌های هوش مصنوعی زاینده (Generative AI) — شبیه مدیری هستند که فقط جواب نمی‌دهد، بلکه برای رسیدن به هدف، تصمیم می‌گیرد و ابزارها را مدیریت می‌کند — با چالش بزرگی به نام «مشکل مقیاس‌پذیری» روبرو هستند. در واقع، هرچه عامل پیچیده‌تر شود، تأخیر در پاسخ‌دهی بیشتر می‌شود. همان‌طور که در تحلیل‌های قبلی ما درباره‌ی مدل‌های استدلالی اشاره کردیم، این تأخیر در مدل‌های تریلیونی (MoE) یک بن‌بست واقعی است.
برای حل این مشکل، انویدیا از یک سیستم دو موتوره استفاده کرده است. Vera Rubin NVL72 کارهای سنگین را بر عهده دارد و ۳۶۰۰ PFLOPS قدرت محاسباتی فراهم می‌کند. در مقابل، شتاب‌دهنده‌های Groq 3 LPX بر اجرای قطعی و بدون لرزش تمرکز دارند. این تراشه‌ها با استفاده از یک کامپایلر، هزاران چیپ را به عنوان یک سطح اجرای واحد می‌بینند.
مشخصات فنی کلیدی این سیستم عبارت است از:
- پهنای باند LPU C2C: ۶۴۰ ترابایت بر ثانیه در سطح رک (۲۵۶ LPU).
- حافظه یکپارچه: ۱۲۸ گیگابایت SRAM روی تراشه.
- سرعت پاسخ‌دهی: ۴۰۰ توکن در ثانیه برای هر کاربر با پنجره متنی (Context Window) — مثل میز کاری که مقدار زیادی اطلاعات را هم‌زمان پیش چشم دارد — ۴۰۰ هزار توکنی.
مدیریت این دو موتور بر عهده‌ی NVIDIA Dynamo است. این سیستم از روشی به نام «جداسازی Attention-FFN» استفاده می‌کند. در این چرخه، GPUهای روبین کارهای پیش‌پردازش را انجام می‌دهند و شتاب‌دهنده‌های LPX بخش‌های مربوط به استنتاج (Inference) — یعنی همان لحظه‌ی تولید جواب، شبیه خودِ آشپزی نه آموزش آن — را تسریع می‌کنند.
این معماری فرضیات قدیمی درباره‌ی توازن بین سرعت و تأخیر را می‌شکند. با انتقال حلقه‌ی رمزگشایی به LPU، مدل‌های تریلیونی برای استفاده‌ی آنی و تجاری به‌صرفه می‌شوند. به باور تحلیلگران، این تحول فرصتی برای ۱۰ برابر افزایش درآمد شرکت‌هایی ایجاد می‌کند که عامل‌های خودگردان سطح بالا می‌سازند.
گام بعدی شما
- قیمت‌گذاری لایه‌های «پریمیوم» عامل‌های هوش مصنوعی را در ماه‌های آینده زیر نظر بگیرید.
- بررسی کنید آیا مدل‌های MoE شما با معماری‌های توزیع‌شده سازگار هستند یا خیر.
- منتظر کاهش چشمگیر هزینه هر توکن برای استدلال‌های پیچیده باشید.
اما داستان سخت‌افزاری این تحول حتی شگفت‌انگیزتر است — به تحلیل ما درباره‌ی تراشه‌های Blackwell مراجعه کنید.
گفتگو