اگر برای قدرت محاسباتی مدلهای زبانی هزینه میپردازید، همین حالا ۱۵٪ سرعت بیشتری در دسترس شماست — بدون اینکه حتی یک خط کد تغییر دهید.
انویدیا (NVIDIA) در ۲۶ مه ۲۰۲۶ نسخه CUDA 13.3 را منتشر کرد. این ابزار برای مدل زبانی بزرگ (LLM) — مثل کتابخانهداری که میلیاردها صفحه را خوانده و حالا با همان لحن کتابها جواب میدهد — سرعت بیشتری میبخشد. همانطور که در تحلیلهای پیشین ما دربارهی بهینهسازی سختافزاری مدلهای زبانی اشاره کردیم، گلوگاه اصلی همیشه تضاد بین سادگی پایتون و سرعت C++ بوده است. این تلاش برای کاهش فاصله میان زبانهای سطح بالا و سختافزار، یادآور پیشرفتهای اخیر در چارچوبهای نرمافزاری است؛ برای مثال، بهینهسازیهای PyTorch 2.12 در محاسبات CUDA جهشی خیرهکننده در سرعت پردازش ایجاد کرد.
به نقل از گزارش developer.nvidia.com، قلب این تغییرات CompileIQ است. این چارچوب از الگوریتمهای تکاملی برای تنظیم خودکار کامپایلر استفاده میکند. نتیجه در عملیات GEMM و Attention — که بیش از ۹۰٪ از استنتاج (Inference) — یعنی همان لحظهای که مدل واقعاً جواب تولید میکند، شبیه خودِ آشپزی و نه دورهی آموزش آشپز — را تشکیل میدهند — ۱۵٪ بهبود سرعت است.
طبق اعلام انویدیا، تغییرات فنی دیگری نیز در این نسخه دیده میشود:
- CUDA Python 1.0: اکنون پایدار شده و قابلیت «کانتکستهای سبز» را برای جداسازی کارهای حساس به تأخیر معرفی کرده است.
- CUDA Tile C++: جابهجایی حافظه و موازیسازی را خودکار میکند تا کدها در معماریهای مختلف انویدیا قابل اجرا باشند.
- CCCL 3.3: الگوریتمهای جستجوی جدید در این نسخه تا ۷ برابر سریعتر از نسخه ۳.۲ عمل میکنند.
این بهروزرسانی یعنی شرکتها دیگر نیازی ندارند برای هر بهینهسازی کوچک، «جادوگران CUDA» استخدام کنند. انویدیا با خودکارسازی جزئیات سطح پایین GPU، اجازه میدهد تیمهای AI روی محصول تمرکز کنند، نه روی مدیریت حافظه.
گام بعدی شما
- توسعهدهندگان میتوانند این پشتهی جدید را از طریق PyPI و با دستور
pip install cuda-pythonنصب کنند. - اثر این بهینهسازیها را روی نرخ تولید توکن در ثانیه در سختافزارهای جدید Blackwell Ultra رصد کنید.
- بررسی کنید که آیا کانتکستهای سبز میتوانند تأخیر سرویسهای چند-مستأجری شما را کاهش دهند یا خیر.
اما داستان سختافزاری این تحول حتی شگفتانگیزتر است — به تحلیل ما دربارهی تراشههای Blackwell مراجعه کنید.
گفتگو