اگر هنوز برای بهینهسازی مدلهای خود روی تراشههای Blackwell به کرنلهای عمومی تکیه میکنید، احتمالاً نیمی از قدرت سختافزار خود را از دست میدهید.
به گزارش پژوهشگران پایتورچ (PyTorch) در ۲۶ مه ۲۰۲۶، عصر کرنلهای همهمنظوره در حال پایان است و جای خود را به طراحیهای «آگاه از الگو» (Pattern-aware) میدهد. همانطور که در تحلیلهای پیشین ما دربارهی تکامل زبان تریتون (Triton) اشاره کردیم، شناسایی ساختار دادهها در زمان کامپایل، کلید دستیابی به حداکثر سرعت در سختافزارهای نسل جدید است.
این تیم با معرفی TLX Block Attention، توانست سرعت گذر بازگشتی (Backward Pass) در توجه بلوکی-قطری (Block-diagonal Attention) را در پردازندههای NVIDIA B200 تا ۲.۵ برابر افزایش دهد. این دستاورد از طریق حذف ذخیرهسازی تنسور logsumexp در حافظه HBM و استفاده از یک خط لوله تولیدکننده-مصرفکننده (Producer-Consumer Pipeline) حاصل شده است که در آن ۱۵ وارپ (Warp) برای گذر رفت و ۲۰ وارپ برای گذر بازگشت بهطور دائمی به واحدهای سختافزاری اختصاص یافتهاند.
بر اساس مستندات فنی، دستاوردهای کلیدی این بهینهسازی عبارتاند از:
- حذف کرنل پیشپردازش Di از طریق محاسبه درونخطی (Inline).
- استفاده از دستور
use_acc=Falseبرای بازاستفاده از حافظه TMEM. - ادغام گذر بازگشتی چرخشی (Rotary Backward Pass) در بخش پایانی، که منجر به افزایش ۳.۵ برابری سرعت و کاهش ۵۳ درصدی خطای گرادیان (dQ) شد.
تحلیل ما نشان میدهد که این پیشرفت، مرز بین زبانهای سطح بالای بهینهسازی و کدنویسی خام CUDA را میشکند. وقتی بتوان ساختار توجه را در زمان کامپایل شناسایی کرد، دیگر نیازی به «بهینهسازی ریز» (Micro-optimization) نیست، بلکه میتوان مراحل کامل الگوریتمی را حذف کرد. این موضوع ثابت میکند که Triton اکنون میتواند در بهینهسازیهای خاص برای Blackwell با CUDA رقابت کند و بهرهوری عملیات شناور مدل (Model FLOPs Utilization - MFU) را در لایههای عملیاتی ۳۰.۶٪ افزایش دهد.
گام بعدی شما
- بررسی کتابخانه
ads_model_kernel_libraryدر گیتهاب برای پیادهسازی این بهینهسازیها. - ارزیابی ورکلودهای Block-sparse برای شناسایی پتانسیلهای افزایش سرعت.
- دنبال کردن بهروزرسانیهای TLX برای پشتیبانی از الگوهای جدید توجه.
اما داستان سختافزاری این تحول حتی شگفتانگیزتر است — به تحلیل ما دربارهی تراشههای Blackwell مراجعه کنید.
گفتگو