اگر امروز مدل‌های زبانی بزرگ را در مقیاس صنعتی مستقر می‌کنید، هزینه‌های استنتاج (Inference) — که مثل خودِ آشپزی است، نه دوره‌ی آموزش آشپز — قرار است به‌شدت کاهش یابد. PyTorch در ۱۳ مه ۲۰۲۶ نسخه ۲.۱۲ را منتشر کرد که سرعت عملیات تجزیه مقادیر ویژه (Eigendecomposition) در CUDA را ۱۰۰ برابر می‌کند.
برای سال‌ها، PyTorch استاندارد طلایی پژوهش بود اما در لایه‌ی سخت‌افزاری برای محیط‌های عملیاتی ضعف داشت. این نسخه ادامه یک چرخش راهبردی است تا اکوسیستم از ابزارهای قدیمی مثل TorchScript فاصله بگیرد. همان‌طور که در تحلیل‌های قبلی ما درباره‌ی بهینه‌سازی مدل‌های بازمتن اشاره کردیم، هدف اکنون رسیدن به پلتفرمی است که روی هر تراشه‌ای یکسان اجرا شود.
به نقل از مستندات رسمی این نسخه، تغییرات کلیدی عبارتند از:
- عملکرد CUDA: عملیات
linalg.eighاکنون از بک‌اند cuSolver استفاده می‌کند. طبق گزارش Meta، این تغییر زمان پردازش بسیاری از حجم‌های کاری علمی را از چند دقیقه به چند ثانیه رسانده است. - کوانتایزیشن (Quantization) — شبیه تبدیل یک عکس باکیفیت به فرمت JPEG برای کاهش حجم بدون از دست دادن معنای کلی — اکنون از فرمت‌های Microscaling (MX) پشتیبانی می‌کند. این یعنی مدل‌ها را می‌توان روی سخت‌افزارهای لبه (Edge) با محدودیت هزینه مستقر کرد.
- یکپارچگی سخت‌افزاری: API جدید
torch.accelerator.Graphباعث می‌شود ثبت و بازپخش گراف‌ها روی تراشه‌های NVIDIA، Intel XPU و سایر بک‌اندها یکسان شود. - اپل سیلیکون: شیدرهای Metal-4 اکنون پیش‌کامپایل شده‌اند تا تأخیر شروع به کار در MPS حذف شود.
این تغییرات صرفاً چند وصله فنی نیستند؛ بلکه تلاشی برای شکستن انحصار سخت‌افزاری (Vendor Lock-in) است. Meta با یکسان‌سازی API، اجازه می‌دهد شرکت‌ها بدون بازنویسی کل کدها، سخت‌افزار خود را تغییر دهند. تمرکز بر فرمت‌های MX نیز نشان می‌دهد که هدف، اجرای مدل‌های عظیم روی سخت‌افزارهای ارزان و کم‌مصرف است.
گام بعدی شما
- آخرین نسخه را از PyPI نصب کنید تا افزایش سرعت در عملیات linalg را تست کنید.
- اگر از سخت‌افزارهای لبه استفاده می‌کنید، فرمت‌های MXFP4 و MXFP8 را برای کاهش حافظه بررسی کنید.
- منتظر نسخه ۲.۱۳ باشید، جایی که torchcomms برای آموزش توزیع‌شده پیش‌فرض خواهد شد.
اما داستان سخت‌افزاری این تحول حتی شگفت‌انگیزتر است — به تحلیل ما درباره‌ی تراشه‌های Blackwell مراجعه کنید.
گفتگو