اگر امروز در حال آموزش یک مدل به سبک GPT هستید، احتمالاً با هر دوبرابر شدن طول توالیها، حافظهی GPU شما با خطای Out-of-Memory متلاشی میشود. دلیل این اتفاق ساده است: مکانیسم توجه (Attention) استاندارد، رشد حافظهای درجهدوم دارد که یعنی با افزایش طول متن، فشار روی سختافزار بهصورت تصاعدی بالا میرود.
کتابخانهی xFormers این بنبست را با ارائه هستههایی (Kernels) حل میکند که محاسبات توجه را بدون نیاز به ساخت کامل ماتریس امتیازات انجام میدهند. این رویکرد، رشد حافظه را از حالت درجهدوم به حالت خطی تغییر میدهد — یعنی حافظه حالا مثل یک خط صاف رشد میکند، نه یک منحنی تند و عمودی.
همانطور که در تحلیل قبلی ما دربارهی بهینهسازی مدلهای زبانی اشاره کردیم، کارایی معماری در مقیاسهای بزرگ تعیینکنندهی برنده است. xFormers به توسعهدهندگان اجازه میدهد پنجرههای متنی (Context Window) — که شبیه به میز کاری است که مدل برای پردازش اطلاعات در لحظه در اختیار دارد — را بدون نیاز به سختافزارهای صنعتی گسترش دهند.
طبق مستندات فنی منتشر شده در سال ۲۰۲۴، این کتابخانه مکانیسمهای کلیدی زیر را پیاده کرده است:
- توالیهای بستهبندی شده (Packed Sequences): با استفاده از
BlockDiagonalMaskچندین توالی با طول متفاوت را در یک تنسور جای میدهد تا فضای تلفشده برای Padding حذف شود. - توجه پرسوجوی گروهبندی شده (Grouped-Query Attention یا GQA): اندازه KV Cache را کاهش میدهد؛ تکنیکی که در مدلهای لاما (Llama) و میسترال (Mistral) برای افزایش سرعت استنتاج استفاده شده است.
- سوایگلو (SwiGLU Layers): شبکههای پیشخور ادغامشدهای را برای محاسبات سریعتر فراهم میکند.
- بایاسهای ALiBi: جریمههای موقعیتی افزودنی برای بهبود پیشبینی در توالیهای بسیار بلند را اعمال میکند.
به نقل از آموزشهای Marktechpost، این تغییرات معنای مهمی برای توسعهدهندگان دارد: گلوگاه اصلی از «ظرفیت VRAM» به «توان پردازشی خالص» تغییر میکند. این یعنی حالا میتوانید روی GPUهای رده مصرفکننده، مدلهای تخصصی با متنهای طولانیتر را آموزش دهید.
گام بعدی شما
- بررسی مستندات xFormers برای جایگزینی لایههای Attention استاندارد PyTorch با هستههای بهینه.
- پیادهسازی یک بلوک GPT کوچک با استفاده از حلقه آموزش با دقت ترکیبی خودکار (AMP).
- بنچمارک گرفتن از میزان مصرف حافظه در توالیهای بالای ۲۰۴۸ توکن برای مشاهده تفاوت رشد خطی و درجهدوم.
اما اثر این بهینهسازیها بر سرعت استنتاج در محیطهای تولیدی حتی چشمگیرتر است — به تحلیل ما دربارهی کوانتایزیشن مدلها مراجعه کنید.
گفتگو