اگر امروز در حال تنظیم دقیق یک مدل هستید، احتمالاً از LoRA استفاده میکنید؛ اما ممکن است بدون دلیل، بخشی از عملکرد مدل خود را قربانی کرده باشید. طبق گزارش ۱۸ ژوئن ۲۰۲۶ از Hugging Face، اتکای صنعت به لورا (LoRA) بیشتر نتیجهی محبوبیت اولیه و پشتیبانی اکوسیستم است تا برتری فنی مطلق.
تنظیم کارآمد با پارامتر اندک (PEFT) — شبیه این است که بهجای بازسازی کل موتور یک ماشین، یک ماژول کوچک و قابل آموزش به موتورِ قفلشده اضافه کنیم — به توسعهدهندگان اجازه میدهد مدلهای بزرگ را بدون نیاز به حافظهی عظیم آموزش کامل، تطبیق دهند. همانطور که در تحلیلهای پیشین ما دربارهی بهینهسازی مدلهای متنباز اشاره کردیم، این رویکرد برای کسانی که از سختافزارهای مصرفی یا مدلهای کوانتیده استفاده میکنند، حیاتی است. در واقع، محدودیتهای حافظه GPU همواره به عنوان سد اصلی در مسیر تنظیم دقیق مدلهای زبانی شناخته شدهاند و همین موضوع باعث استقبال گسترده از متدهای PEFT شده است.
برای شکستن پیشفرضهای رایج، Hugging Face بیش از ۴۰ تکنیک را با استفاده از کتابخانهی PEFT در دو بازه آزمایشی بررسی کرد. بر اساس مستندات این گزارش، موازنهی حیاتی میان دقت آزمایش و مصرف حافظه ویدیویی (VRAM) به شرح زیر است:
- ریاضیات مدلهای زبانی (GSM8K): لورا با دقت ۵۳.۲٪ و مصرف ۲۲.۶ گیگابایت VRAM قرار دارد؛ اما متدی به نام Lily با ۵۴.۹٪ دقت (و ۲۵.۶ گیگابایت حافظه) عملکرد بهتری دارد و BEFT با ۲۰.۲ گیگابایت حافظه، بصرفهتر است. این نتایج نشان میدهد که تغییر در طراحی توزیع هدف میتواند به شکل چشمگیری استدلال مدلها را نسبت به روشهای استاندارد SFT بهبود ببخشد.
- تولید تصویر (FLUX.2): تکنیک OFT بهطور کامل بر لورا برتری دارد؛ این متد هم امتیاز شباهت بالاتری (۰.۷۰۸ در مقابل ۰.۶۹۷) کسب کرده و هم حافظهی کمتری (۹.۰۱ در مقابل ۹.۹۷ گیگابایت) مصرف میکند.
به نقل از تحلیلگران Hugging Face، عصر «یک اندازه برای همه» در PEFT به پایان رسیده است. خبر خوب این است که هزینه تغییر اکنون تقریباً صفر است؛ با استفاده از API یکپارچهی PEFT، جایگزینی لورا با OFT تنها با تغییر یک خط تنظیمات در کد ممکن است. علاوه بر این، اکنون میتوان آداپتورهای غیر لورا را برای سازگاری با ابزارهایی مثل vLLM دوباره به فرمت لورا تبدیل کرد.
گام بعدی شما
- اگر محدودیت VRAM دارید، متدهای BEFT یا OFT را جایگزین لورا کنید.
- بنچمارکهای کتابخانه PEFT را برای تطبیق سختافزار خود با نیاز دقت مدل بررسی کنید.
- برای استقرار مدل، از قابلیت تبدیل آداپتورها به فرمت LoRA جهت حفظ سازگاری با vLLM استفاده کنید.
اما معماری لایههای سازگارساز در مدلهای آینده احتمالاً تغییراتی بنیادین خواهد داشت — به بررسی ما دربارهی تکامل ترنسفورمرها مراجعه کنید.
گفتگو