تصور کنید می‌خواهید یک مدل هوش مصنوعی را به متخصص گیتار یا نان خمیرترش تبدیل کنید، بدون اینکه تمام دانش قبلی‌اش را پاک کنید. این دقیقاً همان چیزی است که در آزمایش اخیر برای سنجش اثر آداپتورهای لورا (LoRA) — شبیه به نصب یک افزونه‌ی تخصصی روی یک نرم‌افزار کلی برای اضافه کردن قابلیت‌های جدید — بررسی شد.
طبق گزارش پژوهشگر این پروژه، هدف این بود که مشخص شود آیا آداپتور (Adapter)های موضوعی می‌توانند مقدار Perplexity (معیاری برای سنجش میزان پیش‌بینی‌پذیری متن توسط مدل) را در یک موضوع خاص کاهش دهند، بدون اینکه لزوماً کل مدل را ارتقا دهند. نتایج نشان داد که هر آداپتور در حوزه تخصصی خود بهترین عملکرد را داشت؛ به طوری که آداپتور گیتار به‌طور قابل‌توجهی دقت مدل را در متون موسیقی بالا برد و آداپتور نان خمیرترش همین اثر را در متون آشپزی داشت.
همان‌طور که در تحلیل‌های قبلی ما درباره‌ی تنظیم کارآمد با پارامتر اندک (PEFT) اشاره کردیم، این رویکرد اجازه می‌دهد مدل‌های عظیم بدون هزینه‌های گزاف، شخصی‌سازی شوند. در این آزمایش، جزئیات فنی زیر ثبت شده است:
- تأیید عدم تداخل متنی (Zero Overlap) بین داده‌های آموزش و داده‌های آزمون.
- مدیریت موفق ۱۴ مورد از ۱۴ سناریوی خصمانه (Adversarial Cases) توسط اپراتور.
- ثبت تصمیمات ایمنی با نرخ موفقیت ۴ از ۴.
به نقل از مستندات فنی این اجرا، برای تضمین شفافیت، هش‌های (Hash) مجموعه‌داده‌ها و آداپتورها در آرشیو نهایی قرار گرفته تا هر کسی بتواند نتایج را به‌صورت مستقل بازبینی کند. نکته‌ای که باید به آن توجه کرد، وجود هشدارهای تخصیص حافظه در واحد پردازش گرافیکی (GPU) به دلیل کمبود حافظه ویدیویی (VRAM) بود. با این حال، فرآیند آموزش و ارزیابی با وضعیت خروجی ۰ (بدون خطا) به پایان رسید و هر دو آداپتور با موفقیت تولید شدند.
این نتایج ثابت می‌کند که تخصص‌گرایی در مدل‌ها کاملاً ملموس است؛ زیرا هرچند یک آداپتور تخصصی می‌تواند عملکرد مدل را در موضوع مخالف (نسبت به مدل پایه) بهبود ببخشد، اما هرگز نمی‌تواند جایگزین متخصصِ واقعی آن حوزه شود.
گام بعدی شما
- اگر از مدل‌های بازمتن استفاده می‌کنید، به‌جای Fine-tuning کامل، از LoRA برای ایجاد نسخه‌های تخصصی (Domain-specific) استفاده کنید.
- برای ارزیابی کیفیت مدل خود، معیار Perplexity را به عنوان شاخص اول برای سنجش میزان «گیجی» مدل در برابر داده‌های جدید به کار ببرید.
- در محیط‌های با VRAM محدود، از QLoRA برای کاهش فشار روی حافظه گرافیکی استفاده کنید.
اما تأثیر این روش بر کاهش هزینه‌های استنتاج در مقیاس صنعتی حتی جذاب‌تر است — به بررسی ما درباره‌ی بهینه‌سازی‌های استنتاج مراجعه کنید.
گفتگو