اگر در تطبیق مدل‌های چندوجهی خود با داده‌های کم دچار افت دقت می‌شوید، احتمالاً با یک نقص بنیادین هندسی روبرو هستید. تصور کنید تمام تلاش‌های شما برای بهینه‌سازی، توسط یک پیچیدگی ریاضی ساده در فضای برداری خنثی شود.
طبق اعلام پژوهشگران در ۷ مه ۲۰۲۶، روش‌های استاندارد تطبیق مدل‌ها از مشکلی به نام «اعوجاج دینامیک زاویه‌ای» رنج می‌برند. به نقل از مستندات منتشرشده در arxiv.org، این نقص باعث ایجاد سرعت‌های غیریکنواخت و خطاهای قطع‌شدگی در طول آموزش می‌شود که در نهایت دقت مدل را تخریب می‌کند.
برای حل این بحران، تیمی از متخصصان چارچوب تطبیق جریان حاصل‌ضرب مستقیم (Direct Product Flow Matching یا DP-FM) را توسعه دادند. این متد، همراستاسازی (Alignment) بین‌مدالیته‌ای را روی یک منیفولد استوانه‌ای مجزا بازتعریف می‌کند تا تکامل شعاعی و انتقال ژئودزیک زاویه‌ای به‌طور مستقل عمل کنند.
روش DP-FM سه شکست فنی کلیدی را هدف قرار می‌دهد:
- اعوجاج زاویه‌ای: حذف وابستگی شعاعی-زاویه‌ای که آموزش رگرسیونی را دشوار می‌کرد.
- غفلت شعاعی: بازگرداندن اعتماد به مدالیته‌ها برای تشخیص بهتر داده‌های درون-توزیعی از داده‌های خارج-توزیعی.
- اتلاف اطلاعات: استفاده از راهنمای بدون طبقه‌بندی (Classifier-free Guidance) برای بازیابی جزئیات خاص هر مجموعه داده.
همان‌طور که در تحلیل قبلی ما درباره‌ی مدل‌های استدلالی اشاره کردیم، دقت در لایه‌های میانی و نحوه مدیریت جریان داده‌ها، تعیین‌کننده کیفیت خروجی نهایی است. این بهینه‌سازی‌ها باعث شد DP-FM در ۱۱ بنچمارک مختلف، استانداردهای جدیدی برای تطبیق چندگانه (Few-shot) تعریف کند.
این چرخش به سمت چارچوب‌های ریمانی نشان می‌دهد که فرضات «تخت» اقلیدسی در مدل‌های اولیه هوش مصنوعی زاینده (Generative AI)، اکنون به یک گلوگاه تبدیل شده‌اند. با نگاه به ویژگی‌ها به عنوان منیفولد (Manifold) به جای بردارهای ساده، محققان اکنون می‌توانند داده‌ها را در فرآیند تطبیق به‌طور موثرتری «خم» کنند.
اما این تحول هندسی تنها بخشی از ماجراست؛ اثر این رویکرد بر کاهش هزینه‌های استنتاج (Inference) را در گزارش بعدی بررسی خواهیم کرد.
گام بعدی شما
- بررسی پیاده‌سازی‌های DP-FM برای کاهش نیاز به داده‌های آموزشی در مدل‌های VLM.
- مطالعه مفاهیم هندسه‌ی ریمانی برای درک بهتر نحوه حرکت داده‌ها در فضای پنهان مدل.
- ارزیابی مجدد بنچمارک‌های تطبیق سریع در پروژه‌های چندوجهی فعلی خود.
گفتگو