اگر در حال آموزش مدل‌های طبقه‌بندی روی مجموعه‌داده‌های نامتوازن هستید، احتمالاً در حال حدس زدن وزن‌های تابع زیان (Loss Function) هستید. این رویکرد تجربی، گلوگاه اصلی دقت مدل در مواجهه با کلاس‌های نادر است.
داده‌های Long-Tailed (دم-دراز) چالشی همیشگی در یادگیری ماشین هستند، جایی که مدل‌ها به دلیل غلبه‌ی کلاس‌های اکثریت، کلاس‌های کمیاب را نادیده می‌گیرند. همان‌طور که در تحلیل‌های پیشین ما درباره‌ی پایداری مدل‌های بنیادی اشاره کردیم، نادیده گرفتن کلاس‌های اقلیت منجر به سوگیری شدید مدل در محیط عملیاتی می‌شود.
بر اساس مستنداتی که در ۱۲ مه ۲۰۲۶ در arXiv.org منتشر شد، پژوهشگران روشی را پیشنهاد داده‌اند که وزن‌دهی زیان را به عنوان یک «مسئله معکوس» (Inverse Problem) تعریف می‌کند. این استراتژی از هندسه‌ی Neural Collapse (فروپاشی عصبی) و به‌ویژه حالت پایانی Equiangular Tight Frame (ETF) بهره می‌برد. به نقل از نویسندگان مقاله، این هندسه نشان می‌دهد که دستیابی به «میانگین زیان برابر برای هر کلاس»، منطقی‌ترین هدف برای بازتنظیم وزن‌ها است.
اجزای فنی کلیدی این متد عبارتند از:
- استراتژی وزن‌دهی با دید معکوس برای استنتاج پویا و تطبیق وزن‌ها با هدف ایده‌آل.
- مکانیزمی برای کاهش ضریب نابرابری زیان در طول فرآیند آموزش.
- همسویی دقیق‌تر با هندسه‌ی NC در مقایسه با خط‌بارهای سنتی داده‌های Long-Tailed.
این رویکرد، پارادایم را از «حدس زدن وزن‌ها» به «محاسبه‌ی آن‌ها بر اساس وضعیت داخلی مدل» تغییر می‌دهد. برای جامعه‌ی فنی، این بدان معناست که وزن‌های کلاس‌ها نباید لزوماً ایستا یا صرفاً بر اساس توزیع نمونه‌ها باشند؛ بلکه هندسه‌ی لایه‌ی نهایی، سیگنال قابل‌اعتمادتری برای تنظیم وزن‌هاست و نیاز به تنظیم دستی و زمان‌بر هایپرپارامترها را کاهش می‌دهد.
گام بعدی شما
- بررسی اثرگذاری این روش بر مجموعه‌داده‌های بسیار حجیم (Large-scale) برای سنجش مقیاس‌پذیری.
- آزمایش مدل بر روی بردار معنایی (Embedding) چندوجهی برای مشاهده رفتار هندسه‌ی NC.
- جایگزینی وزن‌دهی‌های تجربی با محاسبات مبتنی بر وضعیت داخلی مدل در خط لوله‌های آموزش.
اما تأثیر این رویکرد بر کاهش هزینه‌های محاسباتی در مقیاس صنعتی، موضوع تحلیل بعدی ما خواهد بود.
گفتگو