ترانسفورمرهای بینایی (ViT) به عنوان مدل‌هایی قدرتمند برای وظایف بینایی کامپیوتری ظهور کرده‌اند و قابلیت‌های مقیاس‌پذیری و تعمیم‌دهی قابل توجهی ارائه می‌دهند. با این حال، مقاومت آن‌ها در برابر نمونه‌های تخاصمی — ورودی‌هایی که با هدف ایجاد خطای مدل طراحی شده‌اند — با افزایش اندازه مدل بهبود متناسبی نمی‌یابد. این موضوع چالشی جدی در تقویت معماری‌های بزرگ ترانسفورمر بینایی در برابر چنین حملاتی ایجاد می‌کند.
آموزش تخاصمی (AT) یکی از مؤثرترین تکنیک‌ها برای افزایش مقاومت مدل است. رویکردهای سنتی نیازمند تنظیم دقیق کل مدل هستند که این فرآیند را برای معماری‌های بزرگ ترانسفورمر بینایی از نظر محاسباتی غیرعملی می‌سازد. روش پیشنهادی جدید با نام آموزش تخاصمی آگاه از اهمیت (CAAT) این گلوگاه را با شناسایی هوشمندانه و تنظیم صرفاً پارامترهایی که بیشترین سهم را در مقاومت تخاصمی دارند، برطرف می‌کند.
این روش از تکنیک‌های تنظیم دقیق کارآمد پارامتری (PEFT) برای اصلاح مقاوم وزن‌ها بهره می‌برد، اما این کار را انتخابی و تنها در مواردی انجام می‌دهد که تعداد پارامترهای بحرانی از یک آستانه از پیش تعیین‌شده فراتر رود. این تخصیص تطبیقی منابع به رویکرد اجازه می‌دهد تا مقاومت رقابتی را با کاهش چشمگیر نیازمندی‌های محاسباتی به دست آورد.
آزمایش‌های انجام‌شده روی سه معیار معروف یادگیری تخاصمی نشان می‌دهد که CAAT از روش‌های موجود آموزش تخاصمی سبک‌وزن عملکرد بهتری دارد. این تکنیک عملکرد مقاومتی را در فاصله ۴٫۳ درصدی از آموزش تخاصمی کامل حفظ می‌کند و در عین حال تنها حدود ۶ درصد از پارامترهای مدل را تنظیم می‌کند. علاوه بر این، CAAT رفتار مقیاس‌پذیری مطلوبی در هنگام اعمال روی معماری‌های بزرگ‌تر ترانسفورمر بینایی از خود نشان می‌دهد.
پیامدهای این رویکرد برای جامعه هوش مصنوعی قابل توجه است. با ادامه رشد مدل‌های بینایی، عملی کردن آموزش تخاصمی و مقرون‌به‌صرفه ساختن آن برای کاربردهای حساس از نظر امنیتی اهمیت فزاینده‌ای پیدا می‌کند. CAAT بالقوه آموزش تخاصمی در مقیاس بزرگ را بدون نیاز به منابع محاسباتی هنگفت ممکن می‌سازد و دسترسی به مدل‌های بینایی مقاوم را دموکراتیزه می‌کند. این رویکرد گامی به سوی استراتژی‌های کارآمدتر تقویت مقاومت محسوب می‌شود، هرچند بررسی‌های بیشتر درباره آستانه‌های بهینه پارامترهای بحرانی و قابلیت اعمال در وظایف مختلف بینایی همچنان ضروری است.
گفتگو