رمزگشایی از معماری پنهانی که مدل‌های بینایی را در برابر حملات مصون می‌کند

تصور کنید بتوانیم تنها با حذف نویزهای فرکانس بالا، هوش مصنوعی را به اندازه چشم انسان مقاوم کنیم. این ایده‌ی وسوسه‌انگیز، در واقع یک توهم فنی است که اکنون فروپاشیده است.

طبق گزارشی که در ۷ مه ۲۰۲۶ در arxiv.org منتشر شد، راز مقاومت در برابر حملات خصمانه (Adversarial Attacks) بسیار عمیق‌تر از فیلترهای ساده‌ی طیفی است. پژوهشگران برای درک این موضوع، شبکه‌های عصبی پیچشی عمیق (Deep Convolutional Neural Networks - DCNNs) را که با جریان بینایی شکمی (Ventral Visual Stream) انسان همراستا شده‌اند، مورد بررسی قرار دادند تا بفهمند چرا این مدل‌ها در برابر اختلالات بسیار مقاوم‌تر از مدل‌های استاندارد هستند.

بر اساس مستندات این پژوهش، تیم تحقیق تلاش کرد تا بفهمد آیا سوگیری فرکانس مکانی (Spatial Frequency Bias) به سمت فرکانس‌های پایین (LSF) یا یک «کانال انسانی» خاص در فرکانس‌های متوسط، عامل اصلی این برتری است یا خیر. یافته‌ها با صراحت این باور را که سوگیری طیفی به تنهایی باعث ایجاد مقاومت می‌شود، رد می‌کنند:

• سوق دادن مدل‌ها به سمت کانال انسانی — چه به تنهایی و چه در کنار LSF — در واقع مقاومت مدل را کاهش داد.
• سوگیری به سمت فرکانس‌های مکانی پایین تنها بهبودهای اندکی ایجاد کرد و نتوانست به سطح مقاومت مدل‌های همراستا با سیستم عصبی برسد.
• مدل‌هایی که بر اساس فرکانس‌ها تغییر یافته بودند، تقریباً هیچ شباهتی به هندسه‌ی بازنمایی (Representational Geometry) عصبی انسان نشان ندادند.

همان‌طور که در تحلیل‌های پیشین ما درباره‌ی امنیت مدل‌های بینایی اشاره کردیم، همراستاسازی با ساختارهای بیولوژیکی همواره نتایج غیرمنتظره‌ای داشته است. این نتایج ثابت می‌کنند که تغییر در اتکای فرکانسی، تنها یک ویژگی جانبی از یادگیری بازنمایی‌های انسان‌گونه است، نه مکانیسمی که مقاومت را ایجاد می‌کند. بنابراین، جامعه‌ی علمی باید برای حل مشکل حملات نامحسوس، نگاه خود را از پروفایل‌های طیفی به سمت هندسه‌ی واقعی بازنمایی‌های عصبی تغییر دهد.

اما این تغییر رویکرد، سوالات جدیدی را درباره‌ی سخت‌افزارهای پردازشی ایجاد می‌کند — به بررسی ما درباره‌ی تراشه‌های نسل جدید مراجعه کنید.

گام بعدی شما

• بررسی متدهای همراستاسازی (Alignment) عصبی برای افزایش امنیت مدل‌های بینایی.
• تحلیل هندسه‌ی بازنمایی در لایه‌های میانی مدل‌ها به جای تمرکز بر ورودی و خروجی.
• مطالعه‌ی مقالات مرتبط با اثرات ساختاری جریان بینایی شکمی بر استواری مدل‌ها.