ترازگری همواری برای تقطیر نمادین کارآمدتر از شبکه‌های عصبی

تیمی از پژوهشگران چارچوبی نوآورانه برای بهبود استخراج فرمول‌های نمادین قابل تفسیر از شبکه‌های عصبی ارائه کرده‌اند. این روش با ترازگری همواری عملکردی بین مدل‌های معلم و شاگرد، قابلیت تفسیرپذیری مدل‌های هوش مصنوعی را ارتقا می‌دهد. رویکرد این پژوهش بر regularization خروجی‌های شبکه عصبی تمرکز دارد تا با تکنیک‌های رگرسیون نمادین سازگارتر شوند و چالشی بنیادین در هوش مصنوعی قابل توضیح را برطرف کنند.

مشکل اصلی این تحقیق در ناهمخوانی نحوه نمایش توابع توسط شبکه‌های عصبی و مدل‌های رگرسیون نمادین نهفته است. شبکه‌های عصبی اغلب الگوهای دقیق اما بسیار نامنظمی یاد می‌گیرند، در حالی که رگرسیون نمادین به طور طبیعی راه‌حل‌های ساده‌تر و کم‌حجم‌تر را ترجیح می‌دهد. این موضوع مانعی جدی بر سر راه تقطیر دانش از شبکه عصبی آموزش‌دیده به فرمول نمادین قابل فهم برای انسان ایجاد می‌کند.

راه‌حل پیشنهادی شامل اعمال جریمه‌های ژاکوبین و لیپشیتس در طول آموزش شبکه عصبی است. این جریمه‌ها مدل را تشویق می‌کنند تا توابع هموارتر و منظم‌تری بیاموزد که رگرسیون نمادین بتواند آن‌ها را با دقت بیشتری تقریب بزند. با فعال‌سازی regularization همواری عملکردی معلم، این چارچوب شبکه‌های عصبی تولید می‌کند که آموزگاران بهتری برای مدل‌های رگرسیون نمادین هستند.

پژوهشگران آزمایش‌های گسترده‌ای روی ۲۰ مجموعه داده مختلف با ۵۰ آزمایش مستقل برای هر کدام انجام دادند. نتایج نشان می‌دهد دانش‌آموزان رگرسیون نمادین که از معلمان regularized شده همواری استخراج شده‌اند، بهبودهای آماری معناداری در امتیازات R² در مقایسه با مدل‌های آموزش‌دیده با روش استاندارد کسب می‌کنند. مطالعات ablation نیز اهمیت حیاتی مکانیزم ترازگری همواری را تأیید کردند.

این پژوهش نشان می‌دهد که صرفاً آموزش شبکه‌های عصبی دقیق ممکن است برای تقطیر نمادین مؤثر کافی نباشد. ترازگری عملکردی بین مدل‌های معلم و شاگرد عاملی حیاتی است که در رویکردهای پیشین هوش مصنوعی قابل توضیح تا حد زیادی نادیده گرفته شده بود.