پژوهشگران رویکردی تازه برای حذف تدریجی یادگیری ماشین توسعه داده‌اند که یک چالش اساسی در سیستم‌های هوش مصنوعی مدرن را هدف قرار می‌دهد: حذف تأثیر داده‌های خاص بدون افت کیفیت عملکرد کلی مدل. این روش از تجزیه مقادیر منفرد برای هدایت پیش‌بینی زیرفضای متعامد جهت محدود کردن به‌روزرسانی‌های جدید LoRA در طول آموزش استفاده می‌کند.
حذف تدریجی یادگیری ماشین به‌عنوان نیازی حیاتی مطرح شده است؛ چرا که مقرراتی مانند GDPR از سیستم‌های هوش مصنوعی می‌خواهند که داده‌های مشخصی را به درخواست کاربر فراموش کنند. دشواری زمانی افزایش می‌یابد که درخواست‌های حذف به‌صورت متوالی و پشت سر هم arrives کنند و مدل‌ها مجبور شوند بدون پاک کردن دانش قبلی، تطبیق‌های مکرر انجام دهند.
تطبیق رتبه پایین راهکاری کارآمد برای پیاده‌سازی به‌روزرسانی‌های حذف یادگیری ارائه می‌دهد، اما ترکیب تعداد زیادی ماژول LoRA متوالی باعث برخورد پارامتری و تداخل شدید بین کارهای مختلف می‌شود. راه‌حل پیشنهادی، هر به‌روزرسانی جدید LoRA را محدود به مکمل متعامد زیرفضاهایی می‌کند که توسط کارهای حذف یادگیری قبلی استفاده شده‌اند.
این رویکرد جداسازی کارها را بدون نیاز به مسیریابی پویا در زمان استقرار حفظ می‌کند. پژوهشگران این روش را روی CIFAR-100 با ResNet-20 و همچنین MNIST آزمایش کردند و رفتار پایداری را در توالی‌های طولانی کارهای حذف یادگیری نشان دادند.
پس از سی کار متوالی حذف یادگیری، عملیات ادغام ایستای بهترین روش‌های موجود، دقت حفظ‌شده را از ۶۰.۳۹٪ به فقط ۱۲.۷۰٪ کاهش داد. در مقابل، بهینه‌سازی محدودشده در زمان آموزش در روش پیشنهادی، عملکرد پایه را در حدود ۵۸.۱٪ حفظ کرد و همزمان اثربخشی بالایی در حذف یادگیری داشت. این امر نشان‌دهنده پیشرفت چشمگیری در حفظ قابلیت مدل در عین احترام به درخواست‌های حذف داده است.
این روش راه‌حلی عملی برای پیاده‌سازی‌های واقعی فراهم می‌کند که در آن‌ها درخواست‌های حذف یادگیری به‌طور مداوم arrives می‌کنند و باید بدون به خطر انداختن توانایی‌های کلی مدل، به‌صورت کارآمد پردازش شوند.
گفتگو