RePAIR: چارچوبی برای حذف دانش ناخواسته از مدل‌های زبانی بزرگ

پژوهشگران مؤسسه فناوری بمبئی (IIT Bombay) چارچوبی نوین با نام RePAIR توسعه داده‌اند که به کاربران نهایی امکان می‌دهد دانش ناخواسته را از مدل‌های زبانی بزرگ (LLM) به‌صورت انتخابی حذف کنند، بدون آنکه نیازی به تکیه بر ارائه‌دهندگان سرویس مدل باشد. این رویکرد تازه که «یادگیری معکوس تعاملی ماشین» نامیده شده، به کاربران اجازه می‌دهد تا از طریق دستورات زبان طبیعی و در زمان استنتاج، مدل‌های زبانی بزرگ را به فراموشی اطلاعات خاصی هدایت کنند. سیستم مذکور از سه جزء کلیدی تشکیل شده است: مدل نگهبان (watchdog) برای شناسایی درخواست‌های یادگیری معکوس، مدل جراح (surgeon) برای تولید رویه‌های ترمیم، و مدل بیمار (patient) که پارامترهای خود را به‌صورت خودمختار به‌روزرسانی می‌کند. در هسته اصلی این چارچوب، روشی بدون نیاز به آموزش به نام STAMP به‌کار گرفته شده که فعال‌سازی‌های شبکه عصبی را با استفاده از به‌روزرسانی‌های شبه‌معکوس بسته، به سمت زیرفضای انصراف هدایت می‌کند. این تکنیک پیچیدگی محاسباتی را از مقیاس مکعبی به تقریباً درجه دوم کاهش می‌دهد و امکان یادگیری معکوس کارآمد روی دستگاه را با عملکرد تقریباً سه برابر سریع‌تر نسبت به رویکردهای سنتی مبتنی بر آموزش فراهم می‌سازد. نتایج آزمایشی نشان‌دهنده نمرات فراموشی نزدیک به کامل همراه با حفظ کارآیی مدل است، به‌طوری‌که دقت نگهداری به ۸۴.۴۷ درصد و معیارهای یادگیری پاداش به ۰.۸۸ رسیده است. این پژوهش به نگرانی‌های اساسی درباره دانش مضر، اطلاعات نادرست و داده‌های شخصی تعبیه‌شده در سیستم‌های هوش مصنوعی طی پیش‌آموزش می‌پردازد. با ارائه mecanismos شفاف و عملی برای ویرایش مدل به فرمان کاربر، این کار امکان کنترل روی دستگاه بر دانش آموخته‌شده را پیش می‌برد و پتانسیل گسترش به مدل‌های بنیادی چندوجهی را دارد.