انتقال دانش مدل‌های زبانی بزرگ به ماشین‌های تسِتلین

این پژوهش چارچوبی برای بوت‌استرپینگ معنایی معرفی می‌کند که شکاف میان مدل‌های زبانی عصبیِ غیرشفاف و سیستم‌های نمادین قابل‌تفسیر را پر می‌کند. رویکرد مذکور دانش را از مدل‌های زبانی بزرگ به ماشین‌های تسِتلین منتقل می‌کند و سیستمی ترکیبی می‌سازد که ضمن حفظ شفافیت کامل، به درک معنایی دست می‌یابد.

این چارچوب از طریق برنامه آموزشی سه‌مرحله‌ای عمل می‌کند که برای گسترش تنوع معنایی طراحی شده است. در مرحله بذر، نمونه‌های ترکیبی اولیه با استفاده از زیر-intentهای تولیدشده توسط مدل زبانی بزرگ برای برچسب‌های کلاس معین ایجاد می‌شوند. مرحله هسته این نمونه‌ها را پالایش می‌کند، و مرحله غنی‌سازی پوشش را برای ثبت موارد خاص و بیان‌های متفاوت بیشتر گسترش می‌دهد.

یک ماشین تسِتلین غیرمنفی از این نمونه‌های ترکیبی می‌آموزد تا عبارات منطقی با اطمینان بالا را استخراج کند که به‌عنوان نشانه‌های معنایی قابل‌تفسیر عمل می‌کنند. این الگوهای استخراج‌شده سپس در داده‌های واقعی تزریق می‌شوند و ماشین تسِتلین استاندارد را قادر می‌سازند تا منطق بند خود را با معانی استنتاج‌شده توسط مدل زبانی بزرگ هماهنگ کند.

برخلاف رویکردهای عصبی سنتی که به تعبیه‌های پیوسته و فراخوانی‌های پرهزینه در زمان اجرا نیاز دارند، این روش پس از انتقال دانش اولیه نه به تعبیه نیاز دارد و نه به فراخوانی مدل زبانی بزرگ. سیستم حاصل کاملاً نمادین و از نظر محاسباتی کارآمد باقی می‌ماند.

نتایج تجربی در وظایف متعدد طبقه‌بندی متن نشان می‌دهد که این رویکرد هم تفسیرپذیری و هم دقت را در مقایسه با ماشین‌های تسِتلین معمولی بهبود می‌بخشد. این چارچوب به عملکردی قابل‌مقایسه با مدل‌های برت دست می‌یابد و در عین حال عملیات نمادین کامل را حفظ می‌کند. هر الگوی یادگرفته‌شده قابل بازرسی و درک است، و این امر آن را برای کاربردهای حیاتی که تصمیمات مدل باید برای ذینفعان، ناظران یا کاربران نهایی قابل‌توضیح باشد، بسیار مناسب می‌سازد. ترکیب غنای معنایی مدل‌های زبانی بزرگ با ضمانت‌های تفسیرپذیری سیستم‌های نمادین، مسیری امیدبخش برای استقرار هوش مصنوعی مسئولانه را نشان می‌دهد.