مدل انتشار چیست؟

کاستن از شمار ویژگی‌های یک مجموعه‌داده با حفظ بیشترِ اطلاعات مهم، برای ساده‌ترشدن مدل و کاهش بار محاسباتی.

آموزش یک مدل کوچک‌تر (student) برای تقلید رفتار یک مدل بزرگ‌تر و پیچیده‌تر (teacher) با هدف حفظ دقت در حالی که سرعت و کارایی افزایش می‌یابد.

تقسیم بار آموزش یک مدل میان چند شتاب‌دهنده یا گره که هم‌زمان کار می‌کنند، تا مدل‌های بزرگی که در یک دستگاه جا نمی‌شوند در زمان معقول آموزش ببینند.

روشی برای همسوسازی مدل که آن را مستقیماً از جفت پاسخ‌های ترجیح‌داده‌شده و رد‌شده آموزش می‌دهد، بدون نیاز به مدل پاداش جداگانه.

روشی برای منظم‌سازی که در هر گام آموزش بخشی از نورون‌ها را به‌طور تصادفی غیرفعال می‌کند تا مدل به ویژگی‌های خاص بیش‌ازحد وابسته نشود.

متوقف‌کردن آموزش به‌محض آنکه کارایی مدل روی دادهٔ اعتبارسنجی رو به افول می‌گذارد، تا از بیش‌برازش جلوگیری شود.