[distillation] چیست؟

تقسیم بار آموزش یک مدل میان چند شتاب‌دهنده یا گره که هم‌زمان کار می‌کنند، تا مدل‌های بزرگی که در یک دستگاه جا نمی‌شوند در زمان معقول آموزش ببینند.

روشی برای همسوسازی مدل که آن را مستقیماً از جفت پاسخ‌های ترجیح‌داده‌شده و رد‌شده آموزش می‌دهد، بدون نیاز به مدل پاداش جداگانه.

روشی برای منظم‌سازی که در هر گام آموزش بخشی از نورون‌ها را به‌طور تصادفی غیرفعال می‌کند تا مدل به ویژگی‌های خاص بیش‌ازحد وابسته نشود.

متوقف‌کردن آموزش به‌محض آنکه کارایی مدل روی دادهٔ اعتبارسنجی رو به افول می‌گذارد، تا از بیش‌برازش جلوگیری شود.

پردازش داده در نزدیکیِ منبع آن، به‌جای مراکز دادهٔ متمرکز.

نمایش داده به‌صورت یک بردار عددیِ فشرده که معنای آن را در خود نگه می‌دارد.