[Overfitting] چیست؟

مقادیر عددی درون یک مدل که در جریان آموزش تنظیم می‌شوند و دانش مدل را در خود نگه می‌دارند؛ شمارشان معیار اندازهٔ مدل است.

معیاری در ارزیابی تولید کد که نشان می‌دهد اگر مدل k پاسخ بسازد، با چه احتمالی دست‌کم یکی از آن‌ها آزمون‌ها را با موفقیت می‌گذراند.

خانواده‌ای از روش‌ها که فقط بخش کوچکی از پارامترهای یک مدل بزرگ را آموزش می‌دهد تا هزینهٔ سازگارکردن آن به‌شدت کاهش یابد.

معیاری که نشان می‌دهد یک مدلِ زبانی در پیش‌بینیِ کلمهٔ بعدی چقدر سرگشته است؛ هرچه مقدارش کمتر باشد، مدل با قطعیتِ بیشتری پیش‌بینی می‌کند و کیفیتِ بهتری دارد.

افزودن اطلاعاتِ جایگاهِ هر توکن به ورودی ترنسفورمر، تا مدل ترتیب واژه‌ها را تشخیص دهد چون توجه به‌خودیِ‌خود ترتیب را نمی‌فهمد.

الگوریتمی در یادگیری تقویتی که سیاست مدل را گام‌به‌گام و محتاطانه به‌روز می‌کند تا تغییرات بزرگ و بی‌ثبات‌کننده رخ ندهد.