زمان تا نخستین توکن چیست؟

کوچک‌ترین واحد متن که مدل زبانی پردازش می‌کند و معمولاً یک واژه، بخشی از واژه یا یک نشانه است.

تجزیهٔ متن به واحدهای کوچک‌تر به نام توکن — واژه، بخشی از واژه یا نویسه — که مدل زبانی آن‌ها را پردازش می‌کند.

نرخ تولید خروجی یک مدل زبانی که شمار توکن‌های متن تولیدشده در هر ثانیه را نشان می‌دهد و معیاری رایج برای سنجش سرعت پاسخ‌گویی است.

توانایی مدل هوش مصنوعی برای فراخوانیِ ابزارها، APIها یا سرویس‌های بیرونی برای انجام کارها.

روش انتخاب توکن بعدی که گزینه‌ها را به k توکنِ محتمل‌تر محدود می‌کند و سپس از میان همان‌ها به‌صورت تصادفی نمونه می‌گیرد.

روش انتخاب توکن بعدی که فقط از کوچک‌ترین مجموعه‌ای از محتمل‌ترین توکن‌ها نمونه می‌گیرد که جمع احتمالشان از آستانه‌ای مشخص بگذرد.