توان عملیاتی چیست؟

فاصلهٔ زمانی میان ارسال پرامپت و تولید نخستین توکن پاسخ توسط مدل، که حس سرعت اولیه در کاربردهای متنی تعاملی را تعیین می‌کند.

کوچک‌ترین واحد متن که مدل زبانی پردازش می‌کند و معمولاً یک واژه، بخشی از واژه یا یک نشانه است.

تجزیهٔ متن به واحدهای کوچک‌تر به نام توکن — واژه، بخشی از واژه یا نویسه — که مدل زبانی آن‌ها را پردازش می‌کند.

نرخ تولید خروجی یک مدل زبانی که شمار توکن‌های متن تولیدشده در هر ثانیه را نشان می‌دهد و معیاری رایج برای سنجش سرعت پاسخ‌گویی است.

توانایی مدل هوش مصنوعی برای فراخوانیِ ابزارها، APIها یا سرویس‌های بیرونی برای انجام کارها.

روش انتخاب توکن بعدی که گزینه‌ها را به k توکنِ محتمل‌تر محدود می‌کند و سپس از میان همان‌ها به‌صورت تصادفی نمونه می‌گیرد.