واژهنامهٔ هوش مصنوعی
توکن چیست؟
کوچکترین واحد متن که مدل زبانی پردازش میکند و معمولاً یک واژه، بخشی از واژه یا یک نشانه است.
واژههای دیگر
توکنسازیtokenization
تجزیهٔ متن به واحدهای کوچکتر به نام توکن — واژه، بخشی از واژه یا نویسه — که مدل زبانی آنها را پردازش میکند.
توکن در ثانیهtokens per second
نرخ تولید خروجی یک مدل زبانی که شمار توکنهای متن تولیدشده در هر ثانیه را نشان میدهد و معیاری رایج برای سنجش سرعت پاسخگویی است.
استفاده از ابزارtool use
توانایی مدل هوش مصنوعی برای فراخوانیِ ابزارها، APIها یا سرویسهای بیرونی برای انجام کارها.
نمونهگیری k برترtop-k sampling
روش انتخاب توکن بعدی که گزینهها را به k توکنِ محتملتر محدود میکند و سپس از میان همانها بهصورت تصادفی نمونه میگیرد.
نمونهگیری هستهایtop-p sampling
روش انتخاب توکن بعدی که فقط از کوچکترین مجموعهای از محتملترین توکنها نمونه میگیرد که جمع احتمالشان از آستانهای مشخص بگذرد.
سمّیتtoxicity
میزان توهینآمیز، تحقیرآمیز یا آزاردهندهبودنِ متنی که یک مدل تولید میکند و در ارزیابیهای ایمنی سنجیده میشود.
همهٔ اصطلاحات را در واژهنامهٔ هوش مصنوعی ببینید، یا کار با هوش مصنوعی را در آموزش از پایه یاد بگیرید.