واژهنامهٔ هوش مصنوعی
توکنسازی چیست؟
تجزیهٔ متن به واحدهای کوچکتر به نام توکن — واژه، بخشی از واژه یا نویسه — که مدل زبانی آنها را پردازش میکند.
واژههای دیگر
توکن در ثانیهtokens per second
نرخ تولید خروجی یک مدل زبانی که شمار توکنهای متن تولیدشده در هر ثانیه را نشان میدهد و معیاری رایج برای سنجش سرعت پاسخگویی است.
استفاده از ابزارtool use
توانایی مدل هوش مصنوعی برای فراخوانیِ ابزارها، APIها یا سرویسهای بیرونی برای انجام کارها.
نمونهگیری k برترtop-k sampling
روش انتخاب توکن بعدی که گزینهها را به k توکنِ محتملتر محدود میکند و سپس از میان همانها بهصورت تصادفی نمونه میگیرد.
نمونهگیری هستهایtop-p sampling
روش انتخاب توکن بعدی که فقط از کوچکترین مجموعهای از محتملترین توکنها نمونه میگیرد که جمع احتمالشان از آستانهای مشخص بگذرد.
سمّیتtoxicity
میزان توهینآمیز، تحقیرآمیز یا آزاردهندهبودنِ متنی که یک مدل تولید میکند و در ارزیابیهای ایمنی سنجیده میشود.
[TPU]tpu
پردازنده تخصصی (TPU) که گوگل برای تسریع محاسبات یادگیری ماشین، بهویژه شبکههای عصبی، طراحی کرده است.
همهٔ اصطلاحات را در واژهنامهٔ هوش مصنوعی ببینید، یا کار با هوش مصنوعی را در آموزش از پایه یاد بگیرید.