اگر در پنجره متنی عاملهای هوش مصنوعی خود از UUID استفاده میکنید، تقریباً ۴۰ درصد بودجه توکنهایتان را دور میریزید. برای توسعهدهندگانی که حلقههای کاری پیچیده میسازند، این «مالیات توکنی» باعث افزایش تأخیر و احتمال توهم (Hallucination) — وقتی مدل با اطمینان چیزی میگوید که اصلاً وجود ندارد، شبیه دوستی که خاطرهای را اشتباه تعریف میکند — در ارجاع به رشتههای طولانی میشود.
این مشکل از نحوه عملکرد مدل زبانی بزرگ (LLM) — مثل کتابخانهداری که میلیاردها صفحه را خوانده و حالا با همان لحن کتابها جواب میدهد — نشأت میگیرد. همانطور که در تحلیلهای قبلی ما درباره بهینهسازی پرامپت اشاره کردیم، توکنسازها با متنهای طبیعی راحتتر کنار میآیند. طبق مستندات id-agent که در ۱۹ مه ۲۰۲۶ منتشر شد، شناسههای UUID به دلیل ساختار تصادفی، به توکن (Token) — تکههای کوچکی از متن، مثل برشهای یک کیک طولانی که مدل تکهتکه میخورد — متعددی تبدیل میشوند، در حالی که یک کلمه انگلیسی ساده معمولاً تنها یک توکن است.
به نقل از توسعهدهندگان این کتابخانه، id-agent از فهرستی شامل ۴۰۹۶ کلمه استفاده میکند که هر کدام دقیقاً یک توکن هستند. مشخصات فنی این ابزار عبارت است از:
- بهرهوری توکن: یک شناسه ۸-کلمهای حدود ۱۴ توکن هزینه دارد، در حالی که UUID v4 حدود ۲۳ توکن مصرف میکند.
- مقاومت در برابر تداخل: پیکربندی پیشفرض ۹۶ بیت آنتروپی فراهم میکند که برای بیش از ۳۰۰ تریلیون آیتم ایمن است.
- نگاشت مستعار: ابزار
createAliasMapاجازه میدهد UUIDهای طولانی پیش از ارسال به مدل با کلمات کوتاه جایگزین شوند و در خروجی دوباره بازگردند. - تولید قطعی: پشتیبانی از HMAC-SHA256 تضمین میکند که یک ورودی همیشه به یک شناسه کلمهای یکسان تبدیل شود.
این رویکرد، طراحی شناسه را از «بهینهسازی پایگاه داده» به «بهینهسازی پنجره متنی» تغییر میدهد. در سرویسهای تجاری (SaaS)، استفاده از شناسههای ۵-کلمهای میتواند ۶۵ درصد توکنها را نسبت به UUIDها ذخیره کند. این یعنی فضای بیشتری برای دادههای واقعی در پرامپت وجود دارد و احتمال اشتباه مدل در نقل شناسهها کاهش مییابد.
گام بعدی شما
- ابزار
createAliasMapرا در قالبهای پرامپت فعلی خود پیاده کنید تا میزان صرفهجویی در توکنها را بسنجید. - اثر این تغییر بر دقت استنتاج (Inference) — لحظهای که مدل واقعاً جواب تولید میکند، مثل خودِ آشپزی نه دورهی آموزش آشپز — در فراخوانی ابزارها را رصد کنید.
اما این بهینهسازی تنها بخشی از ماجراست؛ اثر این تغییر بر کاهش هزینههای عملیاتی در مقیاس میلیونی را در گزارش بعدی بررسی خواهیم کرد.
گفتگو