درون سازوکار توکن‌سازی آگاه از ساختار زبان برای بهینه‌سازی مدل‌های زبانی

اگر برای زبان‌هایی غیر از انگلیسی مدل می‌سازید، احتمالاً متوجه شده‌اید که صرفاً افزایش داده‌ها جواب نمی‌دهد. حقیقت این است که توکن‌سازی سفارشی برای زبان‌های غنی از نظر صرفی، می‌تواند امتیاز F1 را در محک‌های شناسایی موجودات نام‌دار (NER) بین ۵ تا ۱۵ امتیاز بهبود ببخشد.

این تغییر رویکرد مهندسی، برای بیش از ۷۰۰۰ زبانی که فاقد مجموعه‌داده‌های عظیم برچسب‌دار هستند، یک نقطه عطف است. طبق راهنمایی که در ۲۴ اوت ۲۰۲۶ منتشر شد، تکیه بر قوانین مقیاس‌پذیری (Scaling Laws) — که شبیه به این باور است که هرچه کتاب‌های بیشتری بخوانیم لزوماً زبان جدیدی را یاد می‌گیریم — در محیط‌های کم‌منبع شکست می‌خورد. برای زبان‌هایی مثل یوروبا، کچوا یا خمر، مجموعه‌داده‌های باکیفیت ممکن است تنها چند میلیون توکن (Token) — تکه‌های کوچکی از متن، مثل برش‌های یک کیک طولانی که مدل تکه‌تکه می‌خورد — باشند. در چنین شرایطی، تنظیم دقیق (Fine-tuning) — که مثل دادن تخصص پوست به یک پزشک عمومی است تا روی یک حوزه دقیق شود — اغلب منجر به فراموشی فاجعه‌بار (Catastrophic Forgetting) یا بیش‌برازش (Overfitting) می‌شود.

همان‌طور که در تحلیل‌های قبلی ما درباره‌ی بهینه‌سازی مدل‌های چندزبانه اشاره کردیم، ساخت مدل‌های توانمند در این محیط‌ها نیازمند چیزی فراتر از مقیاس است. این مسیر مستلزم خط لوله‌های داده هدفمند، توکن‌سازی آگاه از صرف (Morphology-aware) و زیرساخت‌های استنتاج (Inference) — لحظه‌ای که مدل واقعاً جواب تولید می‌کند، مثل خودِ آشپزی و نه دوره‌ی آموزش آشپز — است که جریمه‌ای برای بررسی زمینه‌های متنی طولانی در نظر نگیرد.

به نقل از مستندات فنی، مسیر عملی فعلی، پیش‌آموزش مداوم روی داده‌های تک‌زبانه منتخب است. پس از آن، تنظیم دستوری (Instruction Tuning) با ترکیبی از پرامپت‌های ترجمه‌شده و بومی انجام می‌شود تا مدل هم ساختار و هم قصد کاربر را درک کند. مهندسان اکنون خط لوله‌ای را پیاده می‌کنند که کیفیت را بر کمیت اولویت می‌دهد. این فرآیند با حذف داده‌های تکراری توسط طبقه‌بندهای fastText و تقویت داده‌ها از طریق برچسب‌گذاری کاذب (Pseudo-labeling) توسط مدل‌های چندزبانه بزرگ‌تر آغاز می‌شود.

برای همراستاسازی، توسعه‌دهندگان مجموعه‌های دستوری انگلیسی را ترجمه می‌کنند اما آن‌ها را با گویشوران بومی اعتبارسنجی می‌کنند تا خطاهایی که معیار BLEU نمی‌بیند، شناسایی شوند. در این راستا، حلقه‌های ترجمه معکوس برای آشکار کردن این خطاها به کار می‌روند.

جزئیات مهندسی خط لوله

استراتژی‌های گزینش داده

• استفاده از fastText برای آموزش شناسایه‌های زبانی روی جملات برچسب‌دار (مثلاً با lr=0.5 و epoch=25).
• فیلتر کردن مجموعه‌هایی مانند OSCAR-2301 برای حفظ تطابق‌های با اطمینان بالا (مثلاً p[1][0] > 0.95 برای زبان یوروبا).
• تقویت مجموعه‌داده‌ها با برچسب‌های کاذب از مدل‌های چندزبانه بزرگ برای پر کردن شکاف‌های داده‌ای.

گلوگاه توکن‌سازی
توکن‌سازهای استاندارد مدل‌های زبانی بزرگ اغلب کلمات زبان‌های کم‌منبع را به زیر-کلمات بسیار زیادی تقسیم می‌کنند. این اتفاق باعث افزایش طول توالی و بالا رفتن هزینه‌ها می‌شود. برای زبان‌های چسباندنی یا چندترکیبی، یک مدل SentencePiece سفارشی که روی متن‌های تخصصی آموزش دیده باشد، معمولاً بهتر از توکن‌سازهای پایه عمل می‌کند.

آموزش یک توکن‌ساز جدید شامل تعیین اندازه واژگان (مثلاً ۳۲,۰۰۰) و پوشش کاراکتری بالا (مثلاً ۰.۹۹۹۵) با استفاده از BPE است. پس از آموزش، توسعه‌دهندگان باید ماتریس بردار معنایی (Embedding) — مثل کارت معرفی عددی برای هر واژه که همسایگی آن با کلمات دیگر را می‌گوید — را تغییر اندازه دهند و پیش از هر تسک پایین‌دستی، پیش‌آموزش مداوم را اجرا کنند.

آموزش و همراستاسازی
رویکردهای کارآمد در پارامتر مانند لورا (LoRA) یا انطباق کم‌رتبهٔ کوانتیده (QLoRA) به حفظ دانش بین‌زبانی مدل پایه کمک می‌کنند. پیکربندی‌های مؤثر عبارتند از:

• ماژول‌های هدف: q_proj, v_proj, k_proj, o_proj
• رتبه (r): ۶۴ و lora_alpha: ۱۶
• نرخ یادگیری: 2e-4 با زمان‌بندی کسینوسی
• تجمع شدید گرادیان (مثلاً ۸ گام) برای تثبیت آموزش

همراستاسازی باید شامل پرامپت‌های مرتبط با فرهنگ باشد. مدل‌هایی که فقط روی داده‌های ترجمه‌شده آموزش می‌بینند، اغلب ظرافت‌های کاربردی را از دست می‌دهند و ممکن است پیش‌فرض‌های ارزشی آنگلو-محور را بپذیرند.

ارزیابی و استقرار

معیار perplexity در محیط‌های کم‌منبع گمراه‌کننده است زیرا همبستگی ضعیفی با کاربرد انسانی دارد. در عوض، توسعه‌دهندگان در حال ساخت مجموعه‌های محک بومی برای درک مطلب، مسائل ریاضی ترجمه‌شده و استدلال‌های فرهنگی هستند. برای کاهش هزینه‌های برچسب‌گذاری، از تولید ساختاریافته برای اجبار به خروجی‌های JSON معتبر استفاده می‌شود.

سرویس‌دهی این مدل‌ها یک مشکل هزینه پنهان ایجاد می‌کند. متن‌های کم‌منبع اغلب به توالی‌هایی تبدیل می‌شوند که ۲ تا ۴ برابر طولانی‌تر از پرامپت‌های انگلیسی معادل هستند. در پلتفرم‌های مبتنی بر توکن، این موضوع باعث می‌شود هزینه‌ها به‌صورت خطی با طول پرامپت افزایش یابد.

پلتفرم Oxlo.ai با ارائه قیمت‌گذاری مبتنی بر درخواست (Request-based)، این مشکل را حل کرده است. این رویکرد که پیش‌تر در تحلیل ما درباره‌ی تثبیت هزینه‌های استنتاج بررسی شد، در این مدل یک هزینه ثابت برای هر درخواست API پرداخت می‌شود، فارغ از اینکه طول ورودی چقدر باشد؛ این رویکرد برای بارهای کاری با زمینه طولانی، ۱۰ تا ۱۰۰ برابر ارزان‌تر است. این پلتفرم مدل‌های Qwen 3 32B و DeepSeek V4 Flash را میزبانی می‌کند که دومی دارای پنجرهٔ زمینه (Context Window) — میزان متنی که مدل هم‌زمان در ذهن نگه می‌دارد، مثل میز کاری که جا برای چند ورق دارد — یک میلیون توکنی است.

Oxlo.ai کاملاً با SDK شرکت OpenAI سازگار است و اجازه می‌دهد با تغییر ساده URL پایه، ادغام صورت گیرد. این تغییر در مدل پرداخت، که به منظور حذف جریمه‌های مالی پرامپت‌های طولانی طراحی شده است، به تیم‌ها اجازه می‌دهد کل اسناد حقوقی یا مجموعه‌های بزرگ داده را بدون نگرانی از شمارنده توکن‌ها وارد پنجره زمینه کنند. این پلتفرم طرح رایگانی با ۶۰ درخواست در روز و دوره‌های آزمایشی ۷ روزه ارائه می‌دهد.

این استراتژی، یک نمونه اولیه شکننده را به یک خط لوله تولیدی پایدار برای بازارهای غیرانگلیسی تبدیل می‌کند. پژوهشگران اکنون باید ارزیابی کنند که آیا استراتژی توکن‌سازی فعلی آن‌ها باعث تورم صورت‌حساب‌های استنتاج یا کاهش دقت مدل در زبان‌های هدف شده است یا خیر.

گام بعدی شما

• بررسی کنید که آیا توکن‌ساز فعلی شما کلمات کلیدی زبان هدف را بیش از حد تکه‌تکه می‌کند یا خیر.
• برای کاهش هزینه‌های استنتاج در زبان‌های کم‌منبع، مدل‌های قیمت‌گذاری مبتنی بر درخواست را جایگزین مدل‌های توکن-محور کنید.
• در فرآیند همراستاسازی، به‌جای تکیه بر ترجمه ماشینی، از اعتبارسنجی بومی برای اصلاح ظرافت‌های فرهنگی استفاده کنید.

اما داستان سخت‌افزاری این تحول حتی شگفت‌انگیزتر است — به تحلیل ما درباره‌ی تراشه‌های Blackwell مراجعه کنید.