درون استراتژی طبقه‌بندی قصد کاربر برای بهینه‌سازی توکن‌های AI

اگر امروز یک پرامپت جامع برای دمو ساخته‌اید که عالی کار می‌کند، احتمالاً در مواجهه با ترافیک واقعی تولید، شاهد فروپاشی آن خواهید بود. طبق یک راهنمای فنی در dev.to که در ۳ سپتامبر ۲۰۲۶ منتشر شد، دلیل اصلی این شکست این است که قالب‌های کلی نمی‌توانند تنوع گستردهٔ قصدهای کاربر و موارد خاص (Edge Cases) را در مقیاس بالا پوشش دهند. بسیاری از تیم‌های مهندسی در نهایت به دیواری برخورد می‌کنند که در آن کیفیت پاسخ‌ها ناپایدار شده و هزینه‌ها به‌دلیل متورم شدن پنجرهٔ زمینه (Context Window) — مثل میز کاری که جا برای چند ورق دارد، نه برای کل کتابخانه — به‌شدت افزایش می‌یابد.

همان‌طور که در تحلیل قبلی ما درباره‌ی چالش‌های بومی‌سازی مدل‌ها در زبان فرانسوی کبک اشاره کردیم، واضح است که ظرافت‌های زبانی یا تخصصی برای یک رویکرد «یک اندازه برای همه» بیش از حد پیچیده‌اند. در محیط تولید، آنچه در مرحلهٔ برنامه‌ریزی یک مورد استفاده (Use Case) به نظر می‌رسد، اغلب به پنج یا شش زیرمسئلهٔ مجزا تقسیم می‌شود. در این وضعیت، عیب‌یابی به حدس و گمان تبدیل می‌شود چون مرز مشخصی بین «اشتباه مدل در پاسخ» و «ابهام در پرامپت» وجود ندارد؛ یعنی مشخص نیست مدل جواب را غلط داده یا پرامپت بیش از حد مبهم بوده است.

یک بات پشتیبانی مشتری را تصور کنید. پرامپتی کلی که فقط گفته شده «به سوالات پاسخ بده»، شاید برای سوالات متداول (FAQ) عالی باشد، اما در مواجهه با اختلافات مربوط به صورت‌حساب، عیب‌یابی‌های فنی یا درخواست‌های ارجاع به اپراتور (Escalation) شکست می‌خورد. دلیل این امر آن است که هر یک از این قصدها به لحن متفاوت، تزریق زمینهٔ خاص و حفاظ‌های (Guardrails) منحصربه‌فرد نیاز دارند. تیم‌هایی که سعی می‌کنند همه چیز را در یک پرامپت بزرگ جای دهند، آن را با دستورات شرطی پر می‌کنند که هم هزینه توکن (Token) — تکه‌های کوچکی از متن، مثل برش‌های یک کیک طولانی که مدل تکه‌تکه می‌خورد — را بالا می‌برد و هم رفتار مدل را غیرقابل‌پیش‌بینی می‌کند.

مکانیسم‌های مسیریابی هوش مصنوعی

برای حل این مشکل، توسعه‌دهندگان در حال پیاده‌سازی سیستم‌های مسیریابی AI هستند. این یک لایه معماری است که درخواست‌های ورودی را طبقه‌بندی کرده و آن‌ها را به کارآمدترین پردازشگر هدایت می‌کند. در این ساختار، به‌جای یک پرامپت همه‌کاره که سعی کند همه کارها را انجام دهد، مسئله به مسیرهای تخصصی تقسیم می‌شود. این رویکرد در واقع تکامل یافته‌ی استراتژی‌های توزیع وظایف در برابر رتبه‌بندی مدل‌هاست که برای بهینه‌سازی پردازش در مقیاس بالا به کار می‌رود.

این فرآیند معمولاً از توالی مشخصی پیروی می‌کند:

• طبقه‌بندی: یک طبقه‌بندی‌کننده سبک — یا یک مدل کوچک یا منطق مبتنی بر قانون — درخواست را بر اساس قصد یا دسته‌بندی برچسب می‌زند.
• هدایت: سیستم درخواست برچسب‌دار را بر اساس آن تگ، به مسیری ارسال می‌کند که دقیقاً برای آن هدف ساخته شده است.
• اجرا: درخواست توسط یک مدل با تنظیم دقیق (Fine-tuning) برای وظایف تخصصی دامنه، یک مدل عمومی با پرامپت سفارشی برای پرس‌وجوهای ساده‌تر، یا یک خط لوله تولید بازیابی‌افزا (RAG) — شبیه دانش‌آموزی که قبل از جواب دادن، اول کتاب درسی را باز می‌کند و از آن نقل می‌آورد — در صورتی که پاسخ به داده‌های خارجی وابسته باشد، پردازش می‌شود.

این طراحی ماژولار اجازه می‌دهد هر مسیر به‌طور مستقل تنظیم، آزمایش و نظارت شود. نگهداری این ساختار بسیار ساده‌تر از یک پرامپت عظیم و پراکنده است که سعی دارد هر سناریوی ممکنی را پوشش دهد.

تنظیم دقیق در برابر مهندسی پرامپت

انتخاب بین تنظیم دقیق و مهندسی پرامپت (Prompt Engineering) — هنر سؤال درست پرسیدن برای گرفتن بهترین جواب — به حجم داده، نیاز به ثبات و ماهیت وظیفه بستگی دارد. مهندسی پرامپت نقطه شروع ایده‌آلی است، به‌ویژه وقتی الزامات هنوز در حال تکامل هستند یا حجم درخواست‌ها هنوز توجیه سرمایه‌گذاری برای آموزش مدل را نمی‌کند.

تنظیم دقیق زمانی ضروری می‌شود که مورد استفاده، محدود، با حجم بالا و نیازمند فرمت‌بندی ثابت یا استدلال‌های تخصصی دامنه باشد که مهندسی پرامپت عمومی نمی‌تواند به‌طور قابل‌اعتمادی تولید کند. اگر متوجه شدید مدام در حال بازنویسی دستورات هستید تا مدل را مجبور به خروجی با فرمت خاص کنید، این سیگنال واضحی است که تنظیم دقیق می‌تواند هم طول پرامپت و هم نرخ خطا را کاهش دهد.

علاوه بر دقت، تنظیم دقیق یک مزیت اقتصادی بزرگ دارد. یک مدل کوچک تنظیم‌شده اغلب می‌تواند دقت یک مدل بزرگ کلی را در یک وظیفه خاص به دست آورد یا حتی از آن پیشی بگیرد، در حالی که هزینه استنتاج (Inference) — لحظه‌ای که مدل واقعاً جواب تولید می‌کند، مثل خودِ آشپزی نه دوره آموزش آن — را به کسری از هزینه مدل‌های بزرگ کاهش می‌دهد. البته این مسیر نیازمند داده‌های آموزشی پاک و نماینده (Representative) و همچنین نگهداری مستمر همزمان با تغییر الزامات است.

پیاده‌سازی آبشار مدل‌ها

مسیریابی عملی بر پایه «آبشار مدل‌ها» (Model Cascade) برای ایجاد تعادل بین هزینه و کیفیت استوار است. این روش شامل طبقه‌بندی درخواست‌ها بر اساس پیچیدگی، تخصص دامنه و ریسک تجاری است و سپس هر دسته را به ارزان‌ترین مدلی که قادر به پاسخگویی قابل‌اعتماد است، ارجاع می‌دهد:

• مسیر پیچیدگی پایین: پرس‌وجوهای ساده و با اطمینان بالا به مدل‌های کوچک‌تر یا نسخه‌های تنظیم‌شده ارزان که مخصوصاً برای آن الگو آموزش دیده‌اند، هدایت می‌شوند.
• مسیر پیچیدگی بالا: درخواست‌های مبهم یا حساس — مانند مواردی که مربوط به انطباق قانونی (Compliance)، داده‌های مالی یا استدلال‌های پیچیده است — به مدل‌های بزرگ و عمومی ارسال می‌شوند.
• لایه ایمنی: مسیرهای حساس با حفاظ‌های سخت‌گیرانه‌تر و در صورت نیاز، نظارت انسانی (Human-in-the-loop) تجهیز می‌شوند.

این رویکرد لایه‌ای، میانگین هزینه استنتاج را پایین نگه می‌دارد و قدرت مدل‌های بزرگ را فقط برای جایی ذخیره می‌کند که واقعاً نیاز است. خدمات توسعه AI اغلب این لایه‌بندی را صراحتاً در مرحله معماری طراحی می‌کنند تا از بازسازی سیستم پس از هزینه‌های پیش‌بینی نشده جلوگیری کنند.

تله‌های رایج معماری

بسیاری از تیم‌ها با نادیده گرفتن لایه طبقه‌بندی و تبدیل آن به یک موضوع ثانویه شکست می‌خورند. در واقع، دقت مسیریابی تعیین‌کننده کیفیت تمام مراحل بعدی است. اگر لایه مسیریابی اشتباه عمل کند و درخواست را به پردازشگر غلط بفرستد، هیچ مقدار تنظیم دقیق در مراحل بعدی نمی‌تواند خطاهای حاصل از آن را جبران کند.

سایر اشتباهات رایج عبارت‌اند از:

• فقدان نظارت: نادیده گرفتن مانیتورینگ مخصوص هر مسیر باعث می‌شود نتوانید بفهمید وقتی کیفیت کلی افت می‌کند، دقیقاً کدام مسیر دچار مشکل شده است.
• دسته‌بندی‌های قدیمی: عدم به‌روزرسانی دسته‌های مسیریابی همزمان با تغییر رفتار کاربر منجر به کاهش خاموش دقت می‌شود؛ زیرا دسته‌هایی که در زمان لانچ منطقی بودند، منسوخ می‌شوند.
• مهندسی بیش از حد: ساخت پنج یا تعداد بیشتری مسیر تخصصی پیش از داشتن داده‌های واقعی تولید، برای اینکه بفهمید آیا این سطح از جزئیات واقعاً مورد نیاز است یا خیر.

یک سیستم ساده دو یا سه لایه که با داده‌های واقعی استفاده کاربر اصلاح شده باشد، معمولاً از یک سیستم پیچیده که بر اساس فرضیات طراحی شده، بهتر عمل می‌کند.

ادغام در استراتژی AI/ML

چرخش به سمت مسیریابی نشان‌دهنده ترندی بزرگ‌تر در خدمات توسعه AI/ML است: قابلیت اطمینان اکنون به عنوان یک جزء اصلی معماری دیده می‌شود، نه محصول جانبیِ دست‌کاری پرامپت‌ها. یک سیستم خوش‌ساخت، تفکیک وظایف را به طور واضح رعایت می‌کند: طبقه‌بندی، انتخاب مدل، مدیریت پرامپت و نظارت، هر کدام توجه ویژه‌ای دریافت می‌کنند.

برای اکثر تیم‌ها، موثرترین استراتژی شروع با یک فاز اکتشاف برای نقشه‌برداری از تنوع واقعی درخواست‌هایی است که سیستم باید مدیریت کند، پیش از آنکه هرگونه منطق مسیریابی نوشته شود. از آنجا، آن‌ها ساده‌ترین نسخه‌ای را که کار می‌کند می‌سازند، آن را به شدت مجهز به ابزارهای اندازه‌گیری می‌کنند و اجازه می‌دهند داده‌های تولید هدایت کنند که کجا تنظیم دقیق یا پیچیدگی بیشتر در مسیریابی واقعاً سودمند است.

گام بعدی شما

گام بعدی شما باید ممیزی لاگ‌های فعلی پرامپت‌هایتان باشد تا سه مورد از پرتکرارترین «خوشه‌های قصد» (Intent Clusters) در ترافیک خود را شناسایی کنید. این داده‌ها دقیقاً به شما می‌گویند که یک لایه مسیریابی در کجا بیشترین کاهش هزینه و بهبود کیفیت فوری را ایجاد می‌کند. انتقال از بازنویسی مداوم پرامپت‌ها به طراحی مسیرهای هوشمند، تأثیری بسیار بیشتر از هر ارتقای مدل تکی دارد. اما داستان سخت‌افزاری این تحول حتی شگفت‌انگیزتر است — به تحلیل ما درباره‌ی تراشه‌های Blackwell مراجعه کنید.