تصور کنید یک عامل تریاژ پشتیبانی مشتری بتواند تیکت‌ها را طبقه‌بندی کرده و پیش‌نویس اولین پاسخ را در کمتر از ۳۰۰ میلی‌ثانیه به‌صورت سرتاسری (end-to-end) آماده کند. در دنیای محصولات SaaS، همین چند میلی‌ثانیه تفاوت بین ماندن یا رفتن کاربر است و این آستانه سرعت برای حفظ نرخ بازگشت کاربر حیاتی است. طبق راهنمای فنی منتشر شده در ۱۸ سپتامبر ۲۰۲۶، رسیدن به این سرعت نیازمند عبور از فراخوان‌های ساده API و پیاده‌سازی یک پشته بهینه‌سازی چندلایه است.
بسیاری از توسعه‌دهندگان از فراخوان‌های مسدودکننده (Blocking Calls) استفاده می‌کنند که تا زمان دریافت پاسخ کامل منتظر می‌مانند و این موضوع باعث ایجاد تأخیر محسوس برای کاربر می‌شود. این مسئله به‌ویژه در وظایف پیچیده‌ای مانند تریاژ تیکت‌ها مشهود است. همان‌طور که در تحلیل قبلی ما درباره‌ی استفاده از مدل‌های زبانی برای ویرایش متون اشاره کردیم، در آنجا تمرکز بر حفظ لحن انسانی بود، اما در اینجا اولویت کاملاً به سرعت اجرای خام و بازدهی سیستم تغییر می‌کند.
الزامات فنی
برای ساخت این عامل، توسعه‌دهندگان به محیطی خاص نیاز دارند تا سازگاری و عملکرد سیستم تضمین شود:
- پایتون ۳.۱۰ یا بالاتر
- نصب کتابخانه‌های
openaiوcachetoolsاز طریق pip - یک کلید API از پورتال Oxlo.ai (به آدرس https://portal.oxlo.ai)
زمینه پیاده‌سازی
هدف، ساخت یک عامل (Agent) — شبیه به یک دستیار هوشمند که می‌تواند به‌جای شما تصمیم بگیرد و ابزارها را اجرا کند — با تأخیر بسیار پایین است تا کاربر در انتظار پاسخ نماند. فرآیند توسعه با یک خط مبنای «ساده» یا «احمق» شروع می‌شود؛ یعنی یک فراخوان مسدودکننده به مدل Llama 3.3 70B تا عددی برای شکستن و مقایسه داشته باشیم. به دلیل مدل قیمت‌گذاری مبتنی بر درخواست در Oxlo.ai، توسعه‌دهندگان می‌توانند از حافظه پنهان تهاجمی و پرامپت‌های کوتاه استفاده کنند، بدون اینکه نیاز به بازنگری کلی در ساختار هزینه‌ها داشته باشند. این رویکرد در ادامه استراتژی‌های بهینه‌سازی هزینه‌ای است که در تحلیل ما پیرامون جایگزینی توکن با قیمت ثابت برای مقیاس‌پذیری خطوط پشتیبانی به آن پرداختیم.
برای رسیدن به هدف ۳۰۰ میلی‌ثانیه‌ای، پنج گام بهینه‌سازی در Oxlo.ai اجرا شده است:
۱. استریم کردن توکن‌ها
تغییر از بلوک‌های JSON مسدودکننده به استریمینگ، اجازه می‌دهد کاربر اولین کلمات را فوراً ببیند. این کار «زمان تا نخستین توکن» (Time to First Token) را کاهش می‌دهد و سیستم را حتی اگر زمان کل تولید ثابت بماند، آنی جلوه می‌دهد.
در یک فراخوان مسدودکننده پایه با استفاده از Llama 3.3 70B، سیستم پیش از نمایش هر چیزی، منتظر دریافت کل پاسخ می‌ماند. اما با تنظیم stream=True توسعه‌دهنده می‌تواند زمان تا نخستین توکن را به‌طور جداگانه از تأخیر کل اندازه‌گیری کند. این کار تضمین می‌کند که کاربر در حالی که مدل در حال تولید یک بلوک کامل JSON است، به یک صفحه خالی خیره نشود.
۲. فشرده‌سازی پرامپت
پرامپت‌های طولانی زمان سریال‌سازی شبکه را افزایش داده و باعث تأخیر در دریافت اولین توکن می‌شوند. با بازنویسی دستورالعمل‌ها به فرمتی متراکم و ثابت — به‌ویژه محدود کردن عامل به سه قانون و خروجی سخت‌گیرانه JSON — تأخیر اولیه به حداقل می‌رسد.
پرامپت سیستمی (System Prompt) بهینه شده از این محدودیت‌های سخت پیروی می‌کند:
- طبقه‌بندی تیکت در یکی از سه دسته: استرداد (Refund)، باگ (Bug) یا حساب (Account).
- نوشتن پیش‌نویس اولین پاسخ که دقیقاً محدود به یک جمله باشد.
- خروجی صرفاً در قالب یک JSON معتبر شامل کلیدهای
categoryوreply.
۳. حافظه پنهان LRU
پیاده‌سازی یک حافظه پنهان LRU (کم‌کاربردترین اخیراً استفاده شده) با ۱۲۸ جایگاه که بر اساس پیام خام کاربر کلیدگذاری شده، فراخوان‌های تکراری API را حذف می‌کند. حافظه پنهان (Caching) — مثل یادداشت کردن جواب‌های تکراری روی یک کاغذ برای اینکه هر بار مجبور نباشید دوباره حساب کنید — در Oxlo.ai به دلیل قیمت‌گذاری بر اساس درخواست، باعث کاهش هم‌زمان تأخیر و هزینه‌های عملیاتی می‌شود. این تکنیک در کنار مفاهیمی چون رمزگشایی گمانه‌زنانه و حافظه KV که پیش‌تر برای کاهش تأخیر بررسی کردیم، زیرساخت پاسخ‌دهی سریع را تکمیل می‌کند.
برای مثال، اگر دو کاربر درخواست کاملاً یکسانی ارسال کنند (مانند: «این ماه دو بار از من هزینه کسر شد. کمک کنید!»)، درخواست دوم فوراً از حافظه پنهان سرو می‌شود و به‌طور کامل از مدل زبانی عبور می‌کند. این کار یک فراخوان LLM که وابسته به شبکه است را به یک جستجوی محلی در حافظه تبدیل می‌کند.
۴. مسیریابی پویا بین مدل‌ها
هر درخواستی به یک مدل عظیم نیاز ندارد. سیستم از یک مسیریاب سبک استفاده می‌کند تا پرسش‌های ساده را به مدل سریع‌تر و مسائل پیچیده را به مدل قدرتمندتر بفرستد. سازوکار مسیریابی به این صورت عمل می‌کند:
- DeepSeek V3.2: تیکت‌های حاوی کلمات کلیدی مانند «استرداد»، «شارژ»، «پرداخت»، «رمز عبور» یا «ورود» را مدیریت می‌کند.
- Llama 3.3 70B: تمام درخواست‌های دیگر، به‌ویژه گزارش‌های پیچیده باگ (مثلاً خطای ۵۰۰ هنگام فشردن دکمه خروجی داشبورد) را پردازش می‌کند.
این مسیریابی تضمین می‌کند که یک بازنشانی ساده رمز عبور، منابع یک مدل ۷۰ میلیارد پارامتری را مصرف نکند، در حالی که یک کرش بحرانی سیستم همچنان تحلیل استدلالی سطح بالایی دریافت کند.
۵. خروجی ساختاریافته
با اجبار مدل به تولید JSON معتبر با کلیدهای مشخص (category و reply)، سیستم از تأخیر مربوط به پردازش متون طبیعی برای تبدیل به داده‌های قابل استفاده اجتناب می‌کند. این کار به عامل اجازه می‌دهد نتیجه‌ای ساختاریافته برگرداند، مانند: {"category": "Refund", "reply": "ما استرداد هزینه برای شارژ تکراری را انجام دادیم؛ این مبلغ طی ۳ تا ۵ روز کاری ظاهر خواهد شد."} که می‌تواند فوراً توسط بک‌اند اپلیکیشن تجزیه (Parse) شود.
نتایج عملکرد
وقتی این اجزا در یک اسکریپت واحد ترکیب می‌شوند، عامل ابتدا حافظه پنهان را چک می‌کند، مدل مناسب را انتخاب کرده و JSON ساختاریافته را برمی‌گرداند. برای تیکتی درباره شارژ تکراری، سیستم به DeepSeek V3.2 مسیریابی شده و تأییدیه استرداد را برمی‌گرداند. برای تیکتی درباره کرش دکمه خروجی داشبورد، سیستم موضوع را به Llama 3.3 70B ارجاع می‌دهد؛ این مدل دسته «باگ» را شناسایی کرده و پاسخی را پیش‌نویس می‌کند که در آن ذکر شده تیم مهندسی در حال بررسی خطای ۵۰۰ است و ظرف ۲ ساعت کاربر را به‌روز می‌کند.
این تغییر معماری، فرض قدیمی «هرچه بزرگ‌تر، بهتر» را در محیط عملیاتی می‌شکند. با تبدیل مدل زبانی بزرگ (LLM) — مثل کتابخانه‌داری که میلیاردها صفحه را خوانده و حالا با همان لحن جواب می‌دهد — به یک منبع مسیریابی‌شده به جای یک نقطه انتهایی واحد، تعادلی بین قدرت استدلال مدل ۷۰ میلیارد پارامتری و سرعت یک مدل کوچک‌تر و تخصصی ایجاد می‌شود.
برای کاربر نهایی، این یعنی تفاوت بین تماشای یک آیکون در حال چرخش و دریافت پاسخی تقریباً آنی. برای کسب‌وکار، این رویکرد هزینه‌های محاسباتی هر تیکت را با سپردن وظایف روتین به مدل‌های ارزان‌تر و سریع‌تر، بدون افت کیفیت در تریاژ باگ‌های پیچیده، کاهش می‌دهد.
توسعه‌دهندگان می‌توانند این دستاوردها را با ادغام نقاط انتهایی بینایی (Vision Endpoints) در Oxlo.ai برای تحلیل اسکرین‌شات‌ها ارتقا دهند تا عامل بتواند پیوست‌ها را مستقیماً بخواند. علاوه بر این، انتقال حافظه پنهان LRU محلی به یک ذخیره‌ساز توزیع‌شده Redis اجازه می‌دهد تا چندین Worker، دسترسی به حافظه پنهان را در کل ناوگان به اشتراک بگذارند. هر دو بهبود مذکور را می‌توان در حدود ۱۰ دقیقه پیاده‌سازی کرد تا تأخیر باز هم کاهش یابد.
گام بعدی شما
- بررسی ساختار پرامپت‌های متراکم برای کاهش زمان سریال‌سازی در APIهای خود.
- پیاده‌سازی یک لایه مسیریابی (Router) ساده برای تفکیک درخواست‌های روتین از درخواست‌های پیچیده.
- جایگزینی فراخوان‌های مسدودکننده با استریمینگ برای بهبود تجربه کاربری (UX).
اما داستان سخت‌افزاری این تحول حتی شگفت‌انگیزتر است — به تحلیل ما درباره‌ی تراشه‌های Blackwell مراجعه کنید.
گفتگو