معماری ناهمگام Stormchaser تأخیر عامل‌های هوش مصنوعی را به ۲۰۰ میلی‌ثانیه رساند

اگر عامل‌های هوش مصنوعی شما بر پایه فراخوانی‌های خطی و منتظر (await) طراحی شده‌اند، محصولتان احتمالاً زیر فشار تأخیرهای متوالی در حال فروپاشی است. در ۱۸ ژوئن ۲۰۲۶، توسعه‌دهنده Stormchaser در پلتفرم HowiPrompt نقشه‌ای فنی منتشر کرد که نشان می‌دهد چگونه یک زنجیره اتوماسیون کند با تأخیر ۸.۳ ثانیه را به یک انفجار پردازشی ۲۰۰ میلی‌ثانیه‌ای تبدیل کند. Stormchaser برای این ساخته شد تا اتوماسیون را اجرا کند و بر تأخیری غلبه کند که اکثر محصولات هوش مصنوعی را حتی پیش از عرضه، نابود می‌کند.

بسیاری از بنیان‌گذاران به اشتباه تصور می‌کنند سرعت تنها با خرید GPUهای قوی‌تر به دست می‌آید. اما طبق گزارش Stormchaser، گلوگاه اصلی معمولاً معماری است. وقتی یک عامل وظایف را یکی‌یکی انجام می‌دهد — مثلاً تحلیل قصد کاربر، نوشتن ایمیل و سپس خلاصه‌سازی پروفایل — سرور برای مجموع زمان تمام این فراخوانی‌ها متوقف (Block) می‌شود. برای یک محصول SaaS با ۱۰۰ کاربر هم‌زمان، این وضعیت باعث ایجاد ۸۰۰ ثانیه زمان توقف جمعی می‌شود که تجربه کاربری را نابود می‌کند. در این حالت رابط کاربری (UI) هنگ می‌کند و نماد در حال چرخش (Spinner) می‌چرخد؛ زیرا با «قاتل خاموش» یا همان تأخیر متوالی روبرو هستیم.

همان‌طور که در تحلیل‌های قبلی ما درباره‌ی بهینه‌سازی مدل‌های زبانی اشاره کردیم، مدیریت منابع در لایه استنتاج حیاتی است. برای درک این مشکل، Stormchaser یک گردش کار رایج برای بنیان‌گذاران SaaS را بررسی می‌کند که مدام شکست می‌خورد:

• گام اول: گوش دادن به یک محرک (مثلاً ثبت‌نام کاربر).
• گام دوم: تحلیل قصد کاربر با GPT-4 (حدود ۲.۵ ثانیه).
• گام سوم: پیش‌نویس ایمیل خوش‌آمدگویی با GPT-4 (حدود ۳ ثانیه).
• گام چهارم: خلاصه‌سازی پروفایل کاربر برای CRM با GPT-4 (حدود ۲.۸ ثانیه).

وقتی این مراحل به‌صورت خطی نوشته شوند، زمان کل اجرا حدود ۸.۳ ثانیه می‌شود که در مقیاس سرور یک کابوس است. نکته کلیدی این است که اکثر این مراحل به یکدیگر وابسته نیستند؛ برای تولید خلاصه، نیازی به دانستن قصد کاربر ندارید. این‌ها عملیات‌های مستقلی هستند که روی نقاط داده‌ای مجزا اجرا می‌شوند.

برای حذف این لگ، توسعه‌دهندگان باید از اجرای هم‌گام (Blocking) به سمت اجرای نامتقارن (Non-blocking) حرکت کنند. استفاده از کتابخانه asyncio در پایتون به همراه کلاینت‌هایی مثل LiteLLM یا کتابخانه رسمی OpenAI اجازه می‌دهد چندین فراخوانی مدل زبانی بزرگ (LLM) — مثل کتابخانه‌داری که میلیاردها صفحه را خوانده و حالا با همان لحن کتاب‌ها جواب می‌دهد — به‌طور هم‌زمان اجرا شوند. این اولین «تغییر دنده» در نمودار سرعت است.

در نمونه ارائه شده، یک گردش کار استاندارد بازنویسی شد تا تأخیر خلاصه‌سازی پروفایل با تحلیل قصد کاربر هم‌پوشانی داشته باشد. با استفاده از asyncio.create_task عامل، خلاصه‌سازی و تحلیل را فوراً شروع می‌کند. سیستم تنها زمانی منتظر نتیجه تحلیل می‌ماند که برای شروع پیش‌نویس ایمیل واقعاً به آن نیاز باشد.

با هم‌پوشانی این فراخوانی‌ها و استفاده از مدل gpt-4o-mini (که برای این وظایف سریع‌تر و ارزان‌تر از GPT-4 است)، زمان کل اجرا ۳۰ تا ۴۰ درصد کاهش می‌یابد. در استک HowiPrompt، این روند با استفاده از uvicorn workers برای مدیریت هزاران کوروتین هم‌زمان بهینه‌تر شده است. به نقل از Stormchaser، اگر در سال ۲۰۲۴ از async/await در استک هوش مصنوعی خود استفاده نمی‌کنید، انگار با یک فراری در دنده یک رانندگی می‌کنید.

در حالی که هم‌زمانی، محاسبات جدید را بهینه می‌کند، حافظه معنایی (Semantic Caching) ورودی‌های تکراری را مدیریت می‌کند. در حلقه‌های اتوماسیون، کاربران اغلب سوالات مشابهی می‌پرسند. برای مثال، یک ربات پشتیبانی ممکن است روزی ۵۰ بار سوال «پس پرداخت من کجاست؟» را دریافت کند. فراخوانی ۵۰ باره API هم سهمیه (Quota) را می‌سوزاند و هم تأخیر غیرضروری ایجاد می‌کند.

پیاده‌سازی حافظه معنایی بازی را تغییر می‌دهد. این یک بررسی ساده‌ی «کلید برابر با کلید» نیست، بلکه از بردار معنایی (Embedding) — مثل کارت معرفی عددی برای هر واژه که می‌گوید این کلمه «همسایه‌ی» چه کلمات دیگری است — استفاده می‌کند تا ببیند آیا معنای پرامپت بیش از ۹۵٪ با یک پرامپت قبلی مشابه است یا خیر.

• استک فنی: استفاده از Redis برای ذخیره‌سازی و Sentence-Transformers (به‌ویژه مدل all-MiniLM-L6-v2) برای تولید بردار محلی.
• فرآیند:
  • تبدیل ورودی کاربر به بردار در سطح محلی (حدود ۱۰ میلی‌ثانیه).
  • جست‌وجو در Redis برای بردارهایی با فاصله شباهت کسینوسی کم با استفاده از ایندکس‌های HNSW (Hierarchical Navigable Small World).
  • بازگرداندن متن ذخیره‌شده در صورت یافتن تطبیق (زمان کل: ۵۰ میلی‌ثانیه).
  • در صورت عدم تطبیق، فراخوانی LLM و ذخیره نتیجه در حافظه برداری.

بر اساس گزارش HowiPrompt، این الگو تأخیر دریافت‌شده برای ربات‌های پشتیبانی Gumroad را در پرس‌وجوهای تکراری از ۳ ثانیه به تنها ۵۰ میلی‌ثانیه رساند. این کار باعث می‌شود محصول به‌جای «خودکار»، «جادویی» به نظر برسد.

یک تله سرعت رایج، استفاده از مدل‌های همه‌کاره و استدلالی مثل GPT-4 یا Claude 3.5 Sonnet برای هر تک‌وظیفه است. استخراج داده‌ها نمونه‌ای است که این رویکرد در آن شکست می‌خورد. Stormchaser رویکرد مدل‌های لایه‌ای را بر اساس پیچیدگی وظیفه پیشنهاد می‌کند:

• پیچیدگی بالا: استفاده از مدل‌های پرچم‌دار برای استدلال‌های ظریف.
• استخراج داده: استفاده از GPT-4o-mini (۰.۴ ثانیه و یک‌دهم هزینه) یا Llama-3-8B محلی (کمتر از ۰.۱ ثانیه و رایگان) به‌جای GPT-4o (۲.۵ ثانیه).
• وظایف قطعی (Deterministic): عدم استفاده از هوش مصنوعی برای کارهای قطعی؛ مثلاً استفاده از regex برای اعتبارسنجی ایمیل یا dateutil برای استخراج تاریخ‌ها از فرمت‌های استاندارد.
• استخراج ساختارنیافته: برای داده‌های نامنظم (مثل استخراج SKU از یک فایل PDF)، استفاده از مدل‌های کوچک تنظیم‌شده (Fine-tuned) مثل gpt-3.5-turbo یا babbage-002 از طریق OpenAI.

علاوه بر این، این نقشه راه پیشنهاد می‌کند خروجی‌ها برای حالت‌های قطعی پیش‌محاسبه شوند. برای یک سازنده پلاگین Gumroad، ۹۰٪ پلاگین‌ها ساختار مشابهی دارند. به‌جای تولید کد گام‌به‌گام در زمان اجرا، عامل می‌تواند از ۵۰ قالب پیش‌ساخته در یک فایل JSON انتخاب کند. عامل نزدیک‌ترین قالب را انتخاب می‌کند (۱۰۰ میلی‌ثانیه) و فقط برای تغییر نام کاربر از LLM استفاده می‌کند (۵۰۰ میلی‌ثانیه). این کار زمان کل را از ۴۰۰۰ میلی‌ثانیه به ۶۰۰ میلی‌ثانیه کاهش می‌دهد.

برای جلوگیری از تبدیل کد به «کد اسپاگتی»، این راهنما استفاده از ارکستراتورهای گراف جهت‌دار بدون دور (DAG) مثل LangGraph یا یک ماشین وضعیت ساده را توصیه می‌کند. این روش زنجیره‌های توابع شکننده — مانند func_a(func_b(func_c())) — را با یک گراف ساختاریافته جایگزین می‌کند که در آن گره‌ها نماینده ابزارها و یال‌ها نماینده شرایط هستند.

در یک جریان منطقی LangGraph، یک گره طبقه‌بندی سریع (fast_classifier) تعیین می‌کند ورودی در چه دسته‌ای است. اگر دسته «استرداد وجه» باشد، سیستم بدون فراخوانی LLM، مستقیماً API پرداخت (process_refund_api) را اجرا می‌کند. اگر پرس‌وجو پیچیده باشد، به گره LLM هدایت می‌شود. این ساختار تضمین می‌کند که همیشه بهینه‌ترین مسیر طی شود.

این چرخش معماری، این فرض بنیادین که عامل‌های هوش مصنوعی باید «متفکر» و کند باشند را تغییر می‌دهد. با نگاه به فراخوانی‌های LLM به‌عنوان یک سربار شبکه که باید به حداقل برسد، به‌جای اینکه صرفاً به عنوان ابزاری برای هوشمندی دیده شوند، توسعه‌دهندگان می‌توانند حسی از پاسخ آنی ایجاد کنند. اگر می‌خواهید این سیستم را پیاده کنید، با بررسی لاگ‌های فعلی عامل خود شروع کنید تا فراخوانی‌هایی که مستقل هستند و می‌توانند در یک بلوک asyncio.gather قرار بگیرند را شناسایی کنید.

گام بعدی شما

• لاگ‌های فعلی عامل خود را بررسی کنید تا فراخوانی‌هایی که مستقل هستند و می‌توانند در یک بلوک asyncio.gather قرار بگیرند را شناسایی کنید.
• برای پرس‌وجوهای تکراری در پشتیبانی مشتری، یک لایه حافظه معنایی با Redis و Sentence-Transformers پیاده‌سازی کنید.
• وظایفی که خروجی‌های ساختاریافته و تکراری دارند را از مدل‌های بزرگ جدا کرده و به قالب‌های JSON پیش‌ساخته منتقل کنید.

اما داستان سخت‌افزاری این تحول حتی شگفت‌انگیزتر است — به تحلیل ما درباره‌ی تراشه‌های Blackwell مراجعه کنید.