مقیاس‌دهی خودکار در برابر ترافیک‌های ناگهانی: چرا زیرساخت‌های عامل‌محور فرو

تصور کنید مدیریت یک پلتفرم رزرو سفر هستید و ناگهان یک گل 결정ی در جام جهانی زده می‌شود و تعداد درخواست‌ها در یک ثانیه از ۱۰۰۰ به ۱۰۰,۰۰۰ می‌رسد. در این لحظه، کل زیرساخت عامل‌های هوش مصنوعی شما فرو می‌پاشد، حتی اگر پیشرفته‌ترین سیستم‌های مقیاس‌دهی خودکار را داشته باشید. به نقل از گزارشی در dev.to که در ۲۰ ژوئیه ۲۰۲۶ منتشر شد، این سناریو باعث وقوع خطاهای ۵۰۴ (Gateway Timeout) می‌شود؛ زیرا معیارهای واکنشی مثل میزان استفاده از CPU بسیار دیرتر از لحظه جهش ترافیک سیگنال می‌دهند.

این شکست به این دلیل رخ می‌دهد که ارکستراتورهای مدرن، مقیاس‌دهی را مانند یک رمپ خطی و شیب‌دار می‌بینند، اما رویدادهای جهانی شبیه به «صخره» هستند. همان‌طور که در تحلیل قبلی ما درباره‌ی شکست درگاه‌های A2A تحت بارهای همزمان اشاره کردیم، گلوگاه اینجا فقط نرم‌افزار نیست، بلکه یک مسئله فیزیکی مربوط به حافظه ویدیویی (VRAM) و سهمیه‌های سخت‌افزاری است. مقیاس‌دهی خودکار استاندارد در مواجهه با جهش‌های پله‌ای (Step-function spike) عملاً یک دروغ است. اگر زیرساخت شما برای فعال‌سازی گره‌های جدید به تعداد درخواست‌ها وابسته است، پیش از آنکه ارکستراتور بتواند گره‌های GPU جدید را بالا بیاورد، لحظه حیاتی سپری شده و رقابت را باخته‌اید.

واقعیتِ «صخره» ترافیکی

رشد خطی به لایه کنترل اجازه نفس کشیدن می‌دهد، اما جهش‌های پله‌ای یک دیوار عمودی از تقاضا می‌سازند. برای مثال، پلتفرم خرده‌فروشی که عرضه یک محصول محدود را هم‌زمان با یک گل در جام جهانی هماهنگ کرده است، نمونه‌ای بارز از این وضعیت است. مقیاس‌دهی واکنشی با تأخیر عمل می‌کند: ابتدا جهش شناسایی می‌شود، سپس درخواست گره ارسال می‌گردد، ارائه‌دهنده ابری GPU را تخصیص می‌دهد، کانتینر یک ایمیج ۲۰ گیگابایتی را می‌کشد و در نهایت وزن‌های مدل در VRAM بارگذاری می‌شوند. این فرآیند دقایقی زمان می‌برد، اما یک رویداد جهانی در ثانیه‌ها اتفاق می‌افتد.

وعده‌های ارائه‌دهندگان ابری مبنی بر «مقیاس بی‌نهایت» نیز گمراه‌کننده است. حتی بزرگ‌ترین مراکز داده محدودیت‌های سخت‌افزاری منطقه‌ای و سهمیه‌های فیزیکی دارند. ما محیط‌هایی را دیده‌ایم که دستور مقیاس‌دهی صادر شده اما مخزن GPU در سطح ارائه‌دهنده کاملاً تخلیه شده بود. این وضعیت ارکستراتور را در یک حالت دائمی «در انتظار» (Pending) قرار می‌دهد، در حالی که کل سیستم در حال سقوط است. برای کسانی که در حال ساخت زیربنا هستند، «نقشه مهندسی پلتفرم هوش مصنوعی عامل‌محور» (Agentic AI Platform Engineering Blueprint) الزامات پایه‌ای را ارائه می‌دهد که پیش از اقدام برای مدیریت این رویدادهای مقیاس شدید، ضروری هستند.

زیرساخت واکنشی در برابر رویداد-آماده

تفاوت میان مقیاس‌دهی الاستیک استاندارد و معماری مورد نیاز برای جهش‌های پله‌ای یک شکاف عظیم در کارایی را نشان می‌دهد:

• مقیاس‌دهی واکنشی (امتیاز ۴۰.۰): رویکرد استاندارد HPA/VPA بر اساس معیارهای RAM/CPU که تنها پس از شناسایی جهش فعال می‌شود.
• معماری رویداد-آماده (امتیاز ۹۵.۰): پیش‌گرم‌سازی پیش‌دستانه خوشه‌های GPU و کشینگ تهاجمی در لبه شبکه بر اساس زمان‌بندی رویدادهای شناخته‌شده.

کالبدشکافی گرفتگی‌های عامل‌محور

در میکروسرویس‌های معمولی، شکست زمانی رخ می‌دهد که استخر رشته‌ها (Thread Pools) تمام شود، اما در عامل‌های هوش مصنوعی (AI Agents) — سیستم‌هایی که می‌توانند هدف را بفهمند و برای رسیدن به آن ابزارها را به کار بگیرند — شکست در «اقتصاد توکن» رخ می‌دهد. گلوگاه فنی اصلی، تخلیه KV Cache (حافظه کلید-مقدار) است. در محیط‌های با همزمانی بالا، حافظه GPU بین وزن‌های مدل و KV Cache درخواست‌های فعال تقسیم می‌شود.

وقتی جهش ترافیک رخ می‌دهد، فشار حافظه روی خوشه‌های GPU باعث افزایش شدید زمان تا نخستین توکن (TTFT) می‌شود. با بالا رفتن TTFT، تجربه کاربر تخریب شده و حلقه‌های داخلی عامل با تایم‌اوت مواجه می‌شوند. این وضعیت توسط محدودیت‌های نرخ توکن-باکت (Token-bucket rate limiting) تشدید می‌شود. در یک جریان کاری عامل‌محور، یک درخواست کاربر ممکن است پنج فراخوانی داخلی از مدل زبانی بزرگ (LLM) — مثل کتابخانه‌داری که میلیاردها صفحه را خوانده و حالا با همان لحن جواب می‌دهد — برای برنامه‌ریزی، اجرا و تأیید ایجاد کند و اثر محدودیت‌ها را پنج برابر کند. شما فقط با یک محدودیت برخورد نمی‌کنید، بلکه با سرعت زیاد به درون آن سقوط می‌کنید.

سایر حالت‌های شکست حیاتی عبارت‌اند از:

• مشکل گله خروشان (Thundering Herd): تصور کنید یک سامانه تجمیع سفر در حال مقیاس‌دهی سازندگان برنامه سفر برای میلیون‌ها طرفداری است که به سمت شهر میزبان حرکت می‌کنند. اگر هزاران عامل هم‌زمان یک API خارجی (مثلاً موجودی پروازها) را صدا بزنند، باعث فعال شدن مدارشکن (Circuit Breaker) می‌شوند که تمام قابلیت‌های عامل را برای همه کاربران قطع می‌کند.
• تداخل قفل پایگاه‌داده: عامل‌ها بسیار «پرگو» هستند و مدام وضعیت (State) را می‌خوانند، می‌نویسند و به‌روزرسانی می‌کنند. نوشتن‌های همزمان در ذخیره‌سازهای حالت مشترک، باعث قفل شدن سطری (Row-level locking) در وضعیت‌های جلسه عامل می‌شود. در اینجا پایگاه‌داده نه به دلیل I/O دیسک، بلکه به دلیل این تداخل به یک گلوگاه تبدیل می‌شود.

برای بررسی عمیق‌تر این حالت‌های شکست، به تحلیل «اثر بلو اوریجین» (The 'Blue Origin' Effect) مراجعه کنید.

جلوگیری از DDoS خودساخته

بسیاری از توسعه‌دهندگان برای APIهای ناپایدار از «عقب‌نشینی نمایی» (Exponential Backoff) استفاده می‌کنند، اما این کار در جهش‌های جهانی مرگبار است. اگر ۱۰,۰۰۰ عامل هر کدام سه بار تلاش مجدد کنند، ترافیک در لحظه اشباع عملاً سه برابر شده و یک «مارپیچ مرگ» یا حمله DDoS خودساخته ایجاد می‌کنند.

تأخیرهای آبشاری نیز موضوع را بدتر می‌کنند. برای مثال، اگر LLM به‌دلیل فشار KV Cache ده ثانیه زمان ببرد اما درگاه (Gateway) در ثانیه نهم تایم‌اوت دهد، عامل آن را شکست تلقی کرده و دوباره تلاش می‌کند. این درخواست جدید به صف اضافه شده و تأخیر را برای هر کاربر دیگر بیشتر می‌کند. راهکار، پیاده‌سازی مدارشکن‌های اختصاصی برای نقاط انتهایی LLM است. اگر نرخ خطا به یک آستانه خاص برسد، مدار باز شده و سیستم فوراً پاسخ «سیستم شلوغ است» ارسال کرده یا به یک حالت تخریب‌شده (Degraded mode) سوئیچ می‌کند.

دروغِ مشاهده‌پذیری استاندارد

معیارهای استاندارد مثل CPU و RAM در این سناریوها بی‌فایده‌اند. ممکن است CPU شما در ۲۰٪ باشد اما عامل‌ها به‌دلیل انتظار برای دریافت توکن‌ها کاملاً متوقف شده باشند. برای مدیریت این وضعیت، باید معیارهای «گرفتگی عامل‌محور» را رصد کنید:

• توان عملیاتی توکن: تعداد توکن در ثانیه (TPS) واقعی در برابر TPS درخواست‌شده.
• مدت‌زمان حلقه: میانگین زمان طی شده از اولین پرامپت تا آخرین اقدام نهایی عامل.
• بهره‌وری کش: نسبت hit/miss در حافظه KV cache.
• سلامت ارکستراتور: عمق صف در مدیریت و توزیع عامل‌ها.

اطلاعات بیشتر در مورد مدیریت این محیط‌های حساس را می‌توانید در تحلیل «مدیریت ترافیک هایپرمقیاس عامل‌های هوش مصنوعی» بیابید.

معماری برای تخریب تدریجی (Graceful Degradation)

هدف در رویدادهای شدید، حفظ ۱۰۰٪ دسترسی است، حتی اگر به قیمت کاهش عمق استدلال باشد. این کار نیازمند یک «مسیر تخریب» پویا برای هدایت ترافیک بر اساس فشار سیستم است:

• بار عادی: هدایت ترافیک به مدل‌های با استدلال بالا مثل GPT-4o یا Claude 3.5 Sonnet برای استدلال‌های پیچیده.
• بار زیاد: انتقال به مدل‌های با استنتاج سریع‌تر مثل GPT-4o-mini یا Claude Haiku. این کار ظرافت پاسخ را فدای افزایش ۱۰ برابری توان عملیاتی می‌کند.
• بار بحرانی: حذف کامل LLM و پاسخ از طریق کش Redis برای پرسش‌های رایج و تکراری.

یک شرکت خدمات مالی را در هنگام نوسان ناگهانی بازار جهانی در نظر بگیرید. اگر سیستم افزایش ۵۰۰ میلی‌ثانیه‌ای در TTFT شناسایی کند، می‌تواند به‌طور خودکار از «حالت تحلیل عمیق» (زنجیره چندمرحله‌ای) به «حالت خلاصه سریع» (پرامپت تک‌مرحله‌ای) تغییر وضعیت دهد. استفاده از پایگاه‌داده برداری (Vector Database) — ابزاری که کلمات را به نقاطی در یک فضای ریاضی تبدیل می‌کند تا شباهت‌ها سریع پیدا شوند — در لبه شبکه، یک سلاح اصلی است. از آنجا که در رویدادهای جهانی معمولاً ۸۰٪ کاربران ۲۰٪ پرسش‌های مشابه را می‌پرسند، یک پایگاه‌داده برداری می‌تواند پاسخ‌های «به اندازه کافی خوب» را بدون درگیر کردن خوشه‌های GPU ارائه دهد و مشکل توکن-باکت را برای رایج‌ترین درخواست‌ها حذف کند. این رویکرد در تحلیل «درس‌هایی از یک‌چهارم نهایی جام جهانی» با جزئیات شرح داده شده است.

حل مسئله راه‌اندازی سرد

موقعیت فیزیکی اهمیت حیاتی دارد. استقرار تک‌منطقه‌ای (Single-region) زمانی که کاربران در قاره‌های مختلف پخش شده‌اند، یک ریسک بزرگ است. ماهیت سنگین بارگذاری وزن‌های مدل در VRAM — برخلاف راه‌اندازی یک تابع لاندای کوچک — یک «پنجره خاموشی» ایجاد می‌کند که در آن سیستم در حال مقیاس‌دهی است اما عملاً در دسترس نیست.

برای حل این مشکل، تیم‌ها باید توازن بار جهانی را بر اساس وضعیت جاری KV Cache و موجودی GPU پیاده کنند. جایگزینی (Failover) چندمنطقه‌ای باید هم محاسبات (GPUها) و هم حافظه عامل (State) را پوشش دهد، زیرا متصل کردن حالت به یک منطقه باعث از دست رفتن کامل حافظه در صورت قطعی منطقه‌ای می‌شود. انتقال حالت جلسه (Session State) به لبه شبکه، مرز بعدی است تا عامل‌ها با یک هماهنگ‌کننده منطقه‌ای تعامل کنند که بودجه توکن‌های محلی و کش‌ها را مدیریت می‌کند. این سطح از ارکستراتور برای حاکمیت بلادرنگ حیاتی است، همان‌طور که در تحلیل «هوش مصنوعی عامل‌محور و لحظه VAR» آمده است.

گام بعدی شما (چک‌لیست رویداد-آماده)

رهبران پلتفرم باید از تست‌های بار خطی فاصله گرفته و به سمت «جهش‌های مصنوعی» حرکت کنند که افزایش ۱۰۰ برابری ترافیک را در ۳۰ ثانیه شبیه‌سازی می‌کند. این کار نشان می‌دهد سیستم هنگام شکست چگونه رفتار می‌کند و به‌ویژه KV Cache و حلقه‌های تلاش مجدد چه واکنشی دارند.

• پیش‌گرم‌سازی همه چیز: اگر رویدادی ساعت ۸ شب شروع می‌شود، خوشه‌های GPU باید تا ساعت ۷:۳۰ در حداکثر ظرفیت باشند. وزن‌های مدل را در VRAM بارگذاری و کش‌ها را گرم کنید.
• تعریف آستانه‌های حذف ویژگی: دقیقاً مشخص کنید چه زمانی ویژگی‌ها حذف شوند:
  • در ۵۰ هزار RPS: حالت «تحقیق عمیق» (Deep Research) را غیرفعال کنید.
  • در ۸۰ هزار RPS: تأییدیه چند-عاملی (Multi-agent verification) را غیرفعال کنید.
  • در ۱۰۰ هزار RPS: برای تمام کاربران غیرهویت‌سنج‌شده به کش استاتیک سوئیچ کنید.
• ساخت داشبورد اتاق جنگ: یک نمای واحد برای رصد توان عملیاتی توکن، تأخیر حلقه عامل، سطح تخریب و فشار VRAM (به‌ویژه تخلیه‌های KV Cache) ایجاد کنید.

این تغییر در رویکرد مهندسی، معیار جدیدی برای قابلیت اطمینان هوش مصنوعی ایجاد می‌کند. این روند صنعت را از وضعیت «امید شکننده» به وضعیت «تاب‌آوری مهندسی‌شده» می‌برد، همان‌طور که در «مدل بلوغ هوش مصنوعی عامل‌محور» آمده است تا تضمین شود پیچیده‌ترین عامل‌ها می‌توانند در پرتلاطم‌ترین لحظات توجه جهانی زنده بمانند.

اما داستان سخت‌افزاری این تحول حتی شگفت‌انگیزتر است — به تحلیل ما درباره‌ی تراشه‌های Blackwell مراجعه کنید.