تصور کنید یک عامل (Agent) — مثل کارمندی که نه تنها دستور می‌گیرد، بلکه ابزارها را می‌شناسد و برای رسیدن به هدف، مسیر را خودش طراحی می‌کند — در میانه یک تسک پیچیده است و ناگهان سرور ری‌استارت می‌شود. در حالت عادی، تمام تاریخچه استدلال و وضعیت جلسه در لحظه پاک می‌شود و شما باید همه چیز را از صفر شروع کنید.
این شکاف زیرساختی، مقیاس کردن عامل‌ها را برای تیم‌های سازمانی تقریباً غیرممکن می‌کرد. همان‌طور که در تحلیل قبلی ما درباره‌ی مدل‌های استدلالی اشاره کردیم، چالش فعلی دیگر فقط هوشمندی مدل نیست، بلکه پایداری محیطی است که این هوش در آن اجرا می‌شود.
در ۸ مه ۲۰۲۶، شرکت BerriAI پلتفرم LiteLLM Agent Platform را تحت لایسنس MIT منتشر کرد. طبق اعلام این شرکت، این پلتفرم به عنوان یک لایه‌ی زیرساختی روی LiteLLM AI Gateway قرار می‌گیرد. این گیت‌وی در حال حاضر درخواست‌ها را به بیش از ۱۰۰ ارائه‌دهنده مدل زبانی هدایت می‌کند.
جزئیات فنی این راهکار شامل موارد زیر است:
- ایزوله‌سازی سندباکس: استفاده از سندباکس (Sandbox) — شبیه به یک اتاق ایزوله در آزمایشگاه است که هر آزمایش در آن جدا از بقیه انجام می‌شود تا خطایی کل ساختمان را نابود نکند — برای ایجاد کانتینرهای مستقل برای هر جلسه.
- تداوم جلسه: استفاده از پایگاه داده PostgreSQL برای تضمین بقای وضعیت در هنگام آپگرید یا ری‌استارت پادها.
- پشته فناوری: داشبورد Next.js و ورکر TypeScript برای مدیریت وضعیت زنده عامل‌ها.
- استقرار: پشتیبانی از
kindبرای توسعه محلی و AWS EKS برای محیط تولید.
به نقل از مستندات پروژه، این تغییر باعث می‌شود مدیریت وضعیت از کد برنامه به لایه‌ی زیرساخت منتقل شود. برای توسعه‌دهندگان، این یعنی می‌توانند عامل‌های کدنویسی مثل Claude Code یا OpenAI Codex را بدون ترس از پاک شدن تسک‌های چندمرحله‌ای مستقر کنند. در واقع، جلسات عامل‌ها اکنون به جای فرآیندهای گذرا، به عنوان منابع درجه‌یک کوبرنتیز شناخته می‌شوند.
گام بعدی شما
- مخزن پروژه را کلون کنید تا ساختار مدیریت وضعیت را بررسی کنید.
- با اجرای دستور
bin/kind-up.shکنترلر سندباکس را به صورت محلی تست کنید. - بررسی کنید آیا جریان‌های کاری فعلی شما در برابر شکست‌های زیرساختی مقاوم هستند یا خیر.
اما داستان سخت‌افزاری این تحول حتی شگفت‌انگیزتر است؛ برای درک نحوه بهینه‌سازی این محیط‌ها، به تحلیل ما درباره‌ی تراشه‌های Blackwell مراجعه کنید.
گفتگو