تصور کنید اپلیکیشنی دارید که میتوانید مدل زبانی آن را بدون تغییر حتی یک خط کد یا ریاستارت کردن سرور، در یک ثانیه عوض کنید. طبق مستندات فنی منتشر شده در ۲۰ اوت ۲۰۲۶، توسعهدهندگان Telnyx مکانیزمی را پیاده کردهاند که انتخاب مدل را از یک مقدار ثابت در کد به یک تنظیمات پویا در زمان اجرا تبدیل میکند.
در اکثر پیادهسازیهای فعلی، نام مدل در دل کد سختافزاری (Hardcoded) قرار دارد؛ یعنی برای هر آزمایش کوچک با یک نسخه جدید، باید کل چرخه استقرار (Deployment) طی شود. همانطور که در تحلیل قبلی ما دربارهی اتوماسیون پیامکها در Telnyx Edge Compute اشاره کردیم، این رویکرد جدید، انتخاب مدل را از یک تصمیم مهندسی ایستا به یک رفتار پویا در محصول تبدیل میکند. این سیستم شبیه به یک کلید برق است که به جای سیمکشی مجدد خانه، فقط با یک فشار انگشت منبع انرژی را عوض میکند.
این معماری با ترکیب Agent SDK و Telnyx KV Storage — که مثل یک دفترچه یادداشت سریع برای ذخیره تنظیمات کوچک است — یک «سوئیچر» ایجاد میکند. این رویکرد در مدیریت وضعیت عاملها مشابه است با آنچه در پردازش دادههای کشاورزی در لبه با استفاده از عاملهای وضعیتدار مشاهده کردیم، جایی که حفظ وضعیت برای تصمیمگیریهای لحظهای حیاتی است. به نقل از مستندات Telnyx، وقتی کاربر پیامی به نقطه اتصال (Endpoint) ارسال میکند، برنامه ابتدا مقدار active-model را از حافظه KV میخواند و سپس درخواست استنتاج (Inference) — یعنی همان لحظه تولید جواب توسط مدل — را ارسال میکند.
جزئیات فنی
- مدلهای پشتیبانیشده: این نمونه شامل مدلهای meta-llama/Llama-3.3-70B-Instruct، zai-org/GLM-5.2 و moonshotai/Kimi-K2.6 است.
- مدیریت وضعیت: عامل
SwitcherAgentاز تاریخچه پیامها برای حفظ زمینه و از وضعیت Actor برای ردیابی تعداد درخواستها استفاده میکند. این مدیریت متمرکز از ساختارهای مشابهی با سیستم مدیریت ارتش عاملهای کدنویس بهره میبرد تا هماهنگی بین درخواستهای مختلف حفظ شود. - فراخوانی استنتاج: سیستم از متد
createCompletionبرای اجرای مدل انتخابی که از حافظه KV گرفته شده، استفاده میکند.
این تغییر به تیمها اجازه میدهد تأثیر مدلهای مختلف بر تأخیر (Latency) و عمق استدلال را بدون درگیر کردن خط لوله استقرار مشاهده کنند. برای توسعهدهنده، پشته هوش مصنوعی به یک سیستم مشاهدهپذیر تبدیل میشود که «بهترین» مدل را میتوان با یک فراخوانی ساده API یا یک پنل مدیریتی تغییر داد.
با این حال، انتقال انتخاب مدل به زمان اجرا ریسکهای جدیدی ایجاد میکند. Telnyx هشدار میدهد که نسخههای عمومی این معماری به یک لیست سفید (Allowlist) از مدلهای تأییدشده، ثبت وقایع (Audit Logging) و رفتارهای جایگزین (Fallback) نیاز دارند تا در صورت شکست مدل انتخابی، کل سیستم از دسترس خارج نشود.
گام بعدی شما
- برای شروع، یک حافظه KV با نام
switcher-flagایجاد کنید. - کد را از طریق دستور
telnyx-edge shipمستقر نمایید. - مدلهای مختلف را در محیط عملیاتی تست کنید تا بهینه ترین موازنه بین هزینه و کیفیت را بیابید.
اما مدیریت حافظه در مقیاس بزرگتر چالشهای پیچیدهتری دارد؛ برای درک بهتر این موضوع به تحلیل ما دربارهی KV Cache مراجعه کنید.
گفتگو