مدل هزینه بر اساس درخواست در برابر توکن برای تحلیل متن

اگر مهندس SRE هستید و هر بار برای تحلیل لاگ‌های چند هزار خطی نگران بودجه API خود می‌شوید، مدل جدید Oxlo.ai بازی را تغییر داده است. اکنون می‌توان یک سرویس کانتینری شده با FastAPI را پیاده کرد تا لاگ‌های خام سرور را به گزارش‌های ساختاریافته از حوادث تبدیل کند و در عین حال، از نوسانات هزینه‌ای قیمت‌گذاری مبتنی بر توکن عبور کند. این رویکرد به مهندسان اجازه می‌دهد تا لاگ‌هایی با چندین هزار خط را بدون ریسک انفجار بودجه، مستقیماً در یک پرامپت قرار دهند.

این رویکرد، استنتاج (Inference) — که شبیه لحظهٔ نهایی آشپزی است، نه دوره‌ی آموزش آشپز — را از زنجیر توکن‌ها آزاد می‌کند. همان‌طور که در تحلیل قبلی ما درباره‌ی اینکه چگونه رسیدهای سایه (shadow receipts) از شکست خط لوله‌های تولیدی در استخراج‌کننده‌های LLM جلوگیری می‌کنند اشاره کردیم، لایه‌ی استقرار (Deployment) همواره نقطه‌ضعف مالی توسعه‌دهندگان بوده است. اکثر توسعه‌دهندگان هنگام پردازش مجموعه‌داده‌های بزرگ با «مالیات توکن» دست‌وپنجه نرم می‌کنند، که باعث می‌شود انتخاب ارائه‌دهنده استنتاج، بیش از آنکه یک تصمیم فنی باشد، یک تصمیم مالی باشد. این تغییر رویکرد در راستای کاهش هزینه‌های استنتاج در محیط‌های DevOps است که پیش‌تر به بررسی مدل‌های قیمت‌گذاری ثابت آن پرداخته بودیم.

طبق یک راهنمای فنی منتشر شده در ۳ سپتامبر ۲۰۲۶، این معماری بر چند رکن اصلی استوار است:

پشته فنی (Technical Stack)

• Python 3.10+ و OpenAI SDK برای مدیریت ارتباطات API.
• FastAPI و Uvicorn برای مدیریت چرخه درخواست-پاسخ به‌صورت ناهمگام (Asynchronous).
• Docker برای کانتینری‌سازی، تا سرویس بدون نیاز به GPUهای محلی یا وزن‌های مدل (Model Weights) اجرا شود.
• Llama-3.3-70b به‌عنوان موتور استدلالی اصلی که از طریق آدرس پایه Oxlo.ai فراخوانی می‌شود.

تنظیمات پروژه

برای ایجاد ساختار اولیه پروژه، توسعه‌دهندگان یک محیط مجازی (Virtual Environment) ساخته و پیش‌نیازهایی از جمله pydantic و python-dotenv را نصب می‌کنند. کلید API مربوط به Oxlo.ai که از پورتال portal.oxlo.ai دریافت می‌شود، در یک فایل .env ذخیره می‌گردد تا امنیت اعتبارنامه‌ها در طول فرآیند ساخت (Build Process) کاملاً حفظ شود.

جزئیات پیاده‌سازی

• پرامپت سیستمی (System Prompt): سیستم از یک دستور سخت‌گیرانه استفاده می‌کند تا مدل را مجبور کند دقیقاً در نقش یک مهندس ارشد SRE عمل کند. این دستور مدل را ملزم می‌کند که خروجی را در قالب یک شیء JSON معتبر ارائه دهد که شامل یک خلاصه تک‌جمله‌ای، درجه شدت (کم، متوسط، زیاد یا بحرانی) و یک علت ریشه‌ای مستند و واقعی باشد. پرامپت صراحتاً هرگونه گمانه‌زنی فراتر از آنچه در لاگ‌ها نمایش داده شده است را ممنوع می‌کند.
• منطق API: سرویس در فایل main.py با استفاده از مدل LogRequest برای ورودی و مدل AnalysisResponse برای خروجی سیم‌کشی شده است. این سیستم شامل مدیریت خطای جامع برای بدنه خالی (خطای 400)، دریافت JSON نامعتبر از سوی مدل (خطای 502) و استثناهای کلی سیستم (خطای 500) است.
• کانتینری‌سازی: سرویس از ایمیج python:3.11-slim استفاده می‌کند. فایل Dockerfile پورت ۸۰۰۰ را باز کرده و از uvicorn برای میزبانی اپلیکیشن روی آدرس 0.0.0.0 استفاده می‌کند. این ساختار اجازه می‌دهد کلید API در زمان اجرا از طریق فلگ -e OXLO_API_KEY به کانتینر پاس داده شود.

به نقل از این راهنما، برای کسانی که با لاگ‌های چندزبانه سروکار دارند، پیشنهاد می‌شود رشته مدل (Model String) را به Qwen-3-32b یا Kimi-k2.6 تغییر دهند. این تغییرات هیچ نیازی به اصلاح در منطق مسیرهای (Route Logic) زیربنایی ندارد که نشان‌دهنده انعطاف‌پذیری بالای APIهای سازگار با OpenAI است.

این چرخش به سمت قیمت‌گذاری بر اساس درخواست (Request-based Pricing)، اساس مهندسی پرامپت (Prompt Engineering) — یعنی هنر سؤال درست پرسیدن برای گرفتن بهترین جواب — را برای مهندسان SRE تغییر می‌دهد. دیگر نیازی نیست توسعه‌دهندگان ساعت‌ها وقت صرف نوشتن منطق‌های پیچیده برای تکه‌تکه کردن (Truncation) یا الگوریتم‌های نمونه‌برداری کنند تا لاگ‌ها در پنجره متنی (Context Window) — که مثل میز کاری است و فقط جای چند ورق دارد — جا شوند؛ حالا اولویت با حفظ کامل دقت و وفاداری به داده‌های خام است. در مقابل این مدل‌های ابری، برخی توسعه‌دهندگان ترجیح می‌دهند برای حذف کامل هزینه‌های API، به میزبانی شخصی مدل‌های زبانی روی سخت‌افزارهای محلی روی بیاورند.

از نظر مالی، این یعنی هزینه ماهانه شما پیش‌بینی‌پذیر است، فارغ از اینکه یک فایل لاگ ۱۰ خط باشد یا ۱۰,۰۰۰ خط. این مدل، ترس از این موضوع را که یک لاگ خطای «پرحرف» (Chatty) بتواند در عرض چند دقیقه کل بودجه API شما را ببلعد، از بین می‌برد.

برای بهینه‌سازی بیشتر این ساختار، توسعه‌دهندگان باید یک کش Redis ناهمگام در مقابل نقطه انتهایی (Endpoint) تحلیل پیاده کنند. این کار مانع از آن می‌شود که سیستم برای تحلیل مجدد دسته‌های یکسانی از لاگ‌ها در طول یک قطعی تکرار شونده، هزینه پرداخت کند.

گام بعدی شما

• بررسی دقیق سطوح قیمت‌گذاری بر اساس درخواست در oxlo.ai/pricing برای تخمین هزینه‌های مقیاس‌پذیری.
• جایگزینی مدل Llama با Qwen یا Kimi برای تحلیل لاگ‌های غیرانگلیسی.
• پیاده‌سازی لایه Redis برای کاهش هزینه‌های تکراری در محیط‌های Production.

اما داستان سخت‌افزاری این تحول حتی شگفت‌انگیزتر است — به تحلیل ما درباره‌ی تراشه‌های Blackwell مراجعه کنید.