اگر امروز برای اجرای مدلهای زبانی هزینه میپردازید، احتمالاً متوجه شدهاید که صورتحسابهای توکنمحور در مقیاس تولید، پیشبینیناپذیر و گاهی کمرشکن هستند. برای یک مدل Llama 3.3 70B با دقت FP16، حداقل ۱۴۰ گیگابایت حافظهٔ ویدیویی (VRAM) نیاز است؛ عددی که نشان میدهد یک تکپردازندهٔ گرافیکی بهندرت برای محیط تولید کافی است. این واقعیت فنی تیمهای مهندسی را مجبور میکند تصمیم بگیرند که آیا بار عملیاتی مدیریت چنین سختافزاری، سنگینتر از هزینههای غیرقابل پیشبینی APIهای توکنمحور است یا خیر.
این تصمیم در زمانی اتخاذ میشود که سازمانها از نمونههای اولیه ساده به سمت گردشهای کاری عاملمحور (Agentic Workflows) حرکت میکنند. با تکیه بر پوشش قبلی ما درباره اینکه چرا خط لولههای تولید بازیابیافزا (RAG) اغلب پیش از آنکه LLM حتی دادهها را ببیند شکست میخورند، اکنون تمرکز صنعت از «چگونگی بازیابی داده» به «هزینهٔ واقعی سرویسدهی به نتایج در مقیاس واقعی» تغییر کرده است. برای اکثر تیمها، این انتخاب نه بر اساس قابلیتهای فنی، بلکه بر اساس هزینهٔ کل مالکیت (TCO) صورت میگیرد.
میزبانی شخصی (Self-hosting) — شبیه داشتن یک آشپزخانه صنعتی در خانه که تمام کنترل مواد و ابزار دست شماست اما هزینهٔ برق و نگهداریاش با شماست — کنترل کاملی بر انتخاب سختافزار، کوانتش (Quantization) سفارشی و ایزولاسیون شبکه میدهد. این مسیر اغلب توسط تیمهایی ترجیح داده میشود که الزامات سختگیرانهای در مورد محل ذخیره داده (Data Residency) دارند یا کسانی که آداپتورهای (Adapter) اختصاصی را تنظیم دقیق (Fine-tuning) میکنند که باید حتماً در محیط داخلی (On-premises) باقی بمانند. ما پیشتر در تحلیلی جامع درباره استقرار محلی در برابر ابری، بررسی کردیم که چگونه این رویکرد میتواند در بلندمدت هزینههای استنتاج را کاهش دهد. اما در این حالت، هزینهها به مخارج سرمایهای (CapEx) تبدیل شده و ریسک «زمان بیکار GPU» ایجاد میشود.
در مقابل، استنتاج (Inference) مدیریتشده — مثل سفارش غذا از رستوران که فقط هزینهٔ هر پرس را میدهید و درگیر شستن ظرفها نمیشوید — بار نگهداری درایورها، بهروزرسانی فریمورکها و برنامهریزی ظرفیت را حذف میکند. برای بسیاری از تیمهای مهندسی، عامل تعیینکننده نه قابلیتها، بلکه این است که مدلهای قیمتگذاری چگونه با الگوهای واقعی بار کاری آنها همسو میشوند. برای درک بهتر این تضاد مالی، میتوان به بررسی هزینههای مالکیت میزبانی Llama اشاره کرد که نشان میدهد مدیریت این مدلها در حجم بالا میتواند سالانه هزینههای قابل توجهی داشته باشد.
طبق راهنمای ۹ سپتامبر ۲۰۲۶ در وبسایت dev.to، یک پشتهٔ آماده برای تولید از چهار لایه حیاتی تشکیل شده است:
- محاسبات (Compute): استفاده از GPUهای با حافظه بالا مثل NVIDIA A100 یا H100 برای مدلهای بزرگ اجباری است. برای جای دادن مدلهای 70B، تیمها از گرههای چند-GPU یا فرمتهای کوانتیده مثل AWQ و GPTQ استفاده میکنند.
- موتور سرویسدهی: فریمورکهایی مثل vLLM، TensorRT-LLM و Text Generation Inference با استفاده از دستهبندی پیوسته (Continuous Batching) و PagedAttention، توان عملیاتی (Throughput) را به حداکثر میرسانند.
- ارکستراسیون: Kubernetes زمانبندی پادها را از طریق اپراتورهای GPU مدیریت میکند. ابزارهایی مثل Karpenter یا Cluster Autoscaler تأمین گرههای GPU را بهصورت در لحظه و بر اساس تقاضا انجام میدهند.
- شبکه و ذخیرهسازی: برای کاهش تأخیر (Latency) در ارتباطات بین-GPU، کارتهای شبکه (NIC) با پهنایباند بالا لازم است. وزنهای مدل معمولاً روی حجمهای مشترک (Shared Volumes) ذخیره میشوند یا در هنگام شروع کانتینر از ذخیرهسازهای شیء (Object Storage) دانلود میگردند.
برای کسانی که مسیر میزبانی شخصی را میروند، vLLM به دلیل ارائه یک رابط HTTP سازگار با OpenAI، انتخاب اول است. یک استقرار معمولی برای Llama 3.3 70B نیازمند موازیسازی تنسور (Tensor Parallelism) روی حداقل دو پردازنده NVIDIA A100 80GB است تا بتواند بهطور بهینه عمل کند.
پیادهسازی این ساختار در Kubernetes نیازمند تنظیمات خاصی است:
- منابع: محدودیتها باید روی
nvidia.com/gpu: "2"تنظیم شوند. - آرگومانها: کانتینر به آرگومانهای
--tensor-parallel-size "2"و--gpu-memory-utilization "0.9"نیاز دارد. - وابستگیها: نصب NVIDIA device plugin و قابلیت GPU feature discovery روی خوشه الزامی است.
- مقیاسپذیری: ترافیک از طریق یک Service مسیریابی شده و با استفاده از Horizontal Pod Autoscaler بر اساس عمق صف درخواستها یا میزان استفاده از GPU، بهصورت خودکار مقیاس میشود.
با این حال، میزبانی شخصی یک پشته از هزینههای «پنهان» را معرفی میکند. فراتر از سختافزار، تیمها باید دستمزد نیروی مهندسی، هزینه برق، امنیت و ریسک ظرفیت بلااستفاده در ساعات کمترافیک را محاسبه کنند. همچنین بسیاری از فریمورکها از مشکل راهاندازی سرد (Cold Start) رنج میبرند؛ وضعیتی که در آن اولین درخواست پس از یک دوره سکوت، با تأخیر قابل توجهی روبرو میشود.
پلتفرمهای استنتاج مدیریتشده سعی میکنند این مشکلات را با حذف نگهداری درایورها و برنامهریزی ظرفیت حل کنند. در حالی که ارائهدهندگانی مثل Together AI، Fireworks AI، OpenRouter، Replicate و Anyscale از قیمتگذاری خطی بر اساس توکن استفاده میکنند، این مدل برای RAGهای با زمینه طولانی یا حلقههای عاملمحور که تاریخچه ابزارهای حجیمی را به هر نوبت گفتگو اضافه میکنند، میتواند بهشدت گران شود.
در این میان، Oxlo.ai مدل اقتصادی متفاوتی را برای مقابله با این مشکل معرفی کرده است. این پلتفرم بهجای توکن، از قیمتگذاری بر اساس «درخواست» (Request-based) استفاده میکند؛ یعنی یک هزینه ثابت برای هر فراخوانی API، فارغ از اینکه طول پرامپت چقدر باشد. این رویکرد دقیقاً نقطه ضعف بارهای کاری با زمینه طولانی را هدف قرار میدهد، جایی که هزینههای توکن معمولاً بخش اعظم بودجه را میبلعند.
پلتفرم Oxlo.ai بیش از ۴۵ مدل باز و اختصاصی را در هفت دسته میزبانی میکند، از جمله:
- Llama 3.3 70B
- DeepSeek R1 671B MoE
- Qwen 3 32B
- Kimi K2.6
این سرویس کاملاً با SDKهای OpenAI از طریق URL پایه https://api.oxlo.ai/v1 سازگار است. به دلیل نبود راهاندازی سرد در مدلهای محبوب، تأخیر آن حتی پس از دورههای بیکاری نیز ثابت میماند. برای ارزیابی، لایه رایگان آنها ۶۰ درخواست روزانه برای بیش از ۱۶ مدل را ارائه میدهد و یک دوره آزمایشی هفتروزه با دسترسی کامل در نظر گرفته است.
این تغییر در مدل قیمتگذاری، فرضیات مقیاسپذیری در این حوزه را تغییر میدهد. برای اولین بار، توسعهدهندگان میتوانند مدلهای عظیمی مثل DeepSeek R1 671B MoE یا Qwen 3 32B را بدون ترس از جهش ناگهانی هزینهها به دلیل چند پرامپت طولانی اجرا کنند. در واقع، ریسک مالی از دوش توسعهدهنده به دوش ارائهدهنده زیرساخت منتقل شده است.
برای خواننده، این بدان معناست که معماری «بهترین» کاملاً به الگوی درخواستهای شما بستگی دارد. اگر ترافیک شما پایدار و حجیم است، مخارج سرمایهای یک خوشه GPU برنده است. اما اگر طول پرامپتهای شما بهشدت متغیر است یا ترافیک نوسانی دارید، یک سرویس مدیریتشده بر اساس درخواست مانع از انفجار بودجه میشود.
امنیت در هر دو مسیر یک ثابت است. پشتههای میزبانی شخصی نیازمند mTLS بین سرویسها، اسکن مصنوعات مدل برای شناسایی دستکاریها و مانیتورینگ فشار حافظه GPU با Prometheus/Grafana هستند. در مقابل، کاربران سرویسهای مدیریتشده باید اولویت را بر انطباق با SOC 2، بررسی سیاستهای نگهداری داده و پیادهسازی منطق بازگشت نمایی (Exponential Backoff) برای مدیریت محدودیتهای API قرار دهند.
پیش از متعهد شدن به خرید یا اجاره یک خوشه، الگوهای واقعی درخواستهای خود را ارزیابی کنید. انتخاب بین یک گره GPU در Kubernetes و یک نقطه انتهایی (Endpoint) مدیریتشده، اکنون بیش از آنکه یک مسئله فنی باشد، یک مسئله بهینهسازی مالی است.
گام بعدی شما
- تحلیل الگوی ترافیک خود را انجام دهید: آیا تعداد توکنهای ورودی/خروجی شما در هر درخواست تفاوت فاحشی دارد؟
- اگر از مدلهای MoE استفاده میکنید، هزینه استنتاج مدیریتشده را با مدل قیمتگذاری درخواستی (Request-based) مقیاسبندی کنید.
- برای کاهش هزینههای میزبانی شخصی، استفاده از فرمتهای کوانتیده مثل AWQ را در محیط تست بررسی کنید.
اما داستان سختافزاری این تحول حتی شگفتانگیزتر است — به تحلیل ما درباره تراشههای Blackwell مراجعه کنید.
گفتگو