اگر هنوز استنتاج (Inference) — که شبیه به لحظهی خودِ آشپزی است و نه دورهی آموزش آشپز — را مانند یک جعبه سیاه میبینید، در واقع دارید سرعت و کارایی سختافزار خود را میسوزانید. برای رسیدن به بهرهوری واقعی، باید از پوستههای پایتونی فاصله بگیرید و مستقیماً با هستههای CUDA صحبت کنید.
در دنیای امروز، گلوگاه اصلی مقیاسپذیری هوش مصنوعی، نحوهٔ سرو کردن مدلهاست. همانطور که در تحلیل قبلی ما دربارهی هزینههای استنتاج اشاره کردیم، بسیاری از شرکتها سه برابر بیشتر از نیاز واقعی هزینه پرداخت میکنند. به همین دلیل، صنعت اکنون به جای تماسهای ساده با API، روی بهینهسازی خام سختافزار تمرکز کرده است. پروژه tiny-vllm که در ۲۹ مه ۲۰۲۶ منتشر شد، نقشهی راه کاملی برای ساخت موتوری است که مدل Llama 3.2 1B Instruct را هدف قرار میدهد.
به نقل از مخزن گیتهاب این پروژه، این موتور بهینهسازیهای حیاتی سرورهای تجاری را پیاده کرده است:
- استفاده از دقت bfloat16 (BF16) برای ایجاد تعادل بین محدوده عددی و مصرف حافظه.
- پیادهسازی PagedAttention — شبیه به کتابخانهای که کتابها را در صفحات کوچک و منعطف میچیند تا فضای کمتری هدر رود — و Continuous Batching برای افزایش حداکثری خروجی.
- طراحی هستههای RMSNorm و RoPE بهصورت کاملاً دستی در CUDA.
- بهکارگیری cuBLAS برای ضرب ماتریسی با استفاده از یک ترفند جابهجایی دادهها.
بر اساس مستندات فنی، نویسنده این سیستم را با استفاده از یک کارت گرافیک RTX 5090 و CUDA Toolkit 13.1 توسعه داده است. این یعنی موتور میتواند درخواستهای موازی متعددی را بدون درگیر شدن با لایههای سنگین فریمورکها مدیریت کند.
این پروژه تمرکز توسعهدهنده را از مهندسی پرامپت (Prompt Engineering) — که هنر سؤال درست پرسیدن است — به مهندسی هسته (Kernel Engineering) تغییر میدهد. با حذف پیچیدگیهای کتابخانههایی مثل PyTorch، توازن دقیق بین پهنای باند حافظه و دقت محاسبات آشکار میشود. برای شما این یعنی مسیری به سوی استقرار مدلهای محلی، سریعتر و ارزانتر که به وابستگیهای حجیم نیاز ندارند.
گام بعدی شما
- کد منبع tiny-vllm را در گیتهاب بررسی کنید تا اولین هسته CUDA خود را پیادهسازی کنید.
- پروژه
llm.cاثر آندری کارپاتی را مطالعه کنید تا ببینید این اصول چگونه در آموزش مدلها به کار میروند. - تفاوت سرعت استنتاج در مدلهای ۱ میلیارد پارامتری را با و بدون بهینهسازیهای PagedAttention بسنجید.
اما داستان سختافزاری این تحول حتی شگفتانگیزتر است — به تحلیل ما دربارهی تراشههای Blackwell مراجعه کنید.
گفتگو