Kimi K3.1 Pro، نخستین مدل عامل‌محور (agentic) و چندوجهی (multimodal) با وزن‌های باز (open weights) در سری K3.1، با ۲.۸ تریلیون پارامتر و پنجرهٔ زمینه ۱ میلیون توکنی، سقفِ کارایی در کدینگ، ساختار سه‌بعدی و تحلیل مالی را بالا برده است. این مدل از معماری ترکیب خبره‌ها (Mixture-of-Experts) با ۸۹۶ خبره و کوانتش (Quantization) آگاهِ MXFP4/MXFP8 بهره می‌برد. این مدل در ادامه‌ی پیشرفت‌های کیمی K3.1 پرو با پنجرهٔ یک میلیون توکنی قرار می‌گیرد و سقف کارایی را در کدینگ و تحلیل مالی بالا می‌برد.
تیم Kimi این مدل را از پایه Kimi K3 با یادگیری تقویتی مقیاس‌بزرگ روی صدها حوزه‌ی پایین‌دست (downstream) پس‌آموزش داده است. جایگزینی لایه‌های توجه Gated MLA با توجهِ عمیقِ غیرفشاردهِ گیت‌شده (Gated DeepSeek Sparse Attention / Gated DSA) برای مدل‌سازی کارآمد متن‌بلند، تغییر معماری کلیدی است.
مشخصات فنی (به نقل از مستندات رسمی Kimi):
- معماری: MoE، ۹۳ لایه (۱ لایه متراکم + ۶۹ KDA + ۲۴ Gated DSA)
- پارامترها: ۲.۸ تریلیون کل، ۱۰۴ میلیارد فعال، ۸۹۶ خبره (۱۶ انتخاب‌شده در توکن)، ۲ خبره مشترک
- ابعاد: توجه ۷۱۶۸، ۹۶ سر، DSA ایندکس ۱۲۸/۳۲ سر، Top-K ۲۰۴۸، MoE نهان ۳۵۸۴، خبره ۳۰۷۲
- مکانیزم: SiTU-GLU، KDA و Gated DSA، واژگان ۱۶۰K، طول بستر ۱،۰۴۸،۵۷۶
- بینایی: MoonViT-V2 با ۴۰۱ میلیون پارامتر
- کوانتش: وزن‌ها MXFP4، فعال‌سازی‌ها MXFP8 (آموزش آگاه از کوانتش)
- حالت‌ها: متن، تصویر
انتخاب Gated DSA به‌جای MLA کامل‌توجه، گره‌ی تأخیر در بسترهای ۱ میلیون توکنی را می‌شکند — هزینه محاسبه مربعی توجه کلاسیک را به خطی نزدیک می‌کند. کوانتش MXFP4/MXFP8 در آموزش، نه فقط در استنتاج، دقت را در حین کاهش ۴ برابری حافظه حفظ می‌کند. این دو تصمیم، K3.1 Pro را به رقیبی برای مدل‌های بسته‌ی ۳T-کلاس مانند Claude Fable 5.1 و GPT-6 Astra در بنچمارک‌های استدلالی می‌تبدیل کند. این تصمیمات معماری K3.1 Pro را در برابر مدل‌های بسته ۳T-کلاس قرار می‌دهد، همان‌طور که در شاخص هوش-rank چهارم با ۵۵ امتیاز ثبت شد.
گام بعدی شما
- کارت مدل و وزن‌های باز Kimi K3.1 Pro را از مخزن رسمی برای استقرار روی سخت‌افزار H100/H200 بررسی کنید.
- تنظیمات reasoning effort max، temperature=1.0، top-p=0.95 را برای بازتولید نتایج بنچمارک گزارش‌شده به کار بگیرید.
- اگر کارکرد شما بسترهای >۱۲۸K توکن است، Gated DSA را در برابر MLA در پروفایل تأخیر/حافظه بسنجید.
گفتگو