تفاوت حافظه و سرعت؛ چرا مدل‌های محلی روی کارت‌های گرافیک ۲۴ گیگابایتی کرش

اگر قصد دارید یک مدل ۷۰ میلیارد پارامتری را روی سیستم شخصی اجرا کنید، احتمالاً با کرش‌های ناگهانی یا افت شدید سرعت مواجه شده‌اید. باید بدانید که تفاوت میان «جا شدن مدل در حافظه» و «توانایی اجرای روان آن»، مرزی است که بسیاری از کاربران نادیده می‌گیرند.

طبق گزارشی که در ۱۷ اکتبر ۲۰۲۶ در وب‌سایت dev.to منتشر شد، یک مدل ۷۰ میلیاردی با کوانتش Q4، پیش از اضافه شدن حتی یک توکن متن، به حدود ۴۰ گیگابایت حافظه نیاز دارد. بسیاری از کاربران به اشتباه سعی می‌کنند این مدل‌ها را روی کارت‌های گرافیکی ۲۴ گیگابایتی اجرا کنند. این عدم تطابق باعث می‌شود سیستم داده‌ها را به رم سیستم (System RAM) منتقل کند که سرعتش به‌شدت کمتر است و در نتیجه عملکرد واقعی مدل سقوط می‌کند. برای درک بهتر این موضوع، می‌توان به بررسی چالش‌های کوانتش ۸ بیتی و تأثیر آن بر حجم حافظه اشاره کرد که نشان می‌دهد چگونه کاهش حجم مدل لزوماً به معنای بهینگی کامل نیست.

همان‌طور که در تحلیل قبلی ما درباره‌ی حافظه Hy شرکت تنسنت اشاره کردیم، چالش اصلی همچنان شکاف میان ظرفیت تئوریک و زمان اجرای عملی است. برای اکثر کاربران، اشتباه بزرگ این است که عدد «توکن در ثانیه» را یک حقیقت مطلق می‌بینند، بدون اینکه به طول پرامپت یا نوع سخت‌افزار توجه کنند. در همین راستا، روش‌های اعتبارسنجی نیازهای سخت‌افزاری به ما کمک می‌کند تا فراتر از ادعاهای بازاریابی، واقعیت‌های فنی را بسنجیم.

برای جلوگیری از این شکست‌ها، نویسنده این راهنما یک چک‌لیست فنی سخت‌گیرانه را پیشنهاد می‌دهد:

محاسبه حافظه و سرعت

• تطبیق حافظه: اندازه وزن‌های کوانتیده شده را محاسبه کنید، فضای مورد نیاز برای KV Cache (حافظه موقت برای توکن‌های قبلی) را به آن اضافه کنید و مقداری فضای خالی برای سیستم‌عامل و درایورها باقی بگذارید.
• اندازه‌گیری سرعت: سخت‌افزار دقیق، نقطه بازرسی (Checkpoint)، نوع کوانتش و نسخه Runtime را ثبت کنید.
• تفکیک معیارها: بین زمان پیش‌پُرکردن (Prefill) یا همان TTFT و سرعت رمزگشایی (Decode) تفاوت قائل شوید؛ این دو به‌هیچ‌وجه جایگزین یکدیگر نیستند.

انتخاب محیط اجرا (Runtime)

• تراشه‌های اپل: برای مسیر بومی از MLX استفاده کنید.
• سرورهای انویدیا: برای حداکثر توان عملیاتی، vLLM یا SGLang بهترین گزینه‌ها هستند.
• ترکیب CPU و GPU: برای مدل‌های ترکیب خبره‌ها (Mixture of Experts) از محیط‌های اجرایی مخصوص Offloading استفاده کنید. در این زمینه، مقایسه‌ی Janas و llama.cpp نشان می‌دهد که استریم مستقیم وزن‌ها می‌تواند راهکاری برای سخت‌افزارهای با رم محدود باشد.

به نقل از مستندات MLX، بسته mlx-lm شامل ابزار mlx_lm.server است که یک سرور HTTP سازگار با OpenAI ایجاد می‌کند. این ابزار نقاط انتهایی استانداردی مثل /v1/chat/completions را روی پورت ۸۰۸۰ فعال می‌کند تا کلاینت‌های OpenAI بتوانند به مک محلی متصل شوند. با این حال، نویسنده هشدار می‌دهد که این سرور امنیت سطح تولید (Production) ندارد و باید فقط روی localhost محدود بماند.

این تغییر رویکرد، اجرای هوش مصنوعی محلی را از حالت «آزمون و خطا» به یک تسک مهندسی پیش‌بینی‌پذیر تبدیل می‌کند. با ثبت دقیق شرایط — مثلاً استفاده از تراشه M5 Max با کوانتش Q4 و پنجره زمینه ۸ هزار توکنی — کاربران می‌توانند به‌جای تکیه بر ادعاهای گمراه‌کننده سازندگان، بنچمارک‌های قابل‌اعتمادی بسازند.

برای کسانی که به دنبال نقطه شروع هستند، راهنمای LocalForge تفکیک حافظه و سرعت را از ادعاهای تجاری جدا کرده تا به‌جای یک آزمایشگاه بنچمارک، یک چارچوب تصمیم‌گیری ارائه دهد.

گام بعدی شما

• تنظیمات فعلی سیستم خود را بازبینی کنید و نسخه دقیق Runtime و طول پنجره زمینه را ثبت نمایید.
• بررسی کنید آیا سرعت اندازه‌گیری شده شما با سقف تئوریک سخت‌افزارتان همخوانی دارد یا خیر.
• اگر از مک استفاده می‌کنید، سرور mlx-lm را برای تست برنامه‌های محلی راه‌اندازی کنید.

اما داستان سخت‌افزاری این تحول حتی شگفت‌انگیزتر است — به تحلیل ما درباره‌ی تراشه‌های Blackwell مراجعه کنید.