اگر قصد دارید مدلهای هوش مصنوعی را روی سختافزار خودتان اجرا کنید، باید بدانید که ظرفیت رم تنها متغیری است که تعیین میکند کدام مدل واقعاً روی سیستم شما بالا میآید. طبق راهنمایی که در ۲۲ اوت ۲۰۲۶ منتشر شد، اگر حجم فایل وزنهای یک مدل از حافظه در دسترس شما بیشتر باشد، عملکرد سیستم فقط کند نمیشود، بلکه بهطور کامل متوقف میشود. برای درک دقیقتر این محدودیتها، میتوانید روشهای محاسبه دقیق حافظه VRAM برای مدلهای محلی را که فراتر از وزنهای خام مدل است، بررسی کنید.
همانطور که در تحلیل قبلی ما دربارهی انتخاب بین خودمختاری و ریسک در عاملهای هوش مصنوعی اشاره کردیم، چرخش به سمت میزبانی شخصی (Self-hosting) به کاربران اجازه میدهد محدودیتهای ارائهدهندگان ابری را دور بزنند. برای اکثر کاربران، این موضوع شبیه انتخاب ماشین بر اساس اندازه باک بنزین است؛ اگر مدل برای «باک» شما (رم یا حافظه ویدیویی) بیش از حد بزرگ باشد، موتور سیستم اصلاً روشن نمیشود.
در حال حاضر، گزینههای سختافزاری به دو مسیر اصلی تقسیم میشوند:
- اپل سیلیکون (Apple Silicon): در مکبوکهای ایر، پرو، مینی و استودیو یافت میشود. این سیستمها از معماری حافظه یکپارچه بین ۱۶ تا ۵۱۲ گیگابایت استفاده میکنند که برای استنتاج (Inference) — یعنی همان لحظه تولید جواب توسط مدل، شبیه آشپزی واقعی بعد از یادگیری دستور پخت — بهشدت سریع است. این زیرساخت سختافزاری، ترکیب ابزارهایی مانند n8n و Ollama را برای ایجاد جریانهای کاری خصوصی در مک به گزینهای ایدهآل تبدیل کرده است.
- GPUهای انویدیا (NVIDIA GPUs): کارتهای مصرفکننده معمولاً ۸ تا ۲۴ گیگابایت VRAM (حافظه ویدیویی) دارند، در حالی که پلتفرم بلکول (Blackwell) مانند DGX Spark ظرفیتهای بسیار بالاتری را برای نیازهای سازمانی فراهم میکند.
برای جا دادن این مدلها در حافظه، کاربران به کوانتش (Quantization) — شبیه فشردهسازی یک عکس باکیفیت برای ارسال سریعتر در واتساپ — متکی هستند تا دقت را به ۲، ۴، ۶ یا ۸ بیت کاهش دهند. هرچه عمق بیت کمتر شود، حجم فایل کوچکتر میشود اما معمولاً کیفیت پاسخها بهشدت افت میکند.
بر اساس بررسی منابع متعدد، نقشهی سختافزاری عملیاتی به این شکل است: ۱۶ تا ۳۲ گیگابایت رم، مدلهای کوچک تا متوسط را با کوانتش ۲ تا ۴ بیتی پشتیبانی میکند، هرچند سرعت پایین است. سیستمهای ۶۴ تا ۱۲۸ گیگابایتی میتوانند مدلهای ۷۰ میلیارد پارامتری را با کیفیتی نزدیک به مدلهای بسته اجرا کنند. برای کسانی که ۲۵۶ گیگابایت یا بیشتر رم دارند، مدلهای عظیمی مثل DeepSeek یا Kimi به گزینههایی واقعبینانه تبدیل میشوند.
این تغییر یعنی کاربران میانرده دیگر از هوش مصنوعی با عملکرد بالا محروم نیستند. اگرچه پیکربندیهای ردهبالا برای افراد گران هستند، اما توانایی اجرای مدلهای ۷۰ میلیاردی کوانتیده روی سختافزارهای حرفهای مصرفکننده، تحلیل هزینه-فایده برای توسعهدهندگان محلی را تغییر میدهد.
گام بعدی شما
- بررسی میزان VRAM کارت گرافیک یا حافظه یکپارچه مک خود برای تخمین مدلهای قابل اجرا.
- آزمایش مدلهای ۷۰ میلیاردی با کوانتش ۴ بیتی در محیط اولاما (Ollama).
- مطالعه مستندات کوانتش برای یافتن تعادل بین سرعت و دقت.
اما برای فراتر رفتن از استنتاج خام، به یک «هارنس» برای مدیریت جلسات و ابزارها نیاز دارید؛ در آخرین بخش از این سری، نحوه پیادهسازی این لایه مدیریتی را بررسی خواهیم کرد.
گفتگو