تصور کنید مدلی را دانلود کرده‌اید که یا در لحظهٔ اجرا سیستم شما را کرش می‌کند یا بخشی از توان سخت‌افزارتان را بلااستفاده می‌گذارد. ابزار shoehorn که در ۱۸ اوت ۲۰۲۶ منتشر شد، این مشکل رایج را حل می‌کند تا بتوانید هر مدل زبانی را بدون هدر دادن حتی یک مگابایت از رم، روی سیستم شخصی خود اجرا کنید.
بسیاری از کاربران در حال حاضر یک سطح کوانتش (Quantization) — شبیه به فشرده‌سازی یک عکس برای اشغال فضای کمتر بدون از دست دادن زیاد کیفیت — را انتخاب می‌کنند و امیدوارند مدل در حافظه جا شود. طبق مستندات این پروژه در وب‌سایت رسمی‌اش، این روش ناکارآمد است چون سربار حافظهٔ موتور استنتاج (Inference) — یعنی همان لحظهٔ تولید جواب توسط مدل — را نادیده می‌گیرد. shoehorn این فرآیند را معکوس می‌کند؛ ابتدا حافظهٔ در دسترس شما را می‌سنجد و سپس نیازهای موتور استنتاج را از آن کم می‌کند.
همان‌طور که در تحلیل‌های قبلی ما درباره‌ی بهینه‌سازی مدل‌های محلی اشاره کردیم، مدیریت دقیق VRAM کلید اجرای مدل‌های پیشرفته در خانه است. این ابزار برای پر کردن بودجهٔ باقی‌مانده از حافظه، از تخصیص دقت ترکیبی (Mixed Precision) برای هر تنسور استفاده می‌کند. به نقل از گزارش‌های فنی ابزار، این سازوکار اجازه می‌دهد تا ۹۹.۹۹٪ از منابع موجود به‌طور فعال به کار گرفته شوند. برای مثال، در آزمونی با مدل unsloth/Qwen3-4B-GGUF، این ابزار از ۵۱۹.۲ مبی‌بایت بودجهٔ موجود، دقیقاً ۵۱۹.۲ مبی‌بایت را اشغال کرد و تنها ۱۳ کیلوبایت فضای خالی باقی گذاشت. این رویکرد در کنار پیشرفت‌هایی مانند پروژه POCKET برای اجرای مدل‌های حجیم روی CPU، مرزهای دسترسی به مدل‌های بزرگ را جابه‌جا می‌کند.
برای اجرا، shoehorn به لاماسی‌پلاس‌پلاس (llama.cpp) به عنوان موتور استنتاج نیاز دارد که باید در مسیر سیستم (PATH) تعریف شده باشد. کاربران می‌توانند آن را از طریق Homebrew یا Cargo نصب کنند. همچنین یک اپلیکیشن وب محلی همراه آن عرضه شده که قابلیت جست‌وجو در Hugging Face را دارد؛ این ویژگی مدل‌های پردانلود را بر اساس بودجهٔ سخت‌افزاری کاربر اسکن کرده و آن‌ها را بر اساس کیفیتی که حافظه اجازه می‌دهد، رتبه‌بندی می‌کند. در این راستا، بهینه‌سازی‌های سطح پایین‌تر مانند بهبود سرعت توکن‌سازی از طریق SIMD نیز به افزایش کلی کارایی سیستم‌های محلی کمک شایانی کرده است.
این تغییر، اجرای هوش مصنوعی محلی را از حالت «تلاش برای اجرا» به «تخصیص دقیق منابع» تبدیل می‌کند. برای یک کاربر عادی، این یعنی امکان اجرای مدل‌های باکیفیت‌تر یا بزرگ‌تری که پیش از این به دلیل محدودیت‌های سخت‌افزاری، دور از دسترس به نظر می‌رسیدند.
گام بعدی شما
- نصب ابزار از طریق دستور
brew install notactuallytreyanastasio/shoehorn/shoehorn - اجرای دستور
shoehorn uiبرای مدیریت بصری مدل‌ها و سخت‌افزار - بررسی مدل‌های پیشنهادی در اپلیکیشن وب برای یافتن بالاترین کیفیت ممکن در رم فعلی شما
اما بهینه‌سازی حافظه تنها بخشی از ماجراست؛ برای درک اینکه چگونه مدل‌های کوچک‌تر در حال شکست دادن غول‌ها هستند، تحلیل ما درباره‌ی مدل‌های SLM را بخوانید.
گفتگو