اگر هنوز مدلهای محلی را بر اساس بیشترین تعداد پارامتری که در حافظه گرافیکی شما میگنجد انتخاب میکنید، احتمالاً کیفیت را فدای اندازه کردهاید. باید بدانید که مدلهای کوچکتر و جدیدتر، اغلب در سختافزارهای یکسان، عملکرد بهتری نسبت به غولهای قدیمی دارند.
پذیرش هوش مصنوعی محلی در حال رشد است، اما انتخاب مدل مناسب هنوز شبیه به آزمون و خطاست. مدل زبانی بزرگ (LLM) — مثل کتابخانهداری که میلیاردها صفحه را خوانده و حالا با همان لحن جواب میدهد — اکنون در ابعاد مختلفی عرضه میشود. همانطور که در تحلیل قبلی ما دربارهی برتری قوانین ساده بر مدلهای پیچیده در کارهای خاص اشاره کردیم، ابزار whichllm نیز افسانهی «هرچه بزرگتر، بهتر» را به چالش میکشد.
به نقل از مخزن گیتهاب این پروژه که در ۱۵ مه ۲۰۲۶ منتشر شد، این ابزار بهطور خودکار سیستمهای NVIDIA، AMD، اپل سیلیکون و حتی CPU-only را شناسایی میکند. این ابزار برای محاسبه نیاز به حافظه گرافیکی (VRAM)، مجموع وزنها، حافظه کش GQA KV و سربار فریمورک را جمع میزند. بهجای تکیه بر حدس و گمان، نمرهای بین ۰ تا ۱۰۰ را بر اساس بنچمارکهای ادغامشدهای مثل LiveBench و Chatbot Arena محاسبه میکند.
برای مثال، کاربرانی با کارت RTX 4090 (۲۴ گیگابایت)، مدل Qwen3.6-27B را با امتیاز ۹۲.۸ به عنوان بهترین گزینه میبینند؛ حتی اگر یک مدل ۳۲ میلیاردی هم در حافظه آنها جا شود. این ابزار چون مدل ۲۷ میلیاردی نسل جدیدتر است و بنچمارکهای بهتری دارد، آن را ترجیح میدهد. قابلیتهای کلیدی این ابزار عبارتند از:
- whichllm run: دانلود و اجرای فوری چت در محیط ایزوله
uv. - whichllm plan: بررسی معکوس برای یافتن GPU مورد نیاز برای یک مدل خاص.
- whichllm snippet: تولید کد پایتون آماده برای اجرای مدل منتخب.
این تغییر، تجربه هوش مصنوعی محلی را از حدس زدن به استقرار دادهمحور تبدیل میکند. برای شما این یعنی پایان ساعتها دانلود مدلهای ۴۰ گیگابایتی که کندتر و ضعیفتر از جایگزینهای ۲۰ گیگابایتی هستند. در واقع، این ابزار روی «نقطه بهینه» کارایی سختافزار تمرکز میکند تا بیشترین هوشمندی را در هر گیگابایت حافظه دریافت کنید.
گام بعدی شما
- ابزار را از طریق
pipxیا Homebrew نصب کنید تا سختافزار فعلی خود را ارزیابی کنید. - مدلهای پیشنهادی را با نیازهای واقعی پروژه خود تطبیق دهید.
- تغییرات در رتبهبندی مدلها را بهصورت هفتگی دنبال کنید.
اما داستان سختافزاری این تحول حتی شگفتانگیزتر است؛ به تحلیل ما دربارهی تراشههای Blackwell مراجعه کنید.
گفتگو