اگر امروز برای APIهای هوش مصنوعی هزینه پرداخت می‌کنید، تصور کنید این صورت‌حساب ماهانه به صفر برسد. اما این اتفاق تنها در صورتی رخ می‌دهد که خودتان نقش تیم پشتیبانی IT را ایفا کنید.
تمایل به استنتاج (Inference) — لحظه‌ای که مدل واقعاً جواب تولید می‌کند، شبیه خودِ آشپزی است نه دوره‌ی آموزش آن — در محیط محلی رو به افزایش است. همان‌طور که در تحلیل‌های پیشین ما درباره‌ی مدل‌های کوچک و بهینه اشاره کردیم، دیگر کیفیت مدل‌ها مانع نیست، بلکه مدیریت سخت‌افزار چالش اصلی است.
به نقل از گزارشی در dev.to (منتشر شده در ۱۵ مه ۲۰۲۶)، یک توسعه‌دهنده تمام گردش‌کارهای برنامه‌نویسی خود را به یک استک محلی منتقل کرد. این زیرساخت شامل یک Mac Mini M4، یک سیستم Ubuntu و یک PC با کارت گرافیک RTX 3060 12GB است. ابزارهای کلیدی او عبارتند از:
- Ollama برای مدیریت هشت مدل مختلف.
- Qwen 3 Coder 30B برای کدنویسی (که طبق ادعای نویسنده، ۹۰٪ کیفیت Claude را دارد).
- Chroma به عنوان یک پایگاه داده برداری — مثل کارت معرفی عددی برای هر واژه که می‌گوید این کلمه «همسایه‌ی» چه کلمات دیگری است — برای ذخیره مستندات پروژه.
طبق این گزارش، گلوگاه اصلی سرعت نیست، بلکه حجم حافظه گرافیکی (VRAM) است. یک کارت ۱۲ گیگابایتی بسیار ارزشمندتر از یک کارت سریع‌تر ۸ گیگابایتی است، چون اجازه می‌دهد مدل‌های بزرگ‌تر بارگذاری شوند. حذف «مالیات توکن» باعث می‌شود برنامه‌نویس دیگر نپرسد «آیا این پرس‌وجو ارزش هزینه دارد یا نه؟». این موضوع در واقع سرعت تکرار و آزمایش کد را بالا می‌برد.
با این حال، اثر ثانویه این تصمیم، نوع جدیدی از بدهی فنی است. شما تبدیل به تیم عملیات خودتان می‌شوید. بنابراین یک به‌روزرسانی ویندوز یا یک توهم (Hallucination) — وقتی مدل با اطمینان چیزی می‌گوید که وجود ندارد، شبیه دوستی است که خاطره‌ای را اشتباه تعریف می‌کند — به جای یک تیکت پشتیبانی، به یک تسک عیب‌یابی دستی تبدیل می‌شود.
گام بعدی شما
- ابتدا میزان VRAM سیستم خود را بررسی کنید.
- اگر کمتر از ۱۲ گیگابایت حافظه دارید، برای کارهای سریع از مدل‌های ۱ تا ۳ میلیارد پارامتری استفاده کنید تا افت عملکرد مدل‌های کوچک را تجربه نکنید.
- ابزار Ollama را برای تست سریع مدل‌های مختلف نصب کنید.
اما داستان سخت‌افزاری این تحول حتی شگفت‌انگیزتر است — به تحلیل ما درباره‌ی تراشه‌های Blackwell مراجعه کنید.
گفتگو