استقرار مدلهای سطح GPT-4 روی مکبوک با ابزار Ollama
یک راهنمای جدید روش اجرای مدلهای زبانی بزرگ با کارایی بالا را روی سختافزار محلی معرفی کرده است تا هزینههای API و ریسکهای حریم خصوصی حذف شوند. این متد امکان اجرای مدلهایی مثل…
موضوع
SLMs, on-device inference, mobile AI, AI PCs
۲٬۰۴۹ مقاله منتشر شده
یک راهنمای جدید روش اجرای مدلهای زبانی بزرگ با کارایی بالا را روی سختافزار محلی معرفی کرده است تا هزینههای API و ریسکهای حریم خصوصی حذف شوند. این متد امکان اجرای مدلهایی مثل…
گوگل با معرفی مدلهای کمکی MTP برای Gemma 4، سرعت استنتاج محلی را بهشدت افزایش داد. استفاده از تکنیک جدید 4-bit exact repacks باعث شد اشغال حافظه در سختافزارهای مصرفکننده به…
شرکت VIDRAFT با آموزش مدل VKORE-46M-NPU ثابت کرد که برای پیشآموزش مدلهای زبانی لزوماً به GPU نیاز نیست. این دستاورد نشان میدهد که عملیات پسانتشار روی سختافزارهای NPU که…
ابزار متنباز Parchi با استفاده از مدل محلی Gemma 4، سفارشات نامنظم واتساپ را به صورتحسابهای قابل چاپ و پرداختهای UPI تبدیل میکند. این سیستم با حذف ورود دستی دادهها، حریم…
پروژه متنباز Bird Buddy AI با استفاده از مدلهای بینایی-زبانی کوچک، امکان شناسایی خصوصی و محلی پرندگان را فراهم میکند. این ابزار برای حذف وابستگی به APIهای ابری گرانقیمت و نیاز…
یک نمایش عملی نشان میدهد که مدل Spark-X2.5-1.7B در ترکیب با OpenCodeReview میتواند نقصهای بحرانی کد مانند ZeroDivisionError را بهصورت محلی شناسایی و اصلاح کند. این گردشکار به…
یک الگوی معماری جدید برای افکتهای هوش مصنوعی در مرورگر، تضمین میکند که کاربران حتی در صورت کرش کردن فیلترهای AR، بتوانند به تماس بپیوندند. این روش با جداسازی دسترسی به دوربین از…
پروژه متنباز SneakAI برای توزیع مدلهای حجیم هوش مصنوعی از طریق حافظههای SSD و USB استفاده میکند. این راهکار برای کاربرانی که با اینترنت ناپایدار یا هزینههای بالای داده…
شرکت Harmonic Security برای گسترش پلتفرم نظارت بر هوش مصنوعی خود ۵۰ میلیون دلار جذب کرد. این شرکت با استفاده از مدلهای زبانی کوچک، دسترسی به ابزارهای AI را در لحظه کنترل میکند…
ابزار سبک BlogOutliner ساختارهای محتوایی سئو-محور را بهطور کامل درون مرورگر تولید میکند. این ابزار با انتقال پردازش هوش مصنوعی به دستگاه کاربر، تأخیر شبکه را حذف کرده و حریم…
علیبابا با ادغام پردازنده فوقکممصرف Himax در عینکهای Qwen N1، قابلیت حسگری محیطی مداوم را فعال کرد. این سیستم اجازه میدهد عینک بهعنوان یک عامل هوشمند پیشکنشگر عمل کند و…
سازنده گجت Friend برای رفع مشکل شخصیتهای خستهکننده، معماری دستگاه را به سمت یک هویت واحد و مشترک تغییر میدهد. در این مدل جدید، یک «ابر-دوست» جایگزین شخصیتهای فردی میشود تا از…