انویدیا و مایکروسافت: سرعت استنتاج عاملهای محلی ۲.۶ برابر شد
انویدیا و مایکروسافت با معرفی کانتینرهای امنیتی و بهینهسازیهای سختافزاری، اجرای سریع عاملهای هوش مصنوعی روی ویندوز را ممکن کردند. این بهروزرسانی سرعت استنتاج را تا ۲.۶ برابر…
موضوع
SLMs, on-device inference, mobile AI, AI PCs
۲٬۰۴۹ مقاله منتشر شده
انویدیا و مایکروسافت با معرفی کانتینرهای امنیتی و بهینهسازیهای سختافزاری، اجرای سریع عاملهای هوش مصنوعی روی ویندوز را ممکن کردند. این بهروزرسانی سرعت استنتاج را تا ۲.۶ برابر…
پروژه tiny-vllm یک موتور آموزشی مبتنی بر C++ و CUDA است که معماری vLLM را بازسازی میکند. این ابزار به توسعهدهندگان میآموزد چگونه استنتاج Llama 3.2 را از صفر پیاده کنند و بر…
شرکت Mistral AI از یک آزمایشگاه مدلسازی به ارائهدهنده کامل زیرساخت، پلتفرم و مشاوره تبدیل شده است. این شرکت با راهاندازی مرکز داده اختصاصی در پاریس، بر استقرار محلی و مدلهای…
گوگل با معرفی کتابخانه AppFunctions در اندروید ۱۶، به اپلیکیشنها اجازه میدهد منطق داخلی خود را مستقیماً به عنوان ابزاری برای عاملهای هوش مصنوعی ارائه دهند. این تغییر، رابطهای…
شرکت Liquid AI مدل LFM2.5-8B-A1B را معرفی کرد؛ یک مدل MoE برای اجرا روی دستگاه که تنها ۱.۵ میلیارد پارامتر فعال دارد. این مدل با کاهش شدید توهمات و بهبود استدلال، امکان اجرای هوش…
اپل در iOS 27 سیری را بازطراحی کرده و مدل Gemini گوگل را به آن اضافه میکند. این شرکت با تکیه بر ۲.۵ میلیارد دستگاه، قصد دارد سهم ChatGPT از بازار را به شدت کاهش دهد.
شرکت Sesame با معرفی اپلیکیشنی مبتنی بر جستجوی موازی، سکوتهای طولانی چتباتها را حذف کرد. این سیستم به عاملهای هوش مصنوعی اجازه میدهد پاسخهای خود را در حین صحبت بهروز کنند.
گوگل با معرفی برد Coral، امکان اجرای محلی مدل Gemma 3 270M را روی سختافزار RISC-V فراهم کرد. این اقدام هدفش کاهش وابستگی به ابر در گجتهای پوشیدنی و حذف هزینههای API است.
اپل در iOS 27 رابط کاربری سیری را به یک محیط چتمحور تبدیل میکند که از طریق داینامیک آیلند در دسترس است. گزارشها از ادغام عمیق با ChatGPT خبر میدهند که به کاربران اجازه میدهد…
بخش تراشهسازی هوآوی، هایسیلیکون، برای دور زدن تحریمهای آمریکا از کوچک کردن ترانزیستورها دست کشیده و به سراغ «قانون مقیاسپذیری تائو» رفته است. هدف این شرکت رسیدن به عملکرد…
انویدیا ابزار ACE را برای پشتیبانی از شخصیتهای هوش مصنوعی چندزبانه بهروزرسانی کرد و DLSS 4.5 را برای موتور آنریل منتشر نمود. این تغییرات امکان ایجاد NPCهای گفتگومحور روی دستگاه…
ربات Reachy Mini اکنون میتواند تمام مراحل تبدیل گفتار به گفتار را بهصورت محلی اجرا کند. این تغییر نیاز به سرورهای ابری و کلیدهای API را حذف کرده و حریم خصوصی کامل و هزینه صفر…