موضوع
SLMs, on-device inference, mobile AI, AI PCs
۱٬۱۰۴ مقاله منتشر شده
یک توسعهدهنده با طراحی یک ماشین وضعیت برای مدیریت حافظه، موفق شد مجموعهای از ابزارهای هوش مصنوعی چندوجهی را روی یک GPU ارزانقیمت ۴ گیگابایتی اجرا کند. این سیستم بدون نیاز به…
مقایسه هزینه کل مالکیت (TCO) نشان میدهد که قیمتگذاری توکنی در ابر، هزینههای عملیاتی پنهان را میپوشاند، در حالی که سودآوری میزبانی شخصی کاملاً به نرخ بهرهوری سختافزار وابسته…
تیمهای توسعه برای بهینهسازی هزینه و عملکرد، باید بار کاری مدلهای زبانی را میان دستگاههای لبه (Edge) و خوشههای ابری تقسیم کنند. این رویکرد اجازه میدهد کارهای حساس به زمان در…
ربات انساننمای شیائومی در آزمایشهای چهارماهه، توانست با دقتی نزدیک به انسان پیچهای خط تولید خودرو را ببندد. همزمان، اپل اینتلیجنس مجوزهای لازم برای بازار چین را دریافت کرد و…
داگ لوتون ثابت کرد که برای مجموعههای داده تا یک میلیون سند، استفاده از آرایههای ساده NumPy به جای پایگاهدادههای برداری پیچیده، کارایی بیشتری دارد. این رویکرد زیرساختهای…
اد زیتورون معتقد است اپل بهدلیل اجتناب از هزینههای کلان برای مراکز داده، در برابر ریزش احتمالی بازار زیرساختی AI مصون است. در حالی که رقبا با زیانهای سنگین روبرو میشوند، اپل…
تیم کوک تأیید کرد که کاربران پرمصرف Siri AI احتمالاً برای دسترسی به قدرت پردازشی بیشتر، هزینه جداگانهای پرداخت خواهند کرد. این مدل پرداخت به صورت لایههای ارتقای ظرفیت در…
پروژهی WASTE با استفاده از استریم مستقیم وزنها از حافظهی NVMe، اجرای مدلهای تریلیونپارامتری را روی سختافزارهای مصرفکننده ممکن کرد. این موتور توانست مدل عظیم Kimi K3 را روی…
پژوهشگران با افزودن یک لایه «سلسلهمراتب اعتماد» به مدل بسیار سبک OPT-125M، توانستند توهمات آن را بهطور مؤثر حذف کنند. این سامانه بهجای تکیه بر اطمینان مدل، اعتبار پاسخها را بر…
ابزار رایگان Klartext اسناد PDF و تصاویر را به فرمتهای Markdown و JSON تبدیل میکند. برخلاف ابزارهای رایج، این سرویس دادهها را در سرورهای شخصی پردازش کرده و آنها را با OpenAI…
استارتاپ Smallest.ai با جذب سرمایه برای توسعه مدلهای صوتی کوچک و تخصصی، قصد دارد شکاف زمانی پاسخدهی در چتباتها را از بین ببرد. این سیستم با پردازش همزمان شنیدن و صحبت کردن،…
یک راهنمای فنی جدید، مسیر اجرای مدل Kimi K3 — یکی از بزرگترین مدلهای با وزن باز — را روی سختافزارهای شخصی تشریح میکند. این مستندات گامهای عملی برای استفاده از Ollama و LM…