موضوع
SLMs, on-device inference, mobile AI, AI PCs
۱٬۶۷۰ مقاله منتشر شده
سازمانهای بهداشتی برای حفظ حاکمیت دادهها، مدلهای زبانی بزرگ را از ابر به سیستمهای لبه (Edge) منتقل میکنند. این رویکرد جایگزین استنتاج ابری شده و کنترلهای دسترسی…
شرکت Sber مدل GigaChat 3.5 Ultra را با وزنهای باز و ۴۳۲ میلیارد پارامتر برای برنامهنویسی و عاملهای هوشمند منتشر کرد. با این حال، نیازهای سختافزاری عظیم این مدل، مزیت میزبانی…
یک توسعهدهنده با طراحی یک ماشین وضعیت برای مدیریت حافظه، موفق شد مجموعهای از ابزارهای هوش مصنوعی چندوجهی را روی یک GPU ارزانقیمت ۴ گیگابایتی اجرا کند. این سیستم بدون نیاز به…
مقایسه هزینه کل مالکیت (TCO) نشان میدهد که قیمتگذاری توکنی در ابر، هزینههای عملیاتی پنهان را میپوشاند، در حالی که سودآوری میزبانی شخصی کاملاً به نرخ بهرهوری سختافزار وابسته…
تیمهای توسعه برای بهینهسازی هزینه و عملکرد، باید بار کاری مدلهای زبانی را میان دستگاههای لبه (Edge) و خوشههای ابری تقسیم کنند. این رویکرد اجازه میدهد کارهای حساس به زمان در…
ربات انساننمای شیائومی در آزمایشهای چهارماهه، توانست با دقتی نزدیک به انسان پیچهای خط تولید خودرو را ببندد. همزمان، اپل اینتلیجنس مجوزهای لازم برای بازار چین را دریافت کرد و…
داگ لوتون ثابت کرد که برای مجموعههای داده تا یک میلیون سند، استفاده از آرایههای ساده NumPy به جای پایگاهدادههای برداری پیچیده، کارایی بیشتری دارد. این رویکرد زیرساختهای…
اد زیتورون معتقد است اپل بهدلیل اجتناب از هزینههای کلان برای مراکز داده، در برابر ریزش احتمالی بازار زیرساختی AI مصون است. در حالی که رقبا با زیانهای سنگین روبرو میشوند، اپل…
تیم کوک تأیید کرد که کاربران پرمصرف Siri AI احتمالاً برای دسترسی به قدرت پردازشی بیشتر، هزینه جداگانهای پرداخت خواهند کرد. این مدل پرداخت به صورت لایههای ارتقای ظرفیت در…
پروژهی WASTE با استفاده از استریم مستقیم وزنها از حافظهی NVMe، اجرای مدلهای تریلیونپارامتری را روی سختافزارهای مصرفکننده ممکن کرد. این موتور توانست مدل عظیم Kimi K3 را روی…
پژوهشگران با افزودن یک لایه «سلسلهمراتب اعتماد» به مدل بسیار سبک OPT-125M، توانستند توهمات آن را بهطور مؤثر حذف کنند. این سامانه بهجای تکیه بر اطمینان مدل، اعتبار پاسخها را بر…
ابزار رایگان Klartext اسناد PDF و تصاویر را به فرمتهای Markdown و JSON تبدیل میکند. برخلاف ابزارهای رایج، این سرویس دادهها را در سرورهای شخصی پردازش کرده و آنها را با OpenAI…