آیا دیتاسنترهای بدون آب Runware مدلهای محلی را ارزانتر میکنند؟
شرکت Runware با معرفی Sonic Inference Pod، دیتاسنترهای ماژولار و بدون آبی را روانه بازار کرد که در چند روز مستقر میشوند. این رویکرد با نزدیک کردن محاسبات به کاربر نهایی،…
موضوع
SLMs, on-device inference, mobile AI, AI PCs
۲٬۰۴۹ مقاله منتشر شده
شرکت Runware با معرفی Sonic Inference Pod، دیتاسنترهای ماژولار و بدون آبی را روانه بازار کرد که در چند روز مستقر میشوند. این رویکرد با نزدیک کردن محاسبات به کاربر نهایی،…
ابزار متنباز Homebench با یک دستور واحد، سرعت، مصرف حافظه و کیفیت مدلهای زبانی محلی را روی سختافزار کاربر میسنجد. این ابزار با ادغام مدلهای Ollama و vLLM، یک جدول ردهبندی…
پژوهشگران روشی برای انتقال دانش از مدلهای ترنسفورمر به معماریهای متفاوت مانند RNNها و مدلهای فضای-وضعیت ابداع کردهاند. این «پیوند مغزی» اجازه میدهد قابلیتهای مدلهای عظیم…
پلتفرم متنباز Soup با معرفی تکنیک «استریمینگ لایهها»، امکان آموزش مدلهای زبانی بزرگ ۸ میلیارد پارامتری را روی سختافزارهای مصرفکننده با ۴ گیگابایت VRAM فراهم کرد. این ابزار…
با ادغام اجباری هوش مصنوعی در سختافزار گوشیهای جدید، کاربران برای حفظ حریم خصوصی به مدلهای قدیمی و «گوشیهای ساده» روی آوردهاند. متخصصان ترکیبی از مدلهای نسل قبل و دستگاههای…
یک بنچمارک محلی روی چهار مدل زبانی نشان داد که اندازه مدل تضمینی برای دقت نیست. کوچکترین مدل مورد آزمایش در وظایفی چون محاسبات و کدنویسی، عملکرد بهتری نسبت به مدلهای بزرگتر…
آزمونهای جدید ثابت میکند مدل MiniMax H3 با کمک تکنیک CPU offloading روی کارتهای گرافیکی ۱۲ گیگابایتی قابل اجراست. با Despite کیفیت بصری و صوتی بالا، سرعت تولید بسیار پایین است…
پلتفرم Swiftlet با معرفی مکانیزم استریم وزنها از حافظه SSD، محدودیت رم برای اجرای مدلهای غولپیکر را از بین برد. این فناوری اجازه میدهد مدلهای MoE با حجمی بسیار زیاد، تنها با…
پروژهی جدید کنترل بیومتریک مرزهای اتحادیه اروپا با شکست گستردهای مواجه شد که منجر به توقف ۸ ساعته مسافران در گرمای شدید گردید. این بحران شکاف عمیق میان دقت بالای الگوریتمها در…
سازمانها برای کاهش تأخیر و هزینههای پهنای باند، بار کاری هوش مصنوعی را از ابر به رایانش لبه منتقل میکنند. تا سال ۲۰۲۷، بیشتر شرکتها پردازش را در منبع داده انجام میدهند تا…
تولیدکننده تراشه d-Matrix شرکت Wallaroo.ai را تصاحب کرد تا لایهی نرمافزاری مدیریت بارگذاریها را با سختافزارهای خود یکپارچه کند. هدف این خرید، کاهش پیچیدگیهای عملیاتی در…
شرکت MiniMax مدل H3 را با وزنهای باز منتشر کرد که تولید ویدیوهای 2K همراه با صدای استریو را ممکن میسازد. به دلیل بهینهسازیهای شدید در وزنها، این مدل اکنون روی کارتهای…