
درون سازوکار BullMQ برای کنترل بارهای سنگین هوش مصنوعی
اجرای همزمان بارهای سنگین هوش مصنوعی اغلب منجر به خطاهای بحرانی حافظه و توقف کامل سیستم میشود. جداسازی دریافت درخواست از اجرا با استفاده از BullMQ و Redis، امکان کنترل دقیق…
موضوع
تراشهها، پردازندهها و تجهیزات فیزیکی مورد استفاده در اجرای مدلهای هوش مصنوعی
۴۶۰ مقاله منتشر شده

اجرای همزمان بارهای سنگین هوش مصنوعی اغلب منجر به خطاهای بحرانی حافظه و توقف کامل سیستم میشود. جداسازی دریافت درخواست از اجرا با استفاده از BullMQ و Redis، امکان کنترل دقیق…

انویدیا تأیید کرد که OpenAI از سیستم GB200 NVL72 برای آموزش و استنتاج مدلهای پیشرو استفاده میکند. این تغییر نشاندهنده گذار از تمرکز بر تعداد GPUها به سمت زیرساختهای یکپارچه در…

یک آزمایش عملی نشان میدهد ترکیب رمزگشایی گمانهزنانه با بهینهسازیهای سطح BIOS و کرنل میتواند سرعت تولید توکن را در سرورهای خانگی چند-GPU دوبرابر کند. این روش با رفع گلوگاههای…

یک نشت نرمافزاری در نسخه MacOS Tahoe 26.7، شناسههای داخلی ۱۰ دستگاه منتشرنشده اپل را افشا کرد. این لیست شامل یک نمایشگر خانه هوشمند و مدل تاشوی آیفون ۱۸ است که نشاندهنده…

ایلان ماسک پیشبینی میکند که تا سال ۲۰۳۱، هوش مصنوعی از مجموع هوش تمام انسانها فراتر رود و مفاهیمی چون نیروی کار سنتی و پول را منسوخ کند. او برای دستیابی به این اقتصاد فراوانی،…

زبان برنامهنویسی Mojo اکنون تمام کدهای منبع کامپایلر و ابزارهای توسعه خود را بهصورت متنباز منتشر کرده است. این اقدام به توسعهدهندگان اجازه میدهد با شفافیت کامل، نرمافزارهای…

شرکت میکرون با تأسیس یک مرکز تحقیقاتی پیشرو در آیداهو، ۱۰ میلیارد دلار برای توسعه معماریهای حافظه و محاسبات نسل بعد اختصاص داد. این اقدام با هدف رفع محدودیتهای سختافزاری است که…

پژوهش جدید دانشگاه استنفورد نشان میدهد مدلهای زبانی کوچک (SLM) که روی سختافزار محلی اجرا میشوند، بهسرعت در حال پر کردن شکاف عملکرد با مدلهای ابری هستند. این تغییر میتواند…

شرکت چینی Unitree با وجود تردیدها درباره تقاضای واقعی بازار، به ارزش ۵۰ میلیارد دلار رسید. این رشد مدیون سیستمی است که در آن مراکز دولتی رباتها را میخرند و دادههای آموزشی آنها…

اوپنایآی فاش کرد که نظارت بر ایمنی مدلهای پیشرفتهاش ۲۰٪ از توان محاسباتی استنتاج را میبلعد. این خبر در کنار جهش ۶۶ میلیارد دلاری ارزش Unitree و حفرههای امنیتی بحرانی در…

اجرای مدلهای زبانی بزرگ بهصورت محلی نیازمند حافظهای بیش از حجم وزنهای مدل است. حافظهٔ KV Cache در پنجرههای متنی بلند میتواند تا ۱۴ گیگابایت فضای اضافی اشغال کند و باعث کندی…

یک توسعهدهنده با استفاده از Claude، پروتکل مدیریتی آرایههای RAID شرکت ورشکسته Drobo را مهندسی معکوس کرد تا یک درایور اختصاصی برای macOS بسازد. این پروژه توانایی مدلهای زبانی در…