درون زیرساختهای AWS؛ عدم پیشبینیپذیری ظرفیت سرورها در مناطق مختلف
بنچمارک جدید مدل Gemma 4 نشان میدهد که استفاده از vLLM روی نمونههای g6 در AWS، از نظر سرعت و هزینه، تمامی سرویسهای مدیریتشده و تراشههای اختصاصی این شرکت را شکست میدهد. این…
موضوع
تراشهها، پردازندهها و تجهیزات فیزیکی مورد استفاده در اجرای مدلهای هوش مصنوعی
۷۴۲ مقاله منتشر شده
بنچمارک جدید مدل Gemma 4 نشان میدهد که استفاده از vLLM روی نمونههای g6 در AWS، از نظر سرعت و هزینه، تمامی سرویسهای مدیریتشده و تراشههای اختصاصی این شرکت را شکست میدهد. این…
شرکتهای Applied Materials و اینتل با ادغام مراکز تحقیق و توسعه خود در مرکز EPIC، بر روی نسل جدید ترانزیستورها و بستهبندی سهبعدی تمرکز کردهاند. هدف این همکاری، کاهش فاصله زمانی…
گزارش جدید Ben's Bites نشان میدهد عاملهای هوش مصنوعی بهدلیل نقص در حافظه و نبود حلقههای بسته در اجرای وظایف، هنوز از کاربرد واقعی دور هستند. آینده این فناوری بهجای دستیارهای…
یک توسعهدهنده با ترکیب Raspberry Pi 5 و مدل Amazon Nova 2.5 Sonic، اسباببازی قدیمی Billy Bass را به یک عامل صوتی تبدیل کرد. این پروژه نشان میدهد که برای عبور از «دره وهم» در…
مدل POCKET-Darwin-180B-GGUF اجازه میدهد مدلهای ۱۸۰ میلیارد پارامتری بدون نیاز به GPU و روی سختافزارهای معمولی اجرا شوند. این دستاورد با ترکیب معماری MoE و کوانتش ۴ بیتی، دقت…
استارتاپ چینی Deepseek با حمایت غولهایی چون تنسنت و CATL به دنبال جذب سرمایهای عظیم است. این شرکت قصد دارد با کاهش وابستگی به تراشههای انویدیا و بازسازی ساختار سازمانی، در سال…
انویدیا دریافت که ارائه فایلهای مشخصات ماشینخوان به عاملهای هوش مصنوعی، توهمات و خطاهای API را بهطور کامل حذف میکند. این رویکرد نرخ موفقیت را در ۶۵ سناریوی مختلف به ۱۰۰٪…
یک بیلد جدید ۴ بیتی از مدل POCKET-Darwin-180B امکان اجرای مدلهای عظیم را روی لپتاپهای بدون GPU فراهم کرد. این دستاورد با ترکیب معماری ترکیب خبرهها و کوانتش گزینشی، دقت مدل را…
شرکت OpenAI متعهد شده است که طی ۲۸ روز آینده، هر روز یک بهبود ملموس در Codex ارائه دهد یا کل سیستم را بازنشانی کند. همزمان، گوگل به دلیل هجوم گزارشهای بیکیفیت تولیدشده توسط هوش…
استارتاپ Reflection AI مدل Beam را با وزنهای باز معرفی کرد تا عملکرد مدلهای پیشرو چینی در کدنویسی و استدلال را با هزینه استنتاج بسیار کمتر ارائه دهد. این مدل با هدف کاهش…
شرکت Cohere پلتفرم عاملهای هوش مصنوعی خود را به نسخه North 2 ارتقا داد تا مشکل فراموشی مدلها در جلسات مختلف را حل کند. این بهروزرسانی با تمرکز بر حاکمیت داده و مدیریت دقیق…
بسیاری از سازمانها برای فرار از هزینههای سرسامآور سرویسهای ابری و ریسکهای دادهای ناشی از هوش مصنوعی، در حال بازگرداندن زیرساختهای خود به سرورهای شخصی هستند. این روند…