موضوع
روشی برای آموزش مدل‌های هوش مصنوعی با استفاده از چندین پردازنده یا سرور به‌صورت همزمان
۷۳ مقاله منتشر شده
شرکت Fireworks AI با معرفی Training API و Fireworks Lab، امکان اجرای حلقه‌های آموزش سفارشی روی زیرساخت‌های توزیع‌شده را فراهم کرد. این پلتفرم از لایه‌های سازگارساز LoRA و آموزش…
آی‌بی‌ام خانواده مدل‌های استدلالی Granite 4.2 را با وزن‌های باز منتشر کرد که بر اساس ۱۵ تریلیون توکن آموزش دیده‌اند. این مدل‌ها با استفاده از یک خط لوله یادگیری تقویتی…
آموزش مدل‌های عظیم زبانی اغلب به‌جای قدرت پردازشی، با محدودیت حافظه GPU متوقف می‌شود. ZeRO و FSDP با توزیع تکه‌های مدل در کل خوشه، این گلوگاه حافظه را به یک مسئله مدیریت‌پذیر در…
پلتفرم رایگان InferQuest با جایگزینی گواهینامه‌های سنتی با دستاوردهای فنی تأییدشده، مسیر یادگیری مهندسی استنتاج و آموزش مدل‌های زبانی را gamify کرده است. این سامانه مهندسان را…
یک توسعه‌دهنده با هدف ساده‌سازی فرآیند آموزش مدل‌ها، فریم‌ورک متن‌باز Tensorless را معرفی کرد. این ابزار با حذف تنظیمات پیچیده و کاهش حجم وابستگی‌ها، مسیر تبدیل داده‌های خام به…
انویدیا تأیید کرد که OpenAI از سیستم GB200 NVL72 برای آموزش و استنتاج مدل‌های پیشرو استفاده می‌کند. این تغییر نشان‌دهنده گذار از تمرکز بر تعداد GPUها به سمت زیرساخت‌های یکپارچه در…
شرکت Relativity Networks با جذب ۲۲ میلیون دلار سرمایه، فناوری فیبر نوری توخالی را برای انتقال داده‌ها با سرعت ۳۰٪ بیشتر از شیشه‌های سنتی عرضه می‌کند. این پیشرفت به توسعه‌دهندگان…
یک تخصیص‌کننده جدید با جایگزینی زمان‌بندی FIFO، ظرفیت‌های بلااستفاده GPU را بازیابی کرده و بهره‌وری را در سناریوهای سنگین آموزش ۳۳ درصد بالا برده است. این سیستم با تبدیل تقاضای…
شرکت Multiverse Computing با معرفی یک سیستم کشینگ آفلاین و تابع زیان جدید، نیاز به حافظه VRAM برای تقطیر مدل‌های بزرگ را به‌شدت کاهش داد. این دستاورد اجازه می‌دهد فرآیند…
پروژه Lumabri با توزیع وزن‌ها و محاسبات میان گره‌های Peer-to-Peer، اجرای مدل‌های غول‌پیکر ترکیب خبره‌ها را بدون نیاز به GPU ممکن کرده است. این سیستم خروجی‌های کاملاً یکسانی را روی…
یک راهنمای فنی عمیق، نحوه پیاده‌سازی پس‌انتشار، بهینه‌ساز AdamW و آموزش با دقت ترکیبی را با استفاده از HIP/C++ شرح می‌دهد. این مستند ابزارهای سطح پایین GPU را برای عبور از…
شرکت بایت‌دنس در حال آموزش مدل عظیمی با ۱۰ تریلیون پارامتر است تا جایگاه خود را در برابر سیستم‌های پیشرو غربی تثبیت کند. این پروژه با هدف رسیدن به توانمندی‌های مدل Mythos 5…