موضوع
روشی برای آموزش مدل‌های هوش مصنوعی با استفاده از چندین پردازنده یا سرور به‌صورت همزمان
۷۳ مقاله منتشر شده
کتابخانه NeMo Automodel با ادغام در Diffusers، امکان تنظیم دقیق مدل‌های عظیم تصویر و ویدیو را بدون نیاز به تبدیل فرمت وزن‌ها فراهم کرد. این ابزار آموزش توزیع‌شده در مقیاس صنعتی را…
استفاده از مدل‌های بینایی-زبانی امکان شناسایی الگوهای پیچیده mixers را به‌جای تحلیل داده‌های خام، از طریق تحلیل بصری گراف‌های تراکنش فراهم می‌کند. با تنظیم دقیق Qwen2-VL روی…
پیاده‌سازی متن‌باز جدیدی از توجه پراکنده Minimax (MSA)، آموزش مدل‌ها با پنجره‌های متنی میلیونی را روی GPUهای Hopper و Blackwell ممکن کرد. این ابزار با استفاده از پراکندگی بلوکی و…
یک ادغام استراتژیک بین SkyPilot و Hugging Face، امکان اجرای مدل‌های هوش مصنوعی روی هر کلاودی را فراهم می‌کند در حالی که داده‌ها در Hub ذخیره می‌شوند. این اقدام هزینه‌های گزاف…
یک بررسی فنی عمیق نشان داد که خوشه ۱۶ پردازنده Blackwell با استفاده از Megatron-LM قادر به آموزش مدل‌های MoE و ترکیبی است. این پروژه ثابت کرد که کنترل دقیق روی محورهای موازی‌سازی…
شرکت Photoroom جزئیات خط لوله داده‌های مدل PRX 7B را افشا کرد. این استراتژی بر جایگزینی شرح‌های کوتاه با توصیفات مفصل تولیدشده توسط مدل‌های بینایی-زبانی تأکید دارد تا تنوع مفاهیم…
یک گردش‌کار فنی جدید نشان می‌دهد چگونه می‌توان مدل Gemma-3 گوگل را با استفاده از بهینه‌سازی سیاست نسبی گروهی (GRPO) و آداپتورهای لورا برای ریاضیات تنظیم دقیق کرد. این فرآیند یک…
یک چارچوب جدید با ترکیب یادگیری بازنمایی پراکنده و یادگیری فدرال، پیش‌بینی دقیق خرابی در ربات‌های نرم را ممکن کرد. این سامانه با محلی نگاه داشتن داده‌ها، نرخ دقت ۹۴ درصدی را با…
تحلیل قوانین مقیاس‌پذیری نشان می‌دهد تعادل بین حجم داده و تعداد پارامترها بسیار مؤثرتر از افزایش صرف پارامترها است. یافته‌های مطالعهٔ Chinchilla ثابت کرد مدل‌های کوچک‌تر که به‌طور…
یادگیری فدرال با جایگزینی اشتراک‌گذاری پارامترهای ریاضی به‌جای سوابق خام بیماران، همکاری بیمارستان‌ها در آموزش مدل‌ها را ممکن می‌کند. این روش محدودیت‌های قانونی حریم خصوصی را دور…
یک سامانه جدید یادگیری بازنمایی فدرال پراکنده، امکان آموزش مدل‌های هوش مصنوعی را بر روی میکروکنترلرهای کم‌توان فراهم کرده است. این روش با کاهش ۹۲ درصدی حجم داده‌های ارسالی، عمر…
بسیاری از شکست‌های مقیاس‌پذیری در هوش مصنوعی ناشی از معماری مدل‌ها نیست، بلکه به دلیل ناهماهنگی در سیستم‌های توزیع‌شده و زمان‌بندی GPUهاست. مشکلاتی نظیر تکه‌تکه شدن حافظه در…