موضوع
Models that natively process text+image+audio+video
۱٬۴۱۸ مقاله منتشر شده
چارچوب DRAPE با جایگزینی پرامپت‌های ایستا با پرامپت‌های نرم پویا و مختص به هر نمونه، مشکل فراموشی فاجعه‌بار در مدل‌های چندوجهی را حل می‌کند. این روش با تکیه بر شرطی‌سازی بر اساس…
پژوهشگران با معرفی مجموعه داده SMART-HC-VQA، تحلیل تصاویر ماهواره‌ای را از تشخیص ساده‌ی تغییرات به استدلال زمانی پیچیده ارتقا دادند. این چارچوب با بهره‌گیری از مدل LLaVA-NeXT…
AllocMV چارچوب جدیدی است که تولید ویدیوهای موسیقی را به یک مسئله تخصیص منابع تبدیل می‌کند تا هزینه‌های محاسباتی کاهش و ثبات بصری افزایش یابد. این سیستم با استفاده از یک حل‌کننده…
چارچوب LLaVA-CKD با معرفی ساختار آموزشی پله‌ای، مشکل افت کیفیت در انتقال دانش از مدل‌های غول‌پیکر به مدل‌های کوچک را حل کرده است. این روش با استفاده از معلمان میانی، امکان استقرار…
پژوهشگران با معرفی بنچمارک SenseBench دریافتند که مدل‌های بینایی-زبانی در تحلیل تصاویر ماهواره‌ای دچار «توهم روانی» هستند. این مدل‌ها توصیفاتی بسیار متقاعدکننده اما از نظر فیزیکی…
پژوهشگران چارچوب جدیدی برای رفع عدم توازن کلاس‌ها در هوش مصنوعی چندوجهی معرفی کرده‌اند. این مدل با وزن‌دهی پویا به منابع داده، سوگیری به سمت کلاس‌های اکثریت را کاهش و دقت شناسایی…
پژوهش‌های جدید نشان می‌دهد بنچمارک‌های استاندارد زیست‌صوتی (Bioacoustic) به دلیل استفاده از پروب‌های خطی بیش از حد ساده، کیفیت رمزگذارهای صوتی را کمتر از حد واقعی تخمین می‌زنند.…
مدل CoWorld-VLA با معرفی توکن‌های تخصصی برای داده‌های هندسی و پویا، استدلال سطح بالا را به عمل دقیق در رانندگی خودکار متصل می‌کند. این چارچوب در بنچمارک NAVSIM v1 دقت مسیر و ایمنی…
عامل AnomalyClaw با جایگزینی استنتاج تک‌مرحله‌ای با یک فرآیند ردّیه چندمرحله‌ای، دقت تشخیص ناهنجاری‌های بصری را به‌طور چشم‌گیری افزایش می‌دهد. این ابزار بدون نیاز به آموزش مجدد،…
تیم Phoenix و Mistral AI مدل Phoenix-VL 1.5 Medium را معرفی کردند؛ یک مدل چندوجهی با ۱۲۳ میلیارد پارامتر که در عین حفظ توانمندی‌های جهانی در STEM، در حقوق و فرهنگ سنگاپور به سطح…
بنچمارک جدید PrimeKG-CL نشان می‌دهد که استفاده از ویژگی‌های چندوجهی می‌تواند دقت وظایف هوش مصنوعی در حوزه زیست‌پزشکی را تا ۶۰٪ افزایش دهد. این مطالعه همچنین شکست‌های جدی در…
چارچوب MoPO با معرفی مکانیسم پیش‌فرض‌های حرکتی، مشکل لرزش و عدم دقت در بازسازی مش‌های انسانی هنگام انسداد (Occlusion) را حل می‌کند. این مدل با استفاده از داده‌های تاریخی ژست‌ها،…