پرش به محتوای اصلی

موضوع

چندوجهی

Models that natively process text+image+audio+video

۱٬۴۲۰ مقاله منتشر شده

LargeMonitor: گذار از معیارهای متصل به آموزش به ناظران چندوجهی در یادگیری مستمر

LargeMonitor: گذار از معیارهای متصل به آموزش به ناظران چندوجهی در یادگیری مستمر

پژوهشگران چارچوب LargeMonitor را معرفی کردند که با بهره‌گیری از مدل‌های بینایی و چندوجهی ثابت، رانش توزیع داده‌ها را در یادگیری مستمر بدون تکلیف تشخیص و تحلیل می‌کند. این سیستم…

۲ دقیقه خواندن۱
چگونه مدل‌های جهانی در تولید داده‌های رباتیک، «درب‌های پشتی» مخفی ایجاد می‌کنند؟

چگونه مدل‌های جهانی در تولید داده‌های رباتیک، «درب‌های پشتی» مخفی ایجاد می‌کنند؟

پژوهشگران نوع جدیدی از حمله مسموم‌سازی داده را شناس کرده‌اند که مدل‌های جهانی را هدف قرار می‌دهد. این حمله با تزریق محرک‌های پنهان به داده‌های به‌ ظاهر امن، ربات‌ها را مجبور به…

۱ دقیقه خواندن۱
چگونه معیار خود-سازگاری، قابلیت تشخیص نیت انسانی را به لبهٔ رایانش رباتیک آورد؟

چگونه معیار خود-سازگاری، قابلیت تشخیص نیت انسانی را به لبهٔ رایانش رباتیک آورد؟

پژوهشگران سیستمی برای تشخیص نیت ارتباطی انسان از طریق ژست‌های بدن در سخت‌افزارهای ارزان‌قیمت توسعه داده‌اند. این فناوری با استفاده از یک معیار خود-سازگاری اتورگرسیو، می‌تواند…

۲ دقیقه خواندن۲
PhysScene: گذار از بازشناسی بصری به استدلال رابطه‌ای در آزمایشگاه‌های فیزیک

PhysScene: گذار از بازشناسی بصری به استدلال رابطه‌ای در آزمایشگاه‌های فیزیک

پژوهشگران مجموعه داده PhysScene را معرفی کردند؛ نخستین گراف صحنه تخصصی برای محیط‌های آزمایشگاهی فیزیک. هدف این پروژه تغییر تمرکز مدل‌ها از روابط مکانی ساده به وابستگی‌های عملکردی…

۱ دقیقه خواندن
بهبود ۶ درصدی تشخیص کم‌نمونه با رفع عدم‌توازن در پیشنهادهای ناحیه‌ای

بهبود ۶ درصدی تشخیص کم‌نمونه با رفع عدم‌توازن در پیشنهادهای ناحیه‌ای

یک رویکرد جدید در تشخیص اشیاء کم‌نمونه (FSOD) با اصلاح عدم‌توازن بین پیشنهادهای کلاس‌های پایه و جدید، دقت مدل‌ها را ۱ تا ۶ درصد افزایش داده است. این روش بدون ایجاد تأخیر در زمان…

۱ دقیقه خواندن۲
حذف حسگرهای لمسی با EgoTactile؛ تخمین فشار دست از روی ویدیو

حذف حسگرهای لمسی با EgoTactile؛ تخمین فشار دست از روی ویدیو

پژوهشگران چارچوب EgoTactile را معرفی کردند که می‌تواند فشار گیرش دست را تنها از طریق ویدیوهای اول‌شخص تخمین بزند. این سیستم با استفاده از مدل‌های انتشار، نیاز به سخت‌افزارهای لمسی…

۱ دقیقه خواندن
چرا متد گرم‌بندی در مدل‌های بینایی-زبانی اثر نهایی RL را تغییر نمی‌دهد؟

چرا متد گرم‌بندی در مدل‌های بینایی-زبانی اثر نهایی RL را تغییر نمی‌دهد؟

یک مطالعه فنی روی مدل‌های بینایی-زبانی نشان می‌دهد که انتخاب بین SFT و OPD در مرحله گرم‌بندی، تنها بر رژیم آنتروپی اولیه اثر می‌گذارد و تأثیری بر عملکرد نهایی یادگیری تقویت‌شده…

۲ دقیقه خواندن۲
BareWave: حذف نمایش‌های آکوستیکی برای تولید مستقیم موج صوتی از متن

BareWave: حذف نمایش‌های آکوستیکی برای تولید مستقیم موج صوتی از متن

چارچوب BareWave با حذف نمایش‌های میانی و مراحل کدگشایی، امکان تولید مستقیم موج‌های صوتی را از روی متن فراهم می‌کند. این رویکرد پیچیدگی مسیر استنتاج را کاهش داده و در عین حال کیفیت…

۱ دقیقه خواندن
چگونه TLDR با فشرده‌سازی وصله‌ای، گلوگاه حافظه در مدل‌های TTS را می‌شکند؟

چگونه TLDR با فشرده‌سازی وصله‌ای، گلوگاه حافظه در مدل‌های TTS را می‌شکند؟

پژوهشگران چارچوب TLDR را معرفی کردند که با گروه‌بندی توکن‌های صوتی در قالب «وصله‌های» فشرده، سرعت استنتاج در سیستم‌های تبدیل متن به گفتار را ۱.۸ برابر افزایش می‌دهد. این روش بدون…

۱ دقیقه خواندن
سازوکار NutriMLLM: عبور از بن‌بست داده با ۱.۱ میلیون تصویر مصنوعی

سازوکار NutriMLLM: عبور از بن‌بست داده با ۱.۱ میلیون تصویر مصنوعی

پژوهشگران با توسعه‌ی خانواده‌ی مدل‌های NutriMLLM، توانسته‌اند ۶۵ ریزمغذی مختلف را از روی تصاویر غذا تخمین بزنند. این دستاورد از طریق تولید ۱.۱ میلیون تصویر مصنوعی بر اساس داده‌های…

۲ دقیقه خواندن۱
چرا تنظیم دقیق تک‌مرحله‌ای برای بازرسی تراشه‌ها کافی نیست؟

چرا تنظیم دقیق تک‌مرحله‌ای برای بازرسی تراشه‌ها کافی نیست؟

پژوهشگران یک چارچوب بینایی-زبانی دو-مرحله‌ای طراحی کرده‌اند که قادر است خطاهای خود را در تشخیص نقص‌های لیتوگرافی شناسایی و اصلاح کند. این سیستم با آموزش یک ماژول پالایش روی…

۱ دقیقه خواندن