اگر تصور میکنید کیفیت خیرهکنندهی ویدیوهای تولیدشده به معنای درک مدل از قوانین فیزیک است، در اشتباهید. واقعیت این است که مدلهای پیشرفتهی ویدیو هنوز نمیدانند جهان واقعی چگونه کار میکند.
طبق گزارشی که در ۱۶ مه ۲۰۲۶ از سوی دانشگاه تسینگهوا (Tsinghua University) منتشر شد، مدلهای تجاری مانند Seedance 2.0 و Sora 2 در زمینهی استدلال جهانی (World Reasoning) تقریباً دو برابر بهتر از مدلهای بازمتن عمل میکنند. این یافتهها نشان میدهد که در حالی که هوش مصنوعی زاینده (Generative AI) اکنون میتواند پیکسلهای خیرهکنندهای تولید کند، اما همچنان در درک بنیادین از عملکرد جهان فیزیکی ناتوان است.
همانطور که در تحلیلهای پیشین ما دربارهی مدلهای جهانی (World Models) اشاره کردیم، بحثی جدی در صنعت وجود دارد که آیا این سیستمها واقعاً مدلهای جهان هستند یا صرفاً تطبیقدهندههای پیچیدهی الگوها. در حالی که دِمیس هاسابیس، مدیرعامل گوگل دیپمایند، مدل Veo را گامی به سوی مدل جهانی میداند، یان لکون از متا استدلال میکند که معماریهای فعلی یک بنبست تکاملی هستند.
پژوهشگران برای کمیسازی این شکاف، معیار WorldReasonBench را معرفی کردند که مدلها را در چهار بُعد ارزیابی میکند:
- دانش جهانی
- صحنههای انسانمحور
- استدلال منطقی
- استدلال مبتنی بر اطلاعات
این ارزیابی شامل ۴۰۰ مورد تست و یک بنچمارک ترجیحی به نام WorldRewardBench است که ۶۰۰۰ مقایسهی ویدئویی توسط ارزیابان انسانی رتبهبندی شده است.
در این بررسی، پنج سیستم تجاری (Sora 2، Kling، Wan 2.6، Seedance 2.0 و Veo 3.1-Fast) در برابر شش مدل بازمتن از جمله LTX 2.3 و HunyuanVideo 1.5 قرار گرفتند. نتایج نشان داد که Seedance 2.0 متعلق به بایتدنس پیشروترین مدل کلی است و Veo 3.1-Fast در دانش جهانی برتری دارد. با این حال، حتی متقاعدکنندهترین ویدیوها در تستهای سادهی فیزیک، مانند سقوط دومینوها یا حرکت مدارات الکتریکی، شکست خوردند.
به نقل از این مطالعه، نمرات استدلال مدلهای تجاری تقریباً دو برابر مدلهای بازمتن بود و هیچ همپوشانی آماری بین این دو گروه مشاهده نشد.
برای تضمین دقت، ۱۵ ارزیاب آموزشدیده، ویدیوهای بدون نام را از نظر دقت استدلال، ثبات زمانی و کیفیت بصری امتیازدهی کردند.
برای جامعهی فنی، این تغییر در روش بنچمارک ثابت میکند که افزایش رزولوشن و طول ویدیو، معیاری برای هوشمندی نیست. شکست همگانی در استدلال منطقی نشان میدهد که گذار از یک «تولیدکنندهی پیکسل» به یک «مدل جهانی قابلاعتماد»، نیازمند رویکردی جدید برای سازگاری علیتی است، نه صرفاً دادههای آموزشی بیشتر.
گام بعدی شما
- بررسی کدها و دادههای منتشرشده در گیتهاب برای اعتبارسنجی مدلهای داخلی.
- تحلیل تفاوت عملکرد Seedance 2.0 در مقابل Sora 2 در سناریوهای فیزیکی پیچیده.
- دنبال کردن مقالات جدید در زمینهی «سازگاری علیتی» (Causal Consistency) در مدلهای انتشار.
اما هزینه محاسباتی این سطح از استدلال، چالش اصلی است؛ برای درک این موضوع به تحلیل ما دربارهی تراشههای Blackwell مراجعه کنید.
گفتگو