تصور کنید یک گوینده مجازی را تماشا می‌کنید که نه تنها لب‌هایش با کلمات هماهنگ است، بلکه با هر تاکید در کلام، سرش را کمی تکان می‌دهد و با هر نفس، قفسه سینه‌اش بالا و پایین می‌رود. Vidu Q4 با پیوند مستقیم موج‌های صوتی به حرکات صورت، عصر «چهره‌های عروسکی» در ویدیوهای سخنگوی هوش مصنوعی را به پایان رساند.
طبق اعلام این شرکت در ۱۴ اکتبر ۲۰۲۶، این به‌روزرسانی جایگزین خط لوله‌های تکه‌تکه شده‌ای شد که در آن‌ها ابتدا کلیپ‌های بی‌صدا تولید و سپس با ابزارهای خارجی لب‌خوانی (Lip-sync) وصله می‌شدند.
بیشتر ویدیوهای فعلی بر پایه یک فرآیند دو مرحله‌ای هستند: تولید ویدیو و سپس استفاده از یک افزونه برای بازترسیم دهان. این روش اغلب منجر به «لکه شدن» پوست دور دهان و خشک ماندن تنه می‌شود، چون افزونه نمی‌تواند بقیه بدن را تغییر دهد. همان‌طور که در پوشش پیشین ما از Nuance Labs و تلاش آن‌ها برای ساخت مدل‌های بنیادی صوتی-تصویری دیدیم، Vidu Q4 اکنون این یکپارچگی را پیاده کرده است تا حرکات بدن با ریتم صدا همسو شوند. این رویکرد در کنار مکانیزم‌های تثبیت هویت بصری که پیش‌تر بررسی کردیم، به سازندگان کمک می‌کند تا شخصیت‌های مجازی خود را بدون تغییرات ناخواسته در چهره، در طول سکانس‌ها حفظ کنند.
به گزارش وب‌سایت dev.to، این سامانه برای خلق یک نمای سخنگو به سه ورودی مشخص نیاز دارد:
- یک تصویر ثابت از شخصیت.
- تا سه نمونه صوتی (۸ تا ۱۰ ثانیه صدای خالص).
- یک متن (اسکریپت) که لحن‌های احساسی در آن مشخص شده باشد.
برخلاف سیستم‌های تبدیل متن به گفتار (TTS) — که مثل خواندن یک متن توسط ربات بدون احساس است — این مدل از صدا به عنوان راهنمای کل فرآیند مدل انتشار (Diffusion Model) — شبیه به نقاشی که لایه لایه از میان مه پدیدار می‌شود — استفاده می‌کند. در اینجا یک حرف سخت صوتی فقط لب‌ها را تکان نمی‌دهد، بلکه می‌تواند باعث خم شدن اندک بدن یا تنگ شدن چشم‌ها شود. خروجی نهایی یک ترک صوتی با کیفیت ۴۸ کیلوهرتز است که مستقیماً در رندر ویدیو جاسازی شده است. این پیشرفت در پردازش صوتی، یادآور تلاشاتی است که در معماری جدید Nova برای دستیارهای صوتی متن‌باز صورت گرفت تا تعادلی میان قدرت پردازش و حریم خصوصی ایجاد شود.
برای رسیدن به بهترین نتیجه، کاربران باید صدای «خالص» (Dry) بدون صدای محیط ضبط کنند تا نویزها وارد خط نهایی نشوند. همچنین این مدل، نشانگرهای تاکید در متن را بسیار دقیق‌تر از پاراگراف‌های ساده اجرا می‌کند و به سازندگان اجازه می‌دهد برای ایجاد اثر دراماتیک، «لحن لرزان» را تعیین کنند.
این چرخش، ویدیوهای هوش مصنوعی را از حالت «پوشاندن نقص‌ها» به حالت «بازیگری» می‌برد. با تبدیل صدا به بخشی از هسته تصویر، بدهی فنیِ اصلاح دهان در پس‌تولید حذف می‌شود. برای تیم‌های تولید درام‌های کوتاه و سخنگویان تجاری، این یعنی کاهش شدید زمان تحویل؛ از چندین بار خروجی گرفتن به یک رندر واحد و صوتی.
کاربرانی که امروز از پنل صوتی در viduai.co استفاده می‌کنند، می‌توانند ردیابی دهان را با دقت بالایی تنظیم کنند. توصیه می‌شود هنگام استفاده از حروف نرم، اجازه دهید صدا بیشتر از تنظیمات پیش‌فرض بر چهره اثر بگذارد تا همگام‌سازی کامل شود.
گام بعدی شما
- در viduai.co روی تنظیمات Voice Panel تمرکز کنید و تاثیر صدا بر چهره را برای حروف نرم افزایش دهید.
- برای نتایج سینمایی، در اسکریپت خود از نشانگرهای لحن (Stress Markers) به‌جای متن ساده استفاده کنید.
- صدای ورودی را حتماً در محیطی بدون اکو و نویز ضبط کنید تا کیفیت رندر نهایی افت نکند.
اما چالش بعدی، حفظ یکنواختی لحن احساسی در سکانس‌های طولانی است که در گزارش‌های آینده بررسی خواهیم کرد.
گفتگو