تصور کنید یک پادکست ساعتی ضبط کرده‌اید و تنها یک کلمه در دقیقه ۴۵ اشتباه تلفظ شده است؛ در دنیای پیشین، شما یا باید کل پاراگراف را دوباره تولید می‌کردید یا با ابزارهای پیچیده ویرایشی دست‌وپنجه نرم می‌کردید. شرکت Fish Audio در ۱۳ اکتبر ۲۰۲۴ با معرفی مدل Drama 3، این گلوگاه تولیدی را برای همیشه از بین برد. یک کلمه اشتباه یا یک مکث نابجا می‌تواند کل یک اجرای صوتی حرفه‌ای را خراب کند، اما Drama 3 این مشکل را حل کرده است.
این مدل جدید، تبدیل متن به گفتار (TTS) — که شبیه به یک گویندهٔ مجازی است که متن را می‌خواند — را از یک خروجی ایستا به یک اجرای قابل کارگردانی تبدیل کرده است. تا پیش از این، ابزارهای صوتی هوش مصنوعی بر اساس منطق «بپذیر یا رها کن» کار می‌کردند. اگر یک کلمه نامناسب شنیده می‌شد، سازنده مجبور بود کل جمله را دوباره تولید کند و اغلب ریتم یا حس‌وحال عالیِ جملات اطراف را از دست می‌داد. این اصطکاک باعث می‌شد ادغام صداهای مصنوعی در پروژه‌های حساس مثل کتاب‌های صوتی یا توسعه بازی‌ها، جایی که دقت حرف اول را می‌زند، بسیار دشوار باشد. این چالش‌ها نشان می‌دهد که برای رسیدن به خروجی طبیعی، بهره‌گیری از متدولوژی‌های نویسندگی در انسانی‌سازی صدای مصنوعی تا چه اندازه حیاتی است.
به نقل از ریسا کائو (Rissa Cao)، هم‌بنیان‌گذار و مدیرعامل Fish Audio، هوش مصنوعی در تولید گفتار به بلوغ رسیده و گام بعدی، «کارگردانی اجرا» است. او در بیانیه معرفی محصول تأکید کرد که فلسفه این مدل، تبدیل اسکریپت به یک سند ترکیبی است که هم شامل دیالوگ‌ها و هم مجموعه‌ای از دستورالعمل‌های اجرایی است. همان‌طور که در تحلیل‌های قبلی ما درباره‌ی تکامل مدل‌های مولد اشاره کردیم، تمرکز صنعت اکنون از کیفیت خام به سمت کنترل‌پذیری حرکت می‌کند. در Drama 3، نویسندگان اکنون می‌توانند دقیقاً تعیین کنند کجا مدل نفس بکشد یا کدام عبارت خاص در متن قابل ویرایش، تأکید بیشتری بگیرد.
طبق اعلام شی‌جیا لیائو (Shijia Liao)، دانشمند ارشد و هم‌بنیان‌گذار شرکت، این مدل از مکانیزمی به نام ترمیم صوتی (Inpainting) — شبیه به ابزارهای فتوشاپ که فقط یک تکه از عکس را تغییر می‌دهند بدون اینکه بقیه تصویر به هم بریزد — استفاده می‌کند. این قابلیت به کاربر اجازه می‌دهد بخش خاصی از یک اجرای موجود را انتخاب کرده، دستورالعمل‌ها را به‌روزرسانی کند و فقط همان برش کوچک را بازتولید نماید. مدل برای اطمینان از اینکه جایگزین جدید با زمان‌بندی، لحن و هویت صوتی بخش‌های قبل و بعد همخوانی دارد، هر دو طرف ویرایش را تحلیل می‌کند تا جایگذاری کاملاً طبیعی باشد. این دقت در جداسازی و بازسازی اجزای صوت، یادآور رویکردهای پیشرفته در پاک‌سازی صدا و مدیریت گفتارهای هم‌پوشان است که پیچیدگی‌های صوتی را هدف قرار می‌دهند.
جزئیات عملیاتی و کنترل‌های این مدل شامل موارد زیر است:
- کارگردانی با زبان طبیعی: کاربران می‌توانند لحن و سرعت را با کلمات معمولی توصیف کنند. یک قطعه متن می‌تواند در عرض یک جمله از حالت آرام به وحشت‌زده تغییر کند و این امر نیاز به تولیدهای جداگانه برای هر بخش احساسی را از بین می‌برد.
- برچسب‌گذاری دقیق: سازندگان می‌توانند صداها، مکث‌ها یا افکت‌هایی مثل پچ‌پچ و تأکید را داخل کروشه قرار دهند یا از تگ‌های جفت‌شده برای عبارت‌های خاص استفاده کنند تا اثرات تنها روی همان عبارت اعمال شود.
- برچسب‌گذاری خودکار: یک ویژگی یکپارچه که پیشنهاداتی برای کارگردانی اولیه اسکریپت ارائه می‌دهد و سپس نویسندگان می‌توانند آن‌ها را اصلاح کنند.
- صحنه‌های چند-گوینده: مدل می‌تواند صحنه‌های کامل را در یک مرحله تولید کند. هر شخصیت صدای متمایز خود را حفظ می‌کند و پاسخ‌ها در بستر دیالوگ‌های قبلی تولید می‌شوند تا خروجی شبیه به یک گفتگوی طبیعی باشد، نه مجموعه‌ای از ضبط‌های چسبانده شده به هم.
این سیستم همچنین ثبات چندزبانه در انگلیسی، چینی، ژاپنی و کره‌ای را تضمین می‌کند. Fish Audio بر روی سازگاری بین‌زبانی تأکید ویژه‌ای دارد و کنترل تلفظ در سطح فونیم (Phoneme) را فراهم می‌آورد تا حتی زمانی که اسکریپت در میان یک صحنه زبان را تغییر می‌دهد، شخصیت صدا و دقت تلفظ ثابت بماند.
از نظر فنی، این مدل بر پایه پژوهش‌های قبلی شرکت در مورد S2 و معماری دو-خودبازگشتی (Dual-Autoregressive) بنا شده است. این رویکرد، پیش‌بینی در خط زمانی صوت را از تولید جزئیات آکوستیک ظریف‌تر جدا می‌کند. همچنین از ترازسازی یادگیری تقویتی (Reinforcement-Learning Alignment) برای بهبود وضوح، پایبندی به دستورالعمل‌ها و شباهت صوتی استفاده شده است. در کنار این پیشرفت‌های معماری، امکان شبیه‌سازی سریع صدای انسان روی دستگاه‌های موبایل نیز افق‌های جدیدی را برای دسترسی کاربران به این فناوری‌ها گشوده است.
در حالی که Drama 3 تغییرات معماری گسترده‌ای داشته است، اما همچنان بر روی گفتار کنترل‌پذیر تمرکز دارد. برای توسعه‌دهندگان، این مدل از طریق API با شناسه drama-3-preview در دسترس است. درخواست‌های چند-گوینده با استفاده از لیستی از شناسه‌های صوتی و نشانگرهای گوینده در متن مدیریت می‌شوند. این نقطه اتصال (Endpoint) از فرمت‌های خروجی مختلفی از جمله WAV، PCM، MP3 و Opus پشتیبانی می‌کند و کنترل‌هایی برای حجم صدا، نمونه‌برداری و سرعت در اختیار کاربر قرار می‌دهد.
این تحول، ارزش صدای مصنوعی را از «باورپذیری» به «ویرایش‌پذیری» منتقل می‌کند. برای یک تیم تولید، توانایی اصلاح یک تأکید اشتباه روی یک اسم بدون ضبط مجدد کل پاراگراف، یک پیروزی بزرگ در جریان کاری است. حالا هوش مصنوعی دیگر فقط یک تولیدکننده نیست، بلکه یک بازیگر دیجیتال است که می‌تواند یادداشت‌های کارگردان را بپذیرد و اجرا کند.
با این حال، این ابزار همچنان در مرحله پیش‌نمایش (Preview) است. Fish Audio هشدار می‌دهد که نتایج بین دفعات مختلف تولید (Takes) متفاوت است و تیم‌های تولید باید ثبات مدل را روی متریال خاص خود تست کنند پیش از آنکه کاملاً به این خط لوله تولید متکی شوند. همچنین، این انتشار هنوز ارزیابی‌های مستقلی درباره اینکه ترمیم‌های تک‌کلمه‌ای با چه اطمینانی در لهجه‌های متنوع یا انتقال‌های دشوار صوتی عمل می‌کنند، ارائه نداده است.
شرکت Fish Audio با بیش از ۱۵ میلیون کاربر و درآمد سالانه ۲۱ میلیون دلار، در حال تبدیل Drama 3 به مرکز یک اکوسیستم خلاقانه است که حوزه‌های تبدیل گفتار به متن، کلونینگ صدا و تولید گفتار را در بر می‌گیرد. برای تشویق به پذیرش، این شرکت هزینه API را در ۳۰ روز اول پس از عرضه ۸۰٪ تخفیف داده است و برای سازمان‌های واجد شرایطی که ارائه‌دهنده صدای خود را تغییر می‌دهند، سه ماه استفاده رایگان در نظر گرفته است.
در نهایت، اینکه آیا این سطح از کنترل به استاندارد صنعت تبدیل می‌شود یا خیر، بستگی به این دارد که ترمیم‌های تک‌کلمه‌ای در لهجه‌های مختلف و انتقال‌های پیچیده چقدر قابل اعتماد باشند. معیار بعدی برای صدای هوش مصنوعی این نخواهد بود که چقدر انسانی به نظر می‌رسد، بلکه این است که چقدر راحت می‌توان آن را اصلاح کرد.
گام بعدی شما
- اگر تولیدکننده محتوا هستید، از نسخه Preview برای تست ویرایش تک‌کلمه‌ای روی دیالوگ‌های پیچیده استفاده کنید.
- در پرامپت‌های خود از توصیفات احساسی متغیر (مثلاً: از آرام به عصبی) برای تست انعطاف‌پذیری مدل بهره ببرید.
- توسعه‌دهندگان می‌توانند از API برای ساخت ابزارهای ویرایش صوتی مبتنی بر متن برای کاربران غیرفنی استفاده کنند.
اما این کنترل دقیق روی صدا، تنها بخشی از پازل است؛ اثر این فناوری بر صنعت دوبلاژ و جایگزینی صداپیشگان را در گزارش بعدی بررسی خواهیم کرد.
گفتگو