تصور کنید بتوانید به یک گوینده مجازی دستور دهید جمله‌ای را «در حالی که به‌سختی جلوی گریه‌اش را گرفته» بخواند و مدل دقیقاً همان لرزش صدا را اجرا کند. Fish Audio با معرفی Drama 3، این کنترل دقیق بر احساسات را از دنیای استودیوهای گران‌قیمت به محیط‌های میزبانی شخصی آورد. این مدل با ۳۵ میلیارد پارامتر و معماری ترکیب خبره‌ها (MoE)، اکنون قادر است دستورات بازیگری را که در کروشه قرار گرفته‌اند، به گفتاری پراحساس تبدیل کند. Fish Audio با این اقدام، یک جایگزین قابل میزبانی شخصی برای دیالوگ‌های فیلم‌نامه‌ای با کیفیت بالا، کتاب‌های صوتی و دوبلاژ ارائه داده است.
این تحول در حالی رخ می‌دهد که صنعت از شبیه‌سازی ساده‌ی صدا به سمت «اجراهای هدایت‌پذیر» حرکت می‌کند. همان‌طور که در تحلیل‌های پیشین ما درباره‌ی ابزارهای تبدیل گفتار به متن مانند BetterWispr برای macOS دیدیم، تمرکز بر دقت کلمات بود؛ اما Drama 3 مسیر را معکوس کرده و از تبدیل گفتار به متن به سمت تبدیل متن به گفتار (TTS) با کنترل بسیار بالا و احساسی حرکت کرده است. این مدل دقیقاً نقاط ضعف تولیدات صوتی را هدف قرار داده است؛ جایی که یک خط دیالوگ کلمات درست را دارد، اما زمان‌بندی احساسی یا مکث‌های آن اشتباه است. علاوه بر کنترل احساسات، این مدل امکان ویرایش تک‌کلمه‌ای صداهای تولید شده را نیز فراهم کرده است تا دقت نهایی خروجی‌ها به حداکثر برسد.
معماری فنی و قابلیت‌ها
طبق مستندات منتشر شده، Drama 3 بر پایه مدل زبانی Qwen3.5-35B-A3B بنا شده است. این مدل از معماری ترکیب خبره‌ها (Mixture of Experts یا MoE) استفاده می‌کند که در آن از میان ۳۵ میلیارد پارامتر، در هر توکن تنها حدود ۳ میلیارد پارامتر فعال هستند (به‌طور دقیق‌تر، ۸ خبره از ۲۵۶ خبره به‌علاوه یک خبره مشترک). این طراحی، تعادلی بهینه میان ظرفیت مدل و سرعت استنتاج (Inference) ایجاد می‌کند.
ساختار مدل شامل ۴۰ لایه است که در گروه‌های سه‌تایی از لایه‌های Gated DeltaNet و یک لایه Full-attention سازماندهی شده‌اند. برای مدیریت بهینه حافظه، تنها یک‌چهارم لایه‌ها دارای KV Cache هستند و لایه‌های DeltaNet تاریخچه را در یک وضعیت با اندازه ثابت ذخیره می‌کنند.
بررسی رمزگشا و فرآیند آموزش
در این نسخه، یک رمزگشای جدید به نام Codebook-MTP جایگزین رمزگشای Fast AR در نسخه S2 شده است. این سیستم از ۴ لایه مشترک تشکیل شده که ۹ لایه را تغذیه می‌کنند و برای هر کدبوک صوتی یک لایه اختصاص یافته است. نکته فنی مهم این است که تنها کدبوک‌های ۰ و ۱ به بدنه اصلی مدل بازخورد می‌دهند، در حالی که در نسخه S2 تمام ۱۰ کدبوک این کار را انجام می‌دادند.
فرآیند آموزش این مدل بسیار سخت‌گیرانه بوده و شامل سه مرحله مجزای پیش‌آموزش، تنظیم دستوری (Instruction Tuning) و یادگیری تقویتی (RL) است. در مرحله یادگیری تقویتی، از روش GRPO بدون جریمه KL استفاده شده و یک مدل پاداش یادگرفته‌شده بر اساس ترجیحات انسانی به کار گرفته شده است.
مشخصات کلیدی فنی عبارتند از:
- خروجی صوتی: ۴۴.۱ کیلوهرتز از طریق کدک صوتی Descript با سرعت تقریبی ۲۱.۵ فریم بر ثانیه.
- رمزگشا: جایگزینی Fast AR با Codebook-MTP.
- پشتیبانی زبانی: ۸۳ زبان مختلف.
- پشتیبانی از چند گوینده: امکان تعریف تا ۱۶ شخصیت در هر درخواست با استفاده از تگ‌های اختصاصی (از <|speaker:0|> تا <|speaker:15|>).
هدایت اجرای احساسی
تولیدکنندگان محتوا اکنون می‌توانند با استفاده از دستورات متنی ساده به زبان طبیعی، لحن مدل را هدایت کنند. برای مثال، قرار دادن عبارت [barely holding it together] پیش از یک جمله، مدل را به وضعیت احساسی خاصی می‌برد. همچنین تگ‌های جفتی مانند
به گزارش Marktechpost، این دستورات می‌توانند به هر زبانی نوشته شوند، فارغ از اینکه زبان خروجی صوتی چه باشد. از آنجا که API برای هر گوینده یک Voice ID می‌پذیرد، یک صحنه کامل با چندین شخصیت را می‌توان تنها با یک فراخوانی اجرا کرد.
محک‌ها و کیفیت خروجی
در محک استواری تلفظ Artificial Analysis، مدل Drama 3 با کسب امتیاز ۹۳.۲٪ رتبه نخست جهان را به دست آورد. این جهش قابل‌توجهی نسبت به نسخه S2.1 Pro است که امتیاز ۸۸.۱٪ داشت.
جزئیات دقت تلفظ به شرح زیر است:
- برندها، مکان‌ها و اصطلاحات فنی: ۹۵.۹٪ (نسخه قبلی: ۸۷.۳٪)
- خوانش‌های وابسته به متن: ۹۵.۳٪ (نسخه قبلی: ۸۶.۱٪)
- نمادهای اختصاری (اعداد، تاریخ‌ها، واحدها): ۹۳.۶٪ (نسخه قبلی: ۹۲.۷٪)
- توالی‌های دقیق (کدها، مسیرها، ایمیل‌ها): ۸۶.۳٪ (نسخه قبلی: ۷۹.۴٪) — این بخش همچنان ضعیف‌ترین نقطه مدل است.
از نظر کیفیت کلی، نسخه پیش‌نمایش Drama 3 امتیاز Elo ۱۲۴۲ را ثبت کرده است. اگرچه این عدد از S2.1 Pro (امتیاز ۱۱۹۰) بالاتر است، اما همچنان از مدل ElevenLabs Eleven v4 Turbo با امتیاز ۱۳۲۸ عقب‌تر است. در حال حاضر، این مدل بالاترین امتیاز Fish Audio در Artificial Analysis است، هرچند در Elo کیفیت همچنان پشت سر چندین API بسته قرار دارد.
سخت‌افزار و استقرار
میزبانی شخصی Drama 3 نیازمند سخت‌افزار قدرتمندی است. طبق راهنمای نصب، حداقل ۴۸ گیگابایت حافظه GPU انویدیا در حالت FP8 مورد نیاز است. این مدل از CPU، Apple MPS یا AMD ROCm پشتیبانی نمی‌کند. وزن‌های خبره‌ها در حالت FP8 و سایر وزن‌ها در bf16 ارائه شده‌اند.
در تست روی یک GPU H200، میانگین زمان تا نخستین صوت (TTFA) برابر ۸۸.۹ میلی‌ثانیه و ضریب زمان واقعی ۰.۱۳۱ ثبت شده است. در مقیاس ۱۶ استریم، توان عملیاتی به ۹۲۷.۶ فریم بر ثانیه می‌رسد. سرویس‌دهی مدل از طریق SGLang-Omni انجام می‌شود که هسته‌های ادغام‌شده آن فعلاً تنها روی GPUهای Hopper تایید شده‌اند.
دسترسی و قیمت‌گذاری
برای استفاده از API، کاربران باید هدر مدل را روی drama-3 در مسیر POST /v1/tts تنظیم کنند. مستندات هشدار می‌دهند که در صورت نبود هدر یا اشتباه در تایپ آن، سیستم به‌طور خودکار و بدون خطا به نسخه s2.1-pro بازمی‌گردد.
- قیمت رسمی: ۵۰ دلار به ازای هر ۱ میلیون کاراکتر.
- قیمت عرضه: ۱۰ دلار به ازای هر ۱ میلیون کاراکتر (تا ۱۲ نوامبر ۲۰۲۶).
مجوزها و محدودیت‌ها
وزن‌های مدل در Hugging Face تحت مجوز Fish Audio Community License v1.0 منتشر شده‌اند. استفاده پژوهشی و غیرتجاری رایگان است و استفاده تجاری برای سازمان‌هایی با درآمد سالانه کمتر از ۵۰۰ هزار دلار مجاز است.
با این حال، محدودیت‌های سخت‌گیرانه‌ای وجود دارد: میزبانی API برای شخص ثالث نیازمند مجوز جداگانه است، تمام محصولات باید عبارت «Built with Fish Audio» را نمایش دهند و شبیه‌سازی صدای افراد واقعی بدون رضایت آن‌ها اکیداً ممنوع است.
این تغییر به سمت مدل‌های MoE با وزن‌های باز برای TTS، پیش‌فرض‌های این حوزه را درباره ضرورت APIهای بسته برای تولیدات سطح بالا تغییر می‌دهد. Fish Audio با ارائه یک مدل چندگوینده و هدایت‌پذیر که قابلیت میزبانی محلی دارد، موانع را برای توسعه‌دهندگان بازی‌های مستقل و تولیدکنندگان کتاب صوتی که نیاز به کنترل دقیق بر اجرا بدون هزینه‌های تکراری هر کاراکتر دارند، کاهش داده است.
گام بعدی شما
- اگر تولیدکننده کتاب صوتی یا بازی‌های مستقل هستید، مدل را در حالت FP8 روی GPUهای سری H یا A انویدیا تست کنید تا هزینه پرداخت به APIهای بسته را حذف کنید.
- برای دستیابی به طبیعی‌ترین خروجی، از ترکیب تگ‌های احساسی [bracketed] و تگ‌های محلی
در متن خود استفاده کنید. - دقت کنید که برای استفاده از قابلیت‌های جدید، هدر API را دقیقاً به
drama-3تغییر دهید تا به نسخه‌های قدیمی بازنگردید.
اما تأثیر این مدل بر اقتصاد تولید محتوای صوتی فارسی و چالش‌های تلفظ زبان ما، موضوعی است که در گزارش‌های آینده بررسی خواهیم کرد.
گفتگو