اگر تولیدکننده محتوا هستید و ساعت‌ها وقت خود را صرف انیمیت کردن دستی متن آهنگ‌ها می‌کنید، Lyrisee تمام این فرآیند خسته‌کننده را حذف می‌کند. این ابزار که در ۱۷ ژوئن ۲۰۲۶ به‌عنوان یک فضای رایگان در Hugging Face عرضه شد، فایل‌های صوتی استاندارد را به تایپوگرافی متحرکی تبدیل می‌کند که هم با ریتم و هم با معنای کلمات واکنش نشان می‌دهد.
بیشتر ویدیوهای لیریک از متن‌های ساده یا کلیدهای دستی (Key-framing) استفاده می‌کنند. Lyrisee این الگو را تغییر داده است؛ این ابزار از یک خط لوله چندمرحله‌ای AI استفاده می‌کند تا تصمیم بگیرد هر کلمه نه تنها چه زمانی ظاهر شود، بلکه بر اساس وزن احساسی‌اش، چگونه حرکت کند و چه ظاهری داشته باشد. طبق گزارش وب‌سایت dev.to، این سیستم یک آهنگ معمولی ۳ تا ۴ دقیقه‌ای را در بازه ۳۰ تا ۹۰ ثانیه پردازش می‌کند.
همان‌طور که در تحلیل‌های قبلی ما درباره‌ی ابزارهای تولید محتوای بصری اشاره کردیم، انتقال «هوش» از دست کاربر به مدل‌های زبانی، سرعت تولید را به‌شدت بالا می‌برد. Lyrisee دقیقاً همین مسیر را طی کرده است.
جزئیات فنی خط لوله
این ابزار برای رسیدن به همگام‌سازی کامل از چندین مدل ادغام‌شده استفاده می‌کند:
- پیاده‌سازی متن (Transcription): استفاده از faster-whisper برای تولید برچسب‌های زمانی در سطح کلمه. این مدل — شبیه به یک شنونده بسیار دقیق که هر هجا را با ساعت زمان‌بندی می‌کند — تضمین می‌کند هر کلمه دقیقاً در لحظه درست ظاهر شود. برای بهینه‌سازی زبان انگلیسی، سیستم معمولاً از مدل 'tiny.en' (int8 cpu) استفاده می‌کند.
- ردیابی ضرب‌آهنگ (Beat Tracking): بهره‌گیری از کتابخانه librosa برای شناسایی ضربات موسیقی و BPM، که انرژی انیمیشن را هدایت می‌کند. برای مثال، یک آهنگ ممکن است با حدود ۹۲ BPM و ۱۴۳ ضربه تحلیل شود.
- مدیریت هنری (Art Direction): مدل Gemini — مثل یک کارگردان هنری که متن را می‌خواند تا حس آن را بفهمد — کل متن را تحلیل می‌کند تا استعاره‌های بصری را تعیین کند. این مدل تصمیم می‌گیرد کدام کلمات تأکید شوند و چه آیکونی (مثلاً 🔥 برای آتش، 💸 برای پول، یا نماد یک قفس) کنار متن قرار بگیرد.
- تشخیص قافیه: استفاده از CMUdict برای شناسایی خانواده‌های قافیه، که به سیستم اجازه می‌دهد کلمات هم‌قافیه را با رنگ‌های مشابه نمایش دهد.
جزئیات عملیاتی و شخصی‌سازی
کاربران می‌توانند طیف گسترده‌ای از فرمت‌ها شامل MP3، WAV، M4A، FLAC، OGG و حتی فایل‌های ویدئویی MP4 و WebM را آپلود کنند. زمانی که یک ویدیو آپلود می‌شود، سیستم به‌طور خودکار ترک صوتی را استخراج می‌کند. بر اساس مستندات ابزار، فایل‌ها محلی باقی می‌مانند و فقط برای تبدیل متن به بک‌اند ارسال می‌شوند و ذخیره نمی‌شوند.
اگرچه حالت پردازش محلی در مرورگر وجود دارد، اما برای دسترسی به قابلیت‌های پیشرفته Gemini و اصلاح متن، فعال‌سازی «Cloud AI» ضروری است. این قابلیت — شبیه به ویراستاری که اشتباهات شنیداری را با توجه به متن کلی و طرح‌های قافیه اصلاح می‌کند — خطاهای احتمالی در تشخیص کلمات را برطرف می‌کند. بدون Cloud AI، ابزار به یک مدل کوچک‌تر محلی بازمی‌گردد که سریع‌تر است اما کیفیت پایین‌تری دارد و مدیریت هنری ارائه نمی‌دهد.
Lyrisee چهار سبک بصری یا «Construct» ارائه می‌دهد تا استایل بصری را در میانه جلسه تغییر دهند:
- طرح قافیه (Rhyme Scheme): کلمات هم‌قافیه با استفاده از یک پالت رنگی مشترک به‌طور همزمان متحرک می‌شوند.
- تجسد (Embodiment): حرکت هر خط با معنای آن هماهنگ است؛ برای مثال، کلمات مربوط به «سقوط» پایین می‌افتند و کلمات «صعود» بالا می‌روند.
- هنر کینتیک (Kinetic Art): انرژی خالص تایپوگرافی که منطق معنایی را برای ایجاد حداکثر نویز بصری نادیده می‌گیرد.
- آفتاب‌پرست (Chameleon): هوش مصنوعی بر اساس محتوای هر خط، بهترین سبک را به‌صورت پویا انتخاب می‌کند.
برای کسانی که به دنبال کمال هستند، یک ویرایشگر داخلی وجود دارد تا زمان شروع کلمات را دستی تغییر دهند یا خطاهای تشخیص متن ناشی از اسلنگ‌های شدید، اعوجاج (Distortion) یا ریورب (Reverb) را اصلاح کنند. این تغییرات به‌صورت آنی در رندرکننده Three.js اعمال می‌شوند. همچنین امکان دانلود فایل lyric_data.json برای بارگذاری مجدد متن‌های اصلاح‌شده بدون نیاز به پردازش دوباره فراهم است.
کنترل‌های کاربر
رابط کاربری به یک پنل کنترل در چپ و یک بوم رندر در راست تقسیم شده است. کاربر می‌تواند با استفاده از میان‌برهای زیر در محیط ابزار پیمایش کند:
- Space: پخش یا توقف صدا.
- کلیدهای جهت‌نما (← →): جلو یا عقب رفتن به اندازه ۵± ثانیه.
- F: فعال یا غیرفعال کردن حالت تمام‌صفحه.
- ✎ Edit: باز کردن ویرایشگر لیریک برای تغییر متن یا زمان‌بندی.
این ابزار در واقع گرافیک‌های متحرک سطح بالا را دموکراتیزه می‌کند. با انتقال هوشمندی انیمیشن از خط زمانی (Timeline) ویرایشگر به درک معنایی یک مدل زبانی بزرگ (LLM) — مثل کتابخانه‌داری که میلیاردها صفحه را خوانده و حالا با همان لحن جواب می‌دهد — افراد غیرطراح می‌توانند ویدیوهایی بسازند که به‌جای تولید تصادفی، کارگردانی‌شده به نظر برسند.
گام بعدی شما
- ابزار را در آدرس https://acecalisto3-lyrisee.hf.space امتحان کنید و با سبک‌های بصری مختلف آزمایش کنید تا ببینید Gemini چگونه آهنگ‌های مورد علاقه شما را تفسیر می‌کند.
- تفاوت بین حالت Local و Cloud AI را در اصلاحات متنی بررسی کنید.
- با استفاده از حالت Chameleon، ببینید Gemini چگونه مفاهیم آهنگ‌های مختلف را تفسیر می‌کند.
اما داستان سخت‌افزاری این تحول حتی شگفت‌انگیزتر است — به تحلیل ما درباره‌ی تراشه‌های Blackwell مراجعه کنید.
گفتگو