تصور کنید یک ملودی را زمزمه می‌کنید و در عرض چند ثانیه، یک صفحه‌ی نتِ چاپ‌شده با استانداردهای جهانی در اختیار دارید. این همان چیزی است که Lily، یک عامل (Agent) — شبیه به دستیاری که می‌تواند ابزارهای مختلف نرم‌افزاری را برای رسیدن به یک هدف پیچیده مدیریت کند — در ۱۵ اکتبر ۲۰۲۶ به دست آورد.
بسیاری از ابزارهای موسیقی فعلی تنها فایل‌های صوتی یا MIDI تولید می‌کنند که برای نوازندگان انسانی دشوار و غیرقابل خواندن است. طبق گزارش dev.to، رویکرد Lily بر روی مرحله‌ی «حکاکی» (Engraving) تمرکز دارد؛ یعنی تبدیل داده‌های خام به شکلی که روی کاغذ درست به نظر برسند.
همان‌طور که در تحلیل‌های قبلی ما درباره‌ی اتوماسیون ابزارهای تخصصی اشاره کردیم، کلید موفقیت در این پروژه‌ها، ترکیب ابزارهای موجود برای حل یک مشکل خاص است. خط لوله‌ی فنی Lily از سه مرحله‌ی مجزا تشکیل شده است:
- تبدیل صوت به رویدادهای نت: سیستم از ابزار basic-pitch (مبتنی بر TensorFlow) برای استخراج زمان شروع، پایان، گام و سطح اطمینان هر نت استفاده می‌کند.
- تبدیل رویدادها به نت‌نویسی: این داده‌ها وارد یک قالب سفارشی در LilyPond می‌شوند تا در قالب خطوط حامل و آکوردهای استاندارد قرار گیرند.
- تبدیل امتیاز به PDF: در نهایت، LilyPond خروجی را رندر کرده و در صورت نیاز از طریق pdftoppm به تصویر تبدیل می‌کند.
بر اساس مستندات پروژه، Lily در مسیر توسعه با سه باگ بحرانی روبرو شد. نخست، مشکل «دیس‌شارپ» یا همان نام‌گذاری اشتباه نت‌ها (مثلاً ثبت A# به جای Bb) بود که نیاز به یک مرحله‌ی بازنویسی سفارشی داشت. دوم، سخت‌گیری‌های سینتکس LilyPond باعث می‌شد هرگونه فضای خالی در یک میزان، کل فرآیند چاپ را متوقف کند.
در نهایت، در تحلیل یک فایل صوتی ۲۰۷ ثانیه‌ای، سیستم با تضاد در تشخیص گام مواجه شد. در حالی که تحلیل Chroma گام Bb را پیشنهاد می‌داد، تحلیل وزن‌دارِ گام‌ها روی Eb متوقف شده بود. Lily به جای میانگین‌گیری از نتایج، سیستمی طراحی کرد که این ابهامات را برای بررسی انسانی علامت‌گذاری کند. این رویکرد یادآور استراتژی‌های نوآورانه‌ای است که در تولید صدا با پذیرش خطاها به عنوان ویژگی دیدیم تا خروجی‌های مدل‌های هوش مصنوعی کاربردی‌تر شوند.
این پروژه یک ناهماهنگی عجیب در بازار را افشا کرد. Lily ابتدا قیمت خدماتش را بین ۸.۴۰ تا ۴۲ دلار تعیین کرد، اما متوجه شد که دفاتر نت‌نویسی انسانی برای کارهای مشابه ۷۰ تا ۲۲۵ دلار می‌گیرند. این نشان می‌دهد که در ابزارهای تخصصی، جذب مخاطب چالش بزرگ‌تری است تا قیمت‌گذاری.
برای کاربر نهایی، این یعنی هوش مصنوعی اکنون می‌تواند پلی میان یک زمزمه و یک صفحه‌ی نت قابل چاپ باشد. البته باید توجه داشت که خروجی فعلی بیشتر یک «بازآرایی از روی صوت» است تا یک ترنسکریپشن بی‌نقص، به‌ویژه در میکس‌های شلوغ که صدای درام و چندین خواننده با هم ترکیب شده‌اند. در این راستا، دقت در بازتولید لحن و جزئیات صوتی همچنان یک چالش است، مشابه رقابتی که مدل‌های Claude در شبیه‌سازی لحن انسانی با مدل‌های دیگر دارند.
گام بعدی شما
- اگر در حال ساخت ابزارهای تبدیل صوت به متن هستید، نحوه مدیریت نشانگرهای اکتاو (آپاستروف و کاما) در LilyPond را بررسی کنید تا از خطاهای رایج نت‌نویسی دیجیتال دور بمانید.
- برای بهبود دقت، خروجی‌های مدل را با یک لایه‌ی بررسی انسانی (Human-in-the-loop) ترکیب کنید.
- ابزار basic-pitch را برای استخراج اولیه نت‌ها در پروژه‌های خود تست کنید.
اما داستان سخت‌افزاری این تحول حتی شگفت‌انگیزتر است — به تحلیل ما درباره‌ی تراشه‌های Blackwell مراجعه کنید.
گفتگو