تصور کنید تنها با یک جمله، تمام مراحل خستهکننده تدوین ویدیو حذف شود و هوش مصنوعی بهجای تولید کلیپهای تصادفی، دقیقاً طبق استوریبورد شما عمل کند. اکنون با بازسازی کامل گردش کار VideoAgent، توسعهدهندگان میتوانند دستورات زبان طبیعی را به تدوینهای پیچیده تبدیل کنند.
این رویکرد در حالی مطرح میشود که صنعت از تولید کلیپهای ساده به سمت تولیدات ساختاریافته و چندمرحلهای حرکت میکند. مدل زبانی بزرگ (LLM) — مثل کتابخانهداری که میلیاردها صفحه را خوانده و حالا با همان لحن کتابها جواب میدهد — در اینجا نقش معمار سیستم را دارد. همانطور که در تحلیل قبلی ما دربارهی زیرساختهای رویداد-محور اشاره کردیم، گلوگاههای اجرای همزمان همیشه یک چالش بودهاند؛ اما VideoAgent با استفاده از معماری «تختهسیاه مشترک» (shared blackboard)، خروجیهای میانی را بین گرههای تخصصی مدیریت میکند. این مدیریت ساختاری یادآور رویکردهای پیشرفته در سازماندهی گفتگوهاست، مشابه آنچه در پیادهسازی مدل درختی گفتگو برای مدیریت نسخههای چت دیدیم تا از تداخل مسیرهای اجرایی جلوگیری شود.
طبق مستندات منتشر شده، فرآیند با یک تجزیهکننده قصد (Intent Parser) آغاز میشود که حداقل قابلیتهای مورد نیاز را شناسایی میکند. برای مثال، اگر کاربر بخواهد به سوالی درباره ویدیو پاسخ دهد، سیستم بهطور خودکار مراحل «استخراج صوت» و «ترنسکریپشن» را فعال میکند. فضای قصد در این سیستم شامل مواردی نظیر تشخیص ریتم، نمونهبرداری از فریمهای کلیدی و برنامهریزی نما (Shot Planning) است.
پس از شناسایی قصدها، یک مسیریاب ابزار، عاملهای مناسب را از کتابخانه انتخاب میکند. این کتابخانه شامل عاملهای تخصصی مانند AudioExtractor و SceneDetector است. سیستم میتواند در حالت قطعی (Deterministic) عمل کند یا از مدلهای gpt-4o-mini، deepseek-chat، claude-3-5-sonnet-latest و gemini-1.5-flash برای ترسیم گراف اولیه استفاده کند.
ترمیم گراف با گرادیان متنی
ساخت یک خط لوله (Pipeline) ویدئویی اغلب با مشکل نبود وابستگیها مواجه است. برای حل این مسئله، VideoAgent یک بهینهساز گرادیان متنی (Textual-Gradient) را پیاده کرده است که با گراف عامل را به عنوان یک ساختار مشتقپذیر میبیند تا آن را ترمیم کند.
به نقل از گزارشهای فنی، این بهینهساز سه معیار کلیدی را برای سنجش خطا اندازه میگیرد:
- Tau ($\tau$): بررسی ترتیب توپولوژیک و نبود دور (Cycle) در گراف. اگر گراف دور داشته باشد، مقدار $\tau$ صفر میشود.
- Kappa ($\kappa$): اندازهگیری درصد پوشش قصدهای مورد نیاز توسط عاملهای انتخابشده.
- Chi ($\chi$): ارزیابی سازگاری خروجیها بین گرههای متصل.
اگر گرهای ورودی لازم را نداشته باشد، بهینهساز یک «گرادیان متنی» یا همان ویرایش متنی صادر میکند تا عامل تولیدکننده را جایگذاری کند. برای نمونه، ممکن است دستوری مثل «درج Transcriber $\rightarrow$ تأمین ترنسکریپت مورد نیاز برای Summarizer» صادر شود. این فرآیند بهصورت تکرار شونده (بهطور پیشفرض ۴ دور) ادامه مییابد تا تابع زیان ساختاری و همراستاسازی به صفر برسد.
زنجیره ابزارهای چندوجهی
در لایه اجرایی، مجموعهای متراکم از ابزارها قرار دارند. سیستم از FFmpeg برای برش دقیق و رندرینگ و از مدل base در Whisper برای تبدیل گفتار به متن با برچسب زمانی استفاده میکند.
برای درک بصری، خط لوله از بردارهای معنایی (Embedding) — مثل کارت معرفی عددی برای هر واژه که میگوید این کلمه «همسایهی» چه کلمات دیگری است — به سبک CLIP از طریق sentence-transformers بهره میبرد. این قابلیت اجازه میدهد تا یک شاخص چندوجهی (Cross-modal Index) ساخته شود که فریمهای کلیدی، کپشنها و بخشهای ترنسکریپت را همتراز کند.
طبق بررسی منابع متعدد، مکانیزمهای داخلی سیستم به شرح زیر است:
- تشخیص صحنه مبتنی بر هیستوگرام: شناسایی مرزهای نما با تحلیل تغییرات رنگ در ۲ فریم بر ثانیه.
- بازیابی شباهت کسینوسی (Cosine Similarity): یافتن بهترین تطبیق بصری برای استوریبورد با استفاده از CLIP.
- تشخیص ریتم: استخراج پوشهای انرژی RMS از صوت برای ایجاد شبکه ضربان (Beat Grid).
- نمونهبرداری فریم کلیدی: استخراج یک فریم نماینده از مرکز هر صحنه و تغییر اندازه آن به ۲۲۴ پیکسل.
- شرحنویسی (Captioning): استفاده از روش Zero-shot CLIP برای برچسبگذاری صحنهها (مثلاً «نمای نزدیک» یا «منظره بیرونی»).
قابلیتهای تفصیلی عاملها
برای دستیابی به نتایج، هر عامل ورودی و خروجی مشخصی دارد:
- RhythmDetector: صوت $\rightarrow$ نقاط برش بر اساس ضربان.
- CrossModalIndexer: فریم/کپشن/ترنسکریپت $\rightarrow$ شاخص متنی-بصری CLIP.
- ShotPlanner: دستور/کپشن $\rightarrow$ پرسوجوهای استوریبورد.
- BeatSyncEditor: نقاط ریتم/صحنهها $\rightarrow$ مونتاژ بر اساس ضربان.
- NewsContentGenerator: ترنسکریپت $\rightarrow$ گزارش خبری محاورهای.
مرحله نهایی، اجرای گراف بهینهشده است. ShotPlanner پرسوجوهای استوریبورد را تولید میکند و RetrievalAgent آنها را به صحنههای خاص میرساند. در نهایت، Trimmer کلیپهای ۲ ثانیهای را جدا کرده و VideoEditor آنها را متصل میکند. برای خروجیهای با ضربآه بالا، BeatSyncEditor برشها را دقیقاً روی شبکه ضربان تنظیم میکند تا هیچ برشی بیشتر از ۱.۲ ثانیه نباشد. کل توالی در نهایت با استفاده از libx264 رندر میشود تا برای پخش وب بهینه باشد.
به گزارش Marktechpost، این معماری ورودیهای خام ویدئویی را از طریق یک حلقه عاملمحور به خروجیهای ساختاریافته تبدیل میکند. در محیطهای تست، از ویدیوهای سنتتیک درباره GPT-4o برای اثبات توانایی سیستم در سناریوهای پرسوپاسخ (QA)، نمای کلی (Overview) و مونتاژ ریتمیک استفاده شده است.
این تغییر رویکرد نشان میدهد که آینده تدوین ویدیو با هوش مصنوعی، نه فقط در تولید تصاویر بهتر، بلکه در ارکستراسیون یا سازماندهی بهتر است. با جداسازی «چه چیزی» (قصد) از «چگونه» (برنامهریزی گراف) و افزودن مکانیسم ترمیم، شکنندگی مدلهای زبانی در گردشهای کاری چندمرحلهای کاهش یافته است.
گام بعدی شما
- استقرار این معماری در محیط Google Colab برای تست فایلهای MP4 شخصی خودتان.
- بررسی نحوه جایگزینی مدلهای سبکتر مانند
gpt-4o-miniبرای کاهش هزینه استنتاج در گرافهای پیچیده. - مطالعه مستندات FFmpeg برای شخصیسازی بیشتر لایه رندرینگ در خروجیهای VideoAgent.
اما تأثیر این سازماندهی بر هزینههای پردازشی در مقیاس بالا چه خواهد بود؟ تحلیل ما درباره تراشههای Blackwell و بهینهسازی استنتاج را دنبال کنید.
گفتگو