پرش به محتوای اصلی
پرش به محتوای مقاله

درون سازوکار Omni Reference برای تثبیت شخصیت‌ها در Kling 4.0

·۲۲ مهر ۱۴۰۵۴ دقیقه مطالعه
تصویر: نمایی از رابط Kling 4.0 با ابزارهای کی‌فریم و مرجع‌گیری چندزاویه‌ای
تصویر: نمایی از رابط Kling 4.0 با ابزارهای کی‌فریم و مرجع‌گیری چندزاویه‌ای
اشتراک‌گذاری
واقعاً چه چیز جدید است؟

جایگزینی سیستم پرامپت خطی با سیستم کی‌فریم (تا ۱۰ نقطه کنترل) و معرفی Omni Reference برای تثبیت بصری با استفاده از ۵۰ فایل مرجع.

تصور کنید کارگردانی می‌کنید که بازیگر اصلی‌اش در هر پلان تغییر چهره می‌دهد یا دکور اتاق در میانه‌ی یک نما جابه‌جا می‌شود؛ این کابوسِ همیشگی تولید ویدیو با هوش مصنوعی بود. اما در ۲۸ سپتامبر ۲۰۲۶، تیم Kling AI از شرکت Kuaishou مدل Kling 4.0 را منتشر کرد تا دوران «پرامپت بنویس و دعا کن» را به پایان برساند. این مدل جدید، قرعه‌کشی‌های تصادفی را با نقاط کنترل اعلامی (Declarative Control Points) جایگزین کرده است و اجازه می‌دهد یک کلیپ ۳۰ ثانیه‌ای دقیقاً مانند یک استوری‌بورد حرفه‌ای طراحی و کارگردانی شود.

زمینه: بحران رانش در ویدیوهای هوش مصنوعی

برای سال‌ها، مدل‌های تبدیل متن به ویدیو (Text-to-Video) از پدیده‌ای به نام «رانش» (Drift) رنج می‌بردند. در این حالت، مدل هر فریم را انگار یک شروع تازه می‌دید و تداوم بصری از بین می‌رفت. این اتفاق به این دلیل می‌افتاد که مدل‌ها هر نسل تولید را به عنوان یک نقطه شروع مستقل در نظر می‌گرفتند. همان‌طور که در تحلیل‌های قبلی ما درباره‌ی ثبات بصری در مدل‌های مولد اشاره کردیم، نبودِ یک لنگر ثابت برای هویت اشیا، تولید ویدیوهای طولانی را غیرممکن می‌کرد.

مدل‌های قدیمی‌تر یک پرامپت واحد را می‌گرفتند و یک کلیپ پیوسته برمی‌گرداندند. این روش برای کلیپ‌های ۵ تا ۱۰ ثانیه‌ای جواب می‌داد، اما در زمان‌های طولانی‌تر از هم می‌پاشید. حرکات دوربین تصادفی به نظر می‌رسید و نبود کنترل دقیق، تولیدات حرفه‌ای را تقریباً غیرممکن می‌کرد. این چالش‌ها باعث شد تا رویکردهای متفاوتی برای حذف تصادف در تولید ویدیو شکل بگیرد، مشابه آنچه در سیستم تولید ویدیوهای قطعی LaunchVideo مشاهده کردیم که از کدنویسی خالص برای دستیابی به دقت بالا استفاده می‌کند.

طبق گزارش فنی منتشر شده در dev.to، مدل Kling 4.0 این مشکل را با سیستم کی‌فریم (Keyframe) — شبیه به نقاط کلیدی در یک استوری‌بورد که مسیر حرکت را تعیین می‌کنند — حل کرده است. حالا کاربر به‌جای نوشتن یک پاراگراف طولانی، می‌تواند تا ۱۰ کی‌فریم تعریف کند تا حرکت دوربین و اکشن صحنه را دقیقاً طراحی کند. شما می‌توانید یک نمای باز (Establishing Shot) برای معرفی محیط، یک نمای نزدیک (Close-up) و یک نمای هوایی (Aerial View) را به عنوان پانل‌های مجزای استوری‌بورد تعریف کنید.

اگر پلان سوم یک ویدیو خراب شود، دیگر نیازی نیست کل سکانس را از اول بسازید. شما فقط کی‌فریم مربوط به آن لحظه را اصلاح می‌کنید و دو پلان موفق قبلی را حفظ می‌کنید. این تغییر، فرآیند تولید را از یک «قرعه‌کشی» به یک مسیر تکرارپذیر و مهندسی‌شده تبدیل می‌کند. برای توسعه‌دهندگان، این انتقال به نقاط کنترل اعلامی، پرامپت‌نویسی را از یک بازی شانس به یک فرآیند تکرار شونده (Iterative Process) تبدیل کرده است.

جزئیات: موتور ثبات بصری

برای حل مشکل ثبات شخصیت‌ها، قابلیت Omni Reference معرفی شده است. این سیستم ثبات بصری را به‌جای شانس، به عنوان یک ورودی (Input) می‌بیند. در این رویکرد، یک تولید واحد می‌تواند از مجموعه‌ای شامل ۵۰ فایل ارسالی برای استخراج ویژگی‌ها استفاده کند، که شامل موارد زیر است:

  • تا ۳۰ تصویر
  • ۱۰ کلیپ ویدیو
  • ۱۰ فایل صوتی

با قفل کردن ۱۵ مورد از این مراجع چندوجهی (Multimodal) — یعنی مدلی که هم‌زمان متن، عکس و صدا را می‌فهمد، مثل ما که با چند حس دنیا را می‌خوانیم — مدل می‌تواند چهره دقیق یک شخصیت، رنگ خاص یک محصول یا نورپردازی یک اتاق را در تمام کات‌ها حفظ کند. این قابلیت برای اولین بار تولید ویدیوهای چند-شاتی (Multi-shot) را عملی می‌کند، زیرا تداوم فضایی (Spatial Continuity) در حالی که دوربین در صحنه حرکت می‌کند، حفظ می‌شود.

صدا و سطوح دسترسی

در بخش صدا، Kling 4.0 صدای استریو با همگام‌سازی لب (Lip-sync) بهبودیافته را برای زبان‌ها، لهجه‌ها و گویش‌های مختلف ارائه می‌دهد. این موضوع برای صحنه‌هایی که محوریت آن‌ها دیالوگ است و یا ویدیوهای تبلیغاتی «ساکت-رو» (Talking-head) حیاتی است. این پیشرفت در نمایش شخصیت‌های دیجیتال، یادآور موفقیت‌های آواتارهای تعاملی Synthesia است که توانسته‌اند با بهبود تعامل بصری و صوتی، نرخ یادگیری کاربران را افزایش دهند. این قابلیت نیاز توسعه‌دهندگان به خط لوله‌های پردازش پس‌تولید برای تنظیم صدا و تصویر را از بین می‌برد؛ مشکلی که پیش از این باعث می‌شد صدا و تصویر از هم فاصله بگیرند و ناهماهنگ شوند.

بر اساس مستندات منتشر شده، دسترسی به این مدل در دو سطح ارائه می‌شود:

  • Kling 4.0 Flash: در حال حاضر دسترسی محدود برای مشترکین سالانه Ultra؛ تولید کلیپ‌های ۲۰ ثانیه‌ای با کیفیت 720p که برای تکرار سریع و تست ایده‌ها طراحی شده است.
  • مدل کامل (Full Model): عرضه عمومی در اکتبر ۲۰۲۶ (تاریخ دقیق هنوز اعلام نشده است)؛ پشتیبانی از کلیپ‌های ۳۰ ثانیه‌ای، ۱۰ کی‌فریم و سیستم کامل Omni Reference.

هرچند خروجی 4K با استاندارد 10-bit HDR در لیست «به‌زودی» قرار دارد، اما شرکت هنوز قیمت‌گذاری رسمی را برای هیچ‌یک از این دو سطح اعلام نکرده است. این بدان معناست که سطح کیفیت پخش تلویزیونی (Broadcast-grade) فعلاً یک وعده است، نه یک قابلیت روز اول.

نکات کاربردی برای سازندگان

این تحول یعنی ویدیوهای هوش مصنوعی از یک «دموی جذاب» به یک «ابزار تولیدی» تبدیل شده‌اند. برای سازندگان، ارزش واقعی دیگر در مهارت نوشتن پرامپت نیست، بلکه در کیفیت کتابخانه دارایی‌های بصری (Asset Library) شماست. تیم‌هایی که از همین حالا تصاویر مرجع و فایل‌های صوتی خود را سازماندهی کنند، در کیفیت خروجی نهایی برتری چشمگیری خواهند داشت.

توسعه‌دهندگان باید سه قانون عملی را دنبال کنند:

  • بودجه‌بندی برای تکرار: اولین خروجی به‌ندرت نهایی است؛ برای هر کلیپ چندین بار تلاش را پیش‌بینی کنید.
  • آماده‌سازی دارایی‌های مرجع: کتابخانه‌های مرجع را به عنوان بخش اصلی خط لوله تولید خود در نظر بگیرید.
  • پروتوتایپ با مشخصات موجود: کیفیت 4K HDR را به عنوان یک نقشه راه (Roadmap) ببینید، نه یک واقعیت فعلی.

منتظر عرضه عمومی کامل در اواخر این ماه باشید تا ببینیم آیا سیستم Omni Reference در سکانس‌های پیچیده با حرکت‌های شدید (High-motion) نیز پایداری خود را حفظ می‌کند یا خیر.

اما داستان سخت‌افزاری این تحول حتی شگفت‌انگیزتر است — به تحلیل ما درباره‌ی تراشه‌های Blackwell مراجعه کنید.

چرا این موضوع مهم است؟

این به‌روزرسانی با تکیه بر اعتبار فنی Kuaishou، برای نخستین بار تولید ویدیوهای چند-شات با ثبات کامل شخصیت را ممکن می‌کند. این یعنی کاهش شدید هزینه‌های پس‌تولید برای استودیوهای تبلیغاتی و سازندگان محتوا.

تأثیر برای ایران

به‌دلیل محدودیت‌های دسترسی به سرویس‌های Kuaishou، کاربران ایرانی برای استفاده از این ابزار به ابزارهای تغییر آی‌پی نیاز دارند، اما این مدل فرصتی استثنایی برای تولیدکنندگان محتوای بصری ایرانی جهت کاهش هزینه‌های فیلم‌برداری است.

·نگاه ما
تحریریه دات‌هوش

تمرکز Kling 4.0 بر «کنترل اعلامی» (Declarative Control) نشان می‌دهد که عصر جادوی پرامپت به پایان رسیده و عصر کارگردانی داده‌محور آغاز شده است. وقتی کنترل روی کی‌فریم‌ها جایگزین حدس و گمان می‌شود، هوش مصنوعی از یک هنرمند پیش‌بینی‌ناپذیر به یک اپراتور دقیق تبدیل می‌شود که ابزار دست متخصصان است، نه جایگزین آن‌ها.

منابع

این گزارش با خط‌لولهٔ خودکار دات‌هوش از منابع معتبر جهانی تدوین و زیر نظر تحریریه منتشر شده است. روش کار ما

گفتگو

پنج‌شنبه‌های هوش‌محور

بسته‌ی هفتگی دات‌هوش

۵ خبر، ۲ ابزار، ۱ پرامپت در هر شماره. به‌زودی راه‌اندازی می‌شود — هر پنج‌شنبه صبح.

خبر کلیدی
ابزار کاربردی
پرامپت حرفه‌ای
تحلیل پژوهش
به‌زودی
زاویه‌ی ایرانی
به‌زودی
تمرین این هفته
به‌زودی

راهنماهای دات‌هوش

راهنماهای کاربردیِ دات‌هوش برای کار با هوش مصنوعی — از همین‌جا شروع کنید:

دات‌هوش

راهنمای فارسی هوش مصنوعی — با نگاه به ایران

اخبار روزانه، معرفی ابزارها و مدل‌ها، و آموزشِ کار با هوش مصنوعی؛ همیشه با این پرسش که از ایران چه چیزی کار می‌کند و چه چیزی نه.