متدولوژی جدید: جایگزینی ارزیابی‌های ذهنی با تثبیت‌های نامتقارن در مدل‌های تصویری

آیا نگاه کردن به چند نمونه تصویر برای تست واقعی یک مدل هوش مصنوعی کافی است؟ در ۱۰ سپتامبر ۲۰۲۶، یک تحلیل فنی در وب‌سایت dev.to استدلال کرد که این رویکرد مسیر شکست است و پیشنهاد داد که تنها راه اندازه‌گیری رفتار واقعی مدل در برابر نویز تصادفی، برخورد با مدل‌های تصویری به‌عنوان توابع غیرقطعی (Nondeterministic Functions) است؛ درست مثل برخورد با وابستگی‌های نرم‌افزاری غیرقابل‌اعتماد که هر بار ممکن است خروجی متفاوتی بدهند.

بسیاری از کاربران از رویکرد «مود‌بورد» (Mood Board) استفاده می‌کنند که در آن هر تصویر بر اساس زیبایی کلی و حس بصری قضاوت می‌شود. این روش شکست می‌خورد چون متغیرها و واریانس‌ها را نادیده می‌گیرد؛ مثلاً یک مدل ممکن است به‌طور تصادفی تست را پاس کند چون طراحی کاراکتر متقارن است یا فاقد عناصری است که بتوان آن‌ها را شمرد. برای حل این مشکل، پژوهشگر یک «تثبیت» (Fixture) طراحی کرد؛ کاراکتری با ویژگی‌های خاص و قابل تأیید که به‌طور عمدی طراحی شده تا مانع از موفقیت‌های تصادفی مدل شود.

همان‌طور که در تحلیل‌های قبلی ما درباره‌ی معیارهای ارزیابی مدل‌های مولد اشاره کردیم، تکیه بر حس بصری به‌جای داده‌های سخت، منجر به توهم در مورد توانایی‌های مدل می‌شود. این موضوع یادآور بررسی‌های ما درباره خطاهای بصری در مدل‌های زبانی است که نشان داد چگونه اطمینان بالای مدل می‌تواند ماسکی برای توهمات باشد. در این متدولوژی، مدل‌های تبدیل متن به تصویر (Text-to-Image) — که شبیه به نقاشی‌کشی‌هایی هستند که دستورات شما را می‌شنوند اما گاهی جزئیات را فراموش می‌کنند — با سخت‌گیرانه‌ترین معیارها سنجیده شدند تا مشخص شود کجا مدل واقعاً دستور را می‌فهمد و کجا صرفاً شانس می‌آورد.

تثبیت آزمایشی

برای عبور از ارزیابی‌های ذهنی و «وایب‌ها»، پژوهشگر کاراکتری با الزامات سخت‌گیرانه و دقیق تعریف کرد:

• مو: مدل باب قهوه‌ای تیره، که دقیقاً در خط فک به‌صورت صاف برش خورده است.
• چشم‌ها: رنگ سبز-خاکستری کمرنگ.
• لباس: یک لایه پایه به رنگ خردلی، همراه با یک آستین زغالی که دقیقاً از زیر آرنج چپ شروع می‌شود.
• جزئیات نامتقارن: دقیقاً چهار حلقه ابزار روی ران راست و یک وصله زغالی روی زانوی چپ.

با گنجاندن عناصر شمارش‌پذیر و وابسته به سمت (چپ/راست)، نویسنده تضمین کرد که مدل نتواند با تولید یک کاراکتر متقارن، تست را دور بزند. بر اساس مستندات این آزمایش، مدل Tsubaki.3 روی پلتفرم PixAI مورد بررسی قرار گرفت تا متغیرها ایزوله شوند. این مدل پیش‌تر در تحلیلی درباره معماری Tsubaki.3 مورد نقد قرار گرفته بود، به‌ویژه در مورد نقاط ضعفش در مدیریت تصاویر مرجع در مقیاس بالا. نتایج این آزمایش‌ها شکاف عمیق و قابل توجهی را بین «هویت کلی» (که مدل در آن موفق بود) و «کنترل ساختاری دقیق» (که مدل در آن شکست خورد) نشان می‌دهد.

دنبال کردن دستورات و شمارش

در تستی با ۱۰ دستور قابل بررسی، چهار خروجی تولید شد که در آن‌ها هیچ چیزی جز «بذر» (Seed) — همان مقدار تصادفی اولیه که مثل اثر انگشت هر تصویر است — تغییر نکرده بود. طبق گزارش این تحلیل، ۶ ویژگی در تمام چهار خروجی ثابت ماند: کادربندی دوربین، اینکه کدام دست کدام شیء را نگه داشته، وجود آستین دو رنگ در بازوهای درست، حلقه‌ها روی ران درست، وصله روی زانوی درست و رنگ چشم‌ها. این موارد نشان‌دهنده رفتار پایدار و قابل پیش‌بینی مدل هستند.

با این حال، مدل در مواجهه با محدودیت‌های خاص به‌شدت دچار مشکل شد:

• شمارش: درخواست چهار حلقه ابزار تنها در یک مورد از چهار اجرای اول به‌درستی ظاهر شد (آن هم به‌صورت تسمه‌هایی روی یک کیف ابزار ابداعی). در سه مورد دیگر، تعداد حلقه‌ها به ترتیب ۶، ۷ و ۶ بود. در مجموع ۸ تولید (که شامل یک اجرای کنترلی با تغییر یک کلمه رنگی بود)، تعداد درستِ «چهار» تنها ۲ بار تکرار شد.
• زاویه دوربین: یکی از دستورات — درخواست زاویه پایین دوربین (Low Angle) — در تک‌تک اجراها شکست خورد و مدل هرگز آن را پیاده نکرد.
• جفت‌شدگی دستورات (Instruction Coupling): پرامپت از مدل خواست که شیئی را در ارتفاع سینه قرار دهد و هم‌زمان کاراکتر به بالا نگاه کند. تنها یک خروجی شرط اول را برآورده کرد، اما همان خروجی در شرط دوم شکست خورد. این ثابت می‌کند که مدل دو دستور مستقل را با هم جفت کرده و نمی‌تواند آن‌ها را به‌طور مجزا مدیریت کند.

پایداری وضعیت و ورودی‌های مرجع

هنگام انتقال کاراکتر به صحنه‌های جدید با پرامپت‌های تازه، هویت کلی (مو، چشم و رنگ‌های اصلی) پایدار ماند. اما «وضعیت ساختاری دقیق» (Fine-grained State) به‌طور کامل فروپاشید. در هر دو صحنه جدید، وقتی دوربین پشت کاراکتر قرار گرفت، تمام تخصیص‌های چپ و راست جابه‌جا شد: آستین خردلی و حلقه‌ها به سمت مقابل منتقل شدند تا در سمتی که به دوربین نزدیک‌تر بود قرار گیرند، نه در سمت تعریف شده در پرامپت.

استفاده از تصاویر مرجع (Reference Images) باعث کاهش واقعی طول پرامپت شد، زیرا رنگ‌ها و مدل مو بدون نیاز به هیچ توصیفی منتقل شدند. با این حال، نویسنده متوجه یک تفکیک واضح در آنچه منتقل می‌شود شد:

• انتقال‌های موفق: نواحی رنگی بزرگ و تخت و هویت کلی کاراکتر.
• شکست‌ها: اطلاعات ساختاری کوچک. تصویر مرجع نتوانست شکست رنگ در قسمت آرنج را منتقل کند و در نتیجه آستین‌ها ساده شدند و تعداد حلقه‌های ابزار به‌طور تصادفی تکثیر شد.

ویرایش در برابر تولید مجدد

بزرگ‌ترین و تکان‌دهنده‌ترین شکست در زمان ویرایش دستورات (Instruction Editing) رخ داد. نویسنده از مدل خواست لایه خردلی را به سبز-آبی تیره (Deep Teal) تغییر دهد، در حالی که صراحتاً در یک بندِ «حفاظتی»، خواست آستین زغالی حفظ شود. مدل ترکیب‌بندی را تقریباً دقیقاً حفظ کرد، اما هر دو آستین را سبز-آبی کرد — یعنی عنصری را که صراحتاً نام برده شده بود پاک کرد — و وصله زانو را هم دوباره رنگ‌آمیزی کرد. علاوه بر این، رزولوشن خروجی کمتر از تصویر منبع بود.

در مقابل، در حالت کنترلی — یعنی تولید مجدد تصویر از ابتدا با تغییر تنها یک کلمه — تمام ویژگی‌ها در چهار اجرا درست باقی ماندند، هرچند ترکیب‌بندی تصویر کاملاً متفاوت بود. این موضوع ثابت می‌کند که تولید مجدد (Regenerating) دقیقاً طبق پیش‌بینی‌های متدولوژی رفتار می‌کند، در حالی که ویرایش (Editing) ریسک از دست دادن همان بخش‌هایی را دارد که تصویر را در ابتدا ارزشمند کرده بود.

این تغییر در متدولوژی نشان می‌دهد که برای حرفه‌ای‌های حوزه کمیک یا طراحی شیت‌های کاراکتر، «جهت‌مندی» (Handedness) و «شمارش» تنها معیارهای واقعی هستند. اگر مدلی نتواند یک وصله خاص را روی یک زانوی خاص در زوایای مختلف حفظ کند، این یک شکست در پایداری وضعیت (State) است، نه یک انتخاب سبک بصری یا هنری.

گام بعدی شما

• به‌جای ارزیابی کلی و تکیه بر حس بصری، برای مدل‌های تصویری «تثبیت‌های نامتقارن» (مانند تعداد دقیق اشیا در یک سمت بدن) تعریف کنید تا موفقیت‌های تصادفی حذف شوند.
• برای ایزوله کردن متغیرها، بذر (Seed) را ثابت نگه دارید تا بفهمید مدل چه چیزی را می‌فهمد، و سپس آن را آزاد کنید تا توزیع خطاها را نمونه‌برداری کنید.
• در پروژه‌های حساس، به‌جای استفاده از ابزارهای ویرایشی (Editing) که ممکن است جزئیات را پاک کنند، از تولید مجدد (Regenerating) با پرامپت اصلاح‌شده استفاده کنید.
• برای پیاده‌سازی این روش، با تعریف کاراکتری شروع کنید که تعداد مشخصی آیتم در یک سمت بدن دارد و تست کنید که این تعداد در هنگام تغییر زاویه دوربین چگونه تغییر می‌کند.

اما داستان سخت‌افزاری این تحول حتی شگفت‌انگیزتر است — به تحلیل ما درباره‌ی تراشه‌های Blackwell مراجعه کنید.