بسیاری از مدل‌های تولید داده، در مواجهه با ساختارهای هندسی پیچیده، دچار خطاهای ساختاری می‌شوند. اگر از مدل‌های انتشار برای بازسازی داده‌های با توپولوژی خاص استفاده می‌کنید، احتمالاً با مشکل عدم تطابق هندسی در خروجی‌ها مواجه شده‌اید.
مدل‌های انتشار (Diffusion Models) معمولاً فرض می‌کنند که وضعیت نهایی داده‌ها یک توزیع گوسی (Gaussian Distribution) ساده و یکنواخت است. همان‌طور که در تحلیل‌های پیشین ما درباره‌ی دینامیک نویز در مدل‌های مولد اشاره کردیم، این ساده‌انگاری باعث می‌شود هندسه واقعی داده‌ها در اثر نویز از بین برود و مدل در بازسازی منیفولدها (Manifolds) — یا همان ساختارهای کم‌بعدی در فضاهای پربعد — شکست بخورد.
در ۹ ژوئن ۲۰۲۶، چارچوبی به نام PTL-Diffusion معرفی شد تا این شکاف را پر کند. بر اساس مستندات این پژوهش، این مدل به جای یک توزیع نهایی ایستا، از خانواده‌ای از قوانین دوره‌ای استفاده می‌کند. این سیستم از یک فرآیند پیش‌رو از نوع اورنستاین-اولنبک (Ornstein-Uhlenbeck) با تحریک دوره‌ای بهره می‌برد.
به نقل از گزارش arxiv.org، این ساختار قابلیت‌های زیر را فراهم می‌کند:
- دستیابی به حاشیه‌های پیش‌رو در فرم بسته و احتمال‌های معکوس گوسی صریح.
- ایجاد یک خانواده گوسی دوره‌ای که ساختار فاز را مستقیماً در دینامیک نویز جاسازی می‌کند.
- استفاده از یک ترم تنظیم‌کننده میانگین-ناوردا که دینامیک‌های معکوس شرطی‌شده با فاز را از طریق قانون مرجع دوره‌ای به هم پیوند می‌دهد.
آزمایش‌های انجام شده روی مجموعه‌داده‌های ابری نقطه‌ای (Point-cloud) مانند توروس و استوانه، و همچنین مجموعه‌داده چهره‌های Olivetti نشان داد که PTL-Diffusion خطاهای شرطی‌شده با فاز و خطاهای کوواریانس فضای ویژگی را کاهش داده و فاصله منیفولد در نزدیک‌ترین همسایگی‌ها را بهبود می‌بخشد.
این تحول، پیش‌فرض قدیمی مبنی بر کفایت توزیع نویز واحد برای تمامی انواع داده‌ها را به چالش می‌کشد. با جاسازی ساختار فاز در دینامیک نویز — به جای اینکه فاز صرفاً یک شرط برای شبکه حذف‌نویز باشد — یک پیش‌فرض هندسی دقیق‌تر ایجاد شده است. این بدان معناست که تطبیق قانون نهایی با توپولوژی زیربنایی داده، بار یادگیری مدل معکوس را به‌طور قابل‌توجهی کاهش می‌دهد.
گام بعدی شما
- مطالعه مقاله PTL-Diffusion برای درک نحوه پیاده‌سازی فرآیندهای اورنستاین-اولنبک دوره‌ای.
- بررسی کاربرد این متد در داده‌های غیر اقلیدسی که ساختار منیفولدی دارند.
- تحلیل اثر این رویکرد بر کاهش نرخ توهم در تولید داده‌های ساختاریافته.
اما اثر این رویکرد بر وظایف مولد در ابعاد بسیار بالاتر هنوز ناشناخته است — به تحلیل ما درباره‌ی قوانین مقیاس‌پذیری در مدل‌های انتشار مراجعه کنید.
گفتگو