اگر تصور می‌کنید ترنسفورمرها نقطه پایان مدل‌سازی توالی‌ها هستند، احتمالاً با واقعیتِ سیال داده‌های دنیای واقعی غریبه‌اید. باید بدانید که صلبیت معماری‌های فعلی باعث می‌شود مدل‌ها در مواجهه با داده‌های زمانی، دچار اتلاف محاسباتی شدید شوند.
به نقل از گزارش arxiv.org در ۷ مه ۲۰۲۶، پژوهشگران معماری FLUID (Flexible Unified Information Dynamics) را معرفی کرده‌اند که ادعای تغییر بنیادین در نحوه پردازش اطلاعات را دارد. بر اساس مستندات این پژوهش، این مدل مکانیسم سنتی «توجه ضرب-نقطه مقیاس‌شده» (Scaled-dot-product-attention) را با یک شبکه توجه مایع (Liquid Attention Network - LAN) جایگزین کرده است. در این رویکرد، لایه‌های توجه به جای عملیات گسسته، به عنوان یک سیستم دینامیکی پیوسته و در قالب معادلات دیفرانسیل معمولی (Ordinary Differential Equations - ODE) تعریف می‌شوند.
نوآوری‌های کلیدی این معماری عبارتند از:
- دروازه جذب توجه (Attention-Sink Gate): مکانیسمی برای حذف اثر گره‌های بی‌فایده که باعث اتلاف منابع محاسباتی می‌شدند.
- اتصالات فوق-بیش‌بست (Liquid Hyper-Connections): جایگزینی تطبیقی برای اتصالات باقی‌مانده (Residual Connections) که جریان اطلاعات بین لایه‌ها را مدیریت می‌کند.
- پایداری ترکیبی (Hybrid Stability): چارچوبی تئوریک که اجازه می‌دهد LAN به عنوان پلی میان ترنسفورمرها و شبکه‌های عصبی بازگشتی زمان-پیوسته (CT-RNNs) عمل کند.
در پوشش پیشین ما از مدل TRiP، دیدیم که چگونه بهینه‌سازی‌های سطح پایین در زبان C می‌توانند گلوگاه‌های پایتون را حذف کنند؛ اما FLUID مشکل کارایی را از ریشه و با بازتعریف ریاضیات مدل حل می‌کند. این تغییر باعث می‌شود مدل در برابر نویز مقاوم‌تر شود و در شرایطی که توزیع داده‌ها تغییر می‌کند، تعادل خود را حفظ کند.
نتایج تجربی خیره‌کننده است. FLUID در سناریوهایی مانند کنترل حفظ خط خودروهای خودران و یادگیری دینامیک‌های فیزیکی با داده‌های محدود، به بهبود ۴۷ درصدی نسبت به مدل‌های پایه دست یافته است. در حالی که هوش مصنوعی زاینده (Generative AI) بیشتر بر تولید محتوا متمرکز است، این تحول در مدل‌سازی پیوسته، مسیر را برای رباتیک پیشرفته هموار می‌کند.
اما این تحول ریاضی تنها بخشی از داستان است؛ تأثیر این رویکرد بر سخت‌افزارهای نسل آینده را در گزارش بعدی بررسی خواهیم کرد.
گام بعدی شما
- بررسی مقاله کامل FLUID در arxiv برای درک فرمولاسیون ODEها.
- آزمایش مدل‌های زمان-پیوسته در پروژه‌های تحلیل سری‌های زمانی نامنظم.
- دنبال کردن بنچمارک‌های جدید در حوزه کنترل خودروهای خودران.
گفتگو