اگر در حال طراحی عاملهای یادگیری تقویتشده برای محیطهای صنعتی هستید، احتمالاً با دیوارهای سختِ محدودیتهای عملیاتی برخورد کردهاید. تصور کنید عامل شما باید تصمیمی بگیرد، اما در وضعیت فعلی، نیمی از گزینههای ممکن بهدلیل قوانین سخت سیستمی غیرمجاز هستند؛ اینجاست که مدلهای فعلی معمولاً شکست میخورند.
طبق اعلام پژوهشگران در ۱۰ ژوئن ۲۰۲۶، چارچوب جدیدی به نام رمزگشایی امتیاز بلمن-تیلور (Bellman-Taylor score decoding) معرفی شده است که این بنبست را با جداسازی یادگیری سیاست از امکانسنجی عملیات از بین میبرد.
در حوزهی تحقیق در عملیات، بسیاری از فرآیندهای تصمیمگیری مارکوف (Markov Decision Processes - MDP) تحت محدودیتهایی هستند که برخی اقدامات را در وضعیتهای خاص نامعتبر میکنند. همانطور که در تحلیلهای پیشین ما دربارهی بهینهسازی مدلهای استدلالی اشاره کردیم، تضاد میان انعطافپذیری مدل و محدودیتهای سخت محیط، همواره یکی از چالشهای اصلی است. رابطهای فعلی در یادگیری تقویتشده عمیق (Deep Reinforcement Learning - DRL) معمولاً فرض میکنند فهرستی از اقدامات ثابت است یا در یک فضای اقلیدسی ساده قرار دارد و این امر توسعهدهندگان را مجبور میکند مسائل را بیش از حد ساده کنند یا از محدودیتهای صلب استفاده کنند که بازدهی آموزش را میکاهند.
به نقل از مقالهی منتشر شده در arxiv.org، این پروتکل یادگیری سیاست را به یک «فضای امتیاز» اقلیدسی منتقل میکند. جزئیات فنی این معماری به شرح زیر است:
- لایهی رمزگشای اقدام: یک رمزگشای تخصصی، امکانسنجی اقدامات را تضمین میکند.
- بهینهسازی فضای پنهان: الگوریتمهای استاندارد DRL میتوانند MDP فضای امتیاز را بهینهسازی کنند، بدون اینکه نیاز باشد از طریق خودِ رمزگشا دیفرانسیلگیری کنند.
- تضمین عملکرد: نویسندگان ثابت کردهاند که شکاف بهینگی به دو بخش «خطای تخمین ساختاری» و «خطای یادگیری الگوریتمی» تجزیه میشود.
برای تأیید این تئوری، تیم پژوهشی از این چارچوب در مسئله کنترل یک شبکه صفبندی استفاده کرد تا قوانین اعزام مبتنی بر شاخص را یاد بگیرد. نتایج نشان داد که در نمونههای کوچک، عملکرد مدل تقریباً بهینه است و در سیستمهای بزرگتر، بهبودهای قابلتوجهی نسبت به بنچمارکهای موجود داشته است.
این معماری فرضیات میدان را تغییر میدهد؛ بهجای نگاه به امکانسنجی اقدام به عنوان یک محدودیت مرزی، آن را به عنوان یک مسئلهی رمزگشایی تعریف میکند. با حذف نیاز به توابع جریمه (penalty functions) که نیاز به تنظیم دستی و دشوار دارند، متخصصان اکنون میتوانند بهینسازهای عمومی DRL را در محیطهای صنعتی با محدودیتهای شدید به کار بگیرند.
گام بعدی شما
- اگر در حوزهی لجستیک یا زمانبندی منابع ابری فعالیت میکنید، خطای ساختاری پیشینی (a-priori structural error) رویکرد فضای امتیاز را ارزیابی کنید.
- برای پیادهسازی، بررسی کنید که آیا لایههای رمزگشای شما در مقیاس شبکههای عظیم، تأثیری بر زمان استنتاج در لحظه دارند یا خیر.
- بررسی کنید که آیا جایگزینی توابع جریمه با این رمزگشا، نرخ همگرایی مدل شما را در محیطهای constrained بهبود میدهد یا نه.
اما اثر این تغییر در کاهش هزینههای محاسباتی استنتاج حتی حیاتیتر است — به تحلیل ما دربارهی بهینهسازی لایههای پنهان مراجعه کنید.
گفتگو