معماری ترکیبی در برابر یادگیری تقویتی در مدیریت تخریب ربات‌های نرم

تصور کنید بازویی رباتیک دارید که برخلاف ماشین‌های فلزی، نمی‌شکند، بلکه به‌آرامی «فرسوده» می‌شود و دقتش را از دست می‌دهد. اگر از سیستم‌های کنترلی سنتی استفاده می‌کنید، احتمالاً متوجه این تخریب خاموش نمی‌شوید تا زمانی که ربات کاملاً از کار بیفتد.

به نقل از گزارش فنی منتشر شده در ۱۰ اکتبر ۲۰۲۶ در وب‌سایت dev.to، یک پشته برنامه‌ریزی ترکیبی با استفاده از هوش مصنوعی عصبی-نمادین و بازپشتی کوانتومی (Quantum Annealing)، تعداد شکست‌های پیش‌بینی‌نشده در گیره‌های رباتیک نرم را به تنها ۳ مورد در ۴۰۰ ساعت عملیات کاهش داد. این دستاورد راهکاری برای مدیریت «رانش خاموش» (silent drift) در محرک‌های الهام‌گرفته از زیست‌شناسی ارائه می‌دهد؛ پدیده‌ای که معمولاً مدل‌های هوش مصنوعی کلاسیک را به اشتباه می‌اندازد.

رباتیک نرم — که از موادی مانند سیلیکون و الاستومرهای دی‌الکتریک استفاده می‌کند — مانند ماشین‌های سخت نمی‌شکند، بلکه دچار زوال می‌شود. آن‌ها دچار گسیختگی ناگهانی نمی‌شوند، بلکه تخریب می‌شوند. برای مثال، یک محرک پنوماتیک ممکن است هر هزار چرخه، ۲ تا ۳ درصد از نیروی خود را به دلیل خستگی ماده از دست بدهد. این تخریب اغلب با عواملی مثل رطوبت، تاریخچه بارگذاری (payload history) و پروفایل کرنش خاص هر تسک گره خورده است. همین پیچیدگی باعث می‌شود ردیابی این وضعیت برای برنامه‌ریزهای نمادین سنتی که فقط از حالت‌های باینری «سالم» یا «خراب» استفاده می‌کنند، تقریباً غیرممکن باشد.

همان‌طور که در تحلیل قبلی ما درباره‌ی برنامه‌ریزی عصبی-نمادین در تولیدات چرخشی اشاره کردیم، این کاربرد جدید منطق را از زنجیره تأمین به سخت‌افزارهای فیزیکی منتقل کرده است. در حالی که تمرکز تولید بر جریان منابع بود، رباتیک نرم نیازمند ادغام عمیق داده‌های حسگرهای پیوسته و زمان‌بندی گسسته برای تعمیرات است. نویسنده گزارش اشاره می‌کند که برخلاف تصور اولیه، سخت‌ترین بخش، فیزیک خم شدن و پیچ خوردن نبود، بلکه برنامه‌ریزی تعمیرات در شرایط عدم قطعیت — به‌ویژه مدیریت ریزترک‌ها در محرک‌های الاستومر دی‌الکتریک که تنها پس از صدها چرخه به صورت رانش (drift) ظاهر می‌شوند — گلوگاه اصلی بود.

معماری عصبی-نمادین

این سامانه، ادراک را از استدلال از طریق یک لایه گزاره‌ای آموخته‌شده جدا می‌کند. به‌جای استفاده از آستانه‌های سخت برای تصمیم‌گیری درباره خرابی ربات، یک شبکه عصبی کوچک، جریان‌های خام حسگر را به گزاره‌های نمادین احتمالی (probabilistic symbolic predicates) تبدیل می‌کند. این معماری برای محیطی طراحی شده که پاسخ‌ها هرگز صفر و یک نیستند، بلکه سوال این است: «با توجه به این اثر تخریب، بهینه‌ترین اقدام تعمیراتی چیست و چه زمانی باید انجام شود؟»

این رویکرد در واقع تکامل یافته‌ی همان منطقی است که ترکیب هوش مصنوعی نمادین و عصبی توانست توهمات را در حسابرسی مالی حذف کند و دقت تحلیل داده‌ها را به سطح جدیدی برساند.

مدل PredicateGrounder از یک رمزگذار (encoder) با توابع فعال‌ساز GELU استفاده می‌کند تا ابعاد حسگر را به یک فضای نهان (hidden space) منتقل کند، که سپس به یک سرِ گزاره‌ای (predicate head) و یک سرِ سلامت (health head) تغذیه می‌شود. این مدل احتمالات سیگموئیدی را برای حالت‌هایی مثل «تخریب‌شده» (degraded)، «نزدیک به شکست» (near_failure) و «اسمی» (nominal)، به همراه یک جاسازی سلامت پیوسته (continuous health embedding) خروجی می‌دهد. با اجتناب از گسسته‌سازی زودهنگام، برنامه‌ریز نمادین می‌تواند صراحتاً درباره عدم قطعیت استدلال کند. این قابلیت به سیستم اجازه می‌دهد تا تنها با تنظیم یک آستانه در مراحل پایین‌دست، بین سیاست‌های تعمیراتی محافظه‌کارانه و تهاجمی جابجا شود.

حل انفجار ترکیبی

پس از شناسایی ریسک‌ها توسط لایه عصبی، لایه نمادین زمان‌بندی و تخصیص منابع را بر عهده می‌گیرد. طبق گزارش نویسنده، یادگیری تقویتی (RL) سرتاسری در این بخش به‌طور مداوم شکست خورد. مدل‌های RL اغلب اقداماتی برای تعمیرات پیشنهاد می‌کردند که یا از بودجه موجود فراتر می‌رفت یا پنجره‌های زمانی تسک‌های برنامه‌ریزی‌شده را نادیده می‌گرفت.

برای حل این مشکل، سیستم از یک لایه منطق مشتق‌پذیر برای محدودیت‌های نرم و یک برنامه‌ریز کلاسیک برای زمان‌بندی سخت استفاده می‌کند. برنامه‌ریز نمادین، محرک‌ها را بر اساس «کاهش ریسک مورد انتظار به ازای هر واحد هزینه» رتبه‌بندی می‌کند؛ در اینجا ریسک به عنوان حاصل‌ضرب گزاره «نزدیک به شکست» در معکوسِ جاسازی سلامت محاسبه می‌شود. با این حال، با افزایش تعداد محرک‌ها، مسئله زمان‌بندی به یک مسئله بهینه‌سازی باینری کوادراتیک بدون محدودیت (QUBO) تبدیل می‌شود. وقتی تعداد محرک‌ها به بیش از ۲۰ عدد با محدودیت‌های تعمیراتی متداخل برسد، حل‌کننده‌های دقیق کلاسیک به یک دیوار محاسباتی برخورد می‌کنند.

اینجاست که رایانش کوانتومی وارد خط لوله می‌شود. مسئله زمان‌بندی تعمیرات به‌طور طبیعی به QUBO نگاشت می‌شود، جایی که متغیرهای باینری نشان می‌دهند که آیا یک محرک خاص در یک پنجره زمانی مشخص تعمیر شود یا خیر. تابع هدف، ریسک تخریب، هزینه مداخله و جریمه‌های جفت‌شدگی (coupling penalties) — مانند عدم امکان تعمیر هم‌زمان دو محرک که روی یک خط هیدرولیک مشترک هستند — را با هم ترکیب می‌کند.

مکانیزم QUBO و ادغام کوانتومی

در فرمول‌بندی QUBO، هر متغیر $x_{i,t}$ نشان‌دهنده این است که آیا محرک $i$ در پنجره زمانی $t$ تعمیر می‌شود یا خیر. سیستم برای تعمیر محرک‌های پرریسک پاداش در نظر می‌گیرد که در مقابل هزینه مداخله متوازن می‌شود. برای جلوگیری از ایجاد زمان‌بندی‌های غیرممکن، سیستم یک جریمه (مثلاً با مقدار ۱۰.۰) اضافه می‌کند تا تضمین شود هر محرک در کل بازه زمانی حداکثر یک‌بار تعمیر شود.

این خط لوله توالی دقیقی را دنبال می‌کند:

• ادراک عصبی: نگاشت حسگرها به گزاره‌های احتمالی توسط GPU (کلاسیک).
• انتزاع نمادین: فرمول‌بندی مسئله QUBO توسط CPU (کلاسیک).
• نمونه‌برداری کوانتومی: تولید زمان‌بندی‌های کاندید از طریق بازپشتی کوانتومی (Quantum Annealing) یا الگوریتم بهینه‌سازی تقریبی کوانتومی (QAOA) یا شبیه‌سازی آن (کوانتومی/شبیه‌سازی).
• اعتبارسنجی نمادین: بررسی کلاسیک برای اطمینان از رعایت محدودیت‌های سخت، مانند بودجه و پنجره‌های زمانی (کلاسیک).
• حلقه بازخورد: بازآموزی لایه عصبی بر اساس نتایج واقعی اجرای برنامه (کلاسیک).

بنچمارک‌های دنیای واقعی

نویسنده این پشته را روی یک بستر آزمایشی شامل سه گیره نرم پنوماتیک مجهز به حسگرهای فشار، کرنش و جریان آزمایش کرد. در طول ۴۰۰ ساعت عملیات، رویکرد عصبی-نمادین + QUBO از دو روش پایه پیشی گرفت:

• PDDL کلاسیک: ۱۱ شکست پیش‌بینی‌نشده و ۸۲٪ زمان فعال بودن (uptime). این روش ارزان بود اما شکننده، زیرا قادر نبود پیش‌بینی کند تخریب در حال وقوع است.
• RL سرتاسری: ۶ شکست پیش‌بینی‌نشده و ۸۸٪ زمان فعال بودن. این روش قابل‌اعتماد بود اما گران (۱.۴ برابر هزینه) بود، زیرا به دلیل تعمیرات بیش از حد (over-maintenance) هزینه‌ها بالا رفت.
• عصبی-نمادین + QUBO: ۳ شکست پیش‌بینی‌نشده و ۹۴٪ زمان فعال بودن، در حالی که هزینه تعمیرات تنها ۱.۱ برابر مدل پایه PDDL بود.

غلبه بر موانع پیاده‌سازی

استقرار سیستم سه چالش اصلی و راهکارهای فنی خاص را آشکار کرد:

۱. نویز کوانتومی: بازپشت‌های (annealers) واقعی به‌جای یک جواب واحد، توزیعی از جواب‌ها را برمی‌گردانند. برداشتن مُد (mode) توزیع ناکارآمد بود. راهکار این بود که نمونه‌های برتر (top-k) گرفته شده و از لایه اعتبارسنجی نمادین عبور کنند تا نتایج غیرممکنی که چشم‌انداز انرژیِ بازپشت کوانتومی به‌طور کامل کدگذاری نکرده بود، رد شوند.

۲. دایره لغات گزاره‌ای: انتخاب اینکه کدام گزاره‌ها آموخته شوند، یک تصمیم طراحی بود. نویسنده روی چهار گزاره خاص متوقف شد: «اسمی» (nominal)، «تخریب‌شده» (degraded)، «نزدیک به شکست» (near_failure) و «ناهنجار» (anomalous) که به عنوان دسته‌ای برای رفتارهای خارج از توزیع (out-of-distribution) عمل می‌کند. گزاره‌های کمتر باعث می‌شد QUBO بیش از حد کلی (coarse) شود و گزاره‌های بیشتر، لایه عصبی را بیش از حد تشنه داده می‌کرد.

۳. شکاف شبیه‌سازی به واقعیت: شبیه‌سازها نتوانستند هیسترزیس (hysteresis) الاستومر را به‌طور دقیق ثبت کنند. تیم کالیبراسیون آنلاین گزاره‌ها را پیاده کرد تا مدل Grounder بتواند با پیش‌فرض‌های شبیه‌سازی شروع کند و در چند صد چرخه اول عملیات، با آمار حسگرهای واقعی سازگار شود.

علاوه بر این، سیستم دچار «رانش گزاره» (predicate drift) شد، جایی که تعریف شبکه عصبی از حالت «تخریب‌شده» با تغییر تسک‌ها تغییر می‌کرد. نویسنده یک منظم‌ساز کنتراستیو (Contrastive Regularizer) پیاده کرد تا بردار‌های معنایی (embeddings) حالت‌های مشابه را به هم نزدیک و حالت‌های متفاوت را با یک حاشیه مشخص (مثلاً ۰.۵) از هم دور کند. این کار باعث پایداری فضای گزاره‌ای شد، به گونه‌ای که ضرایب QUBO دیگر بین چرخه‌ها نوسان نمی‌کردند.

حلقه بازخورد تطبیقی

یکی از حیاتی‌ترین یافته‌ها این بود که تطبیق نیاز به دو مقیاس زمانی متفاوت دارد. حل مجدد نمادین باید سریع و پاسخگو باشد، اما بازآموزی عصبی باید کند و دسته‌ای (Batched) صورت گیرد. بازآموزی لایه عصبی در هر چرخه باعث ایجاد نوسان در سیستم می‌شود.

برای جلوگیری از این اتفاق، سیستم از یک بافر بازپخش (Replay Buffer) استفاده می‌کند. بدون این بافر، مدل Grounder روی آخرین اتفاق تخریب بیش‌برازش (Overfitting) می‌کند و شروع به پیش‌بینی شکست در همه جا می‌کند. این وضعیت منجر به «تلاطم تعمیراتی» (maintenance thrashing) می‌شود؛ حالتی که در آن برنامه‌ریز هر اقدام تعمیراتی ممکنی را زمان‌بندی می‌کند و ربات در عمل هرگز اجرا نمی‌شود. با استفاده از به‌روزرسانی‌های تأخیری و دسته‌ای از طریق بهینه‌ساز Adam (با نرخ یادگیری 1e-4)، پایداری سیستم حفظ شد در حالی که همچنان از شکست‌های مشاهده‌شده درس می‌گرفت.

این معماری ثابت می‌کند که تفکیک عصبی-نمادین یک مزیت استراتژیک است. لایه‌های عصبی بخش‌های با ابعاد بالا و داده‌محور را مدیریت می‌کنند و لایه‌های نمادین ایمنی عملیاتی و محدودیت‌های سخت را تضمین می‌کنند. رایانش کوانتومی نیز نه جایگزین، بلکه شتاب‌دهنده‌ای هدفمند برای سخت‌ترین زیرمسائل ترکیبی است که حل‌کننده‌های کلاسیک در برابر آن‌ها فلج می‌شوند.

مسیرهای آینده

نویسنده در حال حاضر دو مسیر امیدوارکننده را برای بهبود بیشتر بررسی می‌کند:

۱. یادگیری گزاره‌ای با کمک کوانتوم: استفاده از هسته‌های کوانتومی (quantum kernels) برای معیار شباهت در مدل Grounder. این کار می‌تواند همبستگی‌های غیرکلاسیک در داده‌های حسگر را ثبت کند، زیرا دینامیک‌های اجسام نرم اغلب همبستگی‌های دوربرد (long-range correlations) نشان می‌دهند که هسته‌های کلاسیک در نمایش فشرده آن‌ها مشکل دارند.

۲. برنامه‌ریزی عصبی-نمادین سلسله‌مراتبی: توسعه یک «متا-برنامه‌ریز» که در آن لایه نمادین حاوی اجزای زیر-نمادین باشد. این متا-برنامه‌ریز یاد می‌گیرد که کدام فرمول‌بندی‌های خاص QUBO برای رژیم‌های مختلف تخریب مؤثرتر هستند و بدین ترتیب مرز بین منطق عصبی و نمادین را بیشتر کمرنگ می‌کند.

در نتیجه، نکته اصلی در این خط لوله ترکیبی است. با ترکیب قدرت تعمیم شبکه‌های عصبی، قابلیت اطمینان منطق نمادین و سرعت بازپشتی کوانتومی، امکان نگهداری سیستم‌های پیچیده الهام‌گرفته از زیست‌شناسی فراهم می‌شود؛ سیستم‌هایی که پیش از این برای برنامه‌ریزی خودکار، بیش از حد غیرقابل پیش‌بینی تلقی می‌شدند.

گام بعدی شما

• بررسی مدل‌های QUBO برای بهینه‌سازی زمان‌بندی در سیستم‌های سخت‌افزاری با محدودیت منابع.
• مطالعه درباره لایه‌های PredicateGrounder برای تبدیل داده‌های حسگر به منطق نمادین.
• آزمایش ابزارهای شبیه‌سازی کوانتومی برای حل مسائل تخصیص منابع در رباتیک.

اما اثر این رویکرد بر کاهش هزینه‌های نگهداری در مقیاس صنعتی حتی چشمگیرتر است — به تحلیل ما درباره بهینه‌سازی زنجیره تأمین با هوش مصنوعی مراجعه کنید.