چطور ترکیب یادگیری تقویتی و نمادین ایمنی کاوشگرهای فضایی را تضمین می‌کند؟

تصور کنید رباتی در محیط ناشناخته مریخ قرار دارد که باید بین جمع‌آوری یک نمونه سنگی ارزشمند و خطر سقوط در لبه یک دهانه تصمیم بگیرد. اگر این ربات فقط بر اساس شهود عمل کند، احتمالاً سقوط می‌کند و اگر فقط طبق دستورالعمل‌های خشک پیش برود، هرگز نمونه‌ای پیدا نخواهد کرد.

به نقل از گزارش‌های فنی، پیاده‌سازی برنامه‌ریزی عصبی-نمادین تطبیقی (Adaptive Neuro-Symbolic Planning یا ANSP) در شبیه‌سازی‌های زمین‌شناسی سیاره‌ای، نرخ تخلف از قوانین عملیاتی را ۴۲٪ کاهش داده است. این معماری ترکیبی با ایجاد تعادل بین تشخیص الگوهای شهودی و قوانین سخت ایمنی، یکی از بحرانی‌ترین نقاط شکست در کاوش‌های خودمختار را حل می‌کند.

توسعه ANSP با یک کشف شبانه در ساعت ۲:۳۷ صبح آغاز شد. پژوهشگر پروژه هنگام تلاش برای تصمیم‌گیری یک کاوشگر درباره محل حفاری در سطح شبیه‌سازی‌شده مریخ به بن‌بست رسید. عامل (Agent) — شبیه به یک کارمند تازه‌کار که باید همزمان ده دستورالعمل مختلف را رعایت کند — مجبور بود مجموعه‌ای آبشاری از محدودیت‌های عملیاتی، شامل بودجه‌های انرژی، پنجره‌های ارتباطی و آستانه‌های اولویت علمی را مدیریت کند. یک عامل مبتنی بر یادگیری تقویتی (Reinforcement Learning یا RL) — که مثل ورزشکاری است که فقط با تکرار و خطا یاد می‌گیرد — با وجود هزاران بار تمرین، مدام قانون «عدم نزدیکی به لبه دهانه در زمان طوفان گرد و غبار» را نقض می‌کرد. در مقابل، یک برنامه‌ریز نمادین کلاسیک بر پایه زبان تعریف دامنه برنامه‌ریزی (PDDL) قوانین را بی‌نقص اجرا می‌کرد، اما در مواجهه با ماهیت احتمالی، پیوسته و نویزی اهداف زمین‌شناسی، کاملاً خشک می‌شد و در عمل متوقف می‌شد.

همان‌طور که در تحلیل‌های پیشین ما درباره‌ی امنیت مدل‌های خودمختار اشاره کردیم، شکاف میان انعطاف‌پذیری و انضباط همواره چالش اصلی بوده است. سال‌هاست طراحی کاوشگرها بین این دو طیف متضاد تقسیم شده است: عامل‌های RL منعطف‌اند اما اغلب مرزهای بحرانی ایمنی را نادیده می‌گیرند. در مقابل، برنامه‌ریزهای نمادین کلاسیک قوانین را به طور کامل مدیریت می‌کنند اما نمی‌توانند نویز موجود در زمین‌شناسی واقعی مریخ را کنترل کنند. راهکار ANSP از مدل رفتار زمین‌شناسان انسانی الهام گرفته است؛ کسانی که به عنوان استدلال‌گران عصبی-نمادین عمل می‌کنند و از شهود برای تشخیص الگوها جهت شناسایی بیرون‌زدگی‌های سنگی استفاده می‌کنند، اما همزمان قوانین رویه‌ای صریح را برای حفظ ایمنی دنبال می‌کنند.

شکاف زمین‌شناسی محاسباتی

این مشکل از آنجا ناشی می‌شود که ویژگی‌های زمین‌شناسی برچسب‌های گسسته و ساده‌ای نیستند. در داده‌های پیمایشی سیاره‌ای، ویژگی‌های زمین‌شناسی به صورت توزیع‌های پیوسته، نویزی و چندوجهی ظاهر می‌شوند. برای مثال، داده‌های یک طیف‌سنج گسیل گرمایی، یک برچسب قطعی مثل «بازالت» یا «اولیووین» نیست، بلکه طیفی است که نیاز به تفسیر احتمالی دارد.

برنامه‌ریزهای نمادین سنتی، زمین‌شناسی را به صورت حالت‌های گسسته می‌بینند. یک برنامه‌ریز ساده ممکن است از یک شرط if-else ساده استفاده کند: اگر پیک طیفی زیر ۰.۵ بود، بازالت است؛ در غیر این صورت، سنگ رسوبی. این رویکرد زمانی که یک سنسور داده‌ای با امضای طیفی حاوی ۶۰٪ بازالت و ۴۰٪ رگولیت فرسوده دریافت می‌کند، به طور فاجعه‌باری شکست می‌خورد؛ زیرا برنامه‌ریز نمادین هیچ مکانیزمی برای پذیرش عضویت جزئی یا عدم قطعیت ندارد.

شبکه پیچیده محدودیت‌های سیاستی

محدودیت‌های عملیاتی مانند یک شبکه پویا و پیچیده هستند که با دریافت جریان داده‌های تله‌متری در لحظه تغییر می‌کنند. در آزمایش‌های شبیه‌سازی‌شده، چندین محدودیت حیاتی به طور دقیق فهرست شدند:

• حفاظ‌های ایمنی (Safety Envelopes): حریم‌های فاصله در اطراف ویژگی‌های ناپایدار زمین.
• بودجه‌های انرژی (Power Budgets): محدودیت‌های تخصیص انرژی که با زمان تغییر می‌کنند.
• پنجره‌های ارتباطی (Communication Windows): محدودیت‌های زمانی برای رله داده‌ها.
• آستانه‌های بازده علمی (Scientific Yield Thresholds): حداقل ارزش مورد انتظار برای هر نمونه.
• محدودیت‌های عملیاتی حرارتی (Thermal Operational Limits): بازه دمایی مجاز تجهیزات.

نکته کلیدی که در طول مطالعه انتشار محدودیت‌ها به دست آمد این بود که این سیاست‌ها ایستا نیستند. آن‌ها بر اساس جریان تله‌متری ورودی به طور پویا تغییر می‌کنند و بنابراین به سیستمی نیاز است که بتواند بدون نیاز به آموزش مجدد کامل، با این تغییرات تطبیق یابد. این نیاز به پاسخ‌دهی سریع در شرایط بحرانی، یادآور رویکردهای مدیریت ناهنجاری در ماهواره‌ها هنگام قطع ارتباطات است که برای حفظ بقای تجهیزات فضایی حیاتی است.

معماری سه لایه

طبق گزارش فنی منتشر شده در ۳ سپتامبر ۲۰۲۶، چارچوب ANSP در سه لایه مجزا برای پر کردن این شکاف بازنمایی عمل می‌کند:

• لایه ۱ (ماژول ادراک): ماژولی ترکیبی از شبکه‌های عصبی پیچشی (CNN) و عدم قطعیت بیزی برای مدیریت داده‌های سنسور چندوجهی. این لایه از یک رمزگذار طیفی (Conv1d) و یک رمزگذار بصری زمین (Conv2d) استفاده می‌کند تا ترکیب زمین‌شناسی را همراه با میانگین و لگاریتم واریانس برای کمی‌سازی عدم قطعیت پیش‌بینی کند.
• لایه ۲ (برنامه‌ریز عصبی): یک عامل RL عمیق با مکانیزم‌های توجه (Attention) — شبیه به چراغ‌قوه‌ای که روی بخش‌های مهم داده‌ها می‌تاباند — که بر اساس نقشه‌های ویژگی‌های زمین‌شناسی، اقداماتی را پیشنهاد می‌دهد. این لایه سیالیت تفسیر زمین‌شناسی را مدیریت می‌کند.
• لایه ۳ (لایه محدودیت‌های سیاستی): یک استدلال‌گر نمادین که به عنوان موتور قوانین در لحظه عمل کرده و اقدامات را تأیید یا اصلاح می‌کند. این لایه سخت‌گیری نمادین و ایمنی را تضمین می‌کند.

تزریق تطبیقی محدودیت‌ها

در این سیستم، لایه نمادین صرفاً یک کلید «روشن/خاموش» ساده نیست، بلکه از مکانیزمی به نام «تزریق تطبیقی محدودیت‌ها» استفاده می‌کند. در این روش، از یک تکنیک مدولاسیون نرم استفاده می‌شود که در آن محدودیت‌های فعال از طریق یک ماژول ConstraintAwareAttention به فضای ویژگی برنامه‌ریز عصبی منتقل (Project) می‌شوند.

به جای اینکه لایه نمادین دستورات برنامه‌ریز عصبی را لغو کند (که منجر به رفتار خشک و صلب می‌شود) یا برنامه‌ریز عصبی لایه نمادین را نادیده بگیرد (که منجر به تخلفات می‌شود)، سیستم محدودیت‌ها را از طریق یک پروژکتور خطی و فعال‌ساز ReLU به فضای ویژگی می‌برد.

وقتی محدودیت «پایداری لبه دهانه» فعال می‌شود، شبکه به طور پویا وزن‌های توجه خود را تغییر می‌دهد. در این حالت، سیستم شروع به اولویت دادن به ویژگی‌های شیب زمین نسبت به سیگنال‌های طیفی می‌کند و به کاوشگر اجازه می‌دهد بدون از دست دادن هدف علمی، مسیر ایمنی را طی کند.

آموزش از طریق یادگیری برنامه ریزی شده

آموزش عاملی که باید قوانین پیچیده را رعایت کند، اغلب منجر به سیاست «هیچ کاری نکن» می‌شود، زیرا فضای اقدامات ایمن بسیار کوچک است. برای حل این مشکل، توسعه‌دهندگان یک زمان‌بند محدودیت برنامه ریزی شده (CurriculumConstraintScheduler) را پیاده کردند تا پیچیدگی را به تدریج افزایش دهند:

• اپیزودهای ۰ تا ۱۰۰۰: فقط محدودیت‌های پایه ایمنی (حفاظ‌های ایمنی).
• اپیزودهای ۱۰۰۰ تا ۳۰۰۰: ایمنی به علاوه بودجه‌های انرژی.
• اپیزودهای ۳۰۰۰ تا ۶۰۰۰: ایمنی، انرژی و پنجره‌های ارتباطی.
• اپیزودهای ۶۰۰۰ به بعد: پیچیدگی کامل شامل تمام محدودیت‌های عملیاتی.

این لایه‌بندی تدریجی مانع از آن می‌شود که مدل به رفتارهای تخریب‌شده و بیش از حد محتاطانه همگرا شود و اجازه می‌دهد عامل ابتدا ناوبری پایه و جمع‌آوری نمونه را یاد بگیرد و سپس انضباط سیاستی را به آن اضافه کند.

اعتبارسنجی در لحظه و شکل‌دهی پاداش

لایه نمادین با فرکانس بالاتری (۱۰ هرتز) نسبت به برنامه‌ریز عصبی (که هر ۵۰۰ میلی‌ثانیه اقدام پیشنهاد می‌دهد) عمل می‌کند تا تخلفات را در مراحل اولیه شناسایی کند. SymbolicPolicyVerifier به عنوان یک تبدیل‌کننده تطبیقی محدودیت عمل می‌کند. اگر تخلفی شناسایی شود، مثلاً موقعیت هدف بیش از حد به لبه دهانه نزدیک باشد، سیستم صرفاً اقدام را رد نمی‌کند، بلکه اقدام را با هل دادن موقعیت هدف به عقب برای حفظ حاشیه ایمنی، به فضای مجاز بازمی‌گرداند.

برای بهبود رفتار، سیستم از «شکل‌دهی پاداش نمادین» استفاده می‌کند. چون اجرای صرفاً مبتنی بر پاداش ناکافی است (زیرا فضای محدودیت‌ها بسیار پراکنده است و تخلفات نادر اما فاجعه‌بار هستند)، سیستم یک NeuroSymbolicAgent را پیاده می‌کند که پاداش‌های محیطی (بازده علمی) را با شکل‌دهی سیاست نمادین ترکیب می‌کند:

• تخلف از سیاست: یک پاداش منفی شدید به مقدار -۱۰.۰.
• فضای مجاز: پاداش بر اساس تابع شکل‌دهی tanh از حاشیه محدودیت، ضرب در ۰.۵.

این تابع tanh گرادیان‌های نرمی ایجاد می‌کند که عامل را به جای جریمه کردن در مرزها، به سمت مرکز فضای اقدامات مجاز هدایت می‌کند.

ادغام سنسورهای چندوجهی و عدم قطعیت

برای مدیریت نویز داده‌های سیاره‌ای، ماژول ادراک از یک BayesianPerceptionModule استفاده می‌کند که دو جریان داده مجزا را پردازش می‌کند:

• شاخه تحلیل طیفی: استفاده از رمزگذار Conv1d برای پردازش داده‌های طیف‌سنج.
• شاخه بصری زمین: استفاده از رمزگذار Conv2d با گام (stride) ۲ برای پردازش تصاویر بصری.

این ویژگی‌ها ادغام شده و به یک سر عدم قطعیت می‌روند که هم میانگین و هم لگاریتم واریانس را پیش‌بینی می‌کند. این یعنی سیستم می‌تواند عدم قطعیت را کمی کند؛ برای مثال، اگر گرد و غبار جوی سنسور را مختل کند، سیستم تشخیص می‌دهد که یک خوانش طیفی که نشان‌دهنده ماده «اولیووین» است، دارای عدم قطعیت بالایی است. این رویکرد بهینه‌سازی در پردازش داده‌های نویزی، مشابه تلاش‌ها برای اجرای مدل‌های پیش‌بینی محیطی روی سخت‌افزارهای کم‌مصرف است تا بهره‌وری انرژی در محیط‌های عملیاتی افزایش یابد.

عملکرد و نتایج

آزمایش‌ها در شبیه‌سازی دقیق دهانه جزرو (Jezero Crater) رفتارهای استراتژیک جدیدی را نشان داد. عامل یاد گرفت تحلیل‌های علمی را دسته‌بندی (batch) کند تا با پنجره‌های ارتباطی هماهنگ شود و در واقع پروتکل «تریاژ داده» مخصوص خود را توسعه داد. همچنین در زمان کمبود انرژی، به «حالت پیمایش کم‌مصرف» تغییر وضعیت می‌داد و به جای طیف‌سنج‌های فعال لیزری (LIBS)، از طیف‌سنج‌های غیرفعال استفاده می‌کرد.

علاوه بر این، برنامه‌ریز عصبی یاد گرفت محدودیت‌های آینده را پیش‌بینی کند. اگر لایه نمادین نزدیک شدن به یک پنجره ارتباطی را اعلام می‌کرد، عامل از قبل خود را در نزدیکی اهداف با ارزش بالا مستقر می‌کرد تا جمع‌آوری داده‌ها را در طول آن پنجره به حداکثر برساند.

در مقایسه با روش‌های پایه، چارچوب ANSP به نتایج زیر دست یافت:

• کاهش ۴۲ درصدی تخلفات سیاستی نسبت به RL خالص.
• بهبود ۲۸ درصدی بازده علمی در هر مأموریت نسبت به برنامه‌ریزی نمادین خالص.
• تطبیق ۳.۷ برابر سریع‌تر با محدودیت‌های جدید در مقایسه با آموزش مجدد از صفر.

غلبه بر گلوگاه‌های فنی

تیم توسعه با دو چالش اصلی روبرو بود:

چالش اول: گلوگاه ارتباطی نمادین-عصبی
در ابتدا، محدودیت‌های سیاستی به صورت توصیفات زبان طبیعی نمایش داده می‌شدند. این یک فاجعه بود زیرا مکانیزم توجه روی ویژگی‌های لغوی بی‌ربط تمرکز می‌کرد. آن‌ها این‌ها را با بردارهای ساختاریافته جایگزین کردند که برای هر نوع سیاست جایگاه ثابتی داشت، شامل:

• ایمنی دهانه (ایندکس ۰)
• بودجه انرژی (ایندکس ۱)
• پنجره ارتباطی (ایندکس ۲)
• محدودیت‌های حرارتی (ایندکس ۳)
• شیب تند (ایندکس ۴)
• طوفان گرد و غبار (ایندکس ۵)
• ظرفیت نمونه (ایندکس ۶)
• دمای باتری (ایندکس ۷)
• لغزش چرخ (ایندکس ۸)
• زاویه خورشیدی (ایندکس ۹)

چالش دوم: فراموشی فاجعه‌بار
وقتی کنترل‌کنندگان مأموریت حاشیه ایمنی را تغییر می‌دادند (مثلاً افزایش فاصله ایمنی دهانه از ۵ به ۸ متر)، برنامه‌ریز عصبی گاهی مهارت‌های ناوبری قبلی را فراموش می‌کرد. آن‌ها تثبیت وزن‌های الاستیک (Elastic Weight Consolidation یا EWC) را پیاده کردند. این روش با استفاده از اطلاعات فیشر، اهمیت وزن‌ها را تخمین زده و یک عبارت ضرر EWC را اضافه می‌کند تا تغییر در وزن‌های حیاتی برای ناوبری پایه را جریمه کند، در حالی که برای تطبیق با محدودیت‌های خاص انعطاف‌پذیری ایجاد می‌کند.

این تغییر در معماری نشان می‌دهد که آینده کاوش‌های خودمختار در مدل‌های بزرگ‌تر نیست، بلکه در ادغام بهتر شهود و منطق است. با تبدیل لایه نمادین از یک «دربان» به یک «راهنما»، سیستم به سطح قابلیت اطمینانی می‌رسد که برای مأموریت‌های فضایی چند میلیارد دلاری ضروری است.

پژوهشگران اکنون در حال بررسی استفاده از بازپشت کوانتومی و الگوریتم‌های بهینه‌سازی تقریبی کوانتومی (QAOA) برای حل مسائل سخت (NP-hard) ارضای محدودیت‌ها در برنامه‌ریزی‌های سیاره‌ای در مقیاس بزرگ هستند تا راهکارهای بهینه را سریع‌تر از روش‌های کلاسیک بیابند.

گام بعدی شما

• بررسی مقالات مربوط به Neuro-Symbolic AI برای درک نحوه ترکیب منطق و یادگیری عمیق در کاربردهای صنعتی.
• مطالعه درباره Curriculum Learning برای بهبود نرخ همگرایی مدل‌های RL در محیط‌های با محدودیت زیاد.
• دنبال کردن پیشرفت‌های QAOA در بهینه‌سازی مسیرهای رباتیک.

اما داستان سخت‌افزاری این تحول حتی شگفت‌انگیزتر است — به تحلیل ما درباره‌ی تراشه‌های Blackwell مراجعه کنید.