تصور کنید در ساعت ۳:۴۷ بامداد یک سه‌شنبه از اوت ۲۰۲۶، یک ماهواره ارتباطاتی در مدار زمین (GEO-7) به‌طور کامل با زمین قطع شود؛ در این لحظه، یک اشتباه کوچک در تصمیم‌گیری خودکار می‌تواند میلیاردها دلار سرمایه و سال‌ها تلاش علمی را به زباله تبدیل کند. این سناریوی واقعی نشان داد که حتی مدل‌هایی با صحت ۹۸.۷ درصدی در محیط شبیه‌سازی، در مواجهه با خلأ داده‌های واقعی کاملاً فلج می‌شوند. این شکست یک واقعیت تلخ را آشکار کرد: در فضای عمیق، هزینه یک تصمیم اشتباه با میلیاردها دلار و سال‌ها زمان از دست رفته در ماموریت اندازه‌گیری می‌شود.
پاسخ به ناهنجاری‌های ماهواره‌ای یک مسئله ساده و متوالی از تصمیم‌گیری نیست، بلکه «طوفانی کامل» از کمبود داده است. در این شرایط، حسگرها فقط ساکت نمی‌شوند، بلکه به‌طور فعال داده‌های گمراه‌کننده می‌فرستند. برای مثال، حسگرهای حرارتی ممکن است دماهای غیرممکن را گزارش کنند، در حالی که سیستم‌های قدرت به‌شدت بین خوانش‌های عادی و بحرانی نوسان می‌کنند. سیستم‌های کنترل وضعیت (Attitude Control) نیز ممکن است داده‌های متناقض کواترنیون (Quaternion) ارسال کنند. در اینجا، روش‌های سنتی جایگذاری داده‌ها (Imputation) شکست می‌خورند، زیرا فرض می‌کنند فرآیند زیربنایی داده‌ها پایدار است؛ در حالی که دقیقاً در زمان بحران ماهواره، این پایداری از بین می‌رود.
پیچیدگی ناهنجاری‌های فضایی
فراتر از کیفیت داده‌ها، ماهیت زمانی این سیستم‌ها باعث ایجاد وابستگی‌های متوالی بسیار طولانی می‌شود. یک تصمیم واحد، مانند فعال کردن حالت ایمن (Safe Mode) یا سوئیچ کردن به یک پیشران جایگزین، می‌تواند پیامدهایی داشته باشد که در هزاران گام زمانی بعدی منتشر شوند. این بدان معناست که «ویژگی مارکوف» (Markov Property) — که بسیاری از الگوریتم‌های یادگیری تقویتی به آن تکیه می‌کنند — در عملیات ماهواره‌ای به‌سادگی برقرار نیست.
علاوه بر این، یک عدم تقارن شدید در هزینه‌ها در این محیط‌ها وجود دارد. تحقیقات نشان می‌دهد که جریمه یک پاسخ «مثبت کاذب» (مثلاً فعال کردن بی‌مورد حالت ایمن)، تقریباً ۱۰۰۰ برابر کمتر از یک «منفی کاذب» است؛ جایی که یک شکست بحرانی به‌طور کامل نادیده گرفته می‌شود. این عدم تقارن باعث می‌شود توابع زیان (Loss Functions) استاندارد و استراتژی‌های اکتشافی (Exploration) به‌طور خطرناکی با نیازهای عملیاتی واقعی ناهماهنگ باشند.
چالش پراکندگی داده‌ها
در محیط‌های سخت، ماهواره‌ها از داده‌های به‌شدت ناقص و سیگنال‌های متناقض رنج می‌برند. چالش تنها مقادیر گم‌شده نیست، بلکه حضور نویزی است که ادای داده‌های معتبر را در می‌آورد. وقتی سیستمی شکست می‌خورد، جریان تله‌متری به ترکیبی از شکاف‌ها و جهش‌های خطا تبدیل می‌شود. این وضعیت باعث می‌شود مدل‌های سنتی تصمیم‌گیری متوالی نتوانند یک نمایش پایدار از وضعیت (State Representation) حفظ کنند.
همان‌طور که در تحلیل قبلی ما درباره‌ی اینکه چگونه تنظیم دقیق (Fine-tuning) تخصصی می‌تواند بر بازیابی‌های عمومی در وظایف پیچیده داده‌ای غلبه کند اشاره کردیم، صنعت اکنون به سمت مدل‌هایی حرکت می‌کند که بتوانند تغییرات شدید توزیع داده (Distribution Shifts) را مدیریت کنند. راهکار این بحران، مدل Human-Aligned Decision Transformer یا HADT است؛ چارچوبی که یادگیری تقویتی را به‌جای یک فرآیند آزمون و خطا، به عنوان یک مسئله مدل‌سازی توالی (Sequence Modeling) می‌بیند. این رویکرد در واقع پیاده‌سازی عملی از راهکارهای جدید برای هم‌راستایی تصمیمات ماشین با انسان است تا از رفتارهای پیش‌بینی‌ناپذیر هوش مصنوعی در محیط‌های حساس جلوگیری شود.
معماری HADT
به نقل از گزارش فنی منتشر شده در ۲۹ اوت ۲۰۲۶ در وب‌سایت dev.to، مدل HADT سه نوآوری کلیدی را برای حل مشکل پراکندگی معرفی می‌کند:
اول، بردار معنایی ترجیحات انسانی (Human Preference Embedding). به‌جای تکیه صرف بر سیگنال‌های پاداش، HADT یک نمایش نهفته از نحوه تصمیم‌گیری اپراتورهای انسانی را یاد می‌گیرد. این کار توسط ماژول HumanPreferenceEmbedding انجام می‌شود که ویژگی‌های ترجیحی (معمولاً ۶۴ ویژگی) را به یک فضای برداری با ابعاد بالاتر (۲۵۶) منتقل می‌کند. این ماژول به عنوان یک مکانیسم شرطی عمل می‌کند که فضای اقدام مدل را محدود می‌کند تا با دهه‌ها تخصص انسانی همراستا شود و از یک ماسک تطبیقی بر اساس عدم قطعیت تله‌متری استفاده می‌کند. این بخش از یک توالی preference_projection شامل یک لایه خطی، یک فعال‌ساز GELU و یک لایه خطی دوم برای نگاشت ویژگی‌ها به بعد برداری استفاده می‌کند.
دوم، توجه آگاه به پراکندگی (Sparse-Aware Attention). ترنسفورمرهای استاندارد وقتی داده‌ها گم می‌شوند، اغلب بیش از حد اعتمادبه‌نفس پیدا می‌کنند، زیرا وزن‌های توجه توسط تعداد کمی از نقاط داده موجود تسخیر می‌شوند. HADT از مکانیسم SparseAwareAttention با یک دروازه عدم قطعیت یادگیرنده استفاده می‌کند. این مکانیسم جریان اطلاعات را با ضرب کردن امتیازات توجه در وزن‌های کیفیتی (که از کیفیت واقعی جریان تله‌متری استخراج شده‌اند) تعدیل می‌کند. در این فرآیند، کوئری‌ها، کلیدها و مقادیر (Q, K, V) تصویر می‌شوند و سپس یک دروازه عدم قطعیت با فعال‌ساز سیگموئید قبل از عملیات softmax بر روی امتیازات اعمال می‌شود.
سوم، تجزیه سلسله‌مراتبی اقدام (Hierarchical Action Decomposition). این مدل با تقسیم تصمیمات به سه سطح از طریق HierarchicalActionDecoder از شناخت انسانی تقلید می‌کند. این فرآیند شامل موارد زیر است:
- تشخیص (Diagnosis): شناسایی نوع ناهنجاری (از بین ۱۰ نوع احتمالی).
- استراتژی (Strategy): انتخاب یک رویکرد کلی برای پاسخ (از بین ۵ استراتژی ممکن).
- اجرا (Execution): صدور دستورات خاص (از مجموعه‌ای شامل ۵۰ اقدام).
- تخمین اعتماد (Confidence Estimation): یک سر (Head) اختصاصی که با استفاده از یک لایه خطی و فعال‌ساز ReLU، امتیازات اعتماد را برای هر یک از سه سطح سلسله‌مراتبی ارائه می‌دهد.
پارادایم آموزشی سه مرحله‌ای
آموزش HADT از شبیه‌سازی رفتار استاندارد (Behavior Cloning) فاصله می‌گیرد، زیرا آن روش نمی‌تواند ماهیت آگاه از عدم قطعیت در تصمیم‌گیری‌های انسانی را ثبت کند. این مدل از یک فرآیند سخت‌گیرانه سه مرحله‌ای برای تضمین قابلیت اطمینان در خلأ فضا استفاده می‌کند:
۱. یادگیری نمایش‌های انسانی: مدل ابتدا روی لاگ‌های تاریخی پاسخ‌های اپراتورهای انسانی آموزش می‌بیند. نکته کلیدی، یادگیری نه تنها اقدامات، بلکه سطوح اعتماد مرتبط با آن‌هاست. تابع زیان در اینجا چندسطحی است و زیان تشخیص، زیان اقدام وزن‌دار با اعتماد، و زیان کالیبراسیون اعتماد (با استفاده از MSE) را ترکیب می‌کند تا اطمینان حاصل شود که خودارزیابی هوش مصنوعی با ارزیابی انسان مطابقت دارد. زیان کل به صورت diagnosis_loss + 0.5 * action_loss + 0.3 * confidence_loss محاسبه می‌شود و برای حفظ پایداری، Gradient Clipping روی ۱.۰ تنظیم شده است.
۲. افزایش داده‌های پراکنده: برای آماده‌سازی در برابر ناشناخته‌ها، تیم یک SparseScenarioGenerator توسعه داد. این ابزار با اعمال الگوهای مختلف پراکندگی روی تله‌متری کامل، شکست‌های مصنوعی ایجاد می‌کند، از جمله:
- شکست تصادفی حسگرها
- قطع ارتباطات (Blackouts)
- فساد جزئی تله‌متری
- تخریب زمانی (Temporal Degradation)
این تولیدکننده همچنین یک ماسک عدم قطعیت محاسبه می‌کند که در آن به داده‌های گم‌شده عدم قطعیت بالا (۰.۹) و به داده‌های فاسد — که به عنوان داده‌هایی تعریف می‌شوند که بیش از ۳ انحراف معیار با طرح (Schema) نامی فاصله دارند — عدم قطعیت متوسط (۰.۵) اختصاص می‌یابد. این به مدل اجازه می‌دهد شناسایی الگوها را در سیگنال‌های تخریب‌شده تمرین کند.
۳. بهبود با انسان در حلقه (Human-in-the-Loop): از طریق یادگیری فعال، اپراتورهای انسانی بازخوردهایی درباره اقدامات پیشنهادی ارائه می‌دهند. اگر اپراتوری تصمیمی را اصلاح کند، سیستم بردار معنایی ترجیحات خود را با استفاده از یادگیری تقابلی (Contrastive Learning) به‌روز می‌کند. این فرآیند HumanInTheLoopRefinement به مدل اجازه می‌دهد از استدلال‌های ارائه شده توسط اپراتور یاد بگیرد و پاداش‌های مثبت (۱.۰) برای اقدامات تایید شده و پاداش‌های منفی (۰.۵-) برای اصلاحات اختصاص دهد. سیستم سیگنال‌های ترجیحی را از استدلال انسانی استخراج کرده تا بردار نهفته را به‌روز کند. این رویکرد بر این باور استوار است که حضور انسان در حلقه تنها راهکار قابل‌اعتماد برای ترمیم سیستم‌های عملیاتی AI در مواجهه با حوادث پیش‌بینی‌نشده است.
عملکرد در دنیای واقعی
هنگامی که HADT روی داده‌های ماموریت‌های بازنشسته آزمایش شد، در سه سناریوی بحرانی از عوامل سنتی پیشی گرفت:
- ناهنجاری‌های پیشران: مدل یک شیر مسدود شده را با اعتماد ۹۴٪ شناسایی کرد. مدل یک پاسخ محافظه‌کارانه دو مرحله‌ای پیشنهاد داد: ابتدا تنظیم وضعیت برای حفظ جهت‌گیری، و سپس یک توالی تشخیصی برای تایید شکست پیش از اجرای اصلاح کامل.
- افت توان: با وجود گم شدن ۸۵٪ از تله‌متری، هوش مصنوعی به‌درستی تخریب پنل‌های خورشیدی را شناسایی کرد. در سطح استراتژی، به‌جای یک حالت ایمن فوری و ریسکی، یک توالی خاموش‌سازی تدریجی را پیشنهاد داد که سیستم‌های حیاتی را حفظ و همزمان از باتری محافظت کرد.
- قطع ارتباطات: در دقیقاً همان سناریویی که مدل‌های قبلی را فلج کرده بود، HADT یک توالی بازیابی را آغاز کرد. ابتدا تلاش کرد ارتباط را از طریق کانال‌های پشتیبان برقرار کند، سپس یک حالت ایمن محافظه‌کارانه با تلاش‌های ارسال دوره‌ای را اجرا کرد و در نهایت ردیابی راداری زمینی را برای تایید موقعیت ماهواره توصیه نمود.
غلبه بر شکاف کالیبراسیون
یکی از سخت‌ترین درس‌های آموخته شده در طول توسعه، «مشکل کالیبراسیون» بود. نسخه‌های اولیه مدل حتی زمانی که تنها ۱۰٪ از داده‌های لازم را داشتند، ۹۰٪ اعتماد گزارش می‌کردند. پژوهشگران این مشکل را با استفاده از مقیاس‌بندی دما (Temperature Scaling) — با آزمایش بازه‌ای از ۰.۱ تا ۵.۰ — و منظم‌سازی صریح عدم قطعیت حل کردند تا اطمینان حاصل شود که هوش مصنوعی «بداند چه زمانی نمی‌داند».
برای مدیریت توازن بین اکتشاف (Exploration) و بهره‌برداری (Exploitation)، تیم یک استراتژی انتخاب آگاه از اعتماد را پیاده کرد. مدل تنها زمانی پاسخ‌های نوآورانه را امتحان می‌کند که اعتماد داخلی‌اش پایین باشد. این کار با محاسبه یک اپسیلون تطبیقی انجام می‌شود: epsilon = epsilon_start * (1.0 - confidence). اگر یک عدد تصادفی کمتر از این اپسیلون باشد، مدل از توزیع اقدامات نمونه‌برداری می‌کند؛ در غیر این صورت، از مطمئن‌ترین اقدام بهره‌برداری می‌کند.
این تغییر در معماری، فرض بنیادی هوش مصنوعی فضایی را تغییر می‌دهد. ما از مدل‌هایی که به داده‌های کامل نیاز دارند، به سمت مدل‌هایی می‌رویم که می‌توانند با استفاده از شهود همراستا با انسان، از میان خلأها استدلال کنند. برای اپراتورها، این بدان معنای آن است که هوش مصنوعی به یک کمک‌خلبان قابل اعتماد تبدیل می‌شود که به ظرافت‌های قضاوت انسانی احترام می‌گذارد، نه یک جعبه سیاه که تحت فشار فلج شود.
برای مشاهده اینکه چگونه این اصول در سایر محیط‌های با ریسک بالا اعمال می‌شوند، منتظر پژوهش‌های آتی درباره کاربردهای HADT در وسایل نقلیه زیرسطحی خودگردان (AUV) باشید، جایی که پراکندگی داده‌ها به‌طور مشابهی شدید است.
گام بعدی شما
- بررسی مستندات HADT برای درک نحوه پیاده‌سازی لایه‌های Attention در داده‌های ناقص.
- مطالعه درباره کاربردهای مدل‌های استدلالی در محیط‌های با ریسک بالا (High-Stakes).
- دنبال کردن پژوهش‌های آتی درباره استقرار HADT در وسایل نقلیه زیرسطحی خودگردان (AUV).
اما داستان سخت‌افزاری این تحول حتی شگفت‌انگیزتر است — به تحلیل ما درباره‌ی تراشه‌های Blackwell مراجعه کنید.
گفتگو