استقرار یک هوش مصنوعی «جعبه‌سیاه» در محیط حساس یک کارخانه، دستورالعملی برای شکست سیستمی است. در یک محیط تولید چرخشی، یک تصمیم اشتباه درباره بازیافت باتری‌ها در امروز، می‌تواند باعث شود خط تولید شما سه فصل بعد با کمبود مواد اولیه مواجه شود و کل عملیات متوقف گردد. این یعنی یک خطای کوچک در لحظه، اثرات تخریبی زنجیره‌ای در آینده‌ای دور ایجاد می‌کند.
این چالش بنیادین، دلیل پیدایش یادگیری تقویتی علّی توضیح‌پذیر (Explainable Causal Reinforcement Learning یا XCRL) است؛ چارچوبی که طراحی شده تا میان‌برهای آماری را با استدلال‌های علّی قابل حسابرسی جایگزین کند. در سیستم‌های تولید چرخشی، برخلاف زنجیره‌های تأمین خطی، جریان مواد در حلقه‌های بازخوردی بسته حرکت می‌کند که در آن مواد دوباره به نقطه شروع بازمی‌گردند. به همین دلیل، هر تصمیم در مورد بازسازی قطعات در این فصل، مستقیماً بر دسترسی به منابع در سه فصل آینده اثر می‌گذارد و در نهایت وضعیت اقتصادی تولیدات جدید، حسابداری کربن و وضعیت انطباق شرکت با قوانینی مثل «پاسپورت دیجیتال محصول» اتحادیه اروپا را تغییر می‌دهد.
همان‌طور که در تحلیل‌های پیشین ما درباره‌ی امنیت مدل‌های تصمیم‌گیر در صنعت اشاره کردیم، تکیه بر همبستگی‌ها خطرناک است. یادگیری تقویتی استاندارد (RL) با جهان مانند یک جعبه سیاه برخورد می‌کند و یاد می‌گیرد کدام اقدامات به پاداش منجر می‌شوند، بدون اینکه بفهمد «چرا» این اتفاق می‌افتد. در زنجیره‌های تأمین خطی، این رویکرد اغلب کافی است؛ زیرا اگر مواد اولیه را بیش از حد سفارش دهید، صرفاً هزینه‌های انبارداری را متحمل می‌شوید. اما در سیستم‌های چرخشی، اگر یک عامل (Agent) — شبیه به کارمندی که فقط الگوهای تکراری را حفظ کرده اما دلیل آن‌ها را نمی‌داند — یاد بگیرد که «افزایش بازیافت همیشه هزینه‌ها را کم می‌کند»، به محض تغییر کوچک در پیش‌بینی تقاضا که آن الگوی آماری را می‌شکند، دچار بیش‌برازش (Overfitting) شده و شکست می‌خورد. این یک مورد کلاسیک از بیش‌برازش مبتنی بر همبستگی است، جایی که عامل به‌جای یادگیری ساختار علّی واقعی زنجیره تأمین، میان‌برهای آماری را یاد می‌گیرد.
به نقل از گزارش فنی منتشر شده در dev.to در ۱۰ اکتبر ۲۰۲۶، راهکار این مشکل در جاسازی یک مدل علّی ساختاری (Structural Causal Model یا SCM) مستقیماً در حلقه یادگیری است. در این حالت، مدل به‌جای مشاهده صرفِ مسیرها (Trajectories)، روی «مداخلات» استدلال می‌کند و می‌پرسد: «اگر اقدام X را انجام دهیم، چه اتفاقی می‌افتد؟» که در ریاضیات با نماد $do(\cdot)$ نمایش داده می‌شود. این تغییر پارادایم اجازه می‌دهد هوش مصنوعی به‌جای تعقیب الگوهای مشاهده‌شده، پاداش‌هایی را بهینه‌سازی کند که در برابر سناریوهای متضاد (Counterfactually Robust) استوار هستند.
ستون فقرات علّی
معماری XCRL بر مجموعه‌ای از معادلات ساختاری تکیه دارد که موجودی و جریان مواد را مدل می‌کنند. در یک گره چرخشی معمولی، سیستم متغیرهای کلیدی را به عنوان گره‌هایی در یک گراف جهت‌دار ردیابی می‌کند:
- ورودی هسته (Core Inflow): مقدار محصولات مستعملی که برای پردازش بازمی‌گردند و تحت تأثیر جرم بازیافتی و نرخ بازگشت هستند.
- ظرفیت بازسازی (Remanufacturing Capacity): محدودیتی که تعیین می‌کند چه تعداد واحد می‌توانند نوسازی شوند. این مقدار توسط اقدام عامل (کسری از هسته‌ها که به سمت بازسازی هدایت می‌شوند) و ورودی موجود تعیین می‌شود.
- تولید جدید (New Production): شکافی که وقتی واحدهای بازسازی‌شده در دسترس نیستند، پر می‌شود و به عنوان تفاوت بین تقاضا و واحدهای بازسازی‌شده محاسبه می‌گردد.
- جرم بازیافتی (Recycled Mass): مواد خام بازیابی‌شده از فرآیند، که بر اساس نرخ بازدهی و تفاوت بین تقاضا و تولید جدید محاسبه می‌شود.
مکانیسم‌ها و منطق SCM
برای پیاده‌سازی این مدل، SCM از یک گراف جهت‌دار استفاده می‌کند که در آن لبه‌های خاص، جریان اثرگذاری را تعریف می‌کنند. برای مثال، تقاضا هم بر تولید جدید و هم بر ورودی هسته اثر می‌گذارد. سپس ورودی هسته، ظرفیت بازسازی را دیکته می‌کند که به نوبه خود یک «اثر جایگزینی» روی تولید جدید ایجاد می‌کند. در نهایت، تولید جدید بر جرم بازیافتی اثر گذاشته و این مقدار دوباره به ورودی هسته بازمی‌گردد تا چرخه کامل شود.
در عمل، سیستم انتقال وضعیت را با استفاده از معادلات ساختاری محاسبه می‌کند. ورودی هسته برابر است با مجموع ورودی وضعیت فعلی و حاصل‌ضرب نرخ بازگشت در جرم بازیافتی. بازسازی حاصل‌ضرب اقدام عامل در کمترین مقدار بین ورودی هسته یا ظرفیت بازسازی سیستم است. تولید جدید نیز برابر است با مقدار حداکثر بین صفر یا تفاوت تقاضا و واحدهای بازسازی‌شده، به اضافه‌ی هرگونه نویز در تقاضا.
با استفاده از این متغیرها به عنوان گره‌هایی در یک گراف جهت‌دار، عامل می‌تواند توزیع‌های مداخله‌ای $P(Y | do(A=a))$ را به‌صورت تحلیلی یا از طریق روش مونت‌کارلو محاسبه کند. این یعنی هوش مصنوعی دیگر حدس نمی‌زند وضعیت بعدی چیست، بلکه اثر یک اقدام خاص را روی کل حلقه به‌طور دقیق محاسبه می‌کند.
حل مشکل «جعبه سیاه»
توضیح‌پذیری در XCRL از طریق تجزیه اثرات مسیر-ویژه (Path-specific effect decomposition) حاصل می‌شود. به‌جای ارائه یک «امتیاز اهمیت» کلی برای یک ویژگی، سیستم توصیه خود را به مسیرهای علّی خرد می‌کند. این کار با مقایسه یک سناریوی واقعی (Factual) در برابر یک سناریوی «ضد-واقعیت» (Counterfactual) انجام می‌شود؛ جایی که یکی از گره‌های مسیر را عمداً تغییر می‌دهند (مثلاً مقدار آن را روی 0.0 قرار می‌دهند) تا اثر آن گره خاص را بسنجند.
برای تخمین این اثرات، سیستم از نمونه‌گیری مونت‌کارلو (معمولاً ۲,۰۰۰ نمونه) استفاده می‌کند. ابتدا یک نتیجه واقعی تولید می‌کند و سپس با مداخله در اولین گره یک مسیر خاص، یک نتیجه ضد-واقعیت می‌سازد. تفاوت بین این دو نتیجه، اثر ویژه آن مسیر را آشکار می‌کند.
برای مثال، اگر عامل توصیه کند بازسازی را ۱۲٪ افزایش دهید، می‌تواند این تفکیک دقیق را ارائه دهد:
- ۶۰٪ کاهش کربن پیش‌بینی‌شده از مسیر «ورودی هسته» حاصل شده است.
- ۲۵٪ از «جایگزینی تولید جدید» به دست آمده است.
- ۱۵٪ یک «اثر بازگشتی» (Rebound Effect) ناشی از جرم بازیافتی بیشتر است.
این سطح از جزئیات، هوش مصنوعی را از یک «غیب‌گو» یا اوراکل مرموز به ابزاری تبدیل می‌کند که مدیران عملیات و افسران پایداری می‌توانند در جلسات هیئت‌مدیره از آن دفاع کنند و توصیه‌هایی را بپذیرند که واقعاً قابل اعتماد هستند.
نرده‌های ایمنی شبیه‌سازی معکوس
یکی از حیاتی‌ترین بخش‌های این خط لوله، تأیید از طریق شبیه‌سازی معکوس (Inverse Simulation Verification) است. چون SCM در واقع یک فرضیه است و نه حقیقت مطلق، ممکن است عامل سیاست‌هایی را یاد بگیرد که از نقص‌های مدل (Model Misspecification) سوءاستفاده می‌کنند تا پاداش کاذب بگیرند. برای جلوگیری از این اتفاق، چارچوب XCRL مسئله را وارونه می‌کند: به‌جای شبیه‌سازی رو به جلو برای دیدن اینکه آیا خروجی‌ها منطقی هستند یا خیر، یک مسیر هدف (Target Outcome Trajectory) — مانند یک بودجه کربن قانونی — را تعریف کرده و با روش‌های بهینه‌سازی مثل L-BFGS-B، ورودی‌های دقیق سیاست مورد نیاز برای رسیدن به آن را محاسبه می‌کند.
فرآیند تأیید و معیارها
این فرآیند شامل یافتن توالی اقدامی است که «خطای استقرار» (Rollout Error) را به حداقل برساند؛ یعنی کمترین تفاوت مربعی بین جرم بازیافتی شبیه‌سازی‌شده و مسیر هدف در یک افق زمانی مشخص (مثلاً ۱۲ دوره). سیستم سپس اقدامات پیشنهادی عامل را با این توالی بهینه-معکوس مقایسه می‌کند.
اگر سیاست پیشنهادی عامل به‌طور قابل‌توجهی با راهکار معکوس فاصله بگیرد، هشدار صادر می‌شود. سیستم یک معیار واگرایی (Divergence Metric) را بر اساس نرم تفاوت بین اقدامات عامل و اقدامات بهینه-معکوس محاسبه می‌کند. یک آستانه واگرایی (مثلاً 0.15) برای تعیین قابل اعتماد بودن سیاست استفاده می‌شود.
در آزمایش‌های تجربی، این معیار به عنوان یک سیگنال هشدار زودهنگام بسیار حساس عمل کرد. طبق گزارش پژوهشگران، وقتی سیستم در محیطی با نرخ بازدهی متفاوت (که نشان‌دهنده تغییر در توزیع داده‌ها یا Distribution Shift است) تست شد، معیار واگرایی از ۰.۰۸ به ۰.۴۲ جهش کرد و مشکل را مدت‌ها پیش از آنکه معیارهای پاداش افت کنند، شناسایی کرد.
پیاده‌سازی و نتایج
حلقه کامل آموزش XCRL از چهار مرحله می‌گذرد:
۱. کشف علّی (Causal Discovery): یادگیری SCM از داده‌های تاریخی جریان مواد با استفاده از ترکیبی از الگوریتم NOTEARS و محدودیت‌های دامنه (Domain Constraints).
۲. آموزش علّی (Causal Training): آموزش عامل با پاداشی که ترکیبی از بازده مشاهده‌شده و سازگاری ضد-واقعیت است. این شامل یک causal_penalty (معمولاً بین ۰.۲ تا ۰.۴) است که اقداماتی را جریمه می‌کند که اثر ضد-واقعیت آن‌ها روی نتایج کلیدی با پیش‌بینی SCM متفاوت است.
۳. انتساب مسیر (Path Attribution): توضیح هر اقدام از طریق انتساب مسیر-ویژه برای اطمینان از اینکه تصمیم بر اساس زنجیره علّی درست گرفته شده است.
۴. تأیید معکوس (Inverse Verification): بررسی سیاست از طریق شبیه‌سازی معکوس پیش از استقرار نهایی برای اطمینان از سازگاری با مسیرهای هدف.
اثرات عملیاتی
این رویکرد دستاوردهای ملموسی داشته است. در پروژه‌های آزمایشی بازیافت باتری‌های خودروهای برقی و بازسازی لوازم الکترونیکی، استفاده از پیش‌فرض‌های علّی (Causal Priors)، پیچیدگی نمونه‌برداری (Sample Complexity) را در مقایسه با مدل‌های بدون-مدل (Model-free) بین ۳۰ تا ۴۰٪ کاهش داد. این نشان می‌دهد مدل‌های علّی وقتی داده‌های تاریخی کم هستند، مانند یک منظم‌ساز (Regularizer) قدرتمند عمل می‌کنند.
مهم‌تر از آن، اعتماد انسانی افزایش یافت؛ نرخ پذیرش توصیه‌های عامل از ۲۲٪ به ۷۱٪ رسید. این تغییر به این دلیل رخ داد که مدیران عملیات دیگر مجبور نبودند به یک جعبه سیاه اعتماد کنند، بلکه می‌توانستند با مسیرهای علّی خاصی که منجر به توصیه شده است، تعامل داشته باشند.
موانع فنی
با این حال، پیاده‌سازی این سیستم با سه چالش اصلی روبروست:
- کشف علّی شکننده: روش‌هایی مثل NOTEARS با گراف‌های چرخشی (Cyclic Graphs) که در زنجیره‌های تأمین چرخشی ذاتی هستند، مشکل دارند. این موضوع مستلزم شکستن چرخه‌ها با لبه‌های دارای تأخیر زمانی (Time-lagged edges) و تکیه زیاد بر محدودیت‌های دامنه بود.
- هزینه بالای ضد-واقعیت‌ها: هر پرس‌وجوی $do(\cdot)$ نیاز به نمونه‌گیری مونت‌کارلو دارد. نویسنده برای حل این مشکل از حافظه پنهان (Caching) توزیع‌های مداخله‌ای و جریان‌های نرمال‌ساز (Normalizing Flows) برای توزیع هزینه‌ها استفاده کرد و زمان استنتاج (Inference) را تقریباً ۸ برابر کاهش داد.
- تخریب معکوس (Inverse Degeneracy): توالی‌های مختلفی از اقدامات می‌توانند به یک مسیر هدف یکسان منجر شوند. این مشکل با افزودن منظم‌سازی به سمت راهکارهای با کمترین واریانس و گزارش مجموعه‌ی کامل راهکارها به‌جای تخمین‌های تک‌نقطه‌ای حل شد.
علاوه بر این، نویسنده اشاره کرد که توضیح‌پذیری همیشه به معنای تفسیرپذیری نیست. اثرات مسیر-ویژه می‌توانند انتزاعی باقی بمانند، که این امر استفاده از بصری‌سازی‌های تخصصی دامنه، مانند نمودارهای سانکی (Sankey diagrams) از جریان مواد با لایه‌های وزن‌های علّی را ضروری می‌کند.
چرخش در رویه هوش مصنوعی
این چارچوب فرض بنیادین یادگیری تقویتی در محیط‌های صنعتی را تغییر می‌دهد و هدف را از «حداکثر پاداش» به «سازگاری قابل تأیید» منتقل می‌کند. برای مهندسان، این بدان معناست که SCM به عنوان یک منظم‌ساز عمل کرده و مانع از آن می‌شود که عامل «تقلب‌هایی» در شبیه‌ساز پیدا کند که در دنیای واقعی کار نمی‌کنند.
از نظر تجاری، این مدل AI را با الزامات قانونی همسو می‌کند. برای مثال، مقررات باتری اتحادیه اروپا مستلزم این است که تولیدکنندگان ثابت کنند ادعاهای مربوط به محتوای بازیافتی به‌صورت علّی قابل ردیابی هستند. XCRL یک ردپای حسابرسی مستقیم از یک ادعای تجاری تا زنجیره علّی جریان مواد فراهم می‌کند و حسابرسی را به یک ویژگی اصلی تبدیل می‌کند، نه چیزی که در مراحل آخر به آن فکر شود.
در آینده، مرز این پژوهش به سمت شبیه‌سازی معکوس با شتاب‌دهنده‌های کوانتومی حرکت می‌کند. استفاده از annealing کوانتومی یا QAOA می‌تواند مسائل بهینه‌سازی ابعادی بالا را که روش‌های کلاسیک مثل L-BFGS با آن‌ها مشکل دارند، حل کند، هرچند هزینه‌های جاسازی (Embedding overhead) همچنان یک چالش است. همچنین تلاش‌هایی برای XCRL چندعاملی در جریان است، جایی که گره‌های مختلف در زنجیره تأمین — تأمین‌کنندگان، بازیافت‌کنندگان و تولیدکنندگان — هر کدام مدل علّی خود را داشته باشند و از طریق یک گراف علّی مشترک هماهنگ شوند و بدین ترتیب هوش مصنوعی عامل‌محور را با استنتاج علّی ادغام کنند.
گام بعدی شما
- بررسی مدل‌های SCM برای شناسایی نقاط شکست در زنجیره تأمین فعلی خود.
- جایگزینی معیارهای پاداش ساده با معیارهای سازگاری علّی در عامل‌های تصمیم‌گیر.
- مطالعه استانداردهای پاسپورت دیجیتال محصول اتحادیه اروپا برای آماده‌سازی زیرساخت‌های داده.
اما داستان سخت‌افزاری این تحول حتی شگفت‌انگیزتر است — به تحلیل ما درباره‌ی تراشه‌های Blackwell مراجعه کنید.
گفتگو