تصور کنید مدلی تمام معیارهای عدالت را در خروجی‌هایش رعایت کند، اما در لایه‌های زیرین، منطقی کاملاً تبعیض‌آمیز داشته باشد. این شکاف خطرناک، همان جایی است که سوگیری رویه‌ای (Procedural Bias) تعریف می‌شود و نشان می‌دهد که نتایج عادلانه، لزوماً به معنای استدلالی عادلانه نیستند.
تا امروز، جامعه‌ی پژوهشی عدالت الگوریتمی و هوش مصنوعی توضیح‌پذیر (Explainable AI - XAI) را در دو مسیر مجزا دنبال کرده است؛ یکی بر نتایج متمرکز بود و دیگری بر تفسیرپذیری. همان‌طور که در تحلیل‌های پیشین ما درباره‌ی شفافیت مدل‌های زبانی اشاره کردیم، این گسست باعث شده مدل‌ها بتوانند منطق تبعیض‌آمیز خود را پشت پوششی از نتایج عادلانه پنهان کنند، که این امر در بخش‌های حساس مانند بهداشت و درمان یا عدالت کیفری، ریسکی حیاتی ایجاد می‌کند.
در تحلیل فنی منتشر شده در ۱۱ مه ۲۰۲۶، پژوهشگری به نام گیدئون پوپولا (Gideon Popoola) چارچوبی برای «ناپایداری شرطی» پیشنهاد داد تا عدالت در توضیحات را فرموله کند. طبق مستندات این پژوهش، توضیحات مدل باید فارغ از ویژگی‌های محافظت‌شده (مانند نژاد یا جنسیت)، خنثی باقی بمانند. این مطالعه یک تاکسونومی هفت‌بعدی ارائه کرده و سه مکانیسم تولید نابرابری در توضیحات را شناسایی کرده است:
- سوگیری مبتنی بر بازنمایی (Representation-driven bias)
- عدم تطابق مدل-توضیح (Explanation-model mismatch)
- سوگیری مبتنی بر قابلیت اجرا (Actionability-driven bias)
به نقل از مقاله‌ی منتشر شده در arxiv.org، نویسندگان یک گردش‌کار ارزیابی شش‌مرحله‌ای را برای عملیاتی کردن این حسابرسی‌های عدالت در محیط‌های واقعی ارائه داده‌اند.
برای جامعه‌ی فنی، این تغییر مسیر، پیش‌فرض‌های مربوط به توضیح‌گرهای پسینی (Post-hoc explainers) را به‌طور کلی دگرگون می‌کند. این یافته‌ها ثابت می‌کنند ابزارهای فعلی گواهی شفافیت، برای تایید عدالت کافی نیستند، زیرا اغلب در شناسایی سوگیری‌های رویه‌ای شکست می‌خورند. بنابراین، معیار «هوش مصنوعی مسئولانه» باید از «برابری در خروجی» به «برابری در استدلال» تغییر کند.
گام بعدی شما
- خط‌لوله‌های XAI خود را بر اساس گردش‌کار شش‌مرحله‌ای پیشنهادی پوپولا ارزیابی کنید تا سوگیری‌های پنهان را شناسایی کنید.
- به جای اکتفا به نتایج نهایی، معیارهای ناپایداری شرطی را در داشبوردهای نظارت بر مدل‌ها ادغام کنید.
- تفاوت بین عدالت در نتیجه و عدالت در فرآیند را در مستندات فنی مدل‌های خود تفکیک کنید.
این تنها بخشی از چالش‌های نظارتی است؛ اثر این سوگیری‌ها بر امنیت مدل‌های بازمتن را در گزارش بعدی بررسی خواهیم کرد.
گفتگو