پژوهش پرینستون: مدل‌های استدلالی سوگیری‌های قومیتی را تشدید می‌کنند

تصور کنید مدیر استخدام شما تصمیم می‌گیرد چون یک نفر از شهر «الف» شکست خورده، پس تمام اهالی آن شهر بی‌کفایت هستند. این کابوسِ کلیشه‌سازی، اکنون در قلب پیشرفته‌ترین مدل‌های هوش مصنوعی در حال رخ دادن است. این پدیده که به عنوان «معمای اکتشاف-بهره‌برداری» (exploration-exploitation dilemma) شناخته می‌شود، بخشی بنیادین از نحوه یادگیری انسان‌هاست، اما در هوش مصنوعی در مقیاسی سیستماتیک و شتاب‌یافته اتفاق می‌افتد. با حرکت شرکت‌ها به سمت «هوش مصنوعی عامل‌محور» (Agentic AI) با حافظه بلندمدت، این مدل‌ها در معرض خطر تثبیت پیش‌داوری‌ها تنها بر اساس چند نقطه داده‌ای نامناسب هستند.

بر اساس مستندات پژوهشی که در ژوئیه ۲۰۲۴ در کنفرانس ICML در سئول منتشر شد، دانشگاه پرینستون (Princeton University) و دانشگاه شیکاگو (University of Chicago) دریافتند که مدل‌های زبانی بزرگ (LLM) — مانند کتابخانه‌داری که میلیاردها صفحه را خوانده و حالا با همان لحن جواب می‌دهد — تمایل بیشتری نسبت به انسان‌ها برای ایجاد سوگیری‌های جمعیتی دارند. همان‌طور که در تحلیل‌های پیشین ما درباره‌ی امنیت و اخلاقیات مدل‌های بازمتن اشاره کردیم، مشکل تنها ارث‌بری از داده‌های آموزشی (Training Data) نیست؛ بلکه مدل‌ها بر اساس تجربیات عملی خود، کلیشه‌های تازه‌ای خلق می‌کنند. در این راستا، بررسی نحوه مدیریت این تعادل در مدل‌های پیشرو، مانند اینکه مدل Claude چگونه تعادل میان توانمندی و محدودیت‌های اخلاقی را می‌سازد، به درک عمیق‌تری از چالش‌های کنترل سوگیری کمک می‌کند.

جزئیات شبیه‌سازی

در این شبیه‌سازی، مدل‌های ChatGPT، Claude و Gemini در نقش مشاورانی قرار گرفتند که توسط شهردار یک شهر خیالی استخدام شده بودند. آن‌ها باید برای ۲۰ شغل مختلف، از جمله پزشکان، وکلا، کمک-مربیان کودک و نظافتچیان، افرادی را استخدام می‌کردند. کاندیداهای این مشاغل از چهار گروه قومیتی خیالی شامل Tufa، Aima، Reku و Weki بودند. ساختار بازی به این صورت بود:

• در هر دور، تنها یک فرصت شغلی وجود داشت و چهار کاندیدا (هر کدام از یک گروه قومیتی مختلف) برای آن رقابت می‌کردند.
• مدل بعد از هر استخدام، بازخورتی دریافت می‌کرد تا متوجه شود کاندیدای انتخاب شده موفق بوده یا نه و سپس به دور بعدی می‌رفت.
• هدف نهایی مدل این بود که در طول ۴۰ دور، بیشترین تعداد استخدام‌های موفق ممکن را ثبت کند.
• نکته کلیدی و حیاتی این بود که تمام کاندیدا‌ها، فارغ از گروه قومیتی‌شان، در هر یک از شغل‌ها شانس موفقیت کاملاً یکسانی داشتند.

با این حال، مدل‌ها به‌سرعت شروع به تفکیک قومیتی کردند. برای مثال، اگر یک کاندیدای گروه Aima در نقش پزشک شکست می‌خورد — نقشی که مدل آن را به عنوان شغلی نیازمند سطح بالایی از «گرما» (Warmth) و «صلاحیت» (Competence) طبقه‌بندی کرده بود — مدل بلافاصله استخدام اعضای گروه Aima را برای تمامی نقش‌های دارای صلاحیت بالا متوقف می‌کرد و آن‌ها را به سمت شغل‌های نظافتچی می‌برد؛ چرا که این شغل‌ها را کمتر گرم و دارای صلاحیت می‌دید.

تحلیل شکاف سوگیری

تفاوت میان قضاوت انسان و ماشین در این آزمایش تکان‌دهنده بود. پژوهشگران برای اندازه‌گیری این موضوع از یک «مقیاس تفکیک» استفاده کردند که در آن عدد ۲ به معنای تفکیک کامل گروه‌ها در نیچ‌های شغلی مجزا است:

• شرکت‌کنندگان انسانی در مطالعه روان‌شناسی اصلی، نمره ۰.۸۴ را کسب کردند.
• مدل‌های هوش مصنوعی در مجموع تقریباً ۶۵٪ بیشتر از شرکت‌کنندگان انسانی سوگیری نشان دادند.
• مدل استدلالی (Reasoning Model) شرکت OpenAI یعنی o3، به نمره ۱.۸۳ رسید که تقریباً حداکثر سطح تفکیک ممکن است.

رایان لیو، دانشجوی دکتری پرینستون و یکی از نویسندگان این مطالعه، توضیح می‌دهد که این مشکل از میل مدل‌ها به تعمیم‌دهی (Generalization) از داده‌های محدود می‌آید. او معتقد است همین غریزه‌ای که به مدل کمک می‌کند با تنها چند مثال، یک مسئله پیچیده ریاضی، کدنویسی یا علمی را حل کند، در محیط‌های اجتماعی باعث شکست و ایجاد کلیشه‌های غلط می‌شود.

استدلال در برابر انصاف

یافته‌های غافلگیرکننده این بود که مدل‌های جدیدتر با قابلیت‌های استدلالی بالاتر، مانند o3 و R1 شرکت DeepSeek، حتی سوگیری‌های شدیدتری از خود نشان دادند. جالب‌تر اینکه دستور دادن به مدل‌ها برای اینکه «منصف باشند» (be fair)، تأثیر اندکی بر رفتار آن‌ها داشت. لیو خاطرنشان می‌کند که یا مدل‌ها نمی‌توانند این ارزش‌ها را به عمل تبدیل کنند، یا این فرآیند تحت سلطه تمایل مدل برای بهینه‌سازی هدف (یعنی کسب بیشترین تعداد استخدام‌های موفق) قرار می‌گیرد.

با این حال، پژوهشگران دو راهکار برای کاهش این اثر کشف کردند:

۱. ساختارهای انگیزشی: وعده‌ی یک پاداش (Bonus) اضافی برای استخدام‌های متنوع، مدل‌ها را به‌شدت کمتر سوگیر کرد. این نشان می‌دهد که برای اینکه مدل‌ها به شیوه‌ای مطلوب از نظر اجتماعی عمل کنند، اهداف باید به طور صریح شامل ارزش‌های اجتماعی شوند.
۲. داده‌های مرتبط: ارائه اطلاعات شخصی مرتبط با وظیفه — مانند سن و تحصیلات — احتمال تفکیک قومیتی را کاهش داد. در یک آزمایش مجزا درباره اسکان مجدد گروه‌های قومی در شهرهای کانادا، وقتی داده‌های شخصی مرتبط ارائه شد، مدل‌ها کمتر به تفکیک روی آوردند. در مقابل، وقتی اطلاعات بی‌ربطی مانند شکل تتو یا رنگ مو ارائه شد، مدل‌ها دوباره به الگوی تفکیک قومیتی بازگشتند.

پیامدهای دنیای واقعی

آنجلینا وانگ، دانشمند علوم کامپیوتر در دانشگاه کرنل، هشدار می‌دهد که این موضوع به‌ویژه با بهبود حافظه و ویژگی‌های شخصی‌سازی چت‌بات‌ها اهمیت می‌یابد. وقتی یک چت‌بات از تاریخچه گفتگوهای قبلی استفاده می‌کند، ممکن است روی رفتارهای خاصی که قبلاً تجربه کرده «بیش-پرداز» (Over-index) کند و پیش‌داوری شکل دهد. کاهش حافظه نیز راهکار نیست، زیرا کاربران همچنان خواهان یادآوری ترجیحاتشان توسط چت‌بات هستند.

برای مدیران کسب‌وکار، این بدان معناست که استقرار یک مدل زبانی برای غربالگری رزومه‌ها، اقدامی خنثی نیست. در حالی که روش‌های فنی برای ساخت غربال رزومه‌ی شخصی با پایتون وجود دارد، اما ریسک سوگیری‌های سیستماتیک همچنان پابرجاست. اگرچه یک مدل در دنیای واقعی «کارنامه» فوری از استخدام‌ها دریافت نمی‌کند، اما جریان کند داده‌های عملکردی می‌تواند باعث شود هوش مصنوعی به‌آرامی کل یک گروه جمعیتی را در لیست سیاه قرار دهد. این امر منجر به ایجاد «سوگیری‌های نوظهور» (Novel Biases) می‌شود؛ سوگیری‌هایی که هرگز در مجموعه داده‌های آموزشی اولیه نبودند، اما از طریق تجربه عملیاتی خود مدل پدید آمدند.

در حالی که هوش مصنوعی شروع به تصمیم‌گیری درباره اینکه چه کسی وام بگیرد یا چه کسی مشمول آزادی مشروط شود می‌کند، ریسک تنها سوگیری‌هایی نیست که ما به ماشین‌ها آموخته‌ایم، بلکه سوگیری‌هایی است که آن‌ها خود یاد می‌گیرند. همان‌طور که لیو نتیجه‌گیری می‌کند، این سوگیری‌های بدیع «به نوعی همواره حضور دارند». این دغدغه‌ها باعث شده تا برخی استارتاپ‌ها مانند Fika Jobs تلاش کنند تا با به‌کارگیری Gemini برای استخراج نقاط قوت کاندیداها، فرآیند ارزیابی را عادلانه‌تر و مبتنی بر شایستگی کنند.

گام بعدی شما

• اگر از هوش مصنوعی برای غربالگری کاندیداها استفاده می‌کنید، معیارهای ارزیابی را به جای «قضاوت کلی»، به «داده‌های مرتبط و سخت» تغییر دهید.
• برای کاهش سوگیری در مدل‌های استدلالی، از سیستم‌های پاداش (Reward) متصل به تنوع جمعیتی استفاده کنید.
• خروجی‌های مدل‌های استدلالی را در فرآیندهای حساس انسانی، حتماً با یک لایه نظارت بشری بازبینی کنید.