باید بپذیریم که هیچ مدل زبانی بزرگ (Large Language Model) فعلی، فارغ از تعداد پارامترها یا سازندهاش، از بازتولید کلیشههای اجتماعی مضر در تولیدات باز پاک نیست. طبق گزارشی که در ۱۲ مه ۲۰۲۶ در arXiv منتشر شد، این سوگیریها خطاهای تصادفی نیستند، بلکه الگوهای مشترکی هستند که در تمامی ارائهدهندگان هوش مصنوعی دیده میشوند.
این یافتهها در حالی منتشر میشود که صنعت در تلاش است از بنچمارکهای ایمنی متمرکز بر زبان انگلیسی عبور کند. همانطور که در تحلیلهای پیشین ما دربارهی همراستاسازی (Alignment) مدلها اشاره کردیم، تصور بر این بود که افزایش مقیاس میتواند منجر به خنثیسازی سوگیریها شود؛ اما پژوهش StereoTales ثابت میکند که قوانین مقیاسپذیری (Scaling Laws) مشکل سوگیری اجتماعی را حل نمیکنند، بلکه تنها نحوه ظهور آن را تغییر میدهند.
پژوهشگران برای این مطالعه، یک خط لوله ارزیابی سیستماتیک به نام StereoTales طراحی کردند که بیش از ۶۵۰ هزار داستان تولید شده توسط ۲۳ مدل مختلف را تحلیل کرده است. جزئیات فنی این ارزیابی شامل موارد زیر است:
- گستره چندزبانه: پوشش ۱۰ زبان مختلف.
- عمق اجتماعی-دموگرافیک: تحلیل ۷۹ ویژگی در ۱۹ بُعد برای پروفایل شخصیتهای داستان.
- کمیسازی سوگیری: شناسایی بیش از ۱,۵۰۰ تداعی بیشازحد (Over-represented) که «مضر» ارزیابی شدهاند.
- همسویی داوری: ضریب همبستگی اسپیرمن $\rho=0.62$ بین داوران انسانی (۲۴۷ نفر) و قضاوتهای مدلمحور.
بر اساس مستندات این پژوهش، این شواهد فرضیه «ایمنتر بودن» مدلهای بزرگتر را بهطور بنیادین به چالش میکشد. حیاتیترین نکته این است که زبان پرامپت به عنوان یک «ماشه» عمل میکند؛ به این معنا که تداعیهای مضر بهصورت فرهنگی با زبان پرامپت تطبیق مییابند و سوگیریها علیه گروههایی که در آن بافت زبانی خاص برجستهتر هستند، تقویت میشوند. بنابراین، مدلی ممکن است در زبان انگلیسی «ایمن» به نظر برسد، اما هنگام دریافت پرامپت به زبانی دیگر، سوگیریهای منطقهای شدیدی از خود نشان دهد.
گام بعدی شما
- توسعهدهندگان باید از کد باز و مجموعهدادههای StereoTales برای بازرسی سوگیریهای زبانی مدلهای خود استفاده کنند.
- تحلیلگران ایمنی باید تمرکز خود را از بنچمارکهای تکزبانه به ارزیابیهای تطبیقی فرهنگی منتقل کنند.
- بررسی کنید که آیا مدل شما در زبانهای غیرانگلیسی، رفتارهای متفاوتی در مورد کلیشههای جنسیتی یا قومیتی نشان میدهد یا خیر.
اما داستان سختافزاری این تحول و تأثیر آن بر هزینههای استنتاج حتی پیچیدهتر است — به تحلیل ما دربارهی بهینهسازیهای لایه استنتاج مراجعه کنید.
گفتگو