مسئولیت قانونی سوگیری هوش مصنوعی بر عهدهٔ سازمان است، نه فروشنده

تصور کنید مدیر شرکتی هستید که برای کاهش هزینه‌ها، یک چت‌بات هوشمند را برای پاسخ به مشتریان استخدام کرده است؛ حالا دادگاه شما را به دلیل یک اشتباه کوچک این ربات، مجبور به پرداخت جریمه‌های سنگین می‌کند. این کابوس برای شرکت هواپیمایی ایرکانادا (Air Canada) به واقعیت تبدیل شد.

به گزارش دادگاه حل اختلاف بریتیش کلمبیا، این شرکت هواپیمایی باید خسارات ناشی از اطلاعات غلط چت‌باتش درباره استرداد وجه به‌طور کامل پرداخت کند. ایرکانادا استدلال کرد که چت‌بات یک ابزار شخص ثالث است و شرکت مسئولیتی ندارد، اما دادگاه حکم داد که «عملِ به‌کارگیری» ابزار، مسئولیت قانونی را ایجاد می‌کند. این تصمیم نقطه عطفی است که ثابت می‌کند انتخاب یک ابزار هوش مصنوعی از شرکت خارجی، سپر بلندی در برابر پیامدهای قانونی شکست آن ابزار نیست.

این تغییر در رویکرد پاسخگویی در حالی رخ می‌دهد که طبق پیش‌بینی گارتنر (Gartner)، هزینه‌های شرکتی برای هوش مصنوعی تا پایان سال ۲۰۲۶ از ۲.۵ تریلیون دلار فراتر خواهد رفت. در حالی که مدل‌های زبانی بزرگ (LLM) — مثل کتابخانه‌داری که میلیاردها صفحه را خوانده و حالا با همان لحن کتاب‌ها جواب می‌دهد — نویدبخش بهره‌وری، تصمیم‌گیری سریع‌تر و نسبت سود به هزینه بالاتر در مقایسه با افزایش تعداد کارکنان و فرآیندهای جذب نیروی جدید هستند، اما یک «برچسب قیمت پنهان» به نام مسئولیت قانونی با خود می‌آورند. این رویکرد تضاد عمیقی با استراتژی‌های کوتاه‌مدت دارد؛ چرا که بسیاری از سازمان‌ها در تلاش برای کاهش هزینه‌های جاری از طریق AI، با هزینه‌های عملیاتی و قانونی پیش‌بینی‌نشده‌ای مواجه شده‌اند که در نهایت بهره‌وری را کاهش می‌دهد.

همان‌طور که در تحلیل قبلی ما درباره‌ی گلوگاه‌های نوآوری در سازمان‌ها اشاره کردیم، ریسک‌های فعلی از اصطکاک‌های عملیاتی فراتر رفته و به مواجهه‌های سیستماتیک قانونی تبدیل شده است. شرکت‌هایی مثل OpenAI، Replika، Clearview و Character.ai پیش از این میلیون‌ها دلار جریمه پرداخت کرده‌اند که دلیل آن اغلب خطاهای ناشی از داده‌های آموزشی سوگیرانه بوده است. اما نکته کلیدی این است که زنجیره مسئولیت در فروشنده AI متوقف نمی‌شود.

خطر یادگیری سرتاسری (End-to-End)

در ژانویه ۲۰۲۵، شورای ملی ایمنی حمل‌ونقل (NTSB) تحقیقاتی را درباره تاکسی‌های رباتیک ویمو (Waymo) آغاز کرد؛ چرا که این خودروها در شهر آستین تگزاس، تابلوی ایست یک اتوبوس مدرسه را به‌طور غیرقانونی نادیده گرفته بودند. این خطا در حالی رخ داد که بازوهای توقف اتوبوس کاملاً باز بود و چراغ‌های قرمز چشمک می‌زدند. حوادث مشابه در آتلانتا باعث شد اداره ملی ایمنی ترافیک بزرگراه‌ها (NHTSA) وارد عمل شود و ویمو مجبور شود بیش از ۳۰۰۰ خودرو را برای رفع نقص فراخوان کند تا روی اصلاحات کار کنند.

در همان ماه، NTSB تحقیقات جداگانه‌ای را روی الگوریتم‌های ویمو آغاز کرد، زیرا حتی پس از یک به‌روزرسانی (Patch) که شرکت ادعا می‌کرد مشکل را حل کرده است، تخلفات جدیدی رخ داد. میسی کامینگز، مدیر مرکز اتونومی و رباتیک میسون و مشاور سابق ایمنی در NHTSA، این شکست‌ها را به یک تغییر خاص در مهندسی نسبت می‌دهد.

ویمو به سمت مدل بنیادی ویمو (Waymo Foundational Model) حرکت کرد؛ یک مدل یادگیری سرتاسری (E2E) که بر پایه مدل‌های جمینای (Gemini) ساخته شده است. برخلاف الگوریتم‌های قدیمی، مدل‌های E2E به‌جای اولویت دادن سخت‌گیرانه به قوانین ترافیکی، الگوهای رانندگی واقعی را تقلید می‌کنند.

مکانیزم‌های شکست در مدل‌های E2E

• جذب داده‌ها: مدل‌های E2E از کلیپ‌های کوتاه ویدئویی برای یادگیری روابط فضایی و اقدامات موجودات در یک صحنه می‌آموزند. چون روی فیلم‌های رانندگی واقعی آموزش دیده‌اند، احتمال جذب رفتارهای بی‌پروا و ناایمن توسط مدل بسیار زیاد است.
• حجم داده‌ها: کامینگز اشاره می‌کند که این مدل‌ها برای جامع شدن به حجم عظیمی از داده نیاز دارند، اما هنوز پژوهش عمومی کافی درباره اینکه چه مقدار داده برای تضمین نتایج ایمن «کافی» است، وجود ندارد.
• ریسک‌های مقیاس‌پذیری: کامینگز هشدار می‌دهد که این‌ها موارد تک‌گیر نیستند، بلکه نتیجه پیش‌بینی‌پذیر تلاش برای مقیاس‌دهی به فناوری‌ای است که با «چسب و نوار» (Bandaids) سرهم شده است.

این الگو فقط مختص خودروهای خودران نیست. کامینگز می‌گوید رقبایی مثل Cruise و Zoox نیز دچار مشکلات مشابه شده‌اند. علاوه بر این، او مشاهده می‌کند که پرونده‌های فناوری پزشکی نیز در حال طی کردن همین مسیر هستند. مدل اختصاصی ویمو تحت لایسنس متن‌باز نیز بازتولید شده است؛ اگرچه هنوز توسط دیگران به‌طور عمومی مستقر نشده، اما احتمالاً بر تصمیمات کسب‌وکارهای بیشتری در صنعت خودروهای خودران اثر می‌گذارد.

سوگیری سیستماتیک در بهداشت و درمان

هوش مصنوعی پزشکی پیش از این نشان داده است که چگونه «داده‌های جایگزین» (Proxy Data) باعث تبعیض سیستماتیک می‌شوند. مطالعه‌ای در سال ۲۰۱۹ توسط زیاد اوبرمایر از دانشگاه برکلی نشان داد که الگوریتم ارزیابی ریسک Impact Pro متعلق به شرکت اپتوم (Optum)، به‌طور سیستماتیک بیماران سیاه‌پوست را سالم‌تر از بیماران سفیدپوست طبقه‌بندی می‌کرد، حتی وقتی داده‌های پزشکی هر دو گروه یکسان بود.

در آن زمان، بسیاری از بیمارستان‌ها از این الگوریتم برای تعیین اولویت ورود بیماران به برنامه‌های مراقبتی ویژه استفاده می‌کردند. مدل به‌جای پیش‌بینی مستقیم بیماری، «هزینه‌های بهداشتی» را به‌عنوان معیاری برای نیازهای پزشکی در نظر گرفته بود. در واقع، مدل هزینه‌های مراقبت‌های بهداشتی را بر اساس هزینه‌های پزشکی گذشته بیمار پیش‌بینی می‌کرد.

هزینه نابرابری

• شکاف هزینه‌ای: اوبرمایر دریافت که برای بیماران سیاه‌پوستی با همان سطح بیماری، هزینه‌های سالانه ۱۸۰۰ دلار کمتر از سفیدپوستان بود. این موضوع به دلیل عدم دسترسی برابر به خدمات درمانی بود، نه نیاز پزشکی کمتر.
• پیامد: اگر الگوریتم درست کار می‌کرد، سهم بیماران سیاه‌پوست در برنامه‌های مراقبتی از ۱۷.۷٪ به ۴۶.۵٪ می‌رسید.
• انگیزه: اوبرمایر اشاره کرد که هزینه، متغیری است که اندازه‌گیری آن آسان و در مقیاس بزرگ در دسترس است. چون هدف برنامه‌های مدیریت سلامت جمعیت، کاهش هزینه‌های اجتناب‌پذیر بود، شناسایی بیماران «پرهزینه» استراتژی بدی به نظر نمی‌رسید.

اوبرمایر این وضعیت را یک «شکست سیستماتیک» می‌نامد و نه خطای یک نهاد خاص. بیمارستان‌های زیادی این ابزارها را خریدند و پزشکان زیادی فرصت داشتند تصمیم ماشین را رد کنند، اما نکردند. دفتر روابط عمومی اپتوم به درخواست‌ها برای اظهارنظر پاسخ نداد.

حمایت‌های قانونی از بیماران از آن زمان سخت‌گیرانه‌تر شده است. قانون جدیدی تحت بخش ۱۵۵۷ قانون مراقبت‌های مقرون‌به‌صرفه (Affordable Care Act) که از می ۲۰۲۵ اجرایی می‌شود، صراحتاً بیمارستان‌ها، کلینیک‌ها، پزشکان خصوصی و بیمه‌ها را از واگذاری مسئولیت به پلتفرم‌های AI منع می‌کند. قانون به‌طور قاطع اجازه نمی‌دهد ارائه‌دهندگان خدمات، تبعیض را به گردن ابزار بیندازند.

تله قانونی در منابع انسانی

هوش مصنوعی در استخدام، جبهه بعدی نبردهای قانونی است. در پرونده Mobley v. Workday که از سال ۲۰۲۳ در جریان است، ادعا شده پلتفرم غربالگری متقاضیان ورک‌دی (Workday) به‌طور نامتناسبی کاندیداهای سیاه‌پوست، معلول یا مسن را رد کرده است.

مقیاس این ریسک عظیم است. طبق آمارهای داخلی ورک‌دی، این پلتفرم حداقل ۱.۱ میلیارد کاندیدا را غربال کرده است که بسته به نتیجه دادگاه، همگی ممکن است واجد شرایط دریافت غرامت باشند.

ورک‌دی مدعی است که مشتریان کنترل کامل و نظارت انسانی دارند. با این حال، حکمی در سال ۲۰۲۵ در این پرونده، فروشنده AI را «بسط یا امتدادِ» کارفرمایی می‌داند که آن را استخدام کرده است. این یعنی کارفرما ریسک بیمه‌نشده هر اثر منفی الگوریتم را بر عهده دارد.

تابیتا واینستین، مدیر سابق منابع انسانی در دپارتمان ایمنی عمومی مریلند، می‌گوید بسیاری از تیم‌های HR نمی‌توانند به سه سوال کلیدی پاسخ دهند: کدام ابزار AI در استخدام دخیل است؟ آخرین بار چه زمانی بررسی اثرات تبعیض‌آمیز آن انجام شد؟ و چه کسی اختیار رد کردن تصمیم ماشین را دارد؟ او معتقد است الگوریتمی که نرخ رد کردن اقلیت‌ها را بالا می‌برد، فارغ از قصد فروشنده، یک مشکل قانونی است.

گام بعدی شما

برای اجتناب از این تله‌ها، رهبران کسب‌وکار باید از تکیه بر تضمین‌های کلی فروشندگان فراتر روند. متخصصان این اقدامات خاص را توصیه می‌کنند:

• ممیزی زنجیره ابزارها: تمام الگوریتم‌هایی که در تصمیمات بالینی یا استخدامی دخیل هستند را به‌طور منظم ممیزی کنید. مستندات دقیق این ممیزی‌ها را نگه دارید تا ثابت کنید «تلاش معقول» برای تضمین عدم تبعیض صورت گرفته است.
• تأیید داده‌های آموزشی: تا حد امکان داده‌های آموزش و تست مدل را از فروشنده بخواهید. پیش از استقرار، ممیزی سوگیری (Bias Audit) فروشنده را بخوانید و محاسبات اثرات نامطلوب (Adverse Impact) را خودتان انجام دهید.
• تثبیت حق وتوی انسانی: اطمینان حاصل کنید که استخدام‌کنندگان یا پزشکان اختیار و الزام صریح برای رد کردن تصمیمات AI را دارند. انسان‌ها باید همیشه در حلقه تصمیم‌گیری (Human-in-the-loop) باشند.

دیپیکا شریواستاو، مدیر عملیاتی The Doctors Company، توصیه می‌کند که پزشکان با هوش مصنوعی همان‌قدر سخت‌گیرانه برخورد کنند که با هر ابزار بالینی دیگر برخورد می‌کنند. او در مصاحبه‌ای در سال ۲۰۲۵ افزود که پزشکان باید تمام موارد استفاده از AI را با این درک مستند کنند که ممکن است در دادگاه مورد بررسی قرار گیرد.

این گذار، خروج از «فاز آزمایشی» و ورود به «فاز انطباق قانونی» هوش مصنوعی است. سازمان‌هایی که AI را یک جعبه سیاه می‌بینند، در واقع ریسک قانونی خود را به طرفی می‌سپارند که دادگاه‌ها دیگر حاضر نیستند او را تنها مسئول بدانند.

سازمان‌ها اکنون باید پیش از دادن دسترسی به پلتفرم‌های AI در جریان‌های کاری اصلی، یک برنامه پاسخگویی شفاف ایجاد کنند. هرگونه شرایط مربوط به ذخیره‌سازی و توزیع داده‌ها از طریق سیستم‌های فروشنده را بازبینی کنید. هدف این است که اطمینان حاصل شود بهره‌وری حاصل از AI به قیمت مواجهه‌های قانونی فاجعه‌بار تمام نشود. اما داستان سخت‌افزاری این تحول حتی شگفت‌انگیزتر است — به تحلیل ما درباره‌ی تراشه‌های Blackwell مراجعه کنید.