پرش به محتوای اصلی
پرش به محتوای مقاله

۱۱ سیستم پرخطر ثبت‌نشده؛ ابزارهای هوش مصنوعی پناهندگی هم در میان آن‌ها

·۵ آبان ۱۴۰۵۵ دقیقه مطالعه
بررسی ابزارهای هوش مصنوعی پناهندگی دفتر خانه توسط بازرسی مهاجرت بریتانیا
بررسی ابزارهای هوش مصنوعی پناهندگی دفتر خانه توسط بازرسی مهاجرت بریتانیا
اشتراک‌گذاری
واقعاً چه چیز جدید است؟

بازرس مستقل مرزها و مهاجرت بریتانیا از Open Rights Group خواسته است شواهدش دربارهٔ ابزارهای پناهندگی مبتنی بر GPT-4 را برای تدوین برنامهٔ بازرسی سال آینده ارائه کند؛ این ابزارها در فهرست عمومی مورد الزام راهنمای هوش مصنوعی دولت ثبت نشده‌اند.

بازرس مستقل مهاجرت بریتانیا تحقیق رسمی دربارهٔ ابزارهای هوش مصنوعی پناهندگی وزارت کشور را در نظر دارد. این ابزارها بر پایهٔ GPT-4 اوپن‌ای‌آی کار می‌کنند و به گفتهٔ پژوهشگران، خطایشان بسیار بیشتر از رقم رسمی ۹ درصد است.

وایرد (WIRED) این خبر را ۲۷ اکتبر ۲۰۲۶ گزارش کرد. منتقدان می‌گویند این سیستم‌ها بدون شفافیتی که قواعد خود دولت بریتانیا الزام کرده، به کار گرفته شده‌اند.

درخواست بازرس از Open Rights Group

بازرس ارشد مستقل مرزها و مهاجرت (ICIBI) از سازمان غیرانتفاعی حقوق دیجیتال Open Rights Group (ORG) خواسته است شواهد تحقیق شش‌ماههٔ خود را در اختیارش بگذارد. این نهاد در حال تدوین موضوع‌های بازرسی سال آینده است.

ICIBI به وایرد گفت پیش از انتشار اولویت‌های سالانهٔ بازرسی نمی‌تواند موضوع‌های در دست بررسی را تأیید کند. با این حال گفت از نگرانی‌ها دربارهٔ استفاده از ابزارهای هوش مصنوعی آگاه است. این نهاد به یافته‌های سال گذشتهٔ خود هم اشاره کرد که طبق آن «اثربخشی و قابلیت اطمینان» یکی از این ابزارها «متغیر بوده است».

ابزارهای هوش مصنوعی پناهندگی چطور کار می‌کنند

وزارت کشور بریتانیا (Home Office) از اواخر ۲۰۲۴ دو ابزار را آزمایش می‌کند: «خلاصه‌سازی پروندهٔ پناهندگی» (Asylum Case Summarisation یا ACS) و «جست‌وجوی سیاست پناهندگی» (Asylum Policy Search یا APS). هر دو بر پایهٔ مدل GPT-4 اوپن‌ای‌آی و زیرساخت Microsoft Foundry ساخته شده‌اند.

  • ACS رونوشت مصاحبه‌هایی را خلاصه می‌کند که در آن پناهجویان توضیح می‌دهند چگونه آزار دیده‌اند و چرا از بازگشت می‌ترسند.
  • APS دستیار جست‌وجوست و اطلاعات سیاستی کشورها را پیدا و خلاصه می‌کند. این اطلاعات به کارشناس می‌گوید آیا متقاضی در کشورش با خطر واقعی آسیب روبه‌روست.
  • طبق برآورد دولت، استفادهٔ هم‌زمان از دو ابزار در دورهٔ آزمایشی حدود یک ساعت در هر پرونده صرفه‌جویی کرد.

به گفتهٔ وزیران، این ابزارها زمان بررسی رونوشت مصاحبه‌ها و گزارش‌های وضعیت کشورها را نصف می‌کنند.

انباشت پرونده‌ها و افزایش اعتراض‌ها

دولت حزب کارگر این ابزارها را برای کاهش انباشت حدود ۱۰۰٬۰۰۰ پروندهٔ پناهندگی به کار گرفت. بریتانیا هر سال ده‌ها هزار درخواست تازه هم دریافت می‌کند.

وزارت کشور پیشرفت چشمگیری داشته است. تعداد افرادی که منتظر تصمیم اولیه بودند، در سال منتهی به ژوئن نصف شد. اما تعداد اعتراض‌ها به تصمیم‌ها به‌شدت بالا رفته است.

این ماجرا نشان می‌دهد مدل‌های پیشرو با چه سرعتی از محیط آزمایشی به کارهای اداری پرخطر رسیده‌اند. در این کارها یک توهم (hallucination) می‌تواند به بازگرداندن فرد به منطقهٔ جنگی منجر شود.

خطای ابزارها بیش از رقم رسمی

تحقیق ORG شامل ۱۱ پرسش پارلمانی، دو نامه به وزیران و ۱۰ درخواست آزادی اطلاعات (FOI) بود. طبق این تحقیق، سهم خلاصه‌های ACS که برای استفاده نامناسب تشخیص داده شده‌اند، «به‌مراتب بیشتر» از نرخ خطای ۹ درصدی ارزیابی آزمایشی است. دلیل اصلی، خطاهای واقعی یا بازنمایی نادرست در خلاصه‌ها بوده است.

ORG همچنین دریافت که خلاصه‌های APS هیچ کنترل کیفیتی ندارند.

در ژوئیه، قاضی‌ای در بریتانیا وزارت کشور را متهم کرد که برای رد درخواست پناهندگی زنی مراکشی و فرزندش به سندی «توهم‌زدهٔ هوش مصنوعی» استناد کرده است. استدلال وزارت این بود که بازگشت به مراکش برای او امن است.

بل ریبیرو-ادی (Bell Ribeiro-Addy)، نمایندهٔ حزب کارگر، به وایرد گفت: «ما با زندگی مردم سروکار داریم. دربارهٔ کسانی حرف می‌زنیم که برخی از بدترین شرایط را از سر گذرانده‌اند و قرار است بر اساس واقعیت‌ها و درک آسیب تصمیم بگیریم.» او افزود: «فکر نمی‌کنم درست باشد که ماشین‌ها این کار را انجام دهند.»

نگرانی از سوگیری فرهنگی

ریبیرو-ادی، سارا الشریف از ORG و پروژهٔ حقوق عمومی (Public Law Project) که جداگانه این ابزارها را بررسی می‌کند، نگران «سوگیری فرهنگی» شناخته‌شده در مدل‌های GPT هستند. به گفتهٔ آن‌ها، این سوگیری می‌تواند به موانع زبانی و از بین رفتن ظرافت‌های فرهنگی در خلاصه‌ها منجر شود و در نهایت تصمیم‌های تبعیض‌آمیز به بار آورد.

سخنگوی اوپن‌ای‌آی به وایرد از کار مداوم این شرکت برای بهبود صحت مدل‌ها گفت. او یادآوری کرد که اوپن‌ای‌آی GPT-4 را در ژانویهٔ ۲۰۲۷ بازنشسته می‌کند.

شکاف شفافیت در وزارت کشور بریتانیا

  • «راهنمای هوش مصنوعی» (AI Playbook) دولت بریتانیا الزام می‌کند ابزارهای الگوریتمی که در تصمیم‌گیری به کار می‌روند، در فهرستی عمومی ثبت شوند. ACS و APS در این فهرست نیستند.
  • به پناهجویان گفته نمی‌شود که این ابزارها در پرونده‌شان به کار رفته است. وکلای Cloisters در نظری حقوقی که ORG سفارش داده بود، نوشتند ناتوانی در اعتراض به خلاصهٔ نادرست ممکن است قانون حفاظت از دادهٔ بریتانیا را نقض کند.
  • وزارت کشور در اطلاعیهٔ حریم خصوصی خود فقط گفته است بخش‌هایی از فرایند تصمیم‌گیری ممکن است خودکار باشد.
  • به گفتهٔ الشریف، بیشتر سازمان‌های مهاجران و وکلا از استفادهٔ این ابزار خبر ندارند و به همین دلیل نمی‌توانند به آن اعتراض کنند.

هر دو گروه یافته‌هایشان را برای کمیسیون اطلاعات (Information Commission)، نهاد ناظر دادهٔ بریتانیا، فرستاده‌اند. این کمیسیون هم‌اکنون امتناع وزارت کشور از توضیح نحوهٔ استفاده و آموزش کارکنان برای این دو ابزار را بررسی می‌کند.

کارولین سلمن (Caroline Selman)، پژوهشگر ارشد پروژهٔ حقوق عمومی، می‌گوید ACS و APS فقط دو مورد از ۱۱ سیستم هوش مصنوعی پرخطری هستند که تیم او در دولت پیدا کرده و در فهرست عمومی ثبت نشده‌اند. او نگران است ابزارهای بیشتری به کار رفته باشد که حتی پژوهشگران از آن‌ها خبر ندارند، چه برسد به کسانی که این ابزارها درباره‌شان استفاده می‌شود.

سلمن گفت: «ابزارهای دیگری هم استفاده می‌شوند که اصلاً اعلام نشده‌اند. وقتی نمی‌دانید چیزی استفاده می‌شود، حتی نمی‌توانید درباره‌اش سؤال کنید.»

پاسخ وزارت کشور

سخنگوی وزارت کشور بریتانیا به وایرد گفت: «تصمیم‌های پناهندگی را کارشناسان آموزش‌دیده می‌گیرند و ابزارهای هوش مصنوعی فقط برای کمک به مرور سوابق مصاحبه و اطلاعات سیاستی به کار می‌روند. این ابزارها به‌تنهایی استفاده نمی‌شوند و دربارهٔ درخواست‌ها تصمیم نمی‌گیرند.»

او افزود: «ما عملکرد این ابزارها را در کنار فرایندهای تضمین کیفیت موجود به‌طور منظم پایش می‌کنیم و متعهد شده‌ایم ارزیابی‌های به‌روزشده از استقرار آن‌ها را منتشر کنیم.» این سخنگو همچنین گفت: «استفاده از هوش مصنوعی فقط یکی از ابزارهای ما برای حفاظت از مرزهاست و نقش تصمیم‌گیرندگان انسانی را جایگزین یا خودکار نمی‌کند.»

پیامد برای دولت‌ها و فروشندگان هوش مصنوعی

این ماجرا شکاف رو به گسترشی را در پاسخ‌گویی نشان می‌دهد. وزارتخانه‌ها مدل‌های زبانی بزرگ (LLM) را سریع‌تر از سازگار شدن سازوکارهای نظارتی به کار می‌گیرند. فرایندهای تضمین کیفیت وزارت کشور هم نرخ خطایی را که پژوهشگران بیرونی با پیگیری درخواست‌های FOI کشف کردند، تشخیص ندادند.

برای فروشندگان، پیام روشن است: قراردادهای دولتی به‌تدریج پیش از استقرار، ردپای حسابرسی، ارزیابی سوگیری و ثبت عمومی خواهند خواست. Microsoft Foundry و پلتفرم‌های مشابه باید اطلاعات نسخهٔ مدل و ارزیابی را جزو تحویل‌های استاندارد قرارداد ارائه کنند.

این سابقه دفاع «انسان در حلقه» (human-in-the-loop) را هم تضعیف می‌کند. اگر کارشناسان برای بررسی خلاصه‌ها وقت نداشته باشند و فقط آن‌ها را تأیید کنند، انسان به سپر مسئولیت تبدیل می‌شود، نه کنترلی واقعی. دادگاه‌ها و نهادهای ناظر احتمالاً این تفاوت را تعیین‌کننده می‌دانند.

برنامهٔ بازرسی سالانهٔ ICIBI که اوایل سال آینده منتشر می‌شود و حکم کمیسیون اطلاعات دربارهٔ الزامات شفافیت، روشن می‌کنند که راهنمای هوش مصنوعی بریتانیا ضمانت اجرا پیدا می‌کند یا فهرستی داوطلبانه باقی می‌ماند.

گام بعدی شما

  • اگر در حوزهٔ حقوقی یا مهاجرت کار می‌کنید، بپرسید آیا در پروندهٔ موکل‌تان از خلاصه‌های هوش مصنوعی استفاده شده است.
  • اگر توسعه‌دهنده‌اید، به ساخت لایه‌های اعتبارسنجی و ثبت شفاف برای ابزارهای مشابه فکر کنید.
  • اگر پژوهشگر سیاست‌گذاری هستید، فهرست ۱۱ سیستم پرخطر ثبت‌نشدهٔ پروژهٔ حقوق عمومی را الگویی برای حسابرسی ابزارهای دولتی ببینید.
چرا این موضوع مهم است؟

ابزارهای هوش مصنوعی پناهندگی در بریتانیا در تصمیم‌هایی به کار می‌روند که ممکن است فرد را به کشوری بازگرداند که از آزار در آن می‌ترسد، و پژوهشگران خطای آن‌ها را بیشتر از رقم رسمی می‌دانند. تحقیق احتمالی بازرس و بررسی کمیسیون اطلاعات می‌تواند معیار تازه‌ای برای شفافیت و نظارت بر هوش مصنوعی زاینده در تصمیم‌های اداری دولت‌ها بسازد.

تأثیر برای ایران

برای وکلا و فعالانی که با پرونده‌های پناهجویان فارسی‌زبان در بریتانیا کار می‌کنند، این خبر یعنی ممکن است بخشی از بررسی پرونده با خلاصه‌های GPT-4 انجام شده باشد و پناهجو از آن خبر نداشته باشد.

·نگاه ما
تحریریه دات‌هوش

مسئلهٔ اصلی این پرونده فقط خطای GPT-4 نیست؛ پنهان ماندن ابزارهاست. وقتی پناهجو نمی‌داند خلاصهٔ پرونده‌اش را ماشین نوشته، نمی‌تواند به آن اعتراض کند. وعدهٔ وزارت کشور دربارهٔ تصمیم‌گیری انسانی هم وقتی کارشناس فرصت بازبینی ندارد، اعتبار کمی دارد. نکتهٔ مهم بعدی این است که آیا ICIBI این ابزارها را رسماً در برنامهٔ بازرسی سالانه‌اش می‌گذارد و کمیسیون اطلاعات وزارت کشور را به افشای جزئیات آموزش و استفاده وادار می‌کند یا نه. بازنشستگی GPT-4 در ژانویهٔ ۲۰۲۷ هم این پرسش را پیش می‌کشد که مدل جایگزین چگونه ارزیابی و ثبت خواهد شد.

منابع

این گزارش با خط‌لولهٔ خودکار دات‌هوش از منابع معتبر جهانی تدوین و زیر نظر تحریریه منتشر شده است. روش کار ما

گفتگو

پنج‌شنبه‌های هوش‌محور

بسته‌ی هفتگی دات‌هوش

۵ خبر، ۲ ابزار، ۱ پرامپت در هر شماره. به‌زودی راه‌اندازی می‌شود — هر پنج‌شنبه صبح.

خبر کلیدی
ابزار کاربردی
پرامپت حرفه‌ای
تحلیل پژوهش
به‌زودی
زاویه‌ی ایرانی
به‌زودی
تمرین این هفته
به‌زودی

راهنماهای دات‌هوش

راهنماهای کاربردیِ دات‌هوش برای کار با هوش مصنوعی — از همین‌جا شروع کنید:

دات‌هوش

راهنمای فارسی هوش مصنوعی — با نگاه به ایران

اخبار روزانه، معرفی ابزارها و مدل‌ها، و آموزشِ کار با هوش مصنوعی؛ همیشه با این پرسش که از ایران چه چیزی کار می‌کند و چه چیزی نه.