۱۱۰ متر. این فاصلهٔ بین خوزه مورالس برنال و یک برج نظارتی در ۲۰ آوریل ۲۰۲۴ بود؛ درست یک روز پیش از تولد ۳۲ سالگی‌اش که در تنهایی جان باخت. او در محدودهٔ دید سه دوربین مجهز به هوش مصنوعی (AI) — شبیه نگهبانی که هرگز چشم از محیط برنمی‌دارد اما گاهی مغزش سیگنال‌ها را پردازش نمی‌کند — قرار داشت، اما هیچ‌کس او را پیدا نکرد. او را نه گشت مرزی آمریکا، بلکه کارگران یک مرکز دفن زباله پیدا کردند که بقایای جسد او را مشاهده کردند. کالبدشکافی بعدی تایید کرد که او بر اثر «مراقب نبودن از شرایط محیطی» (environmental exposure) جان باخته است.
این تراژدی یک اتفاق تصادفی نیست، بلکه الگویی از یک شکست سیستمی است. دولت آمریکا میلیاردها دلار روی «دیوار مجازی» نظارتی سرمایه‌گذاری کرده است، اما این فناوری نمی‌تواند انسان‌ها را پیش از آنکه تسلیم طبیعت شوند، شناسایی کند. اگر سیستم طبق برنامه کار می‌کرد، مورالس باید شناسایی می‌شد. اگر او به کمک پزشکی نیاز داشت، ماموران آموزش دیده بودند تا این کمک‌ها را ارائه دهند. اما هیچ‌کدام از این اتفاقات رخ نداد.
زمینهٔ این تحقیقات
به نقل از تحقیقات ۱۵ ماهه ام‌آی‌تی تک ریویو (MIT Technology Review)، یک بحران انسانی درست جلوی دوربین‌های دولتی در حال رخ دادن است. پژوهشگران برای درک شکاف بین توان فنی و نتایج واقعی، نخستین نقشه جامع از مرگ‌ومیرهای اطراف برج‌های نظارتی مرز آمریکا و مکزیک را ترسیم کردند تا مقیاس فاصله میان قابلیت‌های فنی و پیامدهای دنیای واقعی را آشکار کنند.
همان‌طور که در تحلیل‌های پیشین ما درباره‌ی اخلاقیات استقرار هوش مصنوعی در محیط‌های حساس اشاره کردیم، فاصله میان وعده‌های بازاریابی و واقعیت عملیاتی اغلب مرگبار است. تیم تحقیق برای ساخت این نقشه، نزدیک به ۴۰۰۰ نقطه که بقایای انسانی در آن‌ها یافت شده بود را تحلیل کردند. آن‌ها این نقاط را با اطلاعات مربوط به ۶۰۰ برج نظارتی تطبیق دادند. داده‌ها نشان می‌دهند که مرگ‌ها حتی در نقاطی که دولت ابزار پیشگیری داشته، به‌طور تکان‌دهنده‌ای رایج است.
ابعاد شکست
طبق گزارش تایمز آف سن دیگو (Times of San Diego)، شدت این بحران با اعداد و شواهد زیر مشخص می‌شود:
- از سال ۲۰۲۲، دست‌کم ۱۳۸ مورد یافتن بقایای مهاجران در محدودهٔ اسمی (nominal range) برج‌های نظارتی ثبت شده است.
- تخمین ام‌آی‌تی تک ریویو حاکی از آن است که بیش از نیمی از این افراد احتمالاً در میدان دید واقعی (actual field of view) برج‌ها بوده‌اند.
- مورد گومز هرناندز، که داستان او توسط تایمز آف سن دیگو به عنوان بخشی از این الگوی شکست مستند شده است، نمونه‌ای بارز از این تراژدی است.
نقص‌های فنی سیستمی
این بررسی سه نقطه شکست اصلی را در زنجیره نظارت شناسایی کرده است:
- فرسودگی زیرساخت: تجهیزات فیزیکی اغلب مورد غفلت قرار گرفته‌اند و برج‌های خرابی وجود دارند که به دلیل نقص فنی قادر به ارسال داده‌ها نیستند.
- شکست الگوریتمی: الگوریتم‌های تشخیص اشیا (Object Detection) — مثل چشم‌های دیجیتالی که باید تفاوت انسان و درخت را بفهمند — مکرراً در شناسایی حضور انسان شکست می‌خورند و اهدافی را که باید بدیهی باشند، نادیده می‌گیرند.
- سهل‌انگاری انسانی: حتی وقتی هوش مصنوعی درست کار می‌کند و هشدار را فعال می‌کند، ماموران انسانی اغلب به سادگی به این اعلان‌ها پاسخ نمی‌دهند.
با وجود این نقص‌های مستند، دولت آمریکا قصد دارد یک میلیارد دلار دیگر هزینه کند تا اندازه دیوار مجازی را سه برابر کند. این گسترش، مقیاس را بر عملکرد اولویت داده است. بررسی‌ها نشان می‌دهد که اداره گمرک و حفاظت مرزی (CBP) باید ابتدا این نقص‌های خاص را رفع کند، نه اینکه صرفاً سخت‌افزار بیشتری اضافه کند.
برای یک ناظر عادی، این وضعیت شکاف خطرناکی بین بازاریابی «امنیت مبتنی بر AI» و واقعیت عملیاتی است. وقتی هوش مصنوعی در محیط‌های حساس مستقر می‌شود، مفهوم «انسان در حلقه» (Human-in-the-loop) اغلب یک افسانه است؛ اگر مامور هشدار را نادیده بگیرد، توانایی تشخیص مدل کاملاً بی‌معنی است.
این شکست ثابت می‌کند که افزودن حسگرهای بیشتر مشکل را حل نمی‌کند. مسئله کمبود داده نیست، بلکه شکست در خط لوله پاسخ‌دهی (response pipeline) و عدم اطمینان به الگوریتم‌های تشخیص است. دیوار مجازی که قرار بود ابزاری برای بازداشت و ایمنی باشد، در عمل به شاهد خاموشی برای مرگ تبدیل شده است.
اگر CBP به مقیاس‌دهی یک سیستم معیوب ادامه دهد، هزینه انسانی هم‌گام با بودجه افزایش می‌یابد. گذار از دیوارهای فیزیکی به دیجیتال، خطر را از بین نبرده؛ بلکه مرگ‌ها را برای اپراتورهای این فناوری نامرئی کرده است تا زمانی که دیگر خیلی دیر باشد.
گام بعدی شما
- بررسی گزارش‌های نظارتی درباره نرخ خطای مدل‌های بینایی در محیط‌های باز.
- مطالعه استانداردهای جدید برای سیستم‌های هشداردهی در محیط‌های حساس (High-stakes AI).
- دنبال کردن سری گزارش‌های «مرگ در برابر دوربین» (Dying on Camera) برای تحلیل عمیق‌تر هزینه‌های انسانی این فناوری و تغییرات سیاستی مورد نیاز برای اصلاح آن‌ها.
اما داستان سخت‌افزاری این تحول حتی شگفت‌انگیزتر است — در حالی که برخی سیستم‌ها در محیط‌های باز شکست می‌خورند، پیشرفت‌های جدیدی در کنترل مستقیم سخت‌افزار توسط عامل‌های هوش مصنوعی در محیط‌های کنترل‌شده رخ داده است که تضاد عجیبی با ناکارآمدی‌های مرزی ایجاد می‌کند. به تحلیل ما درباره‌ی تراشه‌های پردازشی لبه در سیستم‌های نظارتی مراجعه کنید.
گفتگو