تصور کنید افسر پلیسی با تایپ عبارت «هر کسی که لباس جراحی پوشیده یا لوگوی یک باند خاص را دارد»، کل یک محله را در لحظه فیلتر کند. با ترسیم یک حصار دیجیتالی دور یک محله در شهر، پلیس اکنون میتواند کل جمعیت را غربال کند. این قدرتِ ابزار جدید شرکت Flock Safety است؛ شرکتی که ابزارهایش اکنون در مرکز دهها پرونده تعقیب غیرقانونی و استالکینگ توسط پلیس در ایالات متحده قرار گرفتهاند.
این قابلیت در زمانی عرضه میشود که اعتماد عمومی به پلیس خودکار به پایینترین سطح (nadir) رسیده است. در حالی که برخی شوراهای شهر در سکوت دوربینها را حذف میکنند، نمایندگان کنگره درباره سوءاستفادههای سیستماتیک از مدیرعامل این شرکت، گرت لنگلی، بازخواست میکنند. گزارشها از سوءاستفادههای گسترده حکایت دارد؛ از جمله موردی در تگزاس که در آن یک معاون کلانتر بیش از ۸۳,۰۰۰ دوربین را برای ردیابی زنی که سقط جنین کرده بود، جستوجو کرد. همانطور که در تحلیلهای پیشین ما درباره تغییر ماهیت قدرت توسط ابزارهای پژوهشی AI اشاره کردیم، استقرار این سیستمها، تحقیقات هدفمند را به «ماهیگیری انبوه» (fishing expeditions) با کمک هوش مصنوعی تبدیل میکند.
سازوکار جستوجوی FreeForm
طبق گزارش WIRED، ابزار FreeForm به افسران اجازه میدهد از توصیفات زبان طبیعی (plain-language) برای یافتن افراد روی دوربینها استفاده کنند. برخلاف جستوجوهای استاندارد خودرو که بر منوهای پیشفرض برای انتخاب رنگ، نوع بدنه، برند، مدل و ویژگیهایی مانند باربند یا برچسبهای سپر متکی هستند، FreeForm متن نوشته شده را به مجموعهای از اعداد یا بردار معنایی (Embedding) تبدیل میکند. این رویکرد در واقع پیادهسازی نظارتی از مفاهیم جستوجوی معنایی است که تفاوتهای بنیادین آن با فیلترهای متنی سنتی را در بررسیهای پیشین تحلیل کردهایم.
این اعداد با پایگاهداده تمام تصاویری که توسط شبکه ثبت شدهاند مقایسه میشوند. سپس سیستم، ویدیوهایی را که بیشترین تطابق را با توصیف متنی دارند در صدر نتایج رتبهبندی میکند. تمام این پردازشها روی سرورهای Flock انجام میشود؛ این بدان معنای آن است که منطق خاص، آستانههای تصمیمگیری و فیلترهای مورد استفاده برای رتبهبندی نتایج، برای خودِ ادارات پلیس که از سیستم استفاده میکنند، نامرئی و غیرقابل دسترس است.
برای دقیقتر کردن نتایج، افسران از قابلیتی به نام Smart Sort استفاده میکنند. آنها با تایید یا رد چند تصویر، مدل را آموزش میدهند تا جستوجوی محلی را برای اولویت دادن به ویدیوهای مشابه تنظیم کند. در رابط کاربری سیستم، یک راهنمای کوچک (tooltip) میپرسد: «نتایج خیلی زیاد است؟ روی چند نتیجه رای دهید تا جستوجو سریعتر اصلاح شود.» این فرآیند یک حلقه بازخورد ایجاد میکند که دایره جستوجو را بدون نیاز به نوشتن پرامپتهای متنی پیچیدهتر، تنگتر میکند.
جزئیات فنی رابط کاربری
مجله WIRED با تحلیل کدهایی که Flock به مرورگر افسران پلیس ارسال میکند، ساختار این ابزار را بازسازی کرد. این تحلیل فاش کرد که نرمافزار چگونه با انواع مختلف دادهها برخورد میکند:
- جستوجوی خودرو: از ویژگیهای تعریفشده (برند، مدل، رنگ) استفاده میکند و میتواند تداعیهای ارتباطی را از روی الگوهای رانندگی استنباط کند؛ به این معنا که به پلیس نشان میدهد کدام خودروها در کنار یک پلاک خاص دیده شدهاند.
- جستوجوی FreeForm: بر اساس توصیفات زبان طبیعی عمل میکند. در دوربینهای ویدئویی، سیستم به دنبال لباس، رنگها، اشیا یا سایر جزئیات مرتبط با پرونده میگردد. اما در دوربینهای پلاکخوان، این قابلیت فقط به خودروها محدود است و نمیتوان ویژگیهای انسانی را در آن جستوجو کرد.
- جریان داده: هرگاه یک جستوجو علامتگذاری شود، نرمافزار مواردی چون زبان مورد استفاده، دستهبندی و امتیاز اطمینان (confidence score) اختصاص داده شده توسط مدل، و واکنش بعدی افسر (ادامه دادن، رد کردن یا اعتراض به هشدار) را به سرورهای Flock ارسال میکند.
- گستره شبکه: بسته به سطح مجوزها، یک جستوجو میتواند روی دوربینهای خودِ سازمان، دوربینهای مشترک از سازمانهای دیگر، یا حتی در سطح شبکههای ایالتی و ملی اجرا شود.
توهمِ «نردههای ایمنی»
شرکت Flock ادعا میکند که سیستم تعدیل (moderation) آن تضمین میکند که حفاظتهای متمایز «متمم اول قانون اساسی آمریکا» (آزادی بیان و مذهب) در تار و پود سیستم بافته شده است. اما کدهای بازسازیشده نشان میدهد مدل AI ابتدا توصیفات را در ۸ دسته حساس بررسی میکند و پیش از اجرای جستوجو، یکی از سه حکم «اجازه»، «مسدود» یا «هشدار» را صادر میکند. این تصمیم بر اساس امتیاز اطمینانی گرفته میشود که از دید اداره پلیس پنهان است.
- دستههای مسدود شده: نژاد، قومیت، ملیت و «محتوای توهینآمیز» (شامل محتوای جنسی، کنایههای رکیک و دشنامها) بهگونهای طراحی شدهاند که جستوجو را بهطور کامل متوقف کنند. در حالت خودرو، ابزار هرگونه جستوجویی که از اصطلاحات مربوط به انسان (از جمله جنسیت، لباس و رفتار) استفاده کند را مسدود میکند.
- دستههای هشدار: مذهب و ملیت تنها دو دستهای هستند که به هر دو صورت تعریف شدهاند؛ یعنی هم میتوانند باعث مسدود شدن شوند و هم باعث صدور هشدار که به افسر اجازه میدهد مسیر را ادامه دهد.
- رخنه اصلی: «بیانات سیاسی، اجتماعی و فرهنگی» تنها باعث ایجاد یک هشدار میشوند.
وقتی جستوجویی برای یک نماد سیاسی — مانند یک تیشرت یا برچسب سپر خودرو — هشدار ایجاد میکند چون متن شامل بیانی با «حفاظتهای قانون اساسی» است، افسر کافی است یک جعبه تایید را تیک بزند، یک کامنت کوتاه بنویسد و روی گزینه «به هر حال جستوجو را ادامه بده» کلیک کند. کارشناسان مرکز دموکراسی و فناوری (CDT) استدلال میکنند که این تنها یک «دستانداز» (speed bump) برای همان فعالیتهایی است که متمم اول قانون اساسی بیشترین حمایت را از آنها میکند. تام بومن، مشاور سیاستگذاری در CDT، اشاره میکند که بیان سیاسی و فرهنگی یکی از محافظتشدهترین حوزهها در قانون اساسی است، اما به نظر میرسد از دیدگاه پلیسی، کمترین اهمیت را دارد.
سوءاستفادههای سیستماتیک و دفاع «سیب گندیده»
خطرات این ابزارها تئوریک نیست. گزارش واشینگتن پست حاکی از آن است که حداقل ۵۰ افسر متهم به سوءاستفاده از پلاکخوانها شدهاند که ۴۶ مورد از این پروندهها مربوط به نرمافزار Flock است. در بیش از نیمی از این موارد، اهداف جستوجو شرکای عاطفی، شرکای سابق یا زنی بودهاند که افسر قصد ملاقات با آنها را داشته است.
برخی موارد مستند از تخلفات عبارتند از:
- افسری در میلواکی که ۱۲۴ بار زنی را که با او در رابطه بود و ۵۵ بار شریک سابق او را جستوجو کرد و هر مورد را به عنوان «تحقیقات رسمی» ثبت نمود.
- رئیس پلیس جورجیا که دوستدختر سابق و دخترش را ۶۰۰ بار ردیابی کرد و پنج ماه بعد خودکشی کرد.
- رئیس پلیس کانزاس که شریک سابقش را ۱۶۴ بار و دوستپسر او را ۶۴ بار جستوجو کرد و در نتیجه نشان پلیس خود را از دست داد.
- افسری در کارولینای شمالی که همسر سابق دوستپسرش را ۳۱ بار ردیابی کرد و ۲۹ مورد از آنها را به عنوان تخلفات ترافیکی ثبت کرد.
این الگو فراتر از Flock است. تحقیقات Associated Press نشان داد افسرانی اقدام به جستوجوی شرکای سابق یا افراد جذاب در پایگاهدادهها کردهاند که منجر به اخراج یا تعلیق بیش از ۳۲۵ نفر بین سالهای ۲۰۱۳ تا ۲۰۱۵ شد. به همین ترتیب، WIRED گزارش داد که کارکنان و پیمانکاران ICE (سازمان مهاجرت و گمرک آمریکا) از سال ۲۰۱۶ تاکنون حداقل ۴۱۴ بار به دلیل سوءاستفاده از پایگاههای داده حساس برای ردیابی زنانی که قصد قرار گذاشتن با آنها را داشتند یا نظارت بر اعضای خانواده، مورد بازجویی قرار گرفتهاند.
محدودیتهای فنی و ریسکهای پنهان
متخصصان هشدار میدهند که هیچ سیستم غربالگری AI در این مقیاس، واقعاً دقیق نیست. چون منطق داخلی مدل محرمانه (proprietary) است، نه پلیس و نه مردم نمیتوانند اندازهگیری کنند که AI هر چند وقت یکبار اشتباه میکند یا خطاهای آن در چه جهتی است. این وضعیت افسران را در تنگنا قرار میدهد: Flock هشدار میدهد که نتایج ممکن است نادرست باشند و نباید تنها به آنها تکیه کرد، اما در عین حال تمام «ریسک عدم دقت» را بر دوش افسر میاندازد. این عدم قطعیت در سیستمهای خودکار، مشابه همان نقاط کوری است که ممکن است عاملهای هوش مصنوعی در آینده نزدیک در لایههای امنیتی ایجاد کنند.
علاوه بر این، دستههای «مسدود شده» بهراحتی دور زده میشوند. کیت روان از CDT اشاره میکند که اگرچه سیستم جستوجو بر اساس مذهب را مسدود میکند، اما جستوجوی لباس را مسدود نمیکند. در عمل، یک افسر میتواند با جستوجوی «لباس خاصی که پیروان یک دین میپوشند»، فیلتر مذهبی را دور بزند.
سایر ریسکهای فنی عبارتند از:
- باگ پرچم آمریکا: در یک مورد در کالیفرنیا، افسری عبارت «پرچم آمریکا» را تایپ کرد. جستوجو زمانی که هدفش «شخص» بود مسدود شد، اما وقتی هدف را «خودرو» قرار داد، جستوجو با موفقیت روی ۱۱,۰۰۰ دوربین اجرا شد.
- شکاف ورودی در مقابل خروجی: پروفسور دیپاک کومار از دانشگاه سندیگو اشاره میکند که Flock ورودیها (عبارت جستوجو) را بررسی میکند، اما خروجیها (آنچه AI برمیگرداند) را چک نمیکند؛ این یک شکست بحرانی در استانداردهای ایمنی AI است.
- شکاف بازدارندگی: کومار استدلال میکند که هشدارها اغلب بیشتر نقش «ثبت سوابق» را دارند تا «بازدارندگی». او اشاره میکند که در سایر سیستمهای ایمنی، کاربران باانگیزه گاهی پس از دریافت هشدار، آسیبهای بیشتری وارد میکنند.
شکاف ساختاری و واقعیت جدید
شرکت Flock بار مسئولیت دقت و قانونی بودن عملیات را بر دوش سازمانهای محلی میاندازد. شرکت به افسران هشدار میدهد که نتایج ممکن است ناقص باشند، اما همزمان ابزارهایی را فراهم میکند که نظارت انبوه را ممکن میسازد. در ایلینوی، مشخص شد که این شرکت به ماموران مهاجرت فدرال اجازه داده است برخلاف قانون ایالتی، به دادههای دوربینهای ایالتی دسترسی داشته باشند.
پاسخ Flock، معرفی ابزار Audit Assistance بود که فعالیتهای غیرعادی را علامتگذاری میکند؛ مثلاً وقتی یک افسر یک پلاک خاص را مکرراً جستوجو میکند یا برای یک پلاک از چندین شماره پرونده مختلف استفاده میکند. با این حال، تحلیل کدها نشان میدهد این قابلیت بهصورت پیشفرض «خاموش» است. در یک مورد در کارولینای جنوبی، دفتر کلانتر این ابزار را فعال کرد و متوجه ۲,۷۰۰ جستوجوی غیرمجاز در تنها یک روز شد.
منتقدان، از جمله ACLU، معتقدند این ابزارهای تعدیل تنها «لکه کوچکی بر پشت یک ماشین نظارت غولپیکر» هستند. جی استنلی از ACLU استدلال میکند که تمرکز بر «افسران بدذات» (سیبهای گندیده)، خطر ساختاری پایگاهدادهای را نادیده میگیرد که میتوان آن را با AI برای تقریباً هر معیار قابل تصوری کاوید.
این تحول، شهر را به یک پایگاهداده قابل جستوجو تبدیل میکند. علاوه بر FreeForm، نرمافزار شامل قابلیت People Detection Alerts است؛ جایی که افسر یک کادر دور بخشی از میدان دید دوربین (مثلاً یک درگاه ورودی) رسم میکند و هرگاه شخصی وارد آن شود — به شرطی که سیستم ۷۵٪ اطمینان داشته باشد که آن موجود یک انسان است — هشدار دریافت میکند.
توانایی جستوجوی «بیانات سیاسی» با یک کلیک ساده به این معناست که شرکت در یک اعتراض میتواند توسط هر افسری که دسترسی لازم را دارد، فهرست و جستوجو شود. برای یک شهروند عادی، این به معنای از دست دادن کامل گمنامی در فضاهای عمومی است. لباس شما، معاشرتهایتان و جابجاییهایتان دیگر فقط مشاهده نمیشوند، بلکه با زبان طبیعی فهرست شده و قابل جستوجو هستند.
گام بعدی شما
- بررسی گزارشهای ACLU درباره حریم خصوصی در عصر نظارت AI برای درک ابعاد حقوقی.
- مطالعه درباره تفاوتهای جستوجوی معنایی (Semantic Search) در مقابل جستوجوی متنی سنتی.
- دنبال کردن پروندههای قانونی مربوط به سوءاستفاده از دادههای بیومتریک در شهرهای هوشمند.
اما داستان سختافزاری این نظارتها حتی پیچیدهتر است — به تحلیل ما درباره تراشههای پردازشی لبه (Edge Computing) در دوربینهای مداربسته مراجعه کنید.
گفتگو