۱۳ اپلیکیشن تولید محتوای بدون رضایت از استورهای فناوری حذف می‌شوند

تصور کنید عکسی از شما یا فرزندتان در فضای مجازی باشد و در چند ثانیه، یک ابزار هوش مصنوعی آن را به تصویری برهنه تبدیل کند. این کابوس امروز برای هزاران زن و دختر به واقعیت تبدیل شده است و حالا دولت محلی سانفرانسیسکو قصد دارد متهمان اصلی این تسهیلات را به بازخواست بکشد.

دیوید چیئو (David Chiu)، دادستان کل سانفرانسیسکو، در روز پنجشنبه نامه‌های رسمی «دستور توقف» (cease-and-desist) را برای اپل (Apple) و گوگل (Google) ارسال کرد. طبق اعلام این دفتر، این دو شرکت با اجازه دادن به فروش ۱۳ اپلیکیشن «برهنه ساز» (nudify) در فروشگاه‌های خود، در واقع به تولید و توزیع جعل عمیق (Deepfake) — تکنیکی که با استفاده از هوش مصنوعی، چهره یا صدای فردی را به شکلی باورپذیر جایگزین دیگری می‌کند — کمک کرده و در این جرم معاونت کرده‌اند. چیئو در این نامه‌ها با صراحت از این دو غول سیلیکون ولی خواست تا تمامی روابط تجاری خود را با توسعه‌دهندگان این ابزارها «قطع» کنند.

این فشار قانونی در حالی رخ می‌دهد که هوش مصنوعی زاینده (Generative AI) — مثل نقاشی دیجیتالی که هر چه در ذهن داشته باشید را در لحظه می‌کشد — تولید تصاویر جنسی را تقریباً آنی کرده است. در حالی که پیش‌تر در تحلیل‌های خود بررسی کردیم که چگونه گوگل کلود (Google Cloud) با استفاده از «عامل حافظه» (Memory Agent) در حال بهینه‌سازی بازیابی داده‌هاست، این کارایی فنی در تضاد کامل با دشواری مدیریت محتوای مضر هوش مصنوعی در مقیاس گسترده قرار دارد. دادستان استدلال می‌کند که توانایی «لخت کردن» دیجیتالی افراد دیگر دیگر یک تهدید حاشیه‌ای یا خاص نیست، بلکه به یک صنعت گسترده تبدیل شده است که زنان و دختران را هدف قرار می‌دهد. چیئو به نقل از خبرگزاری Wired تأکید کرد که تولید تصاویر صمیمانه بدون رضایت، «غیرقانونی، مضر و کاملاً غیرقابل قبول» است.

ابعاد بحران و فریب استورها

بر اساس مستندات حقوقی که خبرگزاری Wired مشاهده کرده است، ۱۳ اپلیکیشن خاص هدف قرار گرفته‌اند؛ ۸ مورد در اپ‌استور اپل و ۵ مورد در گوگل‌پلی. این برنامه‌ها معمولاً خود را به عنوان ابزارهای بی‌ضرر «تعویض چهره» (face-swapping) معرفی می‌کنند تا از فیلترهای نظارتی عبور کرده و شناسایی نشوند. اما پس از نصب، گزینه‌هایی برای تولید محتوای گرافیکی جنسی با استایل‌هایی مانند «صمیمیت سینمایی» (cinematic intimacy)، «سینه-دار آرام» (calm busty)، یا «ملکه منحنی بیکینی» (bikini queen curvy) ارائه می‌دهند. یکی از این اپلیکیشن‌های هدف که بیش از ۱ میلیون بار دانلود شده بود، صراحتاً این استایل‌های جنسی را در وب‌سایت خود نمایش می‌داد. همچنین صفحه اصلی یکی دیگر از این برنامه‌ها ادعا می‌کرد که ویدیوهایی «رایگان و بدون سانسور» ارائه می‌دهد.

طبق یک مقاله پژوهشی که در ماه مه به عنوان پیش‌چاپ (preprint) از سوی دانشگاه کرنل (Cornell University) و دانشگاه جورج‌تاون (Georgetown University) منتشر شد، یک شکست سیستمی در غربال‌گری اپ‌استورها رخ داده است. پژوهشگران ۴۲۰ اپلیکیشن با قابلیت‌های کلی تعویض چهره را در فروشگاه‌های گوگل و اپل شناسایی کردند. آن‌ها ۱۵۵ مورد از این برنامه‌ها را آزمایش کردند تا ببینند آیا می‌توان از آن‌ها برای ایجاد تعویض چهره با تصاویر برهنه استفاده کرد یا خیر؛ در ۷۰٪ موارد این کار ممکن بود و اپلیکیشن‌ها هیچ‌گونه تدابیر امنیتی برای جلوگیری از این اقدام نداشتند. این ماهیت «دو منظوره» به توسعه‌دهندگان اجازه می‌دهد تا با ارائه خود به عنوان ابزارهای بی‌ضرر، بررسی‌های استاندارد اپ‌استور را دور بزنند در حالی که در واقع قابلیت ایجاد محتوای مضر را دارند.

سود مالی بر خون قربانیان

دیوید چیئو ادعا می‌کند که اپل و گوگل احتمالاً «میلیون‌ها دلار در виде کارمزد» از طریق این اپلیکیشن‌ها درآمد کسب کرده‌اند. از آنجا که این برنامه‌ها از سیستم‌های پرداخت درون‌برنامه‌ای استفاده می‌کنند، شرکت‌های فناوری درصدی از هر تراکنش را به عنوان سهم خود برمی‌دارند. گروه نظارتی پروژه شفافیت فناوری (TTP) گزارش داد که تنها در ژانویه و آوریل سال جاری، حدود ۱۰۰ اپلیکیشن مشابه در هر دو پلتفرم شناسایی شده‌اند. این اپلیکیشن‌ها در مجموع حدود ۴۸۰ میلیون بار دانلود شده‌اند که تخمین زده می‌شود ۱۲۰ میلیون دلار درآمد ترکیبی ایجاد کرده باشند.

• این فناوری به کاربران (که عمدتاً مردان هستند) اجازه می‌دهد تا یک عکس مرجع از دیگران (که به شدت زنان و دختران هستند) را آپلود کرده و در عرض چند ثانیه یک جعل عمیق بسازند.
• گزارش‌های Wired و Indicator Media نشان می‌دهد که سوءاستفاده‌های جنسی با جعل عمیق در حداقل ۹۰ مدرسه در مورد افراد زیر سن قانونی رخ داده است.
• قربانیان این فناوری با «اثرات وحشتناکی» در اعتبارات اجتماعی، از دست دادن استقلال شخصی و تخریب شدید سلامت روان مواجه شده‌اند و برخی از آن‌ها حتی به تمایل به خودکشی (suicidal) رسیده‌اند.
• برخی از این اپلیکیشن‌ها علی‌رغم توانایی در تولید تصاویر جنسی، حتی دارای رده‌بندی «مناسب برای کودکان» بوده‌اند.

پاسخ شرکت‌ها و شکاف اعتماد

دن جکسون (Dan Jackson)، سخنگوی گوگل، به Wired گفت که این شرکت پیش از این «صدها» اپلیکیشن را به دلیل نقض سیاست‌ها و داشتن ویژگی‌های برهنه ساز حذف کرده است. او تأیید کرد که ۵ اپلیکیشن اشاره شده توسط دفتر چیئو اکنون حذف شده‌اند. گوگل همچنین اعلام کرد که کلمات کلیدی جستجویی مانند «nudify» را در گوگل‌پلی محدود کرده است تا دسترسی به چنین فناوری‌هایی مسدود شود. جکسون اظهار داشت: «گوگل‌پلی اجازه حضور اپلیکیشن‌هایی که حاوی محتوای جنسی هستند را نمی‌دهد و ما به‌طور مستمر گام‌های پیشگیرانه برای شناسایی و حذف برنامه‌های دارای محتوای مضر برمی‌داریم.»

در مقابل، اپل پیش از انتشار این گزارش هیچ نظری ارائه نکرد. اگرچه هر دو شرکت سیاست‌های توسعه‌دهنده‌ای دارند که پورنوگرافی، سوءاستفاده و آزار را ممنوع می‌کند، اما TTP اشاره کرد که این اپلیکیشن‌ها حتی پس از گزارش‌های سطح بالا دوباره ظاهر می‌شوند. کتی پل (Katie Paul)، مدیر TTP، خاطرنشان کرد که آن‌ها پس از اولین گزارش انتظار داشتند مشکل حل شود، اما پس از گزارش دوم متوجه شدند وضعیت «به همان اندازه بد یا حتی بدتر» است. او استدلال می‌کند که واقعیتِ موجود در اپ‌استورها با وعده‌های بازاریابی این شرکت‌ها درباره «ایمنی و اعتماد» همخوانی ندارد.

فشار قانونی و پایان دوران «شکستن سریع»

طبق قوانین ایالت کالیفرنیا، حمایت از سرویس‌هایی که پورنوگرافی جعل عمیق ایجاد می‌کنند ممنوع است. دفتر دادستان شهر تأکید می‌کند که غول‌های فناوری با برداشتن سهم از پرداخت‌های درون‌برنامه‌ای، در واقع از فعالیت‌های غیرقانونی بهره‌مندی مالی می‌کنند. چیئو اظهار داشت که این شرکت‌ها مسئولیتی دارند تا اطمینان حاصل کنند پلتفرم‌هایشان تسهیل‌کننده سوءاستفاده جنسی نباشد. او هشدار داد که اگر شرکت‌ها سیستم‌های غربال‌گری خود را تقویت نکنند تا تضمین شود چنین اپلیکیشن‌هایی هرگز دوباره ظاهر نمی‌شوند، شهر سانفرانسیسکو تمام گزینه‌های قانونی بعدی را دنبال خواهد کرد.

این برخورد شدید نشان‌دهنده خشم و ناامیدی فزاینده از رویکرد «سریع حرکت کن و هر چه پیش آمد بشکند» (move fast and break things) در مواجهه با هوش مصنوعی زاینده است. این اتفاق بخشی از یک روند بزرگتر است که طی پنج سال گذشته، فناوری‌های سودآور برهنه ساز ظهور کرده‌اند. این موضوع در ژانویه سال جاری به شکلی شفاف‌تر دیده شد، زمانی که مدل Grok شرکت xAI برای تولید میلیون‌ها تصویر جنسی مورد استفاده قرار گرفت.

برای کاربر عادی، این به معنای آن است که ایمنی «باغ محصور» (Walled Garden) اپل و گوگل یک توهم است. اگر یک اپلیکیشن بتواند در لباس یک فیلتر سرگرمی ظاهر شود در حالی که موتور برهنه ساز خود را پنهان کرده است، خطر در هر دانلود نهفته است. این فروپاشی در حکمرانی زمانی رخ می‌دهد که فناوری در حال واقع‌گرایانه‌تر شدن است و برخی سرویس‌ها نتایج را رایگان یا با هزینه‌های بسیار اندک ارائه می‌دهند.

باید منتظر ماند و دید آیا این فشارها منجر به دستورات جدید در کالیفرنیا برای «حسابرسی‌های فعال» (active safety audits) در ویرایشگرهای تصویر مبتنی بر هوش مصنوعی می‌شود، یا اینکه اپل و گوگل صرفاً لیست کلمات کلیدی ممنوعه خود را تغییر می‌دهند.

گام بعدی شما

• اگر مدیر محصول یا توسعه‌دهنده هستید، سیستم‌های نظارتی خود را از حالت تفتیش کلمات کلیدی به تحلیل رفتاری کاربران تغییر دهید.
• برای محافظت از حریم خصوصی، از ابزارهای Watermarking (نشان‌گذاری دیجیتال) برای تصاویر حساس خود استفاده کنید تا جعل آن‌ها سخت‌تر شود.
• بررسی کنید آیا اپلیکیشن‌های پردازش تصویر روی گوشی شما دسترسی‌های غیرضروری به گالری دارند یا خیر.

اما داستان سخت‌افزاری این تحول حتی شگفت‌انگیزتر است — به تحلیل ما درباره‌ی تراشه‌های Blackwell مراجعه کنید.