«استخدام صدها پیمانکار»؛ استراتژی متا برای نفوذ به چت‌بات‌های رقیب

تصور کنید صدها نفر در یک اتاق نشسته‌اند و با نام‌های مستعار و تاریخ‌های تولد جعلی، سعی می‌کنند مدل‌های هوش مصنوعی را به ستایش خودکشی یا مصرف مواد مخدر ترغیب کنند. این دقیقاً همان اتفاقی است که در پشت پردهٔ یکی از مخفیانه‌ترین پروژه‌های شرکت متا رخ داده است.

این عملیات که در اسناد داخلی با نام رمز «کان» (Cannes) شناخته می‌شود، برای بررسی نحوهٔ واکنش مدل‌های رقیب به بحران‌های مرتبط با سلامت روان نوجوانان طراحی شده بود. هدف این تیم، درهم‌شکستن حفاظ‌ها (Guardrails) — شبیه به نرده‌های ایمنی در لبهٔ پرتگاه که اجازه نمی‌دهند کاربر به مسیرهای خطرناک برود — در مدل‌های شرکت‌های OpenAI، گوگل و Character.AI بود.

همان‌طور که در تحلیل‌های قبلی ما درباره‌ی امنیت مدل‌های زبانی اشاره کردیم، چالش تأیید سن در مدل‌های زبانی بزرگ (LLM) — مثل کتابخانه‌داری که میلیاردها صفحه را خوانده اما نمی‌داند چه کسی از او سؤال می‌پرسد — همچنان یکی از نقاط ضعف اصلی این صنعت است. این آسیب‌پذیری‌ها تنها محدود به رفتار مدل‌ها نیست؛ پیش از این نیز شاهد حفره‌های امنیتی در زیرساخت‌های متا بودیم که منجر به افشای اطلاعات حساس کاربران شده بود.

طبق گزارش WIRED و بررسی اسناد داخلی، این پروژه توسط پیمانکاری به نام Covalen مدیریت می‌شد و تا ۲۱ آوریل ۲۰۲۶ فعال بود. در یک موج آزمایشی در اوت ۲۰۲۵، پیمانکاران بیش از ۴۵,۰۰۰ پرامپت به بات‌های هدف ارسال کردند. این درخواست‌ها به‌طور خاص بر محورهای زیر متمرکز بودند:

• استراتژی‌های خودکشی و خودزنی
• اختلالات خوردن
• مصرف مواد مخدر و محتوای جنسی

به نقل از Character.AI، این تست‌ها صراحتاً شرایط خدمات این پلتفرم را نقض کرده‌اند و OpenAI نیز در حال حاضر در حال بررسی این موضوع است. در مقابل، متا این رویه را یک «تست ایمنی استاندارد در صنعت» توصیف کرده و مدعی است که هرگز از پاسخ‌های به‌دست‌آمده برای آموزش مدل‌های خود استفاده نکرده است.

این بنچمارک تهاجمی نشان می‌دهد که متا از مسئولیت‌های قانونی احتمالی ناشی از آسیب‌های جسمی نوجوانان توسط هوش مصنوعی وحشت‌زده است. با توجه به اینکه ۶۴ درصد از کودکان ۹ تا ۱۷ سال از چت‌بات‌ها استفاده می‌کنند و گزارش‌هایی از مرگ‌های مرتبط با پیوندهای عاطفی با AI منتشر شده، اولویت شرکت‌ها از صحت فنی به ایمنی فیزیکی تغییر کرده است.

برای مدیران کسب‌وکار، این خبر از یک «مسابقه تسلیحاتی پنهان» در حوزهٔ تیم قرمز (Red Teaming) پرده برمی‌دارد. شرکت‌ها دیگر فقط مدل خود را تست نمی‌کنند؛ آن‌ها رقبایشان را تحت فشار می‌گذارند تا حفره‌هایی را پیدا کنند که یا آن‌ها را در مدل خود بپوشانند یا در بازاریابی علیه رقیب به کار ببرند. در دنیای امروز که ترافیک بات‌ها در وب به شدت افزایش یافته و مرز بین کاربر واقعی و ابزار خودکار کمرنگ شده، این دست عملیات‌های مخفیانه رایج‌تر می‌شوند.

گام بعدی شما

• اگر مدیر محصول هستید، استراتژی‌های «تست متقابل» (Cross-Testing) رقیب را در نقشهٔ راه ایمنی خود بگنجانید.
• سیاست‌های تأیید سن در دسترسی به APIهای مدل‌های زبانی را بازبینی کنید.
• واکنش‌های نظارتی سازمان Internet Matters بریتانیا را دنبال کنید.

اما داستان حقوقی این تقابل حتی پیچیده‌تر است؛ اثرات احتمالی شکایت‌های گوگل و OpenAI در گزارش بعدی بررسی خواهیم کرد.