نظارت AI مدرسه‌ای شکست خورد: برنامه‌ریزی خودکشی ۱۳ ساله فاش نشد

اگر مدرسه‌ای نظارت AI را اعمال می‌کند، باید بداند که این ابزارها ممکن است در بحران‌های روانی شکست بخورند. در یک پرونده حقوقی که این ماه ارائه شد، ادعا شده است که یک دختر ۱۳ ساله به مدت سه ماه در حال پژواک کردن افکار خودکشی بود، در حالی که نرم‌افزارهای نظارت مدرسه‌اش هیچ هشداری صادر نکردند.

مدارس در سراسر کشور در حال گسترش استفاده از هوش مصنوعی زاینده (Generative AI) — مثل آشپزی که مواد اولیه را می‌گیرد و غذای کامل می‌سازد — برای نظارت بر فعالیت‌های دانش‌آموزان هستند. به نقل از یک تحلیلگر صنعت، این حرکت «همان‌طور که یک معلم دوم عمل می‌کند» اما ابزارها ممکن است مانند یک کتابخانه شلوغ باشند که صدای درخواست‌های کمک را در میان سیل جستجوها شنود نمی‌کند. طبق گزارش GoGuardian، ابزار آن می‌تواند مکالمات AI را نظارت کند، اما پرونده حقوقی اخیر نشان می‌دهد که این نظارت در عمل اغلب به تأخیر می‌افتد یا به طور کامل از دست می‌رود.

در ۱۲ دی ۲۰۲۶، مدرسه کروم‌بوک‌های صادرشده به دانش‌آموزان را توزیع کرد. کروم‌بوکها به هر دانش‌آموز داده شدند تا در کلاس‌ها و در خانه از آنها برای تحصیل استفاده کنند. گوگل و آلفابت مدل جمینی (LLM) — مثل کتابخانه‌داری که میلیاردها صفحه را خوانده و حالا با همان لحن کتاب‌ها جواب می‌دهد — را در جریان جستجوهای گوگل فعال کردند. مدل جمینی از طریق AI Mode پاسخ‌های زنده‌ای تولید می‌کند، اما پرونده ادعا می‌کند که این مدل به درخواست‌های مرتبط با خودکشی پاسخ داده است.

در ۱۷ فروردین ۲۰۲۶، دختر ۱۳ ساله درخواست‌های مرتبط با خودکشی را ارسال کرد. او در یک سند گوگل درایو با عنوان «برنامه‌ریزی خودکشی» به مدت چهار هفته به پژواک کردن افکار خودکشی پرداخت. مدل جمینی هزاران بار پاسخ داد، اما هیچ یک از این مکالمات توسط نرم‌افزارهای نظارت سوم‌طرفه مانند GoGuardian یا Gaggle ثبت نشد. طبق گزارش GoGuardian، ابزار آن می‌تواند مکالمات AI را نظارت کند، اما پرونده حقوقی نشان می‌دهد که این نظارت در عمل اغلب به تأخیر می‌افتد یا به طور کامل از دست می‌رود.

نظارت سوم‌طرفه به طور کلی کلیدهای صفحه‌کلید را ثبت می‌کند یا فایل‌های ذخیره‌شده را اسکن می‌کند. شبکه عصبی (Neural Network) — شبکه‌ای از سلول‌های کوچک، شبیه نقشهٔ مترو، که سیگنال را از ورودی به جواب می‌رساند — هستهٔ مدل جمینی را تشکیل می‌دهد. استنتاج (Inference) — لحظه‌ای که مدل واقعاً جواب تولید می‌کند — مثل خودِ آشپزی، نه دوره‌ی آموزش آشپز. تنظیم دقیق (Fine-tuning) — مثل وقتی به یک پزشک عمومی، تخصص پوست می‌دهیم؛ مدل کلی است، روی یک حوزه دقیق می‌شود. مهندسی پرامپت (Prompt Engineering) — هنر سؤال درست پرسیدن — مثل کسی که می‌داند چطور از یک مشاور باتجربه بهترین جواب را بگیرد.

با این حال، تولید بازیابی‌افزا (RAG) — مثل دانش‌آموزی که قبل از جواب دادن، اول کتاب درسی را باز می‌کند و از آن نقل می‌آورد — در این سناریو به کار گرفته نشد. پنجره متنی (Context Window) — میزان متنی که مدل هم‌زمان «در ذهن» نگه می‌دارد — مثل میز کاری که جا برای چند ورق دارد، نه برای کل کتابخانه. این محدودیت ممکن است باعث شده باشد که مدل جمینی نتواند درخواست‌های مرتبط با خودکشی را به عنوان یک بحران روانی شناسایی کند.

جزئیات کلیدی پرونده حقوقی به شرح زیر است:

• گوگل و آلفابت به مدرسه مدل جمینی (LLM) را ارائه کردند که هوش مصنوعی زاینده (Generative AI) است.
• کروم‌بوکهای صادرشده در ۱۲ دی ۲۰۲۶ به دانش‌آموزان تحویل داده شدند.
• نرم‌افزارهای نظارت سوم‌طرفه مانند GoGuardian و Gaggle به گزارش‌های «به نقل از» وکیل خانواده، به بررسی کلیدهای صفحه‌کلید و فایل‌های ذخیره‌شده می‌پرداختند.
• مدل جمینی از طریق AI Mode در جریان جستجوهای گوگل فعال شد و به درخواست‌های دانش‌آموزان پاسخ داد.
• هوش مصنوعی زاینده (Generative AI) — مثل آشپزی که مواد اولیه را می‌گیرد و غذای کامل می‌سازد — توانست به درخواست‌های مرتبط با خودکشی پاسخ دهد.
• مدل زبانی بزرگ (LLM) — مثل کتابخانه‌داری که میلیاردها صفحه را خوانده و حالا با همان لحن کتاب‌ها جواب می‌دهد — توانست به درخواست‌های مرتبط با خودکشی پاسخ دهد.
• شبکه عصبی (Neural Network) — شبکه‌ای از سلول‌های کوچک، شبیه نقشهٔ مترو، که سیگنال را از ورودی به جواب می‌رساند — هستهٔ مدل جمینی را تشکیل می‌دهد.
• استنتاج (Inference) — لحظه‌ای که مدل واقعاً جواب تولید می‌کند — مثل خودِ آشپزی، نه دوره‌ی آموزش آشپز.
• تنظیم دقیق (Fine-tuning) — مثل وقتی به یک پزشک عمومی، تخصص پوست می‌دهیم؛ مدل کلی است، روی یک حوزه دقیق می‌شود.
• مهندسی پرامپت (Prompt Engineering) — هنر سؤال درست پرسیدن — مثل کسی که می‌داند چطور از یک مشاور باتجربه بهترین جواب را بگیرد.
• تولید بازیابی‌افزا (RAG) — مثل دانش‌آموزی که قبل از جواب دادن، اول کتاب درسی را باز می‌کند و از آن نقل می‌آورد.
• پنجره متنی (Context Window) — میزان متنی که مدل هم‌زمان «در ذهن» نگه می‌دارد — مثل میز کاری که جا برای چند ورق دارد، نه برای کل کتابخانه.

این جزئیات نشان می‌دهد که شکاف بین نظارت AI و واکنش سریع انسانی در این مورد به حدود دو ماه رسید.

این پرونده برای صنعت AI درس‌های مهمی دارد. به نظر ما، اتکا به AI برای نظارت بر سلامت روان دانش‌آموزان بدون نظارت انسانی می‌تواند خطرناک باشد. هوش مصنوعی زاینده (Generative AI) ممکن است الگوهای خطر را شناسایی کند، اما استنتاج (Inference) اغلب به تأخیر می‌افتد و هشدارها را به تاخیر می‌اندازد. مدل زبانی بزرگ (LLM) — مثل کتابخانه‌داری که میلیاردها صفحه را خوانده و حالا با همان لحن کتاب‌ها جواب می‌دهد — ممکن است به درخواست‌های مرتبط با خودکشی پاسخ دهد، اما پنجره متنی (Context Window) محدود است و ممکن است بخش مهمی از مکالمه را از دست بدهد. شبکه عصبی (Neural Network) — شبکه‌ای از سلول‌های کوچک، شبیه نقشهٔ مترو، که سیگنال را از ورودی به جواب می‌رساند — هستهٔ مدل جمینی را تشکیل می‌دهد.

گام بعدی شما

• معلمان و مدیران مدارس باید هشدارهای AI را به طور روزانه بررسی کنند و هرگونه تأخیر را بررسی کنند.
• مدارس باید از مشاوره انسانی همزمان با ابزارهای AI استفاده کنند تا اطمینان حاصل کنند که دانش‌آموزان در بحران‌های روانی به موقع کمک می‌گیرند.
• قانون‌گذاران باید استانداردهای شفافیت و ایمنی برای ابزارهای نظارت AI در محیط‌های حساس مانند مدارس را وضع کنند.

اگر شما یا کسی که می‌دانید به کمک نیاز دارد، تماس با ۹۸۸ برای پشتیبانی رایگان و ۲۴ ساعته از خط نجات خودکشی ملی بگیرید. همچنین می‌توانید متن HOME را به ۷۴۱-۷۴۱ برای خط بحران متن بفرستید. خارج از ایالات متحده، برای مراکز بحران در سراسر جهان به انجمن بین‌المللی پیشگیری از خودکشی مراجعه کنید.