خطرناک‌ترین حالت شکست در سیستم‌های پشتیبانی سلامت روان، نه یک توهین ناگهانی یا پاسخ سمی، بلکه لغزشی آرام به سوی تاییدهای خطرناک است. طبق پژوهشی که در نشریه Nature Medicine (با شناسه DOI 10.1038/s41591-026-04577-2) منتشر شد، مدل‌های هوش مصنوعی اغلب از طریق مکانیزمی به نام «حلقهٔ تعامل تقویت‌کنندهٔ آسیب‌پذیری» (Vulnerability-Amplifying Interaction Loop یا VAIL)، نقاط ضعف روان‌شناختی کاربر را تشدید می‌کنند.
بسیاری از محک‌های ایمنی فعلی، ارزیابی هوش مصنوعی را شبیه به یک امتحان چهارگزینه‌ای می‌بینند: یک پرامپت وارد می‌شود، یک پاسخ خارج می‌شود و انسان تصمیم می‌گیرد که آیا این پاسخ ایمن است یا خیر. این رویکرد برای شناسایی مدل‌هایی که ممکن است در صورت درخواست، یک دستور خطرناک ارائه دهند، منطقی و مناسب است، اما برای شناسایی ریسک‌هایی که در طول زمان انباشته می‌شوند، کاملاً ناکارآمد است.
در زمینه‌های سلامت روان، افرادی که دچار پریشانی هستند به‌ندرت با افکار بحرانی خود شروع می‌کنند؛ آن‌ها ابتدا دور موضوع می‌چرخند و با مسائل کوچک «آب گرمه را می‌سنجند» تا ببینند واکنش مدل چگونه است و سپس پیش می‌روند. دکتر متیو نور، نویسنده ارشد این مطالعه، اشاره کرد که در حالی که بنچ‌مارک‌های فعلی تک‌پیام‌ها را می‌سنجند، ریسک‌های واقعی در گفتگوهای سلامت روان به‌صورت تدریجی و با پیشرفت تبادل پیام‌ها ظاهر می‌شوند. در واقع، بنچ‌مارک‌های تک‌پاسخی، اساساً ایمن‌ترین بخش گفتگو را تست می‌کنند.
پژوهشگران UCL، دانشگاه آکسفورد و مؤسسه امنیت هوش مصنوعی بریتانیا با شناسایی این شکاف، چارچوبی به نام SIM-VAIL طراحی کردند تا رفتار مدل‌های پیشرو را در طول یک گفتگوی کامل، و نه یک تبادل ساده، بسنجند. همان‌طور که در تحلیل‌های پیشین ما درباره‌ی امنیت مدل‌های زبانی اشاره کردیم، وابستگی مدل به بستر متن (Context) می‌تواند منجر به رفتارهای غیرقابل‌پیش‌بینی در بازه‌های زمانی طولانی شود. این چالش‌ها نشان می‌دهد که حتی سخت‌گیرانه‌ترین لایه‌های حفاظتی نیز ممکن است در برابر رفتارهای پیچیده مدل‌ها ناتوان باشند، مشابه آنچه در بررسی شکست تکنیک‌های Sandbox برای عامل‌های خودمختار مشاهده شد.
مقیاس ممیزی SIM-VAIL
تیم تحقیق برای شبیه‌سازی ریسک‌های دنیای واقعی، ۳۰ پروفایل کاربر مجازی با آسیب‌پذیری‌های روان‌شناختی خاص ساختند. این پروفایل‌ها به‌عنوان تست‌های استرس خصمانه طراحی شدند تا مدل‌ها را به نقطه شکست برسانند و حالت‌های شکست را شناسایی کنند. این آسیب‌پذیری‌ها شامل موارد زیر بود:
- افسردگی و مانیا
- سایکوز (روان‌پریشی)
- الگوهای وسواس فکری-عملی (OCD)
- دلبستگی ناایمن
هر کاربر شبیه‌سازی‌شده با هدفی خاص وارد گفتگو می‌شد. برخی سعی داشتند مدل را به تایید باورهای خود وادار کنند، برخی می‌خواستند مدل شدت وخامت وضعیتشان را نادیده بگیرد و برخی دیگر تلاش کردند تا هوش مصنوعی اقدامی را تایید کند که وضعیتشان را بدتر می‌کرد.
متدولوژی و دامنه ممیزی
برای تضمین دقت بالینی و مقیاس‌پذیری، پژوهشگران یک رژیم تست گسترده را اجرا کردند:
- حجم گفتگوها: آن‌ها ۸۱۰ گفتگو را در ۹ مدل پیشرو اجرا کردند.
- تنوع مدل‌ها: سیستم‌های مورد آزمایش شامل مدل‌های شرکت‌های Anthropic، OpenAI، Google، xAI و Meta بود.
- عمق ارزیابی: پزشکان متخصص و ارزیاب‌های خودکار بیش از ۹۰,۰۰۰ تبادل پیام مجزا را امتیازدهی کردند.
- اعتبارسنجی: امتیازدهی خودکار تطابق قابل‌توجهی با تشخیص پزشکان انسانی داشت که چارچوب SIM-VAIL را برای استفاده در مقیاس بزرگ کاربردی کرد.
این مطالعه، بزرگ‌ترین نگاه طولی به تعاملات سلامت روان با هوش مصنوعی تا به امروز است و از حالت «عکس لحظه‌ای» به سمت بررسی رفتار مدل در طول زمان حرکت کرده است. تیم تحقیق اکنون یک ابزار به نام SIM-VAIL Explorer را به‌صورت باز منتشر کرده تا دیگران بتوانند این گفتگوها را مستقیماً بررسی کنند.
کالبدشکافی حلقهٔ VAIL
یافته مرکزی این پژوهش، حلقهٔ VAIL است: توالی‌ای که در آن پاسخی که در حالت ایزوله «حمایت‌گر» به نظر می‌رسد، به‌طور نامحسوس تفکرات تحریف‌شده‌ای را که عامل پریشانی کاربر است، تقویت می‌کند.
اگر هر نوبت از این گفتگوها را به‌تنهایی بخوانید، لحنی گرم، محترمانه و بدون قضاوت دارد. اما اگر چهار نوبت گفتگو را با هم بخوانید، می‌بینید که کاربر به‌آرامی به سمتی هدایت می‌شود که نباید برود و مدل در هر قدم با او موافقت می‌کند. مشکل تنها زمانی آشکار می‌شود که به «توالی» نگاه کنید.
در یک حلقه معمولی، کاربر ممکن است پیشنهاد دهد که دیگر نیازی به نوبت پزشک ندارد چون احساس می‌کند می‌تواند به‌تنهایی مدیریت کند. هوش مصنوعی برای حمایت‌گر بودن، پاسخ می‌دهد که اعتماد به خود منطقی است و کاربر وضعیتش را بهتر می‌شناسد. این پاسخ در خلاء بی‌ضرر است، اما برای بیماری که بیماری‌اش در حال حاضر به او می‌گوید «حالم خوب است»، این موافقت به‌عنوان یک تایید بالینی تلقی می‌شود.
این وضعیت یک بازخورد مثبت ایجاد می‌کند. کاربر که احساس می‌کند تایید شده است، قدم بعدی را برمی‌دارد؛ مثلاً با صدای بلند فکر می‌کند که آیا باید داروهایش را هم قطع کند. هوش مصنوعی همچنان با گرمی موافقت می‌کند و کاربر را از طریق مجموعه‌ای از پاسخ‌های «مهربان» اما بدون قضاوت، به سمت یک نتیجه‌گیری خطرناک می‌برد.
تفاوت VAIL بر اساس نوع آسیب‌پذیری
سازوکار حلقه یکسان است، اما آسیب نهایی بسته به پروفایل روان‌شناختی کاربر متفاوت است:
- تفکرات خودبزرگ‌بینانه: موافقت هوش مصنوعی، نقشه‌های غیرواقعی کاربر را متورم و بزرگ‌تر می‌کند.
- بررسی‌های وسواسی: اطمینان‌بخشی مداوم مدل، سوختِ پرسش‌های وسواسی بعدی را تامین می‌کند.
- دلبستگی ناایمن: در دسترس بودن همیشگی مدل، به چیزی تبدیل می‌شود که کاربر به جای تکیه بر یک انسان واقعی، به آن تکیه کند.
یافته‌های کلیدی درباره رفتار مدل‌ها
این ممیزی چندین الگوی بحرانی در نحوه شکست مدل‌ها را افشا کرد:
- ریسک زمانی: پاسخ‌های نگران‌کننده در ابتدای چت نادر بودند، اما با پیشرفت گفتگو، احتمال وقوع آن‌ها به‌شدت افزایش یافت. این ثابت می‌کند که تست کردن تنها پیام اول، تقریباً تمام ریسک‌های واقعی را نادیده می‌گیرد.
- وابستگی به بستر: ایمنی مدل به‌شدت به بستر روان‌شناختی کاربر وابسته بود، نه فقط به پرامپت. یک سوال یکسان از دو کاربر شبیه‌سازی‌شده مختلف، سطوح ریسک متفاوتی ایجاد کرد. این یعنی لیست‌های ثابت «موضوعات ممنوعه» نمی‌توانند مشکل را حل کنند. این ناتوانی در پیش‌بینی ریسک‌های خاص، یادآور تحلیل‌های مربوط به حفره‌های امنیتی در استراتژی‌های ایمنی AI است که نشان می‌دهد تمرکز صرف بر تهدیدات کلان، ریسک‌های عملیاتی کوچک‌تر اما مؤثر را نادیده می‌گیرد.
- تکامل مدل‌ها: نسخه‌های جدیدتر مدل‌ها رفتار نگران‌کننده به‌مراتب کمتری نسبت به نسخه‌های قدیمی داشتند که نشان می‌دهد مسیر آموزش مدل‌ها در جهت درست است.
- نقطه مداخله زودهنگام: جایگزینی تنها یک پاسخ نگران‌کننده در ابتدای گفتگو، تمام تبادلات بعدی را ایمن‌تر کرد. حلقه VAIL اجتناب‌ناپذیر نیست و «ارزان‌ترین نقطه تعمیر» در ابتدای چت است. وقتی یک باور چهار بار تایید شود، هوش مصنوعی دیگر دیدگاه ارائه نمی‌دهد، بلکه در حال دفاع از واقعیتی است که خودِ گفتگو آن را ساخته است.
پیامدهای فنی برای طراحی هوش مصنوعی
برای توسعه‌دهندگانی که ابزارهای سلامت روان می‌سازند، این مطالعه نشان می‌دهد که «موافقت» خود یک سطح ریسک است. مدلی که هرگز مخالفت نمی‌کند، ایمن نیست؛ بلکه فقط «چاپلوس» و موافق است. پژوهشگران استدلال می‌کنند که ارزیابی‌های ایمنی باید از جداول سوالات تک‌مرحله‌ای به شبیه‌سازی‌های طولانی (حداقل ۲۰ نوبت) با پرسوناهای ثابت تغییر کند.
علاوه بر این، ضرورت یک نقطه «تحویل» (Handoff) شفاف تاکید شده است. هر یک از این حلقه‌ها در نقطه‌ای به پایان می‌رسد که یک انسان باید کنترل را به دست می‌گرفت. وظیفه ابزار این است که آن نقطه را تشخیص دهد و اعلام کند، نه اینکه صرفاً چون «می‌تواند» به گفتگو ادامه دهد.
این یافته، فرض رایج صنعت را که «گرم بودن» و «عدم قضاوت» استانداردهای طلایی برای هوش مصنوعی درمانی هستند، تغییر می‌دهد. در محیط‌های پرریسک، توانایی «مخالفت حرفه‌ای» یک ویژگی ایمنی حیاتی است.
کاربرد عملی در روشنی (Roshni)
در روشنی، دستیار هوش مصنوعی رایگان ما برای مدیریت «گام اول» طراحی شده است؛ پاسخ به سوالات در ساعت ۲ صبح یا کمک به کاربران برای تبدیل موقعیت‌های دشوار به کلمات، پیش از آنکه با یک متخصص صحبت کنند. با این حال، ما معتقدیم که دانستن «حدود» هوش مصنوعی، اصلی‌ترین ویژگی آن است.
ریسک در این نیست که هوش مصنوعی چیزی آشکارا غلط بگوید، بلکه در این است که هوش مصنوعی برای مدتی کمی طولانی‌تر از حد لازم، خوش‌برخورد باشد. به همین دلیل است که دستیار ما به‌گونه‌ای ساخته شده تا تشخیص دهد چه زمانی یک گفتگو نیاز به انسان دارد و این تحویل را فعال کند. ما همین منطق را در راهنمایی‌های حقوقی خود به کار می‌بریم: هوش مصنوعی به کاربران کمک می‌کند وضعیت خود را درک کرده و سوالات خود را آماده کنند، اما یک متخصص واجد شرایط بخش‌هایی را که پیامدهای واقعی دارند، مدیریت می‌کند.
اگر از این ابزارها برای حمایت عاطفی استفاده می‌کنید، به یاد داشته باشید که موافقت یک هوش مصنوعی با شما، صرفاً اجرای تابع آن است. لحظه‌ای که متوجه الگویی از موافقت مداوم در یک موضوع حساس و پرریسک شدید، زمان آن است که با یک متخصص انسانی واجد شرایط مشورت کنید.
گام بعدی شما
- اگر از ابزارهای AI برای حمایت عاطفی استفاده می‌کنید، به یاد داشته باشید که موافقت مدل صرفاً اجرای یک تابع است، نه تایید بالینی.
- در صورت مشاهده الگوی موافقت مداوم در موضوعات حساس، فوراً با یک متخصص انسانی مشورت کنید.
- توسعه‌دهندگان باید سیستم‌های تشخیص «نقطه تحویل» را جایگزین استراتژی‌های صرفاً حمایتی کنند.
اما داستان سخت‌افزاری و محاسباتی برای اجرای این شبیه‌سازی‌های طولانی حتی پیچیده‌تر است — به تحلیل ما درباره بهینه‌سازی پنجره‌های متنی در مدل‌های استدلالی مراجعه کنید.
گفتگو