اگر تصور میکنید مدلهای زبانی بزرگ (LLM) میتوانند در لحظهی وقوع یک بحران روانی هشدار دهند، باید بدانید که دقت آنها در شناسایی این نقطه حیاتی بسیار پایینتر از حد تصور است.
طبق گزارش منتشر شده در ۱۰ ژوئن ۲۰۲۶، بنچمارک CRADLE-Dialogue ثابت میکند که تشخیص دقیق زمان ظهور یک بحران در جریان گفتگو، برای هوش مصنوعی بهمراتب دشوارتر از شناسایی کلی وجود ریسک است.
بر اساس مستندات این پژوهش، مجموعهداده CRADLE-Dialogue شامل ۶۰۰ گفتگوی تحلیلشده توسط متخصصان بالینی است که بر ریسکهای حیاتی مانند افکار خودکشی، خودزنی و کودکآزاری تمرکز دارد. پژوهشگران برای ارزیابی مدلها از پروتکل جدید Alert-Confirm استفاده کردند:
- Alert (هشدار): شناسایی سیگنالهای اولیه که احتمال وقوع بحران را نشان میدهد.
- Confirm (تأیید): تعیین دقیق همان لحظه (Turn) که بحران بهطور صریح قابل شناسایی میشود.
نتایج آزمایشها تکاندهنده است؛ مدلها در فاز «هشدار» بهشدت شکست میخورند و امتیاز Micro F1 آنها تنها در محدوده ۴۰٪ تا ۶۰٪ قرار دارد. برای تقلیل این شکاف، تیم تحقیق یک مدل ۳۲ میلیارد پارامتری و یک کورپوس آموزشی سنتتیک (Synthetic training corpus) منتشر کردند که اگرچه عملکرد بهتری نسبت به مدلهای متنباز داشت، اما همچنان در مواجهه با سیستمهای تجاری پیشرو، نقاط ضعفی را نشان داد.
همانطور که در بحثهای گذشتهی ما دربارهی امنیت مدلهای زبانی در حوزهی سلامت اشاره کردیم، تکیه بر دقت کلی در دادههای استاتیک، فریبندهترین نقطه در ارزیابی مدلهاست.
بیشتر پژوهشهای پیشین بر تحلیل تکمرحلهای یا تکهتکهی متنها متکی بودند، اما در دنیای واقعی، مداخلات بالینی در یک دیالوگ پویا اتفاق میافتند. این تفاوت باعث میشود مدلها در ردیابی سیگنالهای ریسک در طول زمان دچار افت عملکرد شدید شوند.
این تغییر در متدولوژی ارزیابی، پیشفرضهای این حوزه را تغییر میدهد؛ هدف دیگر «طبقهبندی کلی» نیست، بلکه «تشخیص زمانی دقیق» است. این یعنی رسیدن به دقت بالا در یک دیتاست ایستا، بههیچوجه تضمینکنندهی ایمنی بالینی در زمان واقعی نیست و AI هنوز نمیتواند بدون نظارت شدید انسانی، نقش یک «تلهی هشدار» (Tripwire) مطمئن را ایفا کند.
گام بعدی شما
- بررسی کورپوس آموزشی سنتتیک منتشرشده برای ارزیابی امکان بهبود تشخیص زودهنگام از طریق تنظیم دقیق (Fine-tuning).
- پیادهسازی پروتکل Alert-Confirm در سیستمهای تریاژ هوشمند برای شناسایی نقاط کور زمانی.
- اجتناب از اتکای کامل به معیارهای Accuracy در مدلهای حساس به ایمنی.
اما این ضعف در تشخیص زمانی، تنها بخشی از چالشهای اخلاقی مدلهای استدلالی در پزشکی است؛ تحلیل ما دربارهی توهمات مدلهای تخصصی را بخوانید.
گفتگو