آیا نحوه واکنش پزشکان به داده‌ها می‌تواند حیاتی‌تر از دقت ریاضی یک الگوریتم باشد؟ طبق پژوهشی که در ۲۹ جولای ۲۰۲۶ در نشریه NEJM AI منتشر شد، پاسخ مثبت است: یکپارچه‌سازی هشدارهای مبتنی بر هوش مصنوعی با سیستم پیجینگ خودکار برای تیم‌های مراقبت‌های ویژه، منجر به کاهش ۱۸ درصدی احتمال مرگ‌ومیر تعدیل‌شده در بیمارستان شد.
این پیاده‌سازی در ۱۱ بیمارستان ایالت نیوجرسی تحت مدیریت RWJBarnabas Health و Rutgers Robert Wood Johnson Medical School صورت گرفت. محیط اجرای این طرح بسیار متنوع بود؛ از مراکز پزشکی دانشگاهی بزرگ گرفته تا مراکز محلی غیرآموزشی که در سطوح مختلف کیفیت مراقبت عمل می‌کردند.
این سامانه از Epic Deterioration Index استفاده می‌کند؛ یک امتیاز یادگیری ماشین اختصاصی که در پرونده‌های الکترونیک سلامت Epic تعبیه شده است. این مدل با تحلیل علائم حیاتی، نتایج آزمایشگاهی، ارزیابی‌های پرستاری و سن بیمار، هر ۱۵ دقیقه یک بار امتیازی بین ۰ تا ۱۰۰ تولید می‌کند تا تغییرات وضعیت بیمار را به طور مستمر رصد کند.
در حالی که این مدل به طور گسترده در دسترس است، تغییر حیاتی در مکانیزم مسیریابی بود. زمانی که امتیاز بیمار از آستانه ریسک بالا عبور می‌کرد، سیستم به‌طور مستقیم یک اعلان را برای تیم واکنش سریع بیمارستان ارسال می‌کرد و از این طریق واسطه‌های انسانی را در مسیر هشدار کاهش داد.
داده‌های پیاده‌سازی
پژوهشگران یک مقایسه شبه‌تجربی، به صورت متناوب (Staggered) بین پیش و پس از پیاده‌سازی، روی بیماران بزرگسال بخش‌های داخلی-جراحی که امتیاز ۶۰ یا بالاتر داشتند، در بازه زمانی ۱ اکتبر ۲۰۲۲ تا ۳۰ اوت ۲۰۲۴ انجام دادند. در این مطالعه ۲۳,۱۳۲ بیمار پرخطر با میانگین سنی ۷۱.۹ سال ردیابی شدند و نتایج به شرح زیر بود:
- پیش از پیاده‌سازی: ۱۰,۸۰۳ بیمار مورد بررسی قرار گرفتند که نرخ مرگ‌ومیر تعدیل‌نشده در این گروه ۲۳.۱٪ بود.
- پس از پیاده‌سازی: ۱۲,۳۲۹ بیمار ردیابی شدند و نرخ مرگ‌ومیر تعدیل‌نشده به ۱۸.۶٪ کاهش یافت.
- نتایج تعدیل‌شده: پس از کنترل متغیرهای سن، بیماری‌های زمینه‌ای (Comorbidities)، نوع بیمارستان، امتیاز اولیه (Index Score) و خوشه‌بندی بر اساس بیمارستان، نسبت شانس (Odds Ratio) تعدیل‌شده ۰.۸۲ برآورد شد.
- نرخ فعال‌سازی: فراخوانی تیم‌های واکنش سریع از ۲۵.۳٪ به ۳۷.۵٪ از کل اقامت‌های بیمارستانی افزایش یافت. حدود ۴۷٪ از مواجهه‌های پس از پیاده‌سازی منجر به ارسال پیج شدند، هرچند هر پیج ارسال شده لزوماً به فعال‌سازی عملیاتی تیم منجر نشد.
- ارتقای مراقبت: انتقال به ICU در هر دو بازه زمانی تقریباً در سطح ۱٪ باقی ماند؛ این امر نشان می‌دهد که افزایش حجم هشدارها منجر به پذیرش‌های غیرضروری و فشار اضافی بر بخش مراقبت‌های ویژه نشده است.
همان‌طور که در تحلیل‌های پیشین ما درباره‌ی شکاف میان دقت مدل‌ها و کاربرد واقعی آن‌ها اشاره کردیم، این مورد نیز نشان می‌دهد که بنچمارک‌های فنی همیشه با نتایج بالینی همسو نیستند.
محک‌های عملکرد مدل
به گزارش منابع پژوهشی، Epic Deterioration Index در تاریخچه بنچمارک‌های فنی، عملکرد ضعیفی داشته است. یک تحلیل گسترده توسط Yale New Haven Health و دانشگاه شیکاگو روی ۳۶۲,۹۲۶ مورد مواجهه بیمار در هفت بیمارستان مختلف، امتیاز Epic را در پایین‌ترین سطح بین ۶ سیستم هشدار اولیه قرار داد.
این مدل به سطح زیر منحنی (AUC) ۰.۸۰۸ رسید، در حالی که مدل eCART امتیاز ۰.۸۹۵ و حتی سیستم دستی National Early Warning Score امتیاز ۰.۸۲۹ را کسب کردند. National Early Warning Score در واقع یک سیستم امتیازدهی است که پزشکان می‌توانند سادگی آن را ارزیابی کرده و امتیازات را به صورت دستی جمع بزنند.
یک شکاف جدی در «زمان هشدار» یا Lead Time وجود دارد. هشدارهای مدل Epic معمولاً با میانگین تنها ۱ ساعت پیش از وخامت حال بیمار صادر می‌شدند، در حالی که eCART میانگین ۱۱ ساعت هشدار زودتر می‌داد. از آنجایی که نتایج بالینی معمولاً زمانی بهبود می‌یابند که بیماران ۴ تا ۶ ساعت پیش از وخامت به ICU منتقل شوند، بیمارستان‌های Yale New Haven در ژانویه ۲۰۲۴ تمام هفت بیمارستان خود را به سیستم eCART مهاجرت دادند.
بافتار نظارتی و بازار
علاوه بر این، FDA نرم‌افزارهای پشتیبانی تصمیم بالینی (Clinical Decision Support) را که داده‌های پرونده را برای شناسایی بیماران در حال وخامت می‌خوانند، به عنوان «دستگاه پزشکی» نظارت می‌کند. در زمان انتشار این گزارش، مدل‌های eCART و Rothman Index تاییدیه FDA را دریافت کرده بودند، اما شاخص Epic از این بررسی‌های نظارتی عبور نکرده و فاقد کارهای اعتبارسنجی شده توسط داوران (Peer-reviewed) است.
با این حال، این شاخص به دلیل نفوذ گسترده شرکت Epic در بازار، همهجا حاضر است. سیستم ثبت سوابق Epic در سال ۲۰۲۲ حدود ۴۸٪ از تخت‌های بیمارستانی مراقبت‌های حاد آمریکا را پوشش می‌داد و این بدان معناست که این امتیاز در تعداد بسیار زیادی از ساختمان‌های درمانی در حال محاسبه است.
این تضاد، نشان‌دهنده یک چرخش در نحوه ارزیابی هوش مصنوعی پزشکی است. استفن پی. اوماهنی، مدیر ارشد اطلاعات پزشکی در RWJBarnabas Health، خاطرنشان کرد که سود حاصل در کاهش مرگ‌ومیر، نتیجه «همکاری پیرامون الگوریتم» بود، نه دقت فنی خود الگوریتم.
موفقیت این طرح به بسته‌ای از تغییرات عملیاتی وابسته بود: آموزش جامع پزشکان، تنظیم دقیق هشدارها در طی یک مرحله پایلوت در بیمارستان دانشگاه رابرت وود جانسون، سیستم اعلان‌های خودکار و وجود یک تیم واکنش سریع متعهد که از کارکنان متخصص مراقبت‌های ویژه تشکیل شده بود.
برای سیستم‌های بهداشتی، نتیجه این است که ارکستراسیون عملیاتی اثرگذارتر از رتبه‌بندی مدل‌ها در بنچمارک‌هاست. کاهش مرگ‌ومیر با سیستم پاسخگویی همسو بود، نه با نمره AUC. این تیم اکنون در حال آزمایش هشدارهای «مبتنی بر سرعت» (Velocity-based) است؛ یعنی اعلان‌ها بر اساس سرعت افزایش امتیاز ریسک صادر شوند، نه یک آستانه ثابت. فرضیه آن‌ها این است که سرعت تغییرات، زمان هشدار بیشتری را نسبت به عبور از یک عدد ثابت فراهم می‌کند.
مدیران پزشکی و رهبران AI باید رصد کنند که آیا محرک‌های مبتنی بر سرعت، شکاف بین دقت تئوریک مدل و کاربرد بالینی واقعی را بیشتر می‌کند یا خیر.
گام بعدی شما
- بررسی ساختار تیم‌های واکنش سریع در سازمان خود برای اطمینان از اینکه هشدار مدل منجر به اقدام سریع می‌شود، نه فقط یک اعلان در صفحه.
- مطالعه تفاوت میان «آستانه ثابت» و «سرعت تغییر» در داده‌های سری زمانی برای طراحی هشدارهای پیش‌گیرانه.
- ارزیابی مدل‌های AI نه بر اساس AUC، بلکه بر اساس زمانِ پیش‌بینی تا زمانِ وقوع حادثه (Lead Time).
اما داستان سخت‌افزاری این تحول و پردازش داده‌های عظیم در لبه، ابعادی پیچیده‌تر دارد — به تحلیل ما درباره‌ی رایانش لبه در مراکز درمانی مراجعه کنید.
گفتگو