یک کلینیک خصوصی ۲۰ نفره اکنون با همان سختگیریهای نظارتی روبهرو است که یک شبکه بیمارستانی عظیم؛ به شرطی که از هوش مصنوعی پرخطر بدون ساختار حاکمیتی مستند استفاده کند. طبق گزارش دکتر هرنانی کوستا در First AI Movers، پنجره زمانی برای پر کردن این شکاف حاکمیتی در ۱۵ اوت ۲۰۲۶ بسته میشود.
این تاریخ، نقطهای است که تعهدات مربوط به هوش مصنوعی پرخطر تحت قانون هوش مصنوعی اتحادیه اروپا (EU AI Act) بهطور کامل اجرایی میشود. برای شرکتهای کوچک و متوسط (SME) در حوزه بهداشت — از کلینیکهای خصوصی و اپراتورهای مراقبت در منزل گرفته تا استارتاپهای فناوری سلامت — مخاطرات تنها فنی نیستند، بلکه ابعاد مالی و حقوقی دارند. این سازمانها در حال حاضر ابزارهای هوش مصنوعی را سریعتر از توان جذب ساختارهای حاکمیتی خود مستقر میکنند و این موضوع منجر به انباشت «بدهی انطباقی» میشود. این چالشها در تحلیل ما درباره شکافهای حاکمیتی در شرکتهای کوچک و پیامدهای گزارشدهی بهطور مفصل بررسی شده است.
این شرکتها باید بهطور همزمان در تقاطع سه چارچوب نظارتی پیچیده حرکت کنند. تصور کنید یک ابزار تشخیص مبتنی بر هوش مصنوعی را به کار میگیرید؛ این ابزار باید از نظر پردازش دادههای بیمار با قانون حفاظت از دادههای عمومی (GDPR) — که مثل یک نگهبان سختگیر برای حریم خصوصی اطلاعات است — سازگار باشد، از نظر استقرار در جریانهای کاری بالینی با قانون هوش مصنوعی اتحادیه اروپا مطابقت داشته باشد و اگر تشخیص رسمی ارائه میدهد، استانداردهای مقررات تجهیزات پزشکی (MDR) را پاس کند. این «پشته انطباق سهلایه» به این معناست که شکست در یک بخش میتواند باعث فعال شدن بازرسی در هر سه حوزه شود. در واقع، همانطور که پیشتر اشاره کردیم، پذیرش مقررات اکنون به سد اصلی پیش روی استقرار هوش مصنوعی در پزشکی تبدیل شده است.
همانطور که در تحلیلهای قبلی ما دربارهی امنیت مدلهای بازمتن اشاره کردیم، نبودِ مستندات شفاف در سیستمهای پیچیده، بزرگترین نقطه ضعف در برابر بازرسیهای قانونی است.
شناسایی هوش مصنوعی پرخطر
قانون هوش مصنوعی اتحادیه اروپا سیستمها را به چهار سطح تقسیم میکند: ممنوعه، پرخطر، ریسک محدود و ریسک حداقلی. برای ارائهدهندگان خدمات بهداشتی، دستهی پرخطر منطقه خطر اصلی است و نیاز به توجه فوری دارد.
سیستمها در موارد زیر پرخطر طبقهبندی میشوند:
- ادغام هوش مصنوعی در تجهیزات پزشکی.
- عمل به عنوان سیستمهای پشتیبان تصمیمگیری بالینی که بر مسیر درمان اثر میگذارند.
- مدیریت سیستمهای تریاژ بیمار که بدون بررسی پزشک، مسیر مراقبت را تعیین میکنند.
اگر پلتفرمی علائم بیمار را دریافت کرده و فهرستی رتبهبندی شده از تشخیصهای احتمالی ارائه دهد، تقریباً بهطور قطع پرخطر است. در مقابل، ابزاری که صرفاً برای بهینهسازی زمان نوبتها بر اساس تقویم استفاده میشود، احتمالاً ریسک حداقلی دارد چون بر نتیجه بالینی اثر نمیگذارد. مرز اصلی این است که آیا خروجی هوش مصنوعی مستقیماً بر نتیجه درمان اثر میگذارد یا خیر.
خطر هوش مصنوعی ممنوعه
برخی کاربردهای هوش مصنوعی بهطور مطلق ممنوع هستند. در حالی که این قانون نظارت بیومتریک در فضای عمومی را منع میکند، در بستر بالینی ممنوعیت خاصی وجود دارد: سیستمهای تشخیص مبتنی بر هوش مصنوعی که بدون هیچ مکانیسم نظارت انسانی، جایگزین قضاوت پزشک شوند.
ابزاری که تشخیص را تولید کرده و آن را به عنوان تصمیم نهایی بالینی ارائه دهد — بدون اینکه یک مرحله بررسی اجباری و غیرقابلدور زدن توسط پزشک در جریان کار باشد — در منطقه ممنوعه قرار میگیرد. راه حل این مشکل معماری است: شرکتها باید یک مرحله «انسان در حلقه» (Human-in-the-loop) را در طراحی سیستم بگنجانند، آن را بهطور رسمی مستند کنند و اطمینان یابند که قابل دور زدن نیست.
تداخل با GDPR و کیفیت دادهها
دادههای سلامت تحت ماده ۹ GDPR به عنوان «دادههای دسته خاص» طبقهبندی میشوند. پردازش این دادهها نیازمند رضایت صریح بیمار یا یکی از مجوزهای ماده ۹(۲) مانند تشخیص پزشکی یا مراقبتهای بهداشتی است. قانون هوش مصنوعی جایگزین این قواعد نمیشود، بلکه روی آنها قرار میگیرد.
ماده ۱۰ قانون هوش مصنوعی الزامات خاصی را برای دادههای آموزشی در سیستمهای پرخطر معرفی میکند. مجموعهدادهها باید:
- مرتبط و نماینده جامعه هدف باشند.
- فاقد خطاهایی باشند که منجر به نتایج تبعیضآمیز شود.
برای شرکتهای کوچکی که ابزارهای شخص ثالث را میخرند، این یک بحران در خرید است. شما اکنون باید از فروشندگان بخواهید تأیید کنند که دادههای آموزشی آنها با الزامات ماده ۱۰ مطابقت دارد. این یک پرسش تجاری و خرید است، نه صرفاً یک مسئله فنی.
ارزیابی اثرات حفاظت از دادهها (DPIA) شما تحت GDPR اکنون باید صراحتاً به طبقهبندی ریسک سیستم هوش مصنوعی اشاره کند. اگر سیستم پرخطر است، DPIA باید مستند کند که کدام مجوز ماده ۹(۲) اعمال شده، چه مکانیسم نظارتی از تصمیمات بدون نظارت جلوگیری میکند و کیفیت دادههای آموزشی چگونه تأیید شده است. یک تست کاربردی برای افسران انطباق: اگر ابزار هوش مصنوعی با یک پزشک تازهکار که همان توصیه را میکند جایگزین شود، آیا شما پیش از اقدام به بررسی ارشد نیاز دارید؟ اگر بله، ابزار هوش مصنوعی به همان ساختار نظارتی نیاز دارد.
نقشه راه اوت ۲۰۲۶
مقررات کلی قانون هوش مصنوعی در اوت ۲۰۲۴ اجرایی شد و کاربردهای ممنوعه در فوریه ۲۰۲۵ منع شدند. با این حال، تعهدات پرخطر — شامل ارزیابیهای انطباق، مستندات فنی و مکانیسمهای نظارت انسانی — در اوت ۲۰۲۶ فرا میرسند.
شرکتهایی که پس از این تاریخ هوش مصنوعی بالینی پرخطر را بدون مستندات مستقر کنند، در معرض ریسک قانونی هستند. کسانی که پیش از اوت ۲۰۲۶ استقرار را انجام دادهاند اما سیستمهای خود را ارزیابی نکردهاند، با ریسک طبقهبندی عطف به ماسبق مواجهاند. مهلت اوت ۲۰۲۶ بهطور خاص سیستمهای پرخطر تعریف شده در پیوست ۳ قانون، شامل پشتیبان تصمیمات بالینی و تریاژ بیماران را پوشش میدهد.
برای یک شرکت بهداشتی ۲۰ تا ۵۰ نفره، توالی پیشنهادی این است:
- تا پایان ۲۰۲۵: تکمیل فهرست کامل ابزارهای هوش مصنوعی، عملکرد بالینی هر ابزار و سطح ریسک اولیه آنها.
- سه ماهه اول ۲۰۲۶: برای هر سیستم پرخطر، ارزیابی انطباق را تکمیل کرده و یک فرد مسئول منصوب کنید.
- پیش از اوت ۲۰۲۶: مستندسازی مکانیسمهای نظارت انسانی، ایجاد دفتر ثبت حوادث و برگزاری اولین جلسه رسمی کمیته حاکمیت هوش مصنوعی.
حاکمیت متناسب برای شرکتهای کوچک
کلینیکهای کوچک توان مالی تشکیل شوراهای اخلاق کامل را ندارند. در عوض، باید یک کمیته حاکمیت هوش مصنوعی چابک متشکل از سه نقش ایجاد کنند (که میتواند توسط کارکنان فعلی پر شود):
- مدیر بالینی: ارشدترین پزشک؛ مسئول ارزیابی همسویی خروجیهای هوش مصنوعی با استانداردهای بالینی.
- افسر حفاظت از دادهها (DPO): همان DPO فعلی شما که اکنون وظایف قانون هوش مصنوعی را نیز بر عهده میگیرد.
- مدیر فنی/IT: مسئول ارزیابی فروشندگان، مستندات سیستم و کنترلهای دسترسی.
این کمیته باید هر سه ماه یکبار چهار مورد خاص را بررسی کند:
۱. ابزارهای جدید معرفی شده در سه ماهه و سطح ریسک آنها.
۲. حوادثی که در آن خروجی هوش مصنوعی نادرست یا سوگیرانه بوده یا بدون بررسی پزشک اجرا شده است.
۳. بررسی بهروز بودن مستندات دادههای آموزشی هر فروشنده سیستم پرخطر.
۴. بررسی دستورالعملهای نظارتی صادر شده از زمان آخرین جلسه.
الزام دفتر ثبت حوادث
طبق ماده ۷۳ قانون هوش مصنوعی، ارائهدهندگان سیستمهای پرخطر باید حوادث جدی را به مقامات نظارتی ملی گزارش دهند. حتی اگر شما «بهکارگیرنده» (Deployer) هستید و از ابزار شخص ثالث استفاده میکنید، به یک دفتر ثبت حوادث محلی نیاز دارید تا ثابت کنید مشکل را شناسایی و گزارش کردهاید.
یک سند مشترک ساده که تاریخ، سیستم، شرح حادثه، نتیجه بالینی و اقدام انجام شده را ثبت کند برای یک شرکت کوچک کافی است. بین بررسیهای سه ماهه، DPO باید یک دفتر ثبت جاری از ابزارهای هوش مصنوعی و وضعیت طبقهبندی آنها نگه دارد. هر خرید ابزار جدید باید یک چکلیست پیشخرید را فعال کند: ارزیابی سطح ریسک، بررسی DPA فروشنده، تأیید دادههای آموزشی ماده ۱۰ و مستندسازی مکانیسم نظارت.
تعهدات بهکارگیرنده در برابر ارائهدهنده
سطح مستندات به نقش شما بستگی دارد. اگر یک ابزار تشخیص دارای نشان CE را از شخص ثالث میخرید و طبق دستورالعمل استفاده میکنید، شما بهکارگیرنده هستید. بار مسئولیت شما محدود به اجرای مکانیسمهای نظارتی مشخص شده توسط ارائهدهنده، نگهداری دفتر حوادث و عدم تغییر در سیستم است. بار ارزیابی انطباق بر عهده ارائهدهنده است.
اگر هوش مصنوعی بالینی خود را در داخل سازمان میسازید یا سیستم شخص ثالث را بهطور قابلتوجهی سفارشی میکنید، شما ارائهدهنده هستید. این یک سناریوی پرمخاطره برای بنیانگذاران فناوری سلامت است، زیرا نیازمند ارزیابیهای کامل انطباق و مستندات فنی گسترده است که بازبینی حقوقی و فنی خارجی را اجباری میکند.
آنچه میتواند منتظر بماند
همه چیز نباید تا اوت ۲۰۲۶ کامل باشد. در حالی که فهرست ابزارها، مستندات نظارت انسانی و دفتر حوادث غیرقابل مذاکره هستند، سایر وظایف میتوانند در ۱۲ ماه بعد دنبال شوند:
- مستندات کامل ارزیابی انطباق برای سیستمهای پیچیده (متناسب با سطح ریسک).
- ادغام حاکمیت هوش مصنوعی در چرخههای سالانه ممیزی بالینی.
- آموزش سواد هوش مصنوعی برای تیمهای بالینی.
این تغییر، گذاری از «هوش مصنوعی آزمایشی» به «هوش مصنوعی تنظیمشده» است. برای شرکتهای کوچک بهداشتی، ریسک دیگر فقط یک باگ نرمافزاری نیست، بلکه یک بدهی انطباقی سیستماتیک است که ماه به ماه انباشته میشود.
گام بعدی شما
- فهرست تمام ابزارهای هوش مصنوعی در حال استفاده در سازمان خود را تهیه کنید و بر اساس اثرگذاری بر نتیجه درمان، آنها را دستهبندی کنید.
- از فروشندگان ابزارهای تشخیصی خود بخواهید مستندات مربوط به کیفیت دادههای آموزشی (مطابق ماده ۱۰ EU AI Act) را ارائه دهند.
- یک دفتر ثبت حوادث ساده (Incident Log) برای هرگونه خطای خروجی مدلها ایجاد کنید تا در بازرسیهای احتمالی مدارک لازم را داشته باشید.
اما داستان سختافزاری این تحول حتی شگفتانگیزتر است — به تحلیل ما دربارهی تراشههای Blackwell مراجعه کنید.
گفتگو