تصور کنید یک مدل هوش مصنوعی پزشکی با دقت ۹۹٪، اما کاملاً غیرقابل‌اعتماد باشد. اگر هنوز تصور می‌کنید دقت (Accuracy) تنها معیار موفقیت در سیستم‌های حیاتی است، باید بدانید که سخت در اشتباهید.
به نقل از arxiv.org، در ۳۰ آوریل ۲۰۲۶، پژوهشگری به نام Serhii Zabolotnii چارچوبی را معرفی کرد که در آن «اعتماد» دیگر یک حس ذهنی نیست، بلکه یک ویژگی سیستماتیک و قابل اندازه‌گیری است. طبق اعلام Zabolotnii، اعتماد در سیستم‌های بالینی باید مهندسی شود، نه اینکه صرفاً به عنوان محصول جانبیِ دقت مدل پذیرفته شود.
این معماری از تکیه بر روانیِ کلام در مدل‌های «جعبه سیاه» فاصله می‌گیرد. بر اساس مستندات این پژوهش، یک AI بالینی قابل‌اعتماد، حاصل یک معماری لایه‌بندی شده است، نه ویژگی یک مدل واحد. این سیستم بر سه اصل استوار است: شواهد، نظارت و خودمختاری مرحله‌بندی شده.
برای عملیاتی کردن این رویکرد، ساختار زیر پیشنهاد شده است:
- هسته‌ی قطعی (Deterministic Core) برای مدیریت منطق بالینی.
- یک دستیار هوش مصنوعی زاینده (Generative AI) برای اعتبارسنجی زمینه‌ای و متناسب با هر بیمار.
- مکانیزم ارتقای مدل (Model Escalation Mechanism) در چندین سطح.
- لایه‌ی نظارت انسانی (Human Supervision) برای کنترل ریسک و تأیید نهایی.
در پوشش پیشین ما از چالش‌های همراستاسازی (Alignment) در مدل‌های استدلالی، دیدیم که دقت لزوماً به معنای ایمنی نیست؛ چارچوب زابولوتنی دقیقاً همین شکاف را هدف قرار داده است. این سیستم از پرامپت‌های ماژولار مبتنی بر طبقه‌بندی‌کننده استفاده می‌کند تا عمق تحلیل‌های بالینی را بدون کاهش عملکرد افزایش دهد.
برای حذف برداشت‌های شخصی، این چارچوب از اصول مترولوژیک (Metrological Principles) — به‌ویژه عدم قطعیت اندازه‌گیری، کالیبراسیون و ردیابی‌پذیری — برای کمی‌سازی قابلیت اطمینان هر لایه استفاده می‌کند. این روش تضمین می‌کند که خودمختاری AI توسط نظارت انسانی محدود شده و ردپای شواهد در هر مرحله حفظ شود.
اما این معماری تنها بخشی از پازل است؛ چالش بعدی، تعریف مسئولیت حقوقی در سیستم‌های «خودمختاری مرحله‌بندی شده» در پرونده‌های قصور پزشکی است که در گزارش‌های آتی بررسی خواهیم کرد.
گام بعدی شما
- مطالعه‌ی کامل مقاله در arxiv.org برای درک جزئیات ریاضیاتی اندازه‌گیری اعتماد.
- بررسی زیرساخت‌های فعلی AI در سازمان خود برای شناسایی نقاط کور در «ردیابی‌پذیری» (Traceability).
- تحقیق درباره‌ی مفهوم «خودمختاری مرحله‌بندی شده» (Staged Autonomy) در مدیریت ریسک‌های عملیاتی.
گفتگو