تصور کنید در یک جلسه حساس پزشکی، هوش مصنوعی تاریخی را برای آخرین آزمایش شما ابداع کند و شما بدون بازبینی، آن را به پزشک بگویید؛ یک خطای کوچک در اینجا میتواند منجر به تشخیص اشتباه شود. ابزارهای فعلی خلاصه سازها، منابع را پشت لینکهای مبهم مانند «درباره هوش مصنوعی» (About AI) پنهان میکنند و کاربر را در معرض پذیرش بلوکهای متنی قرار میدهند که ممکن است حقایق را با توهمات (Hallucinations) ترکیب کرده باشد. این شکاف، انگیزهای خطرناک ایجاد میکند تا کاربر بهجای اعتماد به سوابق واقعی، بهطور کورکورانه به لحن مطمئن AI اعتماد کند.
این مشکل دقیقاً همان جایی است که OpenAI در ۲۳ ژوئیه ۲۰۲۶ با معرفی قابلیت Health in ChatGPT وارد شد. این ابزار که برای کاربران واجد شرایط در ایالات متحده (۱۸ سال به بالا) در نسخههای وب و iOS عرضه شده است، به دادههای Apple Health و سوابق پزشکی متصل میشود تا داشبورد سلامت کاربر (شامل خواب، فعالیتها، داروها، آزمایشات و سایر اطلاعات بهداشتی) را نمایش دهد. OpenAI اعلام کرده است که دادههای متصل و گفتگوهای مرتبط برای آموزش مدلهای پایه یا هدفگذاری تبلیغاتی استفاده نمیشوند. اما طبق اعلام خود شرکت، این سیستم قرار است «پشتیبان» مراقبتهای پزشکی باشد، نه جایگزین آن؛ و تاکید شده که این ابزار ابزاری برای تشخیص یا درمان نیست. همانطور که در تحلیلهای قبلی ما دربارهی مبنیسازی (Grounding) مدلها اشاره کردیم، مشکل اصلی این است که مدلهای زبانی بزرگ — مثل کتابخانهداری که میلیاردها صفحه را خوانده و حالا با همان لحن کتابها جواب میدهد — گاهی وقایع را با اطمینانی کامل اما غلط بازسازی میکنند.
برای حل این بحران، یک فرضیه طراحی جدید پیشنهاد شده است که محوریت آن یک «کارت شواهد» (Evidence Card) اجباری است که باید پیش از هرگونه ذخیره یا اشتراکگذاری دادهها، بازبینی شود. هدف این است که «لحظه بازگشتپذیر» (Reversible Moment) دقیقاً پیش از عملیات نهایی اتفاق بیفتد و بازبینی شواهد به یک الزام مرکزی تبدیل شود. بر اساس مستندات منتشر شده در dev.to، این مکانیزم از تبدیل AI از یک «خلاصهساز» به یک «تأییدکننده» استفاده میکند. در این مدل، ابزار باید کمک کند تا فرد گفتگو را سازماندهی کند، بدون اینکه تظاهر کند معنای پزشکی دادهها را درک کرده است. دادهها به چهار منطقه مجزا تقسیم میشوند:
- موارد مستند (Source-Backed Items): هر ادعا با یک برچسب منبع و تاریخ ثبت شده همراه است. موارد به صورت «دقیق»، «بازنویسی شده» یا «ناقص» علامتگذاری میشوند. وضعیت «ناقص» باید به صورت یک برچسب بصری واضح باشد و نه آیکونی که نیاز به نگه داشتن ماوس (Hover) داشته باشد.
- یادداشتهای من (My Notes): مشاهدات شخصی کاربر که بهطور کامل از سوابق رسمی جدا شدهاند. طراحی سیستم بهطور صریح ادغام این یادداشتها با سوابق در یک بلوک متنی واحد را ممنوع میکند تا هیچ اختلاتی در تشخیص واقعیت رخ ندهد.
- پرسشهای باز (Open Questions): سوالاتی که AI تولید کرده و باید بهطور کامل قابل ویرایش باشند. اگر سوالی فاقد پشتیبانی از دادهها باشد، سیستم بهجای اختصاص دادن «درصد اطمینان» (که کاربر نمیتواند تفسیر کند)، گزینههای حذف و ویرایش را ارائه میدهد.
- اطلاعات گمشده (Missing Information): بخشی اختصاصی برای مواردی که «غایب، قدیمی یا متناقض» هستند.
جریان بازبینی در این سیستم سختگیرانه و دارای توالی مشخص است. کاربر ابتدا هدف (Purpose) و بازه زمانی را انتخاب میکند، منابع گنجانده شده را پیشنمایش میبیند، کارت پیشنویس را تولید میکند و سپس وضعیت شواهد هر مورد را بازبینی میکند. در این مرحله، کاربر میتواند موارد را ویرایش کند، آنها را حذف (Exclude) نماید یا یادداشتهای شخصی خود را اضافه کند و در نهایت مقصد را تایید کند.
نکته کلیدی این است که عملیات «لغو» (Cancel) باید طبق رفتار تعریف شده محصول، پیشنویس را دور بریزد و اطلاعات متصل زیربنایی را دستنخورده رها کند. همچنین، «ذخیره» با «اشتراکگذاری» متفاوت است؛ یک گام مجزا باید برای نامگذاری مقصد وجود داشته باشد و به کاربر اجازه دهد یک بار دیگر خروجی نهایی را بازبینی کند. اقدامات در دسترس در این مرحله شامل: ویرایش، حذف، مشاهده متن اصلی منبع (Source Context) و ذخیره پیشنویس است.
برای سنجش اثر این طراحی، یک پروتکل پژوهشی بر اساس سناریوهای کاربردی پیشنهاد شده است. در این آزمایش، از سوابق پزشکی ساختگی استفاده میشود تا شرکتکنندگان شرایط واقعی یا دارویی خود را افشا نکنند. پژوهش بر روی سه سناریوی خاص تمرکز دارد:
۱. حالتی که یک مورد از منبع بهروز است و موردی دیگر بهوضوح قدیمی (Stale) است.
۲. حالتی که یک یادداشت شخصی با تاریخ ثبت شده در سوابق در تضاد است.
۳. حالتی که یک پرسش تولید شده توسط AI، هیچ مورد پشتیبان واضحی در دادهها ندارد.
معیار موفقیت در این تست، «بازشناسی منشأ» (Provenance Recognition) است؛ یعنی توانایی کاربر در شناسایی دقیق اینکه هر تکه از داده از کجا آمده است. شرایط توقف آزمایش به دلیل شکست شامل موارد زیر است: سردرگمی مکرر کاربر بین منبع و یادداشت، یا زمانی که کاربر باور کند یک مورد بدون پشتیبان، تایید شده است. همچنین بررسی میشود که آیا کاربران مقصد ارسال را در فرآیند ذخیره/اشتراکگذاری بهدرستی توضیح میدهند و آیا پیمایش با کیبورد به ترتیب درست به تمام اقدامات میرسد یا خیر.
این رویکرد، «لحظه بازگشتپذیر» را به قبل از ذخیره یا اشتراکگذاری منتقل میکند. به این ترتیب، رابط کاربری که معمولاً نقطه شکست اصلی است، تبدیل به سد ایمنی میشود تا کاربر بهجای خواندن غیرفعال، وارد یک فرآیند بازبینی دقیق شود و agency یا عاملیت انسانی حفظ گردد.
در حالی که OpenAI تاکید دارد Health in ChatGPT قرار است پشتیبان باشد، رابط کاربری همچنان نقطه اصلی شکست است. کارت شواهد این مرز را در مرحله بازبینی تکرار میکند تا اطمینان حاصل شود که از این لحظه برای تایید سختگیرانه استفاده میشود نه مطالعه گذرا. در آینده باید رصد کنیم که سایر ادغامهای AI در تکنولوژی سلامت، چگونه با «منشأ» (Provenance) — یعنی توانایی ردیابی یک ادعا به یک سند پزشکی خاص — برخورد میکنند، زیرا این موضوع تبدیل به معیار استاندارد برای ایمنی بالینی خواهد شد.
گام بعدی شما
- اگر از ابزارهای AI برای مدیریت دادههای حساس استفاده میکنید، عادت کنید هر ادعای مدل را با منبع اصلی تطبیق دهید.
- در هنگام طراحی رابط کاربری برای AI، به جای ارائه پاسخ نهایی، «مسیر رسیدن به پاسخ» را به کاربر نشان دهید.
- منتظر بمانید و ببینید آیا OpenAI یا گوگل استانداردهای «بازشناسی منشأ» را در نسخههای جهانی Health ادغام میکنند یا خیر.
اما چالش واقعی در لایههای عمیقتر است؛ بررسی اینکه چگونه مدلهای استدلالی (Reasoning Model) — مثل شطرنجبازی که چند حرکت جلوتر را میبیند — میتوانند تضادهای پزشکی را شناسایی کنند، در گزارش بعدی ما منتشر خواهد شد.
گفتگو