اگر برای سیستم‌های بازیابی اطلاعات در محیط‌های حساس پزشکی به شباهت کسینوسی تکیه کرده‌اید، احتمالاً با توهمات پیش‌بینی‌ناپذیر و توقف‌های ناگهانی فیلترهای ایمنی مواجه شده‌اید. باید بدانید که در محیط‌های بالینی، دقت در تولید تحلیل‌های ریشه‌ای برای جلوگیری از خطاهای آینده حیاتی است و روش‌های رایج فعلی لزوماً ایمن نیستند.
در محیط‌های بهداشتی، مدل‌های زبانی بزرگ (LLM) باید بتوانند بینش‌های قابل‌اعتمادی از گزارش‌های حوادث استخراج کنند. همان‌طور که در تحلیل‌های پیشین ما درباره‌ی مبنی‌سازی (Grounding) مدل‌ها اشاره کردیم، مدل‌ها بدون راهنمایی دقیق، مستعد تولید پاسخ‌های نامعتبر هستند. در حالی که شباهت کسینوسی یک استاندارد صنعتی برای تولید بازیابی‌افزا (RAG) است، اما در حوزه‌های تخصصی، شباهت معنایی لزوماً با منطق بالینی یا الزامات ایمنی همسو نیست.
به نقل از مطالعه‌ای که در ۱۲ مه ۲۰۲۶ منتشر شد، پژوهشگران با استفاده از مجموعه داده حوادث پزشکی ژاپن (JMID) شامل ۳۸۸۴ گزارش واقعی از حوادث و «نزدیک-به-حوادث»، سه استراتژی را مقایسه کردند:
- نمونه‌برداری تصادفی
- شباهت کسینوسی (Cosine Similarity)
- روش پیشنهادی مبتنی بر برچسب (Tag-based)
این آزمایش‌ها روی مدل‌های GPT-4o و LLaMA 3.3 اجرا شد. بر اساس مستندات این پژوهش، انتخاب نمونه‌ها بر اساس برچسب‌های توصیفی (مانند «داروها» یا «درمان انتقال خون») به جای فضای برداری پنهان، بالاترین دقت و پایدارترین رفتار تولید را به همراه داشت.
تحلیل این نتایج نشان می‌دهد که متادیتای قابل تفسیر انسانی بسیار قابل‌اعتمادتر از فضای برداری است. با حذف «جعبه سیاه» شباهت ریاضی، توسعه‌دهندگان می‌توانند ابزارهای بالینی پیش‌بینی‌پذیرتری بسازند و ریسک توقف‌های ناگهانی سیستم در محیط‌های عملیاتی را کاهش دهند.
گام بعدی شما
- ارزیابی میزان ساختاریافتگی برچسب‌های موجود در مجموعه‌داده‌های بالینی خود برای جایگزینی با بازیابی برداری.
- بررسی امکان پیاده‌سازی لایه‌های متادیتای تخصصی در سیستم‌های Few-shot.
- مطالعه روش‌های تولید خودکار برچسب‌ها برای مقیاس‌پذیری در مجموعه‌داده‌های بزرگ‌تر.
اما چالش تولید این برچسب‌ها بدون دخالت انسان، بحثی است که در گزارش بعدی ما درباره‌ی داده‌های مصنوعی بررسی خواهیم کرد.
گفتگو