سی‌تی انتروگرافی یک روش تصویربرداری حیاتی برای ارزیابی بیماری‌های التهابی روده محسوب می‌شود، با این حال استراتژی‌های بهینه بازنمایی برای تحلیل خودکار همچنان به‌طور کافی بررسی نشده‌اند. این مطالعه نخستین بررسی جامع از یادگیری انتقالی بینایی-زبانی را بر روی سی‌تی انتروگرافی شکمی ارائه می‌دهد که نتایج مهمی برای توسعه سیستم‌های تشخیص خودکار به همراه دارد. این پژوهش دو یافته اصلی را با پیامدهای مستقیم برای انتخاب معماری سیستم و استراتژی‌های بهینه‌سازی شناسایی کرده است.
نخست، انتخاب روش تجمیع تأثیر قابل‌توجهی بر عملکرد وظایف پایین‌دستی دارد. تجمیع میانگین بردارهای جاسازی مقطعی عملکرد برتری در طبقه‌بندی دسته‌ای بیماری نشان می‌دهد و به دقت ۵۹.۲ درصد در وظایف طبقه‌بندی سه‌کلاسه دست می‌یابد. در مقابل، تجمیع توجه نتایج بهتری برای وظایف بازیابی متقاطع فراهم می‌کند و رتبه متقابل میانگین ۰.۲۳۵ را در بازیابی متن-به-تصویر کسب می‌نماید. این الگوی متفاوت به‌طور یکنواخت در تمام تنظیمات LoRA مورد آزمایی پایدار می‌ماند که نشان می‌دهد این استراتژی‌های تجمیع بر ویژگی‌های متمایزی از بازنمایی‌های بصری یادگرفته‌شده تأکید دارند. توسعه‌دهندگان هوش مصنوعی پزشکی باید هنگام انتخاب رویکردهای تجمیع، مورد استفاده اصلی خود را مد نظر قرار دهند.
دوم، بررسی‌ها نشان داد که کنتراست بافتی در هر مقطع نسبت به اهمیت پوشش فضایی گسترده‌تر در این حوزه برتری دارد. کدگذاری RGB چندپنجره‌ای که به‌طور راهبردی پنجره‌های واحد هوئنسفیلد مکمل را به کانال‌های RGB نگاشت می‌کند، بر تمام استراتژی‌هایی که تلاش می‌کنند پوشش فضایی را از طریق نمونه‌برداری چندصفحه‌ای افزایش دهند، پیشی می‌گیرد. نکته قابل‌توجه اینکه افزودن نماهای تاجی و سهمی در این تنظیم در واقع عملکرد طبقه‌بندی را کاهش می‌دهد که فرضیات مربوط به ارزش زمینه فضایی جامع در تحلیل تصاویر پزشکی حجمی را به چالش می‌کشد.
برای تولید خودکار گزارش، تنظیم دقیق بدون زمینه بازیابی دقت در محدوده یک درجه شدت را نشان می‌دهد که به سطوح شانس تعدیل‌شده بر اساس شیوع نزدیک است که حاکی از ترتیب آموخته‌شده حداقلی فراتر از توزیع کلاس پایه است. تولید تقویت‌شده با بازیابی عملکرد را در تمام تنظیمات به‌طور قابل‌توجهی بهبود می‌بخشد و ۷ تا ۱۴ درصد بالاتر از سطح پایه شانس قرار می‌گیرد و میانگین قدرمطلق خطای ترتیبی را از ۰.۹۸ به محدوده ۰.۸۰ تا ۰.۸۹ کاهش می‌دهد. این پژوهش چارچوب برچسب‌گذاری کاذب سه‌معلمی را معرفی می‌کند که امکان مقایسه‌های جامع مدل‌ها را بدون نیاز به حاشیه‌نویسی گسترده متخصصان فراهم می‌سازد و مسیری عملی برای پیشرفت مداوم در این حوزه تصویربرداری پزشکی کمتر بررسی‌شده ارائه می‌دهد.
گفتگو