گزارش ArXiv: برتری داده‌های اختصاصی بر ساختارهای استدلالی در ارزش‌گذاری دارویی

اگر تصور می‌کنید مدل‌های هوشمندتر یا زنجیره‌های استدلالی پیچیده‌تر، کلید دستیابی به دقت در AIهای علمی هستند، احتمالاً متغیر اشتباهی را دنبال می‌کنید. طبق نتایج مطالعه‌ای که در ۹ ژوئن ۲۰۲۶ منتشر شد، در حوزه‌هایی مانند ارزش‌گذاری دارایی‌های دارویی، «بستر شواهدی» (Evidence Substrate) بسیار تعیین‌کننده‌تر از معماری استدلال است.

سال‌هاست صنعت روی اصلاح زنجیره‌های استدلال و مهندسی پرامپت (Prompt Engineering) تمرکز کرده تا توهمات مدل‌ها را کاهش دهد. اما این تحقیق، نقطه شکست را از منطق مدل به خط لوله داده‌ها منتقل می‌کند. همان‌طور که در تحلیل‌های پیشین ما درباره‌ی معماری‌های عامل‌محور (Agentic) اشاره کردیم، توانایی یک عامل در تصمیم‌گیری، مستقیماً با کیفیت داده‌های ورودی‌اش گره خورده است.

پژوهشگران برای اثبات این فرضیه، یک مطالعه جداسازی (Ablation Study) سه-محوره روی یک عامل تولیدی انجام دادند:

• بازوی A (مدل زبانی بزرگ مبتنی بر وب): تنها ۰.۲۵ از رکوردهای طلایی استخراج‌شده را بازیابی کرد.
• بازوی B (افزودن ابزارهای ساختاریافته، دستورالعمل‌های ۱۴‌بعدی و یک تأییدکننده): با وجود ساختار استدلالی قوی‌تر، تنها ۰.۳۸ رکوردهای طلایی را بازیابی کرد.
• بازوی C (افزودن مجموعه داده‌های اختصاصی Noah AI): به بازیابی ۰.۹۶ از رکوردهای طلایی دست یافت و حتی در زیرمجموعه‌های دشوار (Long-tail)، دقت ۰.۹۳ را ثبت کرد.

به نقل از گزارش arxiv.org، در معیار «کیفیت تصمیم‌گیری آگاهانه»، بازوی C با امتیاز ۷.۴۳، به‌طور چشم‌گیری از بازوی B (۲.۵۷) و بازوی A (۱.۷۶) پیشی گرفت.

این نتایج، این فرض رایج را که مدل‌های «باهوش‌تر» می‌توانند جایگزین داده‌های تخصصی شوند، به چالش می‌کشد. ساختارهای استدلالی تنها به عنوان «ضریب» داده‌های موجود عمل می‌کنند؛ یعنی اگر داده‌ای در دسترس نباشد، خروجی مدل هرچقدر هم هوشمند باشد، سقف عملکردش پایین می‌ماند. برای متخصصان فنی، این بدان معناست که نبرد برای برتری در AIهای تخصصی، نه در مهندسی پرامپت، بلکه در تصاحب داده‌های اختصاصی برده خواهد شد.

گام بعدی شما

• تحلیل کنید که شکست‌های فعلی سیستم‌های AI شما ناشی از نقص در منطق مدل است یا شکاف بنیادین در داده‌ها.
• استراتژی جمع‌آوری داده‌های اختصاصی (Curated Corpus) را جایگزین تلاش‌های بی‌پایان برای بهینه‌سازی پرامپت کنید.
• بررسی کنید آیا متدولوژی «داده-محوری» (Corpus-first) در سایر حوزه‌های حساس علمی شما نیز اثرگذار است یا خیر.

اما تأثیر این رویکرد بر استراتژی‌های آموزش مدل‌های کوچک‌تر حتی حیاتی‌تر است — به تحلیل ما درباره‌ی مدل‌های زبانی کوچک (SLM) مراجعه کنید.