تصور کنید بتوانید بدون دسترسی به پیچیدگی‌های ریاضی و لایه‌های پنهان یک مدل، دقیقاً بفهمید کجا در حال دروغ گفتن است. اگر هنوز برای سنجش صحت خروجی‌های مدل‌های خود به بازبینی دستی یا مدل‌های داور (LLM-as-judge) تکیه می‌کنید، باید بدانید که بازی در حال تغییر است.
نیکولاس کرستینگ (Nicholas Kersting) راهکاری ارائه داده است که در آن متون به عنوان میدان‌های مفهومی (Concept Fields) در نظر گرفته می‌شوند تا توهمات و موارد نوآورانه شناسایی شوند. به نقل از مقاله‌ای که در ۷ مه ۲۰۲۶ در arxiv.org منتشر شد، این متدولوژی از یک «میدان رانش محلی» با عدم قطعیت نقطه‌ای برای امتیازدهی به گذارهای جملات استفاده می‌کند.
این سیستم با محاسبه $\zeta$ (زتا) — که میانگین مطلق فاصله z بین یک دلتای مشاهده‌شده و تخمین گاوسی محلی میدان است — تعیین می‌کند که آیا یک انتقال متنی در متن منبع مبنی‌سازی (Grounding) شده است یا خیر.
برای پیاده‌سازی فنی این روش، از یک پایگاه داده توالی برداری (Vector Sequence Database - VSDB) استفاده می‌شود که موارد زیر را ذخیره می‌کند:
- بردار معنایی (Embedding) جملات
- متادیتای موقعیت توالی
- متادیتای دلتای بعدی
همان‌طور که در تحلیل‌های پیشین ما درباره‌ی چالش‌های تولید بازیابی‌افزا (RAG) اشاره کردیم، توهمات همچنان بزرگ‌ترین مانع تجاری‌سازی AI در محیط‌های سازمانی هستند. بر اساس مستندات این پژوهش، این رویکرد در دو محیط مقیاس‌بزرگ آزمایش شده است: تشخیص مبنی‌سازی با استفاده از قوانین فدرال ایالات متحده و تشخیص نوآوری از طریق پروژه گوتنبرگ.
اگرچه مقاله درصد دقیقی از دقت کلی را در چکیده ذکر نکرده، اما گزارش می‌دهد که این سیستم در طبقه‌بندی انتخابی (مبنی، غیرمبنی یا نامعلوم) عملکرد بسیار قدرتمندی دارد. این سیگنال جعبه‌سیاه، مکمل تشخیص‌دهنده‌های «جعبه‌سافید» است و با تمرکز بر هندسه‌ی پیکره‌ی متنی به جای internals مدل، یک خوانش احتمالی و قابل انتقال بین دامنه‌های مختلف از حقیقت ارائه می‌دهد.
این تنها آغاز ماجراست؛ اثر موج‌گونه‌ی این تصمیم بر اکوسیستم مدل‌های بازمتن را در گزارش بعدی بررسی خواهیم کرد.
گام بعدی شما
- مقاله کامل کرستینگ در Arxiv را برای درک فرمولاسیون $\zeta$ مطالعه کنید.
- ساختار VSDB را با پایگاه‌های داده برداری فعلی خود مقایسه کنید تا نقاط ضعف در ذخیره‌سازی توالی‌ها را بیابید.
- بررسی کنید آیا می‌توانید این لایه نظارتی را به عنوان یک فیلتر پس از استنتاج در خط لوله RAG خود اضافه کنید.
گفتگو