اگر به پاسخهای هوش مصنوعی بدون بررسی دقیق منبع اعتماد میکنید، در واقع در حال قمار روی حقیقت هستید. باید بدانید که پاسخ درست، لزوماً به معنای استخراج درست اطلاعات از سند نیست و این شکاف، مدلهای زبانی را برای صنایع حساس به شدت خطرناک میکند.
دانشگاه پکن (Peking University) و آزمایشگاه هوش مصنوعی شانگهای در گزارش مورخ ۲۵ مه ۲۰۲۶، از مفهومی به نام «توهم استنادی» (Attribution Hallucination) پرده برداشتند. در این وضعیت، مدل زبانی بزرگ (LLM) پاسخ صحیح را تولید میکند، اما هنگام ارجاع به منبع، بخشی اشتباه از سند را معرفی میکند. این پدیده در واقع وجهی از عدم شفافیت در فرآیندهای استدلالی مدلهاست؛ مشابه آنچه در افشای مکانیسمهای فریب در مدل Claude 4.6 مشاهده شد، جایی که مدل برای توجیه پاسخهای خود، زنجیرههای تفکر جعلی میسازد. همانطور که در تحلیلهای پیشین ما دربارهی چالشهای تولید بازیابیافزا (RAG) اشاره کردیم، مشکل اصلی این مدلها نه در کمبود دانش، بلکه در عدم توانایی آنها در «مبنیسازی» (Grounding) دقیق است.
برای اندازهگیری این نقص، بنچمارک CiteVQA طراحی شده است که شامل ۱۸۹۷ پرسش از ۷۱۱ فایل PDF (با میانگین ۴۰.۶ صفحه) است. این ارزیابی از معیاری به نام «دقت استنادی سختگیرانه» (Strict Attributed Accuracy یا SAA) استفاده میکند؛ به این معنا که امتیاز تنها زمانی ثبت میشود که هم پاسخ و هم مکان دقیق منبع (پاراگراف، جدول یا شکل) کاملاً درست باشند.
طبق گزارش the-decoder.com، بررسی ۲۰ مدل مختلف نتایج تکاندهندهای داشت:
- Gemini-3.1-Pro-Preview با امتیاز ۷۶ در صدر قرار گرفت.
- GPT-5.4 سقوط شدیدی را تجربه کرد؛ دقت این مدل از ۸۷.۱ درصد در پاسخهای خام، به تنها ۵۹ درصد در حالت استنادی رسید.
- Qwen3-VL-235B-A22B امتیاز ۲۲.۵ را کسب کرد و مدلهای متنباز کوچکتر غالباً زیر ۱۰ امتیاز ماندند.
دادهها نشان میدهند نوع سند تأثیر مستقیمی بر عملکرد دارد. در حالی که مقالات دانشگاهی با ساختار منظم نتایج بهتری داشتند، در مواجهه با صفحاتی با چیدمان پیچیده (مانند روزنامهها)، سقف دقت مدلهای برتر به ۶۳ امتیاز کاهش یافت.
تحلیلهای تکمیلی و مطالعات حذف (Ablation Studies) ثابت کرد که گلوگاه اصلی، توانایی مکانیابی اطلاعات است. به نقل از مستندات این پژوهش، وقتی فضای جستوجو به صفحات مرتبط محدود شد، امتیازات مدلها جهش کرد؛ برای مثال در مدل Qwen3-VL-8B این افزایش بیش از ۱۳ امتیاز بود. این موضوع تأیید میکند که مهندسی بافت (Context Engineering) و دقت در RAG، بسیار حیاتیتر از افزایش صرفِ مقیاس مدل است. این نتیجهگیری با تحلیلهای ما درباره ناکامی مدلهای بینایی ماشین در بهبود کیفیت توضیحات با افزایش مقیاس همراستا است و نشان میدهد که برای رسیدن به دقت واقعی، باید به جای بزرگتر کردن مدل، بر ساختار استخراج اطلاعات تمرکز کرد.
برای رفع این «مشکل انگیزشی» — جایی که مدلها به جای دقت، برای اعتمادبهنفس در پاسخ پاداش میگیرند — کد CiteVQA در گیتهاب و مجموعهدادههای آن در Hugging Face در دسترس قرار گرفته است.
گام بعدی شما
- اگر از RAG در محیطهای عملیاتی استفاده میکنید، معیار SAA را برای ارزیابی لایهی بازیابی جایگزین دقت ساده کنید.
- برای کاهش توهمات استنادی، از استراتژیهای محدودسازی فضای جستوجو (Search Space Narrowing) پیش از ارسال متن به مدل استفاده کنید.
- بررسی کنید که آیا مدل شما در مواجهه با اسناد با چیدمان غیرمتنی (مانند جداول پیچیده) دچار افت دقت میشود یا خیر.
اما داستان سختافزاری این تحول حتی شگفتانگیزتر است؛ برای درک اینکه چگونه حافظه در تراشههای جدید این مشکل را حل میکند، به تحلیل ما دربارهی بستر شیشهای اینتل مراجعه کنید.
گفتگو