چگونه برنامه‌نویسان RAG مدل‌ها را به پذیرش ندانستن مجبور می‌کنند؟

تصور کنید یک مدیر محصول برای پاسخ به سوالات مشتریان، سیستمی ساخته که با اطمینان کامل، اطلاعات غلط را به جای سیاست‌های شرکت ارائه می‌دهد. این کابوس هر توسعه‌دهنده‌ای است که با توهمات هوش مصنوعی دست‌وپنجه نرم می‌کند.

بسیاری از سیستم‌های تولید بازیابی‌افزا (RAG) — شبیه دانش‌آموزی که قبل از جواب دادن، اول کتاب درسی را باز می‌کند و از آن نقل می‌آورد — به این دلیل شکست می‌خورند که نزدیک‌ترین متن بازیابی‌شده، لزوماً پاسخ درست نیست. به نقل از یک استراتژی منتشر شده در dev.to در ۱۶ اکتبر ۲۰۲۶، مدل‌ها تمایل دارند حتی وقتی سند مرجع ساکت است، بر اساس شباهت موضوعی حدس بزنند. در همین راستا، برخی ابزارهای نوین مانند NanoAgent تلاش کرده‌اند تا پیاده‌سازی RAG را ساده‌تر کرده و وابستگی به زیرساخت‌های پیچیده را کاهش دهند.

همان‌طور که در تحلیل‌های قبلی ما درباره‌ی امنیت مدل‌های بازمتن اشاره کردیم، تکیه بر احتمالاتی که مدل‌ها ارائه می‌دهند، برای محیط‌های حساس کافی نیست. برای حل این مشکل، یک خط لوله چهارمرحله‌ای پیشنهاد شده است:

• تکه‌بندی اسناد (Document Splitting): بارگذاری اسناد کوتاه و تقسیم آن‌ها به قطعات مجزا.
• پرامپت‌نویسی محدود: دستور به مدل برای پاسخ‌دهی تنها بر اساس قطعات بازیابی‌شده.
• ارجاع اجباری: الزام مدل به ذکر منبع برای هر ادعای مطرح شده.
• منطق جایگزین صریح (Explicit Fallback): بازگرداندن یک عبارت استاندارد مانند «این اطلاعات در اسناد موجود نیست» در صورت نبود شواهد.

بر اساس مستندات این روش، توسعه‌دهنده برای شناسایی نقاط شکست، سه نوع پرسش را تعریف کرده است: سوالات «پاسخ‌دادنی»، سوالات «نامرتبط» و خطرناک‌ترین دسته یعنی سوالات «مرتبط اما بدون پشتیبانی». این دسته آخر سوالاتی هستند که موضوعشان با سند یکی است اما پاسخ خاصی ندارند و دقیقاً همان جایی هستند که توهم (Hallucination) — یعنی وقتی مدل با اطمینان چیزی می‌گوید که اصلاً وجود ندارد، شبیه دوستی که خاطره‌ای را اشتباه تعریف می‌کند — رخ می‌دهد. این پدیده در واقع بازتابی از ریشه‌های عمیق «اجبار به پاسخ‌دهی» در مدل‌های زبانی است که حتی در مدل‌های کوچک‌تر نیز به شدت مشاهده شده است.

این رویکرد تمرکز را از «دقت بازیابی» به «اعتبار پاسخ» تغییر می‌دهد. به باور این توسعه‌دهنده، داشتن یک شناسه ارجاع معتبر فقط ثابت می‌کند که متنی وجود دارد، نه اینکه آن متن لزوماً ادعای مدل را تایید کند. بنابراین، تکیه بر نمرات شباهت برداری کافی نیست و تست دستی روی اسناد واقعی ضروری است. این سخت‌گیری در استخراج مستندات، مشابه تجربه‌ی پلتفرم پیمجو بود که توانست با همین رویکرد حجم تیکت‌های پشتیبانی خود را به شدت کاهش دهد.

برای برنامه‌نویسان، هدف اصلی دیگر فقط دریافت پاسخ نیست، بلکه ایجاد یک مکانیسم «توقف» قابل اعتماد است. دانستن اینکه چه زمانی نباید پاسخ داد، زیربنای هر سیستم هوش مصنوعی در مقیاس صنعتی است.

گام بعدی شما

• اپلیکیشن RAG خود را با سوالاتی که «به نظر مرتبط می‌رسند اما پاسخشان در داده‌ها نیست» به چالش بکشید.
• یک عبارت Fallback استاندارد و صریح برای تمام سناریوهای نبود داده تعریف کنید.
• سیستم ارجاع (Citation) را به گونه‌ای طراحی کنید که کاربر بتواند مستقیماً منبع را چک کند.

اما داستان سخت‌افزاری این تحول حتی شگفت‌انگیزتر است — به تحلیل ما درباره‌ی تراشه‌های Blackwell مراجعه کنید.