پرش به محتوای اصلی
پرش به محتوای مقاله

سقوط خاموش سامانه‌های RAG به‌دلیل داده‌های منقضی‌شده

·۸ تیر ۱۴۰۵۴ دقیقه مطالعه۲ بازدید
تحلیل
مشکل زمینه قدیمی: چرا هوش مصنوعی شما نمی‌داند چه ساعتی است
مشکل زمینه قدیمی: چرا هوش مصنوعی شما نمی‌داند چه ساعتی است
اشتراک‌گذاری
واقعاً چه چیز جدید است؟

جابه جایی مدلِ آگاهی از زمان؛ به‌جای تکیه بر پرامپت یا ساعت داخلی مدل، پیشنهاد شده است که «زمان‌مندی» به عنوان یک ویژگی ذاتی در متادیتای هر تکه داده (Chunk) جاسازی شده و مدل زوال برای هر نوع داده تعریف شود.

اگر برای کسب‌وکار خود سیستمی ساخته‌اید که پاسخ‌ها را از اسناد داخلی می‌خواند، احتمالاً کاربران شما پاسخ‌هایی می‌گیرند که سال‌هاست منقضی شده‌اند. این یک شکست خاموش است؛ جایی که مدل با اعتمادبه‌نفس کامل، حقیقتی را روایت می‌کند که دیگر وجود ندارد.

این بحران زمانی آشکار شد که یک توسعه‌دهنده در ۲۸ ژوئن ۲۰۲۶ متوجه شد دستیارهای هوش مصنوعی قادر نیستند گذر زمان میان جلسات مختلف را درک کنند. در واقع، تضاد میان یک زمان‌سنج ایستا (Static Timestamp) و جریان واقعی زمان، باعث می‌شود مدل نتواند تفاوت بین یک واقعیت فعلی و داده‌ای مربوط به سه سال پیش را تشخیص دهد. این مشکلات در مدیریت حافظه و بافتار مدل‌ها، یادآور چالش‌های مدیریت جلسه است که در متد تک‌فایلی Dory برای جلوگیری از اتلاف وقت و فقدان بافتار در چت‌های جدید بررسی شده بود.

این مشکل به‌ویژه در سامانه‌های تولید بازیابی‌افزا (RAG) — که شبیه دانش‌آموزی است که قبل از جواب دادن، اول کتاب درسی را باز می‌کند و از آن نقل می‌آورد — بسیار خطرناک است. در این ساختار، مدل زبانی بزرگ (LLM) — مانند کتابخانه‌داری که میلیاردها صفحه را خوانده و حالا با همان لحن جواب می‌دهد — سندی را از پایگاه‌داده می‌گیرد و آن را یک حقیقت مطلق می‌پندارد. طبق گزارش وب‌سایت dev.to، چون اکثر داده‌های بازیابی‌شده سیگنال زمانی معتبری ندارند، مدل فرض می‌کند همه چیز در زمان حال رخ می‌دهد.

همان‌طور که در تحلیل‌های پیشین ما درباره‌ی توهمات مدل‌های زبانی اشاره کردیم، این «کهنگیِ نامرئی» در حوزه‌های حساس منجر به پاسخ‌های غلط می‌شود:

  • قیمت‌گذاری: ارائه قیمتی که از فصل گذشته تغییر کرده است.
  • موجودی: ادعای «موجود بودن» کالا بر اساس یک صفحه کش‌شده (Cached).
  • انطباق: استناد به سیاست‌هایی که پیش‌تر نسخه‌شان تغییر کرده است.
  • پرسنل: استفاده از عنوان شغلی مربوط به دو سال پیش.

چنین خطاهای پنهانی که در نگاه اول درست به نظر می‌رسند اما در واقعیت معیوب هستند، مشابه باگ‌های خاموش در کدهای تولیدشده با AI هستند که در پروژه Loupe مورد تحلیل قرار گرفتند.

بر اساس مستندات فنی، افزودن یک ساعت ساده از طریق دستور now() راهکار این مشکل نیست. دانستن اینکه ساعت ۹ شب است به مدل کمک نمی‌کند، مگر اینکه بداند سندی که استناد می‌کند در سال ۲۰۲۳ منقضی شده است. شکاف اصلی، نه در ساعت داخلی مدل، بلکه در تازگیِ تکه‌داده‌های پردازش‌شده است.

راهکار پیشنهادی، الگوبرداری از سیستم GPS است: به‌جای هوشمندتر کردن گیرنده (مدل)، خودِ سیگنال (بستر متن یا Context) باید برچسب زمانی داشته باشد. به عبارت دیگر، هوشمندی باید در سیگنال باشد، نه در گیرنده.

برای اجرای این مدل، توسعه‌دهندگان باید هر بخش از داده‌های بازیابی‌شده را با دو نشانگر مشخص کنند: زمان درست بودن اطلاعات و زمان بازیابی آن‌ها. این متادیتا باید در تمام مراحل خط لوله (Pipeline) باقی بماند و در اولین انتقال حذف نشود.

علاوه بر این، سامانه به یک «مدل زوال» (Decay Model) نیاز دارد. زمان برای هر داده نسبی است؛ مثلاً قیمت سهام ۶ ماه پیش بی‌ارزش است، اما یک اثبات ریاضی ۶ ماه پیش همچنان معتبر است. بنابراین تازگی باید هر بار در لحظه خواندن داده سنجیده شود.

برای کسانی که عامل‌های (Agents) هوش مصنوعی یا ابزارهای دانش داخلی می‌سازند، این تغییر یعنی انتقال بارِ حقیقت از مدل به لایه یکپارچگی داده‌ها. با تبدیل بستر متن به یک سیگنال امضاشده و زمان‌دار، مدل دیگر نیازی ندارد برای پاسخ دقیق، «ساعت را بداند».

این رویکرد، پیش‌فرض بنیادی RAG را از «بازیابی و اعتماد» به «بازیابی، تایید سن و زوال» تغییر می‌دهد. در این حالت، پنجره زمینه (Context Window) — که شبیه میز کاری است که جا برای چند ورق دارد و نه برای کل کتابخانه — از یک سطل استاتیکِ متن به جریانی پویا از شواهد زمان‌دار تبدیل می‌شود.

توسعه‌دهندگان باید اکنون خطوط لوله RAG خود را بازرسی کنند تا ببینند متادیتاها در کجا حذف می‌شوند. باید بررسی کنید که آیا سیستم شما پیش از آنکه مدل داده را ببیند، می‌تواند تفاوت بین حقیقت امروز و سه سال پیش را تشخیص دهد یا خیر.

گام بعدی شما

  • متادیتای زمانی (Timestamp) را به هر تکه داده (Chunk) در پایگاه‌داده برداری خود اضافه کنید.
  • یک تابع «سنجش زوال» بر اساس نوع داده (مالی، حقوقی، علمی) تعریف کنید.
  • بررسی کنید که آیا لایه بازیابی شما، متادیتاها را پیش از ارسال به مدل حذف می‌کند یا خیر.

این تنها آغاز ماجراست؛ اثرات این رویکرد بر کاهش نرخ توهم در عامل‌های پیچیده را در گزارش بعدی بررسی خواهیم کرد.

چرا این موضوع مهم است؟

این تغییر معماری، اعتماد به سیستم‌های RAG را در محیط‌های تجاری تضمین می‌کند تا از ارائه اطلاعات منقضی‌شده جلوگیری شود. بر اساس استانداردهای مهندسی داده، این روش تنها راه دستیابی به «حقیقت لحظه‌ای» در مقیاس سازمانی است.

تأثیر برای ایران

برای توسعه‌دهندگان ایرانی که در حال ساخت ابزارهای دانش سازمانی با مدل‌های متن‌باز هستند، این متدولوژی ارزان‌ترین راه برای افزایش دقت پاسخ‌ها بدون نیاز به Fine-tuning‌های هزینه‌بر است.

·نگاه ما
تحریریه دات‌هوش

این رویکرد نشان می‌دهد که آیندهٔ RAG در گروِ تقویت لایه‌ی داده است، نه لزوماً بزرگ‌تر کردن مدل‌ها. با جابه‌جایی مسئولیتِ «اعتبارسنجی زمانی» از مدل به متادیتا، ما از یک معماری احتمالی به یک معماری دترمینیستی (قطعی) برای مدیریت حقیقت نزدیک می‌شویم؛ تغییری که می‌تواند نرخ توهمات در کاربردهای سازمانی را به‌طور چشم‌گیری کاهش دهد.

منابع

این گزارش با خط‌لولهٔ خودکار دات‌هوش از منابع معتبر جهانی تدوین و زیر نظر تحریریه منتشر شده است. روش کار ما

گفتگو

پنج‌شنبه‌های هوش‌محور

بسته‌ی هفتگی دات‌هوش

۵ خبر، ۲ ابزار، ۱ پرامپت در هر شماره. به‌زودی راه‌اندازی می‌شود — هر پنج‌شنبه صبح.

خبر کلیدی
ابزار کاربردی
پرامپت حرفه‌ای
تحلیل پژوهش
به‌زودی
زاویه‌ی ایرانی
به‌زودی
تمرین این هفته
به‌زودی

راهنماهای دات‌هوش

راهنماهای کاربردیِ دات‌هوش برای کار با هوش مصنوعی — از همین‌جا شروع کنید:

دات‌هوش

راهنمای فارسی هوش مصنوعی — با نگاه به ایران

اخبار روزانه، معرفی ابزارها و مدل‌ها، و آموزشِ کار با هوش مصنوعی؛ همیشه با این پرسش که از ایران چه چیزی کار می‌کند و چه چیزی نه.