اگر برای هر پرسش مشابه، هزینه‌ی پردازشی تکراری پرداخت می‌کنید، احتمالاً در تله‌ی هزینه‌های پنهان RAG افتاده‌اید. طبق گزارشی که در ۶ ژوئیه ۲۰۲۶ در dev.to منتشر شد، هزینه واقعی در سیستم‌های تولید بازیابی‌افزا (RAG) نه در تولید پاسخ نهایی، بلکه در بازسازی مکرر درک مدل از اسناد بازیابی‌شده است.
بنابراین، ذخیره کردن (Caching) تنها خروجی نهایی یک مدل زبانی بزرگ (LLM) — مثل کتابخانه‌داری که میلیاردها صفحه را خوانده و حالا با همان لحن کتاب‌ها جواب می‌دهد — اتلاف منابع محاسباتی است. همان‌طور که در تحلیل قبلی ما درباره‌ی تمایل مدل‌ها به پیش‌بینی میانگین به‌جای خلق ایده‌های نو اشاره کردیم، این استراتژی جدید به دنبال حذف هزینه‌های پنهان در مدیریت زمینه است. تصور کنید آشپزی مجبور باشد برای هر سفارش یک غذای تکراری، دوباره دستور پخت را بخواند و تمام مواد را از ابتدا آماده کند، حتی اگر مراحل آماده‌سازی دقیقاً یکسان باشد. اکثر خط‌لوله‌های RAG فعلی همین‌گونه عمل می‌کنند و مدل را مجبور می‌کنند هر بار تضادها را حل کرده و روابط را از صفر شناسایی کند. این چالش‌ها در واقع ریشه در همان مشکلاتی دارد که در بررسی توهمات هوش مصنوعی و ناکافی بودن بازیابی دقیق اسناد به آن‌ها پرداختیم.
برای حل این مشکل، کتابخانه متن‌باز Coalent روشی برای ذخیره‌سازی «زمینه سنتز شده» معرفی کرده است. این ابزار به‌جای ذخیره پاسخ نهایی، درک ساختاریافته‌ای را که مدل بین مرحله بازیابی و تولید پاسخ می‌سازد، حفظ می‌کند.
چرخش در مهندسی زمینه
- RAG سنتی: پرسش کاربر $\rightarrow$ بازیابی $\rightarrow$ بازسازی درک $\rightarrow$ تولید پاسخ.
- مهندسی زمینه: پرسش کاربر $\rightarrow$ بازیابی $\rightarrow$ استفاده از درک ذخیره‌شده $\rightarrow$ تولید پاسخ تازه.
بر اساس مستندات این پروژه، این رویکرد اجازه می‌دهد درخواست‌های آتی از استدلال‌های گران‌قیمت قبلی استفاده کنند، اما همچنان پاسخ‌ها را بر اساس تازه‌ترین داده‌های منبع تولید کنند. این متد در واقع نوعی بهینه‌سازی در جریان تفکر مدل است، مشابه آنچه در تحلیل استدلال‌های «ساکت» برای افزایش دقت مدل‌های زبانی مشاهده کردیم. اگرچه نویسنده درصد دقیقی از بنچمارک‌ها را افشا نکرده است، اما اهداف اصلی این متد، کاهش تأخیر (Latency) و کاهش تعداد توکن‌های مصرفی در هر درخواست است.
برای توسعه‌دهندگان، این تغییر به معنای جابه‌جایی هدف بهینه‌سازی است. تمرکز از بهبود صرفِ بردار معنایی (Embedding) — مثل کارت معرفی عددی برای هر واژه که همسایگانش را مشخص می‌کند — به بهینه‌سازی خودِ «ساخت زمینه» منتقل می‌شود. در واقع، عمل یافتن اطلاعات از عمل خلق درک تفکیک می‌شود. این رویکرد تکاملی است برای آنچه در مدیریت حافظه معنایی دیتابیس‌های مدرن مانند Oracle 26ai دنبال می‌شد.
با حرکت برنامه‌های هوش مصنوعی به سمت گردش‌های کاری عامل‌محور (Agentic)، توانایی حفظ یک حافظه سنتز شده و پایدار حیاتی خواهد بود. شما می‌توانید پیاده‌سازی این منطق را در مخزن Coalent در گیت‌هاب بررسی کنید.
گام بعدی شما
- اگر از RAG در مقیاس بالا استفاده می‌کنید، مخزن Coalent را برای جایگزینی کش‌های سنتی بررسی کنید.
- تحلیل کنید که کدام بخش از زنجیره استنتاج شما بیشترین تکرار را دارد تا آن را در لایه زمینه ذخیره کنید.
- تأثیر کاهش توکن‌های ورودی بر هزینه ماهانه API خود را محاسبه کنید.
اما داستان سخت‌افزاری این تحول حتی شگفت‌انگیزتر است — به تحلیل ما درباره‌ی تراشه‌های Blackwell مراجعه کنید.
گفتگو