اگر در حال ساخت یک پایگاه دانش شخصی برای هوش مصنوعی هستید، دشمن اصلی شما مدلهای توهمزده نیستند؛ بلکه نویزِ دادههای خودتان هستند. تصور کنید تمام یادداشتهای پراکنده، ایمیلها و چتهای چندساله را در یک پوشه بریزید؛ نتیجه این است که مدل شما در میان انبوهی از اطلاعات بیربط، پاسخ درست را گم میکند.
بسیاری از توسعهدهندگان به حافظهٔ هوش مصنوعی مثل یک انبار غولپیکر نگاه میکنند و گمان میکنند هرچه داده بیشتر باشد، مدل باهوشتر میشود. اما در واقعیت، یک آرشیو بدون فیلتر را باید «گورستان اسناد» نامید؛ جایی که سیگنالهای مفید در میان زبالههای اطلاعاتی محو میشوند.
همانطور که در تحلیل قبلی ما دربارهی چالشهای استقرار عاملهای هوش مصنوعی اشاره کردیم، مدیریت حافظه همیشه نقطه ضعف این سیستمها بوده است. در ۸ ژوئن ۲۰۲۶، تیم توسعهدهندهی Contorium در مقالهای در dev.to فاش کرد که رویکرد معماری خود را تغییر دادهاند. آنها دریافتند که ابزارهایی مثل بردار معنایی (Embedding) — مثل کارت معرفی عددی برای هر واژه که میگوید این کلمه «همسایهی» چه کلمات دیگری است — یا پایگاههای داده برداری، سختترین بخش ماجرا نیستند.
طبق اعلام این تیم، چالش واقعی این است که تصمیم بگیریم چه چیزی «لایقِ» تبدیل شدن به خاطره است. آنها اکنون اولویت خود را بر فیلترینگ بر اساس سه معیار گذاشتهاند:
- اهمیت و ارتباط مستقیم اطلاعات با کاربر
- ماندگاری دادهها (تفاوت دادههای لحظهای و اصول کلی)
- روابط منطقی بین قطعات مختلف اطلاعات
این تغییر رویکرد ثابت میکند که حافظه در هوش مصنوعی زاینده (Generative AI) — شبیه به کتابخانهداری است که میلیاردها صفحه خوانده و حالا فقط موارد ضروری را بیرون میکشد — در واقع یک مسئلهٔ «فیلتر کردن» است، نه «ذخیرهسازی». برای کاربر، سیستمی که یک تصمیم استراتژیک مهم در معماری پروژه را به خاطر میسپارد اما یک باگ موقت و حلشده را فراموش میکند، بهمراتب ارزشمندتر از مدلی است که فقط کمی باهوشتر شده باشد. در دنیای امروز، برتری رقابتی در «منطق غربالگری» است، نه در قدرت خام مدل زبانی بزرگ (LLM).
گام بعدی شما
- اگر توسعهدهنده هستید، مخزن گیتهاب Contorium را بررسی کنید تا با منطق فیلترینگ آنها آشنا شوید.
- در طراحی سیستمهای RAG، بهجای افزایش حجم داده، روی لایهی «ارزشسنجی داده» قبل از ذخیرهسازی تمرکز کنید.
- بررسی کنید کدام بخش از دادههای شما «نویز» است و باعث کاهش دقت استنتاج مدل میشود.
اما داستان سختافزاری این تحول حتی شگفتانگیزتر است؛ این موضوع با هزینههای عملیاتی گره خورده است، چرا که حجم بالای دادههای ورودی در چتهای طولانی میتواند هزینهی استنتاج را بهشدت افزایش دهد. برای درک اینکه این حجم از فیلترینگ چه اثراتی بر هزینه استنتاج (Inference) — لحظهای که مدل واقعاً جواب تولید میکند — دارد، به تحلیل ما دربارهی تراشههای نسل جدید مراجعه کنید.
گفتگو