یک سند مخرب میتواند رفتار عامل هوشمند شما را برای همیشه تغییر دهد. تصور کنید یک دستور پنهان در حافظهی بلندمدت مدل جای بگیرد و تمام جلسات آینده را مسموم کند.
این تهدید که OWASP آن را ASI06 نامیده، به مهاجم اجازه میدهد دستورات مخرب را در اسناد یا پاسخهای API جای گذارد. همانطور که در تحلیلهای پیشین ما دربارهی امنیت مدلهای زبانی اشاره کردیم، حملات تزریق پرامپت گذرا هستند، اما مسمومیت حافظه یک ضربهی دائمی است. این ریسک برای Hermes Agent که برای گردشهای کاری پیچیده به حافظهی پایدار نیاز دارد، حیاتی است.
پروژهی Agent Memory Guard برای حل این مشکل، اعتبارسنجی لحظهای حافظه را فراهم میکند. طبق گزارش ۱۵ مه ۲۰۲۶ در dev.to، این سامانه سه لایهی دفاعی دارد:
- یکپارچگی رمزنگاری: هر ورودی حافظه یک امضا میگیرد؛ هرگونه دستکاری زنجیره را میشکند و هشدار میدهد.
- تشخیص ناهنجاری معنایی: این ابزار از بردار معنایی (Embedding) — مثل کارت معرفی عددی برای هر واژه که میگوید این کلمه همسایهی چه کلمات دیگری است — برای شناسایی دستوراتی که با رفتار عادی مدل متفاوتاند استفاده میکند.
- هیوریستیکهای الگو-محور: الگوهای شناختهشده مثل دستورات استخراج داده را شناسایی میکند.
در آزمایشها، این کتابخانه نرخ شناسایی ۱۰۰ درصدی برای تزریقهای مستقیم و ۹۴ درصدی برای دادههای کدگذاریشده داشت. همچنین تأخیر ایجاد شده در هر عملیات استنتاج (Inference) — لحظهای که مدل واقعاً جواب تولید میکند، شبیه خودِ آشپزی نه دورهی آموزش — کمتر از ۳ میلیثانیه است.
این تحول، امنیت هوش مصنوعی را از فیلتر سادهی پرامپت به سمت تأمین سلامت وضعیت میبرد. شما اکنون باید با حافظهی عامل (Agent) — شبیه کارمندی دیجیتال که کارهای شما را انجام میدهد — با همان سختگیری یک پایگاه داده تولیدی برخورد کنید.
گام بعدی شما
- نصب ابزار با دستور
pip install agent-memory-guardبرای ایمنسازی لایهی حافظه. - بررسی سازگاری این ابزار با چارچوبهای LangChain یا LlamaIndex.
- بازنگری در استراتژیهای ذخیرهسازی دادههای بلندمدت در عاملهای سازمانی.
این تنها آغاز ماجراست؛ اثر این رویکرد بر توسعهی مدلهای استدلالی را در گزارش بعدی بررسی خواهیم کرد.
گفتگو