اگر تصور می‌کنید فیلترهای ورودی، عامل‌های هوش مصنوعی شما را ایمن می‌کنند، در واقع یک بمب ساعتی را در حافظه آن‌ها نادیده گرفته‌اید. باید بدانید که مهاجمان دیگر به دنبال نفوذ لحظه‌ای نیستند؛ آن‌ها دستورات مخربی را در حافظه مدل می‌کارند تا هفته‌ها بعد فعال شوند.
با گذار از چت‌بات‌های ساده به سیستم‌های عامل‌محور (Agentic) — تشبیه روزمره: مثل کارمندی که نه تنها حرف می‌زند، بلکه می‌تواند به جای شما ایمیل بزند یا خرید کند — مفهوم حافظه تغییر کرده است. اکنون با ریسک «مسمومیت حافظه» (Memory Poisoning) روبرو هستیم؛ تشبیه روزمره: مثل کسی که در دفترچه یادداشت شما جمله‌ای بنویسد که هفته بعد شما را مجبور به انجام کاری اشتباه کند. همان‌طور که در تحلیل‌های پیشین ما درباره‌ی امنیت مدل‌های زبانی اشاره کردیم، این تهدید از فیلترهای آنی عبور کرده و در لایه‌های ذخیره‌سازی مانند بردار معنایی (Embedding) — تشبیه روزمره: مثل کارت معرفی عددی برای هر واژه که می‌گوید این کلمه «همسایه‌ی» چه کلمات دیگری است — یا بافرهای گفتگو پنهان می‌شود.
طبق اعلام رسمی، در ۱۱ می ۲۰۲۶، ابزار OWASP Agent Memory Guard به عنوان یک راهکار متن‌باز برای مقابله با این تهدید (شناخته شده به عنوان ASI06) منتشر شد. این اسکنر که از طریق دستور pip install agent-memory-guard قابل نصب است، تاریخچه گفتگوها و گزارش‌های فراخوانی ابزار را بازرسی می‌کند. قابلیت‌های کلیدی این ابزار عبارتند از:
- شناسایی تزریق پرامپت: تشخیص الگوهایی مانند «دستورات قبلی را نادیده بگیر».
- جلوگیری از دستکاری حافظه: علامت‌گذاری تلاش‌ها برای تغییر شخصیت یا قوانین بنیادی عامل.
- پیشگیری از خروج داده‌ها: شناسایی URLها یا فراخوانی‌های ابزاری که برای سرقت داده‌های حساس طراحی شده‌اند.
به گزارش OWASP، این ابزار از فرمت‌های JSON و SARIF پشتیبانی می‌کند تا تیم‌های DevSecOps بتوانند آن را مستقیماً در خط‌لوله GitHub Actions ادغام کنند و پیش از استقرار، حافظه‌های ذخیره‌سازی را بازرسی نمایند.
این ابزار نشان‌دهنده یک چرخش راهبردی در امنیت هوش مصنوعی است: حرکت از «دفاع محیطی» (فیلتر ورودی) به سمت «یکپارچگی داده‌ها» (بازرسی ذخیره‌ساز). برای توسعه‌دهندگان، این یعنی حافظه دیگر یک ابزار غیرفعال نیست، بلکه یک سطح حمله فعال است که نیاز به نظارت مستمر دارد.
گام بعدی شما
- لایه‌های ذخیره‌سازی حافظه در پروژه‌های خود را بر اساس چارچوب ASI06 ارزیابی کنید.
- مخزن OWASP/www-project-agent-agent-memory-guard را در گیت‌هاب بررسی کرده و در توسعه قوانین شناسایی مشارکت کنید.
- فرآیند بازرسی حافظه را به عنوان بخشی از تست‌های CI/CD در خط‌لوله استقرار خود بگنجانید.
اما تأثیر این حفره‌های امنیتی بر مدل‌های استدلالی حتی پیچیده‌تر است؛ در تحلیل ما درباره مدل‌های Reasoning بخوانید.
گفتگو