باید بدانید نظارت بر تک‌تک اقدامات یک عامل (Agent) برای تضمین امنیت کافی نیست. تصور کنید سیستمی داشته باشید که هر گام را به‌صورت مجزا بررسی می‌کند، اما باز هم نتواند متوجه شود که مجموع این گام‌های «سالم»، در نهایت به یک هدف مخرب ختم می‌شوند.
این مشکل دقیقاً در جایی رخ می‌دهد که قصد مخرب نه در یک دستور تک‌گام، بلکه در همبستگی‌های زمانی (Temporal Correlations) نهفته است. همان‌طور که در تحلیل‌های پیشین ما درباره‌ی همراستاسازی (Alignment) مدل‌های عامل‌محور اشاره کردیم، چالش اصلی همواره عبور از لایه‌های نظارتی بدون ایجاد هشدار بوده است.
به نقل از پژوهشی که در ۱۰ ژوئن ۲۰۲۶ در arxiv.org منتشر شد، حملاتی با استفاده از ساختار Gaussian-copula AR(1) طراحی شده‌اند که «حفاظت‌کننده از حاشیه» (Marginal-preserving) هستند. این یعنی توزیع نمرات هر گام تقریباً با رفتار عادی یکسان است و فاصله کولموگوروف-اسمیرنوف (Kolmogorov-Smirnov distance) در آن‌ها تنها ۰.۰۱۳ است؛ عددی که نشان می‌دهد تفاوت رفتار مخرب و سالم برای مانیتورهای ساده غیرقابل تشخیص است.
طبق گزارش این مطالعه، نتایج در دو دسته سیستم نظارتی متفاوت بود:
- سیستم‌های نظارتی A: که تنها میانگین، مقدار بیشینه و حد آستانه را رصد می‌کنند، با AUC ۰.۵۲ (معادل شانس) کاملاً کور شدند.
- سیستم‌های نظارتی B: که از ابزارهای همبستگی زمانی مانند CUSUM، SPRT و HMM-LR استفاده می‌کنند، توانستند با AUC بین ۰.۷۹ تا ۰.۹۷ این حملات را شناسایی کنند.
این یافته‌ها فرضیه رایج مبنی بر کفایتِ اعتبارسنجی گام‌به‌گام را باطل می‌کند. ما با یک «باند تشخیص» (Detectability Band) روبرو هستیم که ثابت می‌کند برای مقابله با تخریب‌های زیر-آستانه، باید از امتیازدهی ایستا به سمت تشخیص‌های «آگاه به توالی» (Sequence-aware) حرکت کنیم.
گام بعدی شما
- بررسی کنید آیا پشته‌ی نظارتی عامل‌های شما صرفاً توزیعی است یا منطق توالی‌محور دارد.
- پیاده‌سازی تست CUSUM برای شناسایی آسیب‌های تراکمی در زنجیره‌های عملیاتی.
- بازنگری در پروتکل‌های امنیتی برای عامل‌هایی که دسترسی به ابزارهای حساس دارند.
اما این آسیب‌پذیری تنها بخشی از یک معمای بزرگتر در امنیت مدل‌های بازمتن است؛ در گزارش بعدی به بررسی روش‌های جدید «جیل‌بریک توالی‌محور» خواهیم پرداخت.
گفتگو