تصور کنید یک لایه امنیتی پیشرفته دارید که تمام ورودیهای مشکوک را میبندد، اما یک کاربر با تغییر چهار حرف ساده در متن، تمام این حصار را دور میزند. این واقعیت تلخ، نتیجهی جدیدترین تستهای امنیتی روی پشتهی تولید بازیابیافزا (RAG) — شبیه دانشآموزی که قبل از جواب دادن، اول کتاب درسی را باز میکند و از آن نقل میآورد — در پروژه Project Arc Rector است.
طبق گزارش منتشر شده در ۲۴ اوت ۲۰۲۶، جایگزینی چهار حرف لاتین با نویسههای سیریلیک که ظاهری کاملاً مشابه دارند، نرخ بازخوانی (Recall) — یا همان توانایی سیستم در شناسایی تمام موارد مثبت — را از ۸۰٪ به صفر مطلق رساند. این یافتهها بخشی از نتایج «حفاظهای سطح ۸» در این پشتهی عاملمحور (Agentic) است که از قطعات قابل میزبانی شخصی ساخته شده است. این چالشها در راستای تلاشهای گستردهتری برای کنترل رفتارهای پیشبینیناپذیر عوامل هوشمند است، مشابه آنچه در سیستم Grimdall برای جلوگیری از حذف تصادفی دایرکتوریهای ریشه مشاهده شد.
بسیاری از سیستمهای RAG به این دلیل آسیبپذیرند که پرامپتهای سیستمی، پرسشهای کاربر و اسناد بازیابی شده را به عنوان یک جریان تخت از توکنها (Token) — تکههای کوچکی از متن، مثل برشهای یک کیک طولانی که مدل تکهتکه میخورد — میبینند. این نقص ساختاری به مهاجم اجازه میدهد دستورات مخرب را درون دادهها پنهان کند؛ نقطهای که Project Arc Rector سعی میکند با یک فیلتر لایهی اول آن را مدیریت کند.
به نقل از گزارش dev.to، این سیستم از یک حفاظ داخلی بدون وابستگی استفاده میکند که شامل ۹ عبارت منظم (Regex) است. این الگوها عبارات رایج تزریق پرامپت (Prompt Injection) مانند «دستورات قبلی را نادیده بگیر» را هدف قرار میدهند. این رویکرد مبتنی بر فیلترینگ ساده، یادآور ساختار Trust Gateway است که در آن مدلهای فیلترینگ جایگزین ریاضیات و احراز اصالت شدند.
شکاف عملکردی
بر اساس مستندات پروژه، این ۹ عبارت منظم روی متون پاک، به دقت (Precision) ۰.۸۶۵ و بازخوانی ۰.۸۰۰ در ۴۰ حمله دستنویس رسیدند. اما این دفاع در برابر تکنیکهای سادهی فرار فروپاشید:
- همشکلهای سیریلیک (Homoglyphs): بازخوانی به ۰.۰۰۰ رسید.
- نویسههای با عرض صفر (U+200B): بازخوانی به ۰.۰۰۰ رسید.
- پوششهای Base64: بازخوانی به ۰.۰۰۰ رسید.
- زبان Leetspeak: بازخوانی به ۰.۷۲۵ کاهش یافت.
همانطور که در تحلیل قبلی ما دربارهی امنیت مدلهای بازمتن اشاره کردیم، تکیه بر فیلترهای سطحی هرگز راهکار نهایی نیست. توسعهدهندگان برای بازگرداندن سطح دفاع، یک لایهی نرمالسازی شامل حذف نویسههای عرض-صفر و جدول تبدیل همشکلها را اضافه کردند. این کار بازخوانی را به ۸۰٪ برگرداند، اما دقت را به ۰.۸۴۲ کاهش داد؛ زیرا بحثهای فنی مشروع دربارهی «دستورات» را به اشتباه به عنوان حمله شناسایی کرد.
این نتیجه ثابت میکند که فیلترهای سمت پرامپت نمیتوانند حفرههای ساختاری معماری مدلهای زبانی بزرگ (LLM) — مثل کتابخانهداری که میلیاردها صفحه را خوانده و حالا با همان لحن جواب میدهد — را بپوشانند. این ابزارها صرفاً لایهای ارزان برای ثبت وقایع (Logging) هستند، نه سدی در برابر مهاجمان حرفهای.
گام بعدی شما
- اگر از Regex برای امنیت LLM استفاده میکنید، فوراً یک لایهی نرمالسازی (Normalization) برای نویسهها اضافه کنید.
- به جای پیشبینی تمام روشهای نوشتاری کلمهی «نادیده بگیر»، روی جداسازی ساختاری دادهها از دستورات تمرکز کنید.
- مجموعهی تستهای پروژه Arc Rector را برای ارزیابی حفاظهای خود بررسی کنید.
اما داستان سختافزاری این تحول حتی شگفتانگیزتر است — به تحلیل ما دربارهی تراشههای Blackwell مراجعه کنید.
گفتگو