اگر از توابع کمکی برای تمیز کردن ورودیهای کاربران استفاده میکنید، احتمالاً یک حفره امنیتی باز دارید که اسکنرهای فعلی آن را نمیبینند. باید بدانید که ورودیهای آلوده میتوانند بهراحتی از لایههای امنیتی عبور کنند و مستقیماً به مدل زبانی نفوذ کنند.
بسیاری از ابزارهای آزمون امنیت استاتیک (SAST) — شبیه نگهبانی که فقط دم در میایستد و به محتویات بستهها نگاه نمیکند — تنها از الگوهای ساده استفاده میکنند. طبق گزارش dev.to، اگر ورودی کاربر از تابعی مثل handle_request به process_data برود و سپس به مدل برسد، اسکنرهای معمولی ردپای داده را گم میکنند. این اتفاق باعث ایجاد «منفی کاذب» میشود؛ یعنی کد سالم به نظر میرسد اما در برابر حملات مخرب آسیبپذیر است.
همانطور که در تحلیل قبلی ما دربارهی امنیت مدلهای بازمتن اشاره کردیم، ردیابی دقیق جریان داده تنها راه مقابله با حملات پیچیده است. به همین دلیل AgentGuard در بهروزرسانی ۵ جولای ۲۰۲۶، مکانیزم ردیابی جریان داده را در مرز توابع پیاده کرد تا عاملهای هوش مصنوعی (AI Agents) را ایمن کند. این رویکرد در واقع تکامل یافتهی روش ردیابی درخت نحو (AST) است که پیشتر برای جلوگیری از تزریق پرامپت در جریانهای پیچیده معرفی شده بود.
بر اساس مستندات این پروژه، نسخه ۰.۵.۵ سه حالت شناسایی جدید را ارائه میدهد:
- ردیابی مستقیم بین-تابعی (مثلاً انتقال مستقیم ورودی به یک تابع کمکی).
- زنجیرههای چند-گامی که داده را از چندین لایه منطقی دنبال میکنند.
- شناسایی امضای پارامتر برای تشخیص لحظهای که یک متغیر پرسوجو به مقصد نهایی مدل میرسد.
در بنچمارکهای داخلی روی ۳۲ نمونه، AgentGuard به نرخ تشخیص ۱۰۰٪ دست یافت و هیچ مورد مثبت کاذبی گزارش نکرد. این ابزار تاکنون ۱۵ نسخه را در PyPI منتشر کرده و فعلاً از تحلیل تک-فایلی پشتیبانی میکند.
این تغییر، صنعت را از تطبیق الگوهای ساده به سمت درک دقیق نحوه اجرای کد پایتون میبرد. برای توسعهدهندگان، این یعنی نیاز کمتر به بازبینی دستی توابع، هرچند نبود پشتیبانی از واردات بین-فایلی (cross-file import) هنوز یک چالش برای پروژههای سازمانی بزرگ است.
گام بعدی شما
- ابزار را با دستور
pip install dfx-agentguard==0.5.5نصب کنید. - برای اتوماسیون شناسایی آسیبپذیریها، آن را از طریق GitHub Action به گردش کار خود اضافه کنید.
- توابع کمکی پیچیده خود را بازبینی کنید تا مطمئن شوید ورودیهای کاربر به درستی ایزوله شدهاند.
این تنها شروع مسیر ایمنسازی عاملهای هوش مصنوعی است؛ بررسی اثر این متدها بر کاهش نرخ تزریق پرامپت (Prompt Injection) را در گزارشهای آینده خواهیم خواند. در همین راستا، برای درک عمیقتر از نقاط کور در ارزیابی عاملها، میتوانیم به مکانیسمهای مداخلهای برای شناسایی خطاهای خاموش نگاه کنیم که محدودیتهای داوران مبتنی بر LLM را تحلیل میکند.
گفتگو