اگر امروز یک عامل هوشمند را برای مدیریت دادههای حساس سازمانتان به کار گرفتهاید، احتمالاً در حال guarding کردنِ درِ اشتباهی هستید. طبق گزارش ۲۴ سپتامبر ۲۰۲۶ از AI Tech Connect، اکثر توسعهدهندگان تمام تمرکز خود را روی امنیت کد توابع گذاشتهاند، اما کاتالوگ ابزارها و پاسخهای بازگشتی را کاملاً باز گذاشتهاند.
این شکاف امنیتی به این معناست که عاملهای شما در برابر حملاتی که مستقیماً منطق تصمیمگیری مدل را هدف قرار میدهند، آسیبپذیر هستند. همانطور که در تحلیل قبلی ما دربارهی اتوماسیون معاملات در بازارهای پیشبینی اشاره کردیم، هرچه استقلال عاملها بیشتر میشود، سطح حمله (Attack Surface) نیز گستردهتر میگردد. در حال حاضر، اکثر مهندسان امنیت روی «میانه» جریان داده — یعنی همان کدی که یک زیرپردازش را اجرا میکند — تمرکز میکنند، چون معمولاً شمارههای CVE (شناسه آسیبپذیریهای شناختهشده) به این بخش اختصاص مییابد. این رویکرد سنتی در برابر ابزارهای مدرسیابی ناتوان است، مشابه آنچه در افشای حفرههای امنیتی کد رسمی گوگل توسط سامانه Crucible مشاهده شد.
به گزارش AI Tech Connect، برای ایمنسازی یک سیستم عاملمحور، باید سه مرز اعتماد مجزا را سختگیرانه مدیریت کرد:
- کاتالوگ ابزارها (Tool Catalogue): نامها، توصیفات و طرحهایی (Schemas) که مدل برای تصمیمگیری درباره انتخاب ابزار میخواند.
- پیادهسازی ابزار (Tool Implementation): تابعی که آرگومانهای ارسالی مدل را پردازش میکند.
- پاسخ بازگشتی ابزار (Tool Return): متنی که پیش از استدلال مجدد مدل، به تاریخچه گفتگو بازمیگردد.
اگر مهاجمی بتواند بر کاتالوگ ابزارها یا رشتهی پاسخ بازگشتی اثر بگذارد، در واقع یک تزریق پرامپت (Prompt Injection) — شبیه به دادن دستورات مخفی به یک کارمند از طریق یادداشتهای اداری — را از درون سیستم اجرا کرده است. در این حالت، مدل ممکن است فریب بخورد تا ابزاری خطرناک را فراخوانی کند یا دستورات ایمنی قبلی را به دلیل یک توصیف مخرب در متادیتای ابزار، نادیده بگیرد. این نوع نفوذ دقیقاً همان مکانیزمی است که در حملات Plugin4Shell برای دور زدن امنیت Claude Code و Gemini به کار گرفته شد.
برای توسعهدهندگان، این یافته بار امنیتی را از «پاکسازی ورودیها» به «اعتبارسنجی متادیتای ابزارها» منتقل میکند. شما باید با توصیفات ابزارها و دادههای بازگشتی آنها، حتی اگر ابزار داخلی باشد، مانند ورودیهای غیرقابلاعتماد کاربر برخورد کنید.
گام بعدی شما
- تمام طرحهای (Schemas) ابزارهای خود را برای یافتن ابهامات احتمالی بازبینی کنید.
- برای هر رشتهای که از یک ابزار خارجی به تاریخچه گفتگو اضافه میشود، اعتبارسنجی سختگیرانه پیاده کنید.
- توصیفات ابزارها را در محیطی ایزوله و غیرقابل تغییر برای مدل قرار دهید.
اما داستان سختافزاری این تحول حتی شگفتانگیزتر است — به تحلیل ما دربارهی تراشههای Blackwell مراجعه کنید.
گفتگو