اگر یک عامل هوشمند را برای مدیریت کارهای وب خود به کار می‌گیرید، باید بدانید که هر صفحه‌ای که مدل می‌خواند می‌تواند به یک تلهٔ امنیتی تبدیل شود. یک دستور ساده در گوشه‌ای از یک وب‌سایت می‌تواند کنترل کامل عامل شما را به دست بگیرد و او را مجبور کند داده‌های حساس شما را به سرور مهاجم ارسال کند.
این آسیب‌پذیری که به تزریق پرامپت (Prompt Injection) معروف است، در واقع نسخه‌ی مدرن حملات XSS است. در حالی که XSS کاربران انسانی را هدف قرار می‌داد، اکنون دستورات زبان طبیعی در صفحات وب، مدل‌های زبانی بزرگ (LLM) را فریب می‌دهند تا خواسته‌ی کاربر را نادیده بگیرند. این نوع فریب دادن مدل‌ها با تکنیک‌های پیشرفته‌تر نظیر جعل زنجیره‌های تفکر نیز تکامل یافته است که نرخ موفقیت حملات جیل‌بریک را به شدت افزایش می‌دهد. طبق گزارش منتشرشده در ۱۰ ژوئیه ۲۰۲۶ در arxiv.org، راهکار جدیدی به نام Prismata برای حل اینC-gap معرفی شده است.
همان‌طور که در تحلیل‌های پیشین ما درباره‌ی امنیت مدل‌های عامل‌محور اشاره کردیم، شناسایی دستورات مخرب دشوار است؛ بنابراین Prismata به‌جای شناسایی، بر «محدودسازی» تمرکز کرده است. این رویکرد مکمل راهکارهای دیگری است که مانند استفاده از MCP در Thryvate، به دنبال کاهش ریسک‌های دسترسی عمومی در عامل‌های هوش مصنوعی هستند.
Prismata برای خنثی‌سازی این تهدیدات از یک مکانیزم دفاعی دو لایه‌ای استفاده می‌کند:
- استخراج پویای اعتماد: سیستم بر اساس ساختار صفحه، برچسب‌های دسترسی ایجاد می‌کند. این لایه‌بندی تضمین می‌کند که سطح دسترسی هر بخش از صفحه هرگز بیشتر از حد نیاز نباشد.
- محبوس‌سازی مکانیکی: این چارچوب با حذف محتات‌های حساس و محدود کردن قابلیت‌های عملیاتی عامل در صفحات خاص، دسترسی‌های غیرمجاز را مسدود می‌کند.
بر اساس مستندات arxiv.org، مزیت کلیدی Prismata این است که نیازی به کدنویسی دستی یا برچسب‌گذاری توسط توسعه‌دهنده ندارد. این یعنی سیستم می‌تواند در مقیاس کل وب عمل کند و حتی در سایت‌هایی که هیچ استاندارد امنیتی تعریف نکرده‌اند، از عامل‌ها محافظت کند. این رویکرد، فرضیه‌ی ایمنی هوش مصنوعی را از «تشخیص حمله» به «محدود کردن محیط» تغییر می‌دهد و ثابت می‌کند که می‌توان بدون کاهش کارایی، فضای دید و عمل عامل را محدود کرد.
گام بعدی شما
- اگر در حال توسعه عامل‌های وب هستید، معماری «Sovereign AI» و محدودیت‌های دسترسی را در لایه‌ی استنتاج بررسی کنید. برای تسریع در استقرار این مدل‌ها، زیرساخت‌های نوین AWS Bedrock امکان استقرار عامل‌ها را تنها با دو فراخوانی API فراهم کرده‌اند.
- گزارش‌های مربوط به حملات 적대적 (Adversarial) روی ساختارهای وب را دنبال کنید تا نقاط ضعف احتمالی در محبوس‌سازی مکانیکی را بشناسید.
- بررسی کنید آیا مدل‌های استدلالی جدید می‌توانند با تحلیل زنجیره‌ای، لایه‌های امنیتی Prismata را دور بزنند یا خیر.
اما چالش اصلی، تعادل بین امنیت و کارایی است؛ اثر این محدودیت‌ها بر سرعت پاسخ‌دهی مدل‌ها را در تحلیل بعدی ما بررسی خواهیم کرد.
گفتگو