چرا دیواره‌های آتش در برابر عامل‌های هوش مصنوعی کاملاً بی‌فایده‌اند؟

باید بدانید که عامل‌های هوش مصنوعی شما ممکن است همین حالا در حال جاسوسی از شرکتتان باشند. تصور کنید یک صفحه وب ساده، بدون اینکه شما متوجه شوید، دستوراتی را به AI تزریق کند که تمام اسرار تجاری شما را به بیرون ارسال کند.

طبق اعلام پژوهشگران گوگل (Google)، یک آسیب‌پذیری بحرانی شناسایی شده است که در آن صفحات وب عمومی به عنوان «تله‌های دیجیتال» برای ربودن کنترل عامل (Agent)های سازمانی عمل می‌کنند. به نقل از artificialintelligence-news.com، تیم‌های امنیتی با بررسی مخزن Common Crawl متوجه شدند که مهاجمان دستورات مخرب را در قالب کدهای HTML استاندارد مخفی می‌کنند.

این حملات که «تزریق غیرمستقیم پرامپت» (Indirect Prompt Injection) نام دارند، تا زمانی که یک دستیار هوشمند صفحه را اسکن نکند، غیرفعال می‌مانند. اما به محض اینکه هوش مصنوعی زاینده (Generative AI) متن را دریافت کند، این دستورات را به عنوان وظایفی با اولویت بالا اجرا می‌کند.

تفاوت این روش با حملات مستقیم در این است که دستورات در فضای خالی (White space) یا متادیتای صفحه پنهان شده‌اند. برای مثال، اگر یک عامل در حال بررسی رزومه‌ی یک متقاضی باشد، یک رشته کد مخفی می‌تواند او را مجبور کند پیش از ارائه خلاصه، کل فهرست کارکنان شرکت را به یک IP خارجی ارسال کند.

در پوشش پیشین ما از چالش‌های همراستاسازی (Alignment)، دیدیم که کنترل خروجی مدل‌ها دشوار است؛ اما اکنون مشکل بزرگ‌تر، کنترل ورودی‌های نامرئی از وب است. دیواره‌های آتش و سیستم‌های مدیریت دسترسی (IAM) در اینجا شکست می‌خورند، زیرا عامل از اعتبارنامه‌های قانونی خود برای خروج داده‌ها استفاده می‌کند.

برای مقابله با این تهدید، پژوهشگران سه راهکار کلیدی پیشنهاد داده‌اند:

• تأیید مدل دوگانه: استفاده از یک مدل «پاک‌ساز» (Sanitizer) مجزا برای حذف دستورات اجرایی پیش از ارسال متن به موتور اصلی.
• بخش‌بندی با اعتماد صفر: محدود کردن دسترسی‌ها به‌گونه‌ای که یک ابزار پژوهشی نتواند به سیستم CRM دسترسی داشته باشد.
• ردیابی تصمیمات: ایجاد مسیرهای حسابرسی برای پیوند دادن هر توصیه به یک URL مشخص.

اما این تنها بخشی از معمای امنیت است؛ تأثیر این حفره‌ها بر مدل‌های استدلالی جدید را در گزارش بعدی بررسی خواهیم کرد.

گام بعدی شما

• دسترسی‌های عامل‌های AI خود را بازبینی کنید و اصل «حداقل دسترسی» را پیاده‌سازی نمایید.
• برای هر عامل، یک لایه‌ی نظارتی (Guardrail) برای شناسایی دستورات غیرعادی در ورودی‌ها تعریف کنید.
• تمامی URLهایی که توسط عامل‌ها بازدید می‌شوند را در یک Log مرکزی ثبت و تحلیل کنید.