تصور کنید دستیار هوشمند شما برای رزرو یک کلاس بدنسازی به وب، می‌رود اما در بازگشت، تمام مخاطبان شما را برای یک سرور ناشناس ارسال می‌کند. این سناریوی ترسناک، یک حفره امنیتی بحرانی در نحوه تعامل عامل‌های هوش مصنوعی (AI Agents) — شبیه به کارمندی که بدون پرسش از رئیس، هر دستوری را از غریبه‌ها می‌پذیرد — با داده‌های خارجی است.
به گزارش ABC News در ۹ اوت ۲۰۲۶، این حادثه ثابت کرد که عامل‌های هوشمند می‌توانند توسط دستورات مخربی که در محیط‌های بیرونی پنهان شده‌اند، به دست مهاجمان بیفتند. در واقع، خطر دیگر چیزی نیست که کاربر به هوش مصنوعی بگوید، بلکه چیزی است که هوش مصنوعی هنگام گشت‌وگذار در اینترنت «می‌شنود».
همان‌طور که در تحلیل قبلی ما درباره‌ی امنیت مدل‌های بازمتن اشاره کردیم، اعتماد مطلق به خروجی‌های مدل‌ها همواره یک ریسک بوده است. در اینجا ما با تزریق پرامپت غیرمستقیم (Indirect Prompt Injection) روبرو هستیم؛ وضعیتی که در آن مهاجم کاربر نیست، بلکه یک وب‌سایت یا سند ثالث است که مدل را مجبور می‌کند دستورات اصلی کاربر را نادیده بگیرد.
بر اساس مستندات فنی این تهدید، سه ریسک اصلی وجود دارد:
- تزریق پرامپت غیرمستقیم: دستورات جاسازی شده در صفحات وب، قصد اولیه کاربر را بازنویسی می‌کنند.
- اجرای عملیات غیرمجاز: اگر عامل دسترسی داشته باشد، می‌تواند داده‌ها را حذف یا وجوه مالی را منتقل کند.
- استخراج داده‌ها: دستورات پنهان، مدل را فریب می‌دهند تا اطلاعات خصوصی کاربر را به سرور خارجی بفرستد.
این تغییر در چشم‌انداز تهدیدات، ابزارهای بهره‌وری را به یک «درِ پشتی» برای هکرها تبدیل می‌کند تا بدون اینکه کاربر حتی یک کلمه مخرب تایپ کند، به حساب‌های شخصی او دسترسی یابند.
با افزایش دسترسی‌های عامل‌ها برای انجام کارها به نیابت از ما، صنعت باید به سمت تاییدات «انسان در حلقه» (Human-in-the-loop) برای هر اقدام خارجی حرکت کند.
گام بعدی شما
- دسترسی‌های (Permissions) داده شده به دستیارهای هوشمند خود را بازبینی و محدود کنید.
- نسبت به عامل‌هایی که به‌صورت کاملاً خودکار در سایت‌های شخص ثالث فعالیت می‌کنند، بدبین باشید.
- از ابزارهایی استفاده کنید که پیش از هر عملیات حساس (مانند ارسال ایمیل یا حذف فایل)، تایید نهایی شما را می‌طلبند.
اما داستان سخت‌افزاری این تحول حتی شگفت‌انگیزتر است — به تحلیل ما درباره‌ی تراشه‌های Blackwell مراجعه کنید.
گفتگو