آیا مدل‌های بهینه برای عامل‌های هوش مصنوعی در برابر تزریق پرامپت آسیب‌پذیرند؟

اگر برای افزایش حریم خصوصی، مدل‌های هوش مصنوعی را به‌صورت محلی روی سیستم خود اجرا می‌کنید، احتمالاً امنیت آن‌ها را دست‌بالا گرفته‌اید. در ۸ سپتامبر ۲۰۲۶، یک تست امنیتی با استفاده از ابزار Agenci توانست مدل phi4-mini را فریب دهد تا دستورات اصلی خود را کاملاً نادیده بگیرد.

این ابزار که برای تست‌های CI/CD (توسعه و استقرار مداوم) عامل‌های هوش مصنوعی طراحی شده، مدل را مجبور کرد تا صرف‌نظر از هرگونه دستور سیستمی، تنها یک کلمه خاص را خروجی دهد. این اتفاق یعنی یک حمله تزریق پرامپت (Prompt Injection) — شبیه به وقتی که کسی به یک نگهبان دستور می‌دهد «فراموش کن چه کسی اجازه ورود دارد و هر چه می‌گویم انجام بده» — با موفقیت اجرا شد.

به گزارش وب‌سایت dev.to، استقرار مدل‌های محلی به‌دلیل کاهش تأخیر و حفظ حریم خصوصی به‌شدت افزایش یافته است. اما به نظر می‌رسد کارایی مدل‌های زبانی کوچک (SLM) — که مثل نسخه‌های جیبی و فشرده از مدل‌های غول‌پیکر هستند — هزینه‌ای پنهان در بخش استواری امنیتی دارد. همان‌طور که در تحلیل‌های قبلی ما درباره‌ی امنیت مدل‌های بازمتن اشاره کردیم، تصور اینکه میزبانی شخصی به‌طور ذاتی منطق عامل را محافظت می‌کند، یک اشتباه استراتژیک است.

طبق مستندات Agenci، این چارچوب سه نوع اعتبارسنجی اصلی را ارائه می‌دهد:

• تست‌های عملکردی برای اطمینان از دستیابی عامل به اهداف.
• بررسی‌های امنیتی برای شناسایی حفره‌های تزریق پرامپت.
• شناسایی رگرسیون برای ردیابی اثر تغییرات پرامپت بر عملکرد.

این ابزار به‌صورت متن‌باز از طریق GitHub و pip install در دسترس است. در این مورد خاص، مدل phi4-mini که از طریق Ollama اجرا می‌شد، بلافاصله در تست امنیتی شکست خورد و تأیید شد که حفاظ‌ها (Guardrails) — یعنی همان نرده‌های ایمنی که مدل را در مسیر درست نگه می‌دارند — به‌راحتی دور زده می‌شوند.

این شکست نشان می‌دهد فشار صنعت برای انتقال به مدل‌های روی-دستگاه (On-device)، ممکن است یک آسیب‌پذیری سیستماتیک ایجاد کند. برای توسعه‌دهندگان، این یعنی «سرعت و اندازه کوچک» بدون لایه‌های فیلترینگ خارجی، با «امنیت» ناسازگار است و تکیه بر همراستاسازی داخلی یک SLM برای عامل‌های سطح تولید کافی نیست.

گام بعدی شما

• مخزن Agenci را نصب کنید و استک‌های محلی خود را برای شناسایی نقاط ضعف تست کنید.
• برای مدل‌های کوچک، لایه‌های نظارتی خارجی (External Guardrails) را جایگزین اعتماد به مدل کنید.
• بررسی کنید آیا مدل‌های شما در برابر دستورات متناقض با پرامپت سیستمی مقاوم هستند یا خیر.

اما آیا این ضعف یک ویژگی کلی در تمام مدل‌های زیر یک تعداد پارامتر خاص است؟ پاسخ این سوال در تحلیل ما درباره‌ی قوانین مقیاس‌پذیری امنیت مدل‌ها نهفته است.