تصور کنید یک برنامه‌نویس برای رفع خطای یک درخواست API، متنی شبیه به این را در ChatGPT می‌چسباند: «چرا این درخواست API با خطا مواجه می‌شود؟ API_KEY=sk-xxxxxxxxxxxxxxxx INTERNAL_HOST=prod-db.internal customer_email=[email protected]». در این لحظه، این پرامپت در حالی که قصد کاربر برای رفع خطا مشروع است، کلیدهای دسترسی دیتابیس تولید و ایمیل مشتریان را بدون هیچ هشداری به سرورهای خارجی ارسال می‌کند. این نشت داده‌های حساس، یکی از بزرگ‌ترین ریسک‌های امنیتی در عصر استفاده گسترده از هوش مصنوعی است و زمانی رخ می‌دهد که توسعه‌دهندگان برای عیب‌یابی درخواست‌های ناموفق، به‌طور تصادفی داده‌های محیط عملیاتی را افشا می‌کنند.
پروژه SafePrompt Agent برای حل این مشکل، یک لایه امنیتی روی دستگاه (On-device) معرفی کرده است که محتوا را پیش از رسیدن به هر سرویس خارجی بازرسی می‌کند. این رویکرد شکافی حیاتی در امنیت سنتی اپلیکیشن‌ها را پر می‌کند؛ چرا که سیستم‌های قدیمی معمولاً از نقاط انتهایی (Endpoints)، شبکه‌ها، هویت‌ها و ذخیره‌سازهای داده محافظت می‌کنند، اما جریان داده‌های خاص بین پرامپت کاربر و مدل هوش مصنوعی را نادیده می‌گیرند. این مشکل جدید در جریان داده، مسیری را طی می‌کند که از کاربر به پرامپت یا فایل، سپس به اپلیکیشن هوش مصنوعی و در نهایت به مدل هوش مصنوعی می‌رسد. این چالش‌ها به‌ویژه در توسعه‌ی سریع اپلیکیشن‌های مدرن مشهود است، همان‌طور که برخی چک‌لیست‌های امنیتی برای معماری‌های Next.js و Supabase بر اهمیت کنترل دسترسی‌ها تأکید دارند.
همان‌طور که در پوشش پیشین ما درباره‌ی چالش‌های مدیریت فایل در سرویس‌های ابری اشاره کردیم، داده‌های حساس اغلب در فایل‌های PDF، لاگ‌ها یا اسکرین‌شات‌ها پنهان هستند، نه فقط در متن ساده. SafePrompt دقیقاً همین نقطه ضعف را هدف قرار داده است و تشخیص می‌دهد که اطلاعات محرمانه لزوماً در قالب متن تایپ‌شده نیستند.
به نقل از گزارشی در dev.to که در ۵ سپتامبر ۲۰۲۶ منتشر شد، این عامل با زبان Rust پیاده‌سازی شده و از طریق یک افزونه مرورگر عمل می‌کند. این ساختار به عامل اجازه می‌دهد تعاملات کاربر با ابزارهایی مثل ChatGPT، Claude، Gemini، Copilot و سایر ابزارهای هوش مصنوعی را به‌صورت محلی رهگیری و مدیریت کند.
مزیت بازرسی روی دستگاه
بازرسی‌های ابری سنتی خود یک نقطه ضعف جدید ایجاد می‌کنند؛ زیرا سازمان مجبور است مکان دیگری را ایجاد کند تا پرامپت‌های احتمالاً حساس در آنجا پردازش شوند و این یعنی ایجاد یک نقطه تمرکز جدید برای ریسک. در مقابل، بازرسی روی دستگاه تضمین می‌کند که تصمیم امنیتی در همان لحظه و به‌صورت محلی گرفته شود.
این معماری برای سازمان‌هایی با الزامات سخت‌گیرانه در زمینه حریم خصوصی، محرمانگی یا اقامت داده‌ها (Data Residency) حیاتی است. با قرار دادن لایه بازرسی بین تعامل کاربر و سرویس خارجی، دستگاه می‌تواند پیش از آنکه محتوا منتقل شود، آن را شناسایی، هشدار، ماسک یا مسدود کند.
سازوکار فنی
این سیستم از یک موتور بازرسی آگاه از محتوا استفاده می‌کند که دسته‌های پرخطر زیر را شناسایی می‌کند:
- اعتبارنامه‌ها و کلیدهای API: شناسایی توکن‌های احراز هویت، اسرار سیستم و کلیدهای دسترسی.
- اطلاعات شناسایی شخصی (PII) — شبیه به شناسنامه دیجیتالی که هر فرد را منحصر‌به‌فرد می‌کند — برای شناسایی نام‌ها و سایر داده‌های شخصی.
- داده‌های زیرساختی و مالی: اسکن برای یافتن نام‌های میزبان داخلی (Internal Hostnames) و سوابق مالی.
- کلمات کلیدی حساس سازمانی: نشانگرهای سفارشی و منحصر‌به‌فرد که مختص هر شرکت است.
- الگوهای تزریق پرامپت (Prompt Injection): شناسایی تلاش‌ها برای دستکاری مدل هوش مصنوعی.
ریسک‌ها فقط محدود به متن نیستند. از آنجا که اپلیکیشن‌های هوش مصنوعی به‌طور فزاینده‌ای طیف گسترده‌ای از فایل‌ها از جمله اسناد Word، فایل‌های PDF، لاگ‌های اپلیکیشن و اسناد اسکن‌شده را می‌پذیرند، این عامل برای فایل‌های غیرمتنی و تصاویر از نویسه‌خوانی نوری (OCR) — مثل چشمک زدن سریع روی یک عکس برای تبدیل تصویر به متن قابل خواندن — استفاده می‌کند تا محتوا پیش از رسیدن به سرویس هوش مصنوعی، برای بازرسی در دسترس باشد.
اجرای سیاست‌های امنیتی
برای جلوگیری از کاهش بهره‌وری و بی‌اعتمادی کاربران به سیستم‌های امنیتی (که معمولاً در اثر رویکردهای سخت‌گیرانه رخ می‌دهد)، SafePrompt به‌جای رویکرد دوتایی «مسدودسازی همه»، از یک موتور سیاست‌گذاری منعطف استفاده می‌کند. در این ساختار، موتور شناسایی ریسک را تشخیص می‌دهد و موتور سیاست‌گذاری تصمیم می‌گیرد که پاسخ چه باشد:
۱. اجازه (Allow): برای تعاملاتی که ریسک پایینی دارند.
۲. هشدار (Warn): زمانی که ریسک‌های احتمالی شناسایی شوند.
۳. ماسک (Mask): حذف رشته‌های حساس در حالی که اجازه می‌دهد باقی‌مانده پرامپت ارسال شود.
۴. مسدودسازی (Block): توقف کامل خروج اطلاعات پرخطر از دستگاه.
۵. درخواست تایید (Require Approval): برای موارد استثنایی تجاری که نیاز به نظارت دستی و انسانی دارند.
جزئیات پیاده‌سازی
معماری SafePrompt شامل یک افزونه مرورگر است که داده‌ها را به یک عامل/API محلی می‌فرستد. این عامل محلی سه وظیفه اصلی را بر عهده دارد: شناسایی (Detection)، اعمال سیاست (Policy) و ثبت گزارش‌های بازرسی (Audit logging).
از آنجا که این پروژه تحت لایسنس Apache 2.0 متن‌باز است، کد Rust و افزونه مرورگر کاملاً قابل بازرسی هستند. این شفافیت تضمین می‌کند ابزاری که ترافیک کاربر را می‌بیند، به اندازه موتور پشت آن باز و قابل اعتماد باشد.
این معماری مرز امنیتی را از ابر به نقطه انتهایی (Endpoint) منتقل می‌کند. با انتقال شناسایی به دستگاه محلی، سازمان‌ها می‌توانند تضمین کنند که اسرار سیستم هرگز محیط محلی را ترک نمی‌کنند.
برای توسعه‌دهندگان مدرن، این موضوع فرض بنیادی درباره ایمنی هوش مصنوعی را تغییر می‌دهد. امنیت دیگر فقط درباره خروجی مدل یا سیاست حریم خصوصی ارائه‌دهنده نیست؛ بلکه درباره کنترل ورودی‌ها (Ingress) است. چالش مهندسی از «توقف استفاده از هوش مصنوعی» به «ایمن‌سازی آن بدون تخریب سرعت توسعه» تغییر یافته است. این رویکرد در راستای کاهش خطاهای انسانی است، چرا که برخی مطالعات نشان داده‌اند درصد قابل‌توجهی از دستورات خطرناک عامل‌های کدنویس به‌طور اشتباه توسط برنامه‌نویسان تایید و اجرا می‌شوند.
ترکیب کنترل هویت و دسترسی با جلوگیری از نشت داده (DLP) محلی، امنیت پرامپت و حاکمیت هوش مصنوعی، یک پوسته امنیتی جامع ایجاد می‌کند. این الگو آینده‌ای را ترسیم می‌کند که در آن تعامل با هوش مصنوعی در یک مرز محلی محصور است که هم قصد کاربر و هم حساسیت داده‌ها را می‌فهمد. در همین راستا، ابزارهایی مانند AI Code Guard نیز تلاش می‌کنند تا با حذف هشدارهای کاذب، دقت شناسایی باگ‌های امنیتی در کدهای تولید شده توسط AI را افزایش دهند.
شما می‌توانید برای ساخت مرز امنیتی محلی خود، پیاده‌سازی متن‌باز عامل Rust و افزونه مرورگر را در گیت‌هاب بررسی کنید.
گام بعدی شما
- مخزن گیت‌هاب SafePrompt را بررسی کنید تا لایه امنیتی محلی خود را پیاده‌سازی کنید.
- سیاست‌های ماسک‌گذاری (Masking) را برای داده‌های حساس سازمان خود تعریف کنید.
- اثر استفاده از OCR محلی بر سرعت ارسال فایل‌ها را در محیط تست بسنجید.
اما داستان سخت‌افزاری این تحول حتی شگفت‌انگیزتر است — به تحلیل ما درباره‌ی تراشه‌های Blackwell مراجعه کنید.
گفتگو