تصور کنید یک عامل هوش مصنوعی که برای مدیریت تقویم شماست، با یک دستور مخفی در یک ایمیلی که دریافت کرده، متقاعد شود تمام کلیدهای دسترسی سیستمی شما را به سروری در روسیه بفرستد. این کابوس امنیتی دیگر یک احتمال نیست، بلکه حفره‌ای واقعی است که فیلترهای متنی سنتی قادر به بستن آن نیستند. در حالی که فیلترینگ سنتی پرامپت‌ها برای محافظت از هوش مصنوعی طراحی شده است، این روش‌ها به‌طور مداوم در برابر استخراج مدل‌های پیشرفته شکست می‌خورند؛ جایی که تنها یک دستور دست‌کاری‌شده می‌تواند یک عامل خودمختار را فریب دهد تا کلیدهای API حساس را به یک نقطه انتهایی (Endpoint) تحت کنترل مهاجم ارسال کند.
به نقل از راهنمای فنی منتشر شده در dev.to در ۱۷ سپتامبر ۲۰۲۶، روش‌های قدیمی محافظت از مدل‌ها در برابر «استخراج مدل» (Model Exfiltration) شکست خورده‌اند. در این حملات، یک دستور دست‌کاری‌شده می‌تواند یک عامل (Agent) — شبیه به کارمندی که اجازه دارد بین دپارتمان‌های مختلف شرکت جابه‌جا شود و کارها را پیش ببرد — فریب دهد تا داده‌های حساس را به مقصد خارجی ارسال کند.
بسیاری از برنامه‌های هوش مصنوعی از جریان‌های کاری پیش‌فرض پیروی می‌کنند، اما عامل‌ها بر اساس بستر متن بازیابی‌شده، خروجی مدل و پاسخ ابزارها، تصمیمات پویا می‌گیرند. این انعطاف‌پذیری، شکاف امنیتی بزرگی ایجاد می‌کند که مهاجمان از طریق «تزریق پرامپت» (Prompt Injection) غیرمستقیم در اسناد بازیابی‌شده، برای سرقت دستورالعمل‌های اختصاصی، وزن‌های مدل یا داده‌های آموزشی استفاده می‌کنند. همان‌طور که در پوشش پیشین ما از Sierra و گواهینامه AIUC-1 آن برای مشتریان Fortune 50 دیدیم، صنعت اکنون به سمت مرزهای اعتماد سخت‌گیرانه و قابل‌تأیید حرکت می‌کند.
مرز جدید اعتماد
امنیت سنتی ناکارآمد است چون عامل‌ها می‌توانند ابزارها را فراخوانی کنند، داده‌های خصوصی را بخوانند، فایل‌ها را بنویسند و با سرویس‌های خارجی ارتباط بگیرند. مهاجم می‌تواند هر یک از این ورودی‌ها را دست‌کاری کند تا عامل را به افشای اعتبارنامه‌ها یا انتقال اطلاعات محافظت‌شده ترغیب کند.
استخراج مدل — یعنی بیرون کشیدن غیرمجاز دارایی‌های مدل یا دریافت پاسخ‌های کافی برای بازسازی رفتار مدل — اغلب از طریق خروجی‌های مخرب ابزارها، باکت‌های ذخیره‌سازی (Storage Buckets) افشا شده یا دسترسی‌های شبکه بدون محدودیت رخ می‌دهد. برای توقف این سرقت، تیم‌های امنیتی باید مدل‌ها، ابزارها، سیستم‌های حافظه، کاربران و منابع داده خارجی را به‌جای اجزای یک برنامه واحد مورد اعتماد، به عنوان «حوزه‌های اعتماد» (Trust Domains) مجزا در نظر بگیرند.
پروژه متن‌باز TrustGraph با صریح کردن وابستگی‌ها، زیربنایی برای این کار فراهم می‌کند. این رویکرد در سازوکار دقیق TrustGraph برای محدود کردن خروجی‌ها به تفصیل بررسی شده است تا از نشت داده‌ها در محیط‌های عامل‌محور جلوگیری شود. در این ساختار، به‌جای اعتماد به منطق داخلی عامل، محیط اجرا (Runtime) پیش از هر اقدام واحد، هویت عامل و حساسیت داده‌ها را تأیید می‌کند.
دفاع‌های کلیدی در برابر استخراج داده
طبق مستندات TrustGraph، دفاع مؤثر نیازمند لایه‌های حفاظتی متداخل است، زیرا هیچ فیلتر واحدی نمی‌تواند تمام محموله‌های کدگذاری‌شده (Encoded Payloads) را شناسایی کند:
- ایزوله‌سازی دارایی‌ها: نگه داشتن وزن‌های مدل و پرامپت‌های اختصاصی خارج از محیط اجرای عامل و ارائه تنها رابط‌های استنتاج لازم که برای وظایف تأییدشده مورد نیاز است.
- فهرست‌های مجاز خروجی (Egress Allowlists): محدود کردن ترافیک خروجی به لیستی از مقاصد خارجی مجاز برای جلوگیری از ارسال داده به دامنه‌های دلخواه و ناشناس.
- حداقل دسترسی (Least Privilege): اختصاص مجوزهای محدود به عامل‌ها و ابزارها، متناسب با وظیفه فعلی آن‌ها، و اجتناب از دسترسی‌های گسترده‌ای که از حساب‌های توسعه‌دهنده به ارث می‌رسند.
- تفکیک داده‌ها: علامت‌گذاری تمام محتواهای بازیابی‌شده به عنوان «نامعتبر» برای جلوگیری از اینکه اسناد یا پاسخ ابزارها بتوانند سیاست‌های سطح سیستم را بازنویسی کنند.
- محدودیت نرخ (Rate Limiting): اعمال سقف برای تعداد درخواست‌ها به رابط‌های حساس تا زمان و هزینه استخراج رفتار مدل از طریق درخواست‌های مکرر افزایش یابد.
مدیریت اسرار و کلیدها
مدیریت کلیدهای API شامل چرخه کنترل‌شده ایجاد، ذخیره، تحویل، چرخش (Rotation) و ابطال اعتبارنامه‌های سرویس است. این کلیدها زمانی که در پرامپت‌ها، متغیرهای محیطی، لاگ‌ها یا پاسخ ابزارها قرار می‌گیرند، در معرض خطر شدید هستند.
اسرار هرگز نباید در بستر متنی قابل مشاهده برای مدل باشند. در عوض، یک درگاه ابزار مورد اعتماد باید اعتبارنامه‌های کوتاه‌مدت و محدود (Scoped) را دقیقاً در لحظه نیاز (Just-in-time) برای یک عملیات خاص واکشی کند. همچنین، لاگ‌ها باید شناسه اعتبارنامه و اقدام انجام شده را ثبت کنند، اما هرگز مقدار واقعی کلید را ذخیره نکنند. حذف اسرار (Redacting) از ردپای سیستم (Traces)، پیام‌های خطا، ذخیره‌سازهای حافظه و مجموعه‌داده‌های ارزیابی ضروری است. چرخش خودکار و ابطال فوری کلیدها، تأثیر نشت‌های تصادفی را بیشتر کاهش می‌دهد.
نظارت بر رفتارهای غیرعادی، آخرین خط دفاعی است. تیم‌ها باید برای مواردی مثل بررسی‌های مکرر پرامپت (Prompt Probing)، توالی‌های غیرمنتظره در فراخوانی ابزارها، حجم غیرعادی توکن (Token) — تکه‌های کوچکی از متن که مدل می‌خورد — دسترسی انبوه به فایل‌ها یا خروجی‌های کدگذاری‌شده که نشان‌دهنده تلاش برای استخراج داده است، هشدار فعال کنند.
این تغییر معماری، فرض بنیادی درباره هوش مصنوعی عامل‌محور را عوض می‌کند: مدل دیگر یک مجری مورد اعتماد نیست، بلکه یک بردار احتمالی برای حمله است. برای توسعه‌دهندگان، این یعنی انتقال منطق امنیتی از پرامپت به زیرساخت محیط اجرا. نتیجه این است که حتی اگر یک راز لو برود، لایه‌های شبکه و هویت مانع از تبدیل آن به یک نفوذ گسترده می‌شوند چون خروجی داده را مسدود می‌کنند.
این رویکرد با فعالیت‌های امنیتی HONEYPOTZ INC همسو است و در محیط‌های حساس مانند پروژه‌های DEEPBODY INC که منشأ داده‌ها (Data Provenance) و کنترل دسترسی در آن‌ها غیرقابل‌مذاکره است، حیاتی است. با اجرای بررسی‌های سیاست در زمان اجرا (Execution-time) — و نه فقط در ابتدای یک جلسه — تیم‌ها تضمین می‌کنند که یک جریان کاری امن، با ورود محتوای نامعتبر به بستر متن، ناگهان خطرناک نشود.
گام بعدی شما
برای مقاوم‌سازی پشته (Stack) خود، می‌توانید با اجرای ارزیابی‌های خصمانه (Adversarial Evaluations) با استفاده از اسناد مخرب، محموله‌های کدگذاری‌شده، درخواست‌های غیرمجاز ابزارها و شبیه‌سازی نشت اعتبارنامه‌ها شروع کنید. تأیید کنید که سیاست‌های شما این اقدامات را مسدود کرده و سوابق حسابرسی (Audit Records) مفیدی تولید می‌کنند. بررسی پروژه TrustGraph یک نقطه شروع عینی برای پیاده‌سازی این کنترل‌های آگاه از اعتماد فراهم می‌کند.
اما تأمین سخت‌افزاری برای این لایه‌های امنیتی در مقیاس بالا چالش‌های جدیدی ایجاد می‌کند — به تحلیل ما درباره بهینه‌سازی حافظه در GPUها مراجعه کنید.
گفتگو