تصور کنید یک بات پشتیبانی با دسترسی کامل به پایگاه داده، ناگهان شماره حساب یکی از مشتریان را در چت زنده برای کاربر دیگری افشا میکند. اگر توسعهدهنده شما فقط به اسکنرهای کد متکی باشد، این حمله را هرگز در گزارشهای امنیتی نخواهد دید.
طبق اعلام BrassCoders در ۲۹ جولای ۲۰۲۶، خطرناکترین نشت دادهها در اپلیکیشنهای هوش مصنوعی در لایه استنتاج (Inference) — لحظهای که مدل واقعاً جواب تولید میکند، شبیه خودِ آشپزی و نه دورهی آموزش آشپز — رخ میدهد. این لایه کاملاً خارج از دسترس ابزارهای امنیتی سنتی است. تمایز میان نشت ساختاری و افشای زمان اجرا حیاتی است؛ چراکه بسیاری از برنامهنویسان این دو را یکی میپندارند.
همانطور که در تحلیل قبلی ما دربارهی مکانیسمهای مسیریابی مانند Tokenless اشاره کردیم، بهینهسازی هزینهها یک موضوع است و امنیت مسیر استنتاج موضوعی کاملاً مجزا و فوری. در یک سیستم مبتنی بر تولید بازیابیافزا (RAG) — مثل دانشآموزی که قبل از جواب دادن، اول کتاب درسی را باز میکند و از آن نقل میآورد — رکورد حساس در کد برنامه نیست، بلکه از طریق مرحلهی بازیابی وارد پاسخ مدل میشود.
بر اساس مستندات BrassCoders، این آسیبپذیریها تحت عنوان LLM06 (افشای اطلاعات حساس) در فهرست ۱۰ خطرناکترین آسیبهای OWASP برای مدلهای زبانی قرار میگیرند. شکست زمانی رخ میدهد که مدل دادههایی را بازمیگرداند که کاربر نباید ببیند، مانند سوابق سایر کاربران یا اسراری که در پرامپت سیستمی (System Prompt) پنهان شدهاند.
دو لایه مواجهه با ریسک
- نشتهای سطح کد: اینها ساختاری هستند؛ شامل الگوهای شناسههای شخصی، اعتبارنامهها در رشتههای متنی و مقادیر با انتروپی بالا در مخزن کد. این موارد قطعی هستند و با اسکنرهای ایستا شناسایی میشوند.
- نشتهای زمان اجرا: اینها پویا هستند. مدل پاسخها را از پنجره زمینه (Context Window) — میزان متنی که مدل همزمان در ذهن نگه میدارد، شبیه میز کاری که جا برای چند ورق دارد — جمعآوری میکند. در اینجا دادهها در حال حرکتاند، نه آثار ایستای کد.
این نقطه ضعف اغلب با تزریق پرامپت (Prompt Injection) زنجیر میشود. مهاجم با دستورات تزریقی، مدل را هدایت میکند تا اطلاعات حساس را استخراج کند. از آنجا که نه دستور مهاجم و نه نتیجهی نشت در کد منبع وجود ندارد، اسکنرهای الگو در برابر این تبادل کاملاً کور هستند.
برای بستن این شکافها، باید از اسکنهای ایستا به سمت کنترلهای زمان اجرا حرکت کرد. این کار شامل پیادهسازی فیلترهای خروجی و سیستمهای پیشگیری از نشت داده (DLP) برای پاکسازی فیلدهای حساس پیش از رسیدن به کاربر است. همچنین توسعهدهندگان باید دسترسیهای سیستم بازیابی را بر اساس اصل «حداقل دسترسی» محدود کنند تا مدل نتواند رکوردهای غیرمجاز را فراخوانی کند.
آخرین خط دفاعی، کمینهسازی زمینه است تا مقادیر حساس هرگز وارد پنجره پرامپت نشوند. با ترکیب ابزارهای نظافسازی مخزن مانند BrassCoders و حاکمیت فعال بر استنتاج، تیمها میتوانند هر دو نوع نشت را مهار کنند.
گام بعدی شما
- بررسی دسترسیهای دیتابیس توسط مدل و محدود کردن کوئریهای بازیابی به سطح کاربر احرازهویتشده.
- استقرار لایهی فیلترینگ خروجی (Output Guardrails) برای شناسایی الگوهای حساس (مانند شماره کارت یا ایمیل).
- جایگزینی اسکنرهای ایستا با ابزارهای مانیتورینگ پویای Runtime.
اما داستان سختافزاری این تحول حتی شگفتانگیزتر است — به تحلیل ما دربارهی تراشههای Blackwell مراجعه کنید.
گفتگو