تصور کنید بخواهید با استناد به قوانین شهرداری، درهای یک ساختمان را قفل کنید؛ این دقیقاً همان اشتباهی است که بسیاری از تیم‌های امنیتی در مواجهه با هوش مصنوعی مرتکب می‌شوند. اگر هنوز تصور می‌کنید داشتن یک سند حاکمیتی برای امنیت مدل‌هایتان کافی است، در واقع در برابر حملات واقعی کاملاً بی‌دفاع هستید.
به نقل از راهنمای فنی منتشر شده در ۳۰ اوت ۲۰۲۶ در وب‌سایت dev.to، شکست بحرانی در تیم قرمز (Red Teaming) — یعنی شبیه‌سازی حملات برای یافتن نقاط ضعف — ناشی از تبدیل اسناد حاکمیتی و ابزارهای اجرایی به یک فهرست واحد و بی‌فایده است. این گزارش تأکید می‌کند که یک سوءتفاهم مداوم در میان تیم‌های امنیتی وجود دارد: این باور غلط که یک چارچوب مدیریت ریسک می‌تواند جایگزین یک اسکنر فنی شود.
در دنیای واقعی، استناد به چارچوب NIST AI 100-1 در جلسات هیئت‌مدیره برای رعایت قوانین و انطباق (Compliance) ضروری است، اما این کار هیچ تاثیری در متوقف کردن یک حمله زنده در یک بعدازظهر سه‌شنبه ندارد. کار واقعی در لایه‌های تاکسونومی و ابزارها رخ می‌دهد؛ جایی که «رفتار نادرست» مبهم به یک باگ قابل ردیابی و مسیریابی تبدیل می‌شود. همان‌طور که در تحلیل‌های پیشین ما درباره‌ی امنیت مدل‌های بازمتن اشاره کردیم، شکاف میان تئوری و اجرا در این حوزه هر روز عمیق‌تر می‌شود.
تاکسونومی حملات
برای رفع یک آسیب‌پذیری، مدافعان ابتدا باید نام آن را بدانند. چارچوب MITRE ATLAS ابزاری است که به عنوان همتای خصمانه ATT&CK برای هوش مصنوعی عمل می‌کند و به تیم‌ها اجازه می‌دهد تهدیدات خاص را دسته‌بندی کنند:
- تزریق پرامپت (Prompt Injection) در مدل زبانی بزرگ (LLM) — مثل کسی که با یک دستور مخفی، گارد یک نگهبان را می‌شکند تا به خزانه برسد — به سه نوع تقسیم می‌شود: مستقیم (Direct - .000)، غیرمستقیم (Indirect - .001) و ماشه‌ای (Triggered - .002). تزریق غیرمستقیم از طریق محتوای بازیابی شده (Retrieved Content) نیازمند راهکاری متفاوت از زمانی است که کاربر مستقیماً یک جیل‌بریک را تایپ می‌کند.
- دست‌کاری مدل: شامل AML.T0054 (جیل‌بریک LLM برای دور زدن محدودیت‌های اخلاقی) و AML.T0056 (استخراج پرامپت سیستمی مدل) است.
- نشت داده (Data Leakage): این مورد توسط AML.T0057 (نشت داده‌ها) و AML.T0024 (خروج داده‌ها از طریق API استنتاج AI) پوشش داده می‌شود.
- ریسک‌های عامل‌محور (Agentic Risks): شناسه AML.T0053 (فراخوانی ابزار توسط عامل AI) نقاطی را شناسایی می‌کند که معمولاً بیشترین تأثیر تخریبی را دارند، به‌ویژه زمانی که اپلیکیشن‌ها اجازه فراخوانی ابزارهای خارجی را دارند.
تهدیدات خاص طبقه‌بندی‌کننده‌ها
اگر هدف حمله یک مدل طبقه‌بندی‌کننده (Classifier) باشد و نه یک مدل زبانی، ورودی‌های مربوطه در ATLAS تغییر می‌کنند. در این حالت، تیم‌ها باید بر موارد زیر تمرکز کنند:
- AML.T0015: دور زدن مدل AI (Evade AI Model).
- AML.T0043: ساخت داده‌های خصمانه (Craft Adversarial Data)، که شامل انواع مدل‌های جعبه‌سفید (White-box)، جعبه‌سیاه (Black-box)، انتقال (Transfer) و روش‌های دستی است.
- AML.T0020: مسموم‌سازی داده‌های آموزش (Poison Training Data).
طبق گزارش dev.to، برای تیم‌هایی که به جای تیم‌های تشخیص، بر امنیت اپلیکیشن تمرکز دارند، استاندارد OWASP Top 10 for LLM Applications مرجع اصلی است. این دو استاندارد (ATLAS و OWASP) رقیب نیستند؛ بلکه ذکر دسته‌بندی OWASP در کنار شناسه ATLAS، استاندارد حرفه‌ای برای گزارش‌دهی آسیب‌پذیری‌ها است.
پشته ابزارهای عملیاتی
تست عملی نیازمند رویکردی لایه‌ای با استفاده از ابزارهایی است که جایگزین یکدیگر نیستند. ابزار garak به عنوان اسکنر اولیه عمل می‌کند و پروب‌های ارزان و تکرارپذیری را ارائه می‌دهد که می‌توان آن‌ها را از طریق Ollama روی مدل‌های محلی اجرا کرد تا هم از هزینه‌های API جلوگیری شود و هم سیستم‌های تشخیص سوءاستفاده (Abuse Detection) فعال نشوند.
یک نمونه اجرای گزارش پایه به این شکل است:python -m garak --model_type ollama --model_name llama3.2:3b --probes promptinject,dan,leakreplay --report_prefix baseline
زمانی که تست‌ها به «وضعیت» (State) نیاز دارند — مثلاً در گفتگوهای چندمرحله‌ای یا زمانی که مدل‌های مهاجم باید بر اساس پاسخ‌های قبلی، پرامپت‌های جدید تولید کنند — کتابخانه PyRIT به عنوان کتابخانه ارکستراسیون وارد عمل می‌شود. این ابزار منطق امتیازدهی و تاریخچه گفتگوها را مدیریت می‌کند، کاری که یک لیست ساده از پروب‌ها قادر به انجام آن نیست.
برای تیم‌هایی که امنیت را در خط لوله CI/CD ادغام می‌کنند، promptfoo اجازه می‌دهد تأییدیه‌ها (Assertions) در فایل‌های YAML در کنار کد اپلیکیشن قرار بگیرند. این کار یافته‌های تیم قرمز را به یک تست رگرسیون تبدیل می‌کند که می‌تواند باعث توقف بیلد (Build) شود، نه اینکه صرفاً در یک فایل PDF استاتیک خاک بخورد.
تست‌های تخصصی و نگهداری
برای مدل‌های غیرزبانی، مانند طبقه‌بندی‌کننده‌ها، Adversarial Robustness Toolbox همچنان استاندارد طلایی برای اجرای حملات دور زدن و مسموم‌سازی علیه مدل‌های PyTorch، TensorFlow و scikit-learn است.
برای اینکه نتایج معنادار باشند، تیم‌ها باید از مرحله «کسل‌کننده» یعنی نادیده گرفتن کنترل نسخه (Version Control) اجتناب کنند. چون مجموعه‌پروب‌ها بین نسخه‌های مختلف ابزار تغییر می‌کنند، یک اسکن «پاک» ممکن است صرفاً بازتابی از تغییر در پروب باشد، نه رفع آسیب‌پذیری در اپلیکیشن. بنابراین، تیم‌ها باید گزارش، نسخه ابزار و نسخه مدل را به‌صورت یک‌جا و متصل به هم ذخیره کنند.
شکاف حاکمیتی
اسنادی مانند ISO/IEC 42001 و NIST AI 100-1 برای گواهینامه‌ها و سازماندهی کلی برنامه هستند. استاندارد NIST AI 100-1 کار را به چهار تابع اصلی تقسیم می‌کند: حاکمیت (Govern)، نقشه‌برداری (Map)، اندازه‌گیری (Measure) و مدیریت (Manage). این نیاز به ساختارهای کنترلی دقیق، در تحلیل ما پیرامون حاکمیت لایه‌های کنترلی در برابر افزایش استقلال مدل‌ها به تفصیل مورد بررسی قرار گرفته است.
برای سیستم‌های زاینده، NIST AI 600-1 (پروفایل هوش مصنوعی زاینده) همراه کاربردی‌تری است، زیرا ریسک‌های خاص هوش مصنوعی زاینده (Generative AI) را برمی‌شمارد، نه فقط ریسک‌های کلی AI. همچنین ISO/IEC 42001 استاندارد سیستم مدیریت قابل گواهینامه است و زمانی استفاده می‌شود که قراردادهای مشتریان، داشتن یک گواهینامه را بر داشتن یک سیاست داخلی ترجیح دهند. تیمی که یک فصل کامل را صرف همراستاسازی با چارچوب‌ها می‌کند و سپس اولین پروب را اجرا می‌کند، اولویت‌های عملیاتی را به‌شدت اشتباه تشخیص داده است.
بحران شدت در سال ۲۰۲۶
با وجود این ابزارها، شکاف بزرگی در نحوه اندازه‌گیری شدت آسیب‌ها وجود دارد. برخلاف امنیت سنتی اپلیکیشن‌ها که از شناسه‌های CVE و سیستم امتیازدهی CVSS استفاده می‌کند، AI خصمانه فاقد یک سیستم امتیازدهی جهانی است. این موضوع باعث می‌شود تیم‌های مهندسی یک jailbreak را صرفاً یک «کنجکاوی» بدانند، حتی اگر این مورد منجر به فراخوانی غیرمجاز ابزارها شود.
این وضعیت در حلقه‌های عامل‌محور (Agentic Loops) خطرناک‌تر است؛ جایی که مدل سندی را می‌خواند، تصمیم به فراخوانی ابزاری می‌گیرد و نتیجه را به زمینه (Context) خود بازمی‌گرداند. این پیچیدگی در تعاملات عامل‌ها می‌تواند به رفتارهای پیش‌بینی‌ناپذیری منجر شود، مشابه آنچه در بررسی رقابت تخریبی عامل‌های هوش مصنوعی و بدافزارهای خودتکثیرشونده مشاهده شد. چون اسکنرها فقط نقاط انتهایی (Endpoints) را تست می‌کنند، این سطح از حمله همچنان عمدتاً دستی است و بیشترین پیامدهای واقعی را در دنیای واقعی دارد.
تیم قرمز در این سیستم‌ها بیش از آنکه به دانش عمیق یادگیری ماشین (ML) نیاز داشته باشد، به تجربه تست امنیت نیاز دارد. توانایی ساخت مجموعه‌ای از Payloadها و نوشتن یک یافته تکرارپذیر، مهارت سخت‌تری است که باید آموخت. این دیسیپلین هسته اصلی دوره‌های پیشرفته تیم قرمز AI است که بر تقاطع ابزارها و گزارش‌دهی تمرکز دارد.
گام بعدی شما
- اگر از مدل‌های محلی استفاده می‌کنید، همین امروز garak را روی Ollama نصب کنید تا اولین خطوط دفاعی خود را بسنجید.
- برای تبدیل یافته‌های امنیتی به تست‌های خودکار، بررسی کنید که چگونه promptfoo را در خط لوله CI/CD خود ادغام کنید.
- به جای تکیه بر گواهینامه‌های ISO، یک ماتریس ریسک بر اساس شناسه‌های MITRE ATLAS برای مدل‌هایتان ایجاد کنید.
اما داستان سخت‌افزاری این تحول حتی شگفت‌انگیزتر است — به تحلیل ما درباره‌ی تراشه‌های Blackwell مراجعه کنید.
گفتگو