«جلوگیری از رفتارهای پیش‌بینی‌نشده» هدف جدید پلتفرم امنیتی آناکوندا

اگر امروز در حال استقرار عامل‌های هوش مصنوعی در محیط تولید هستید، احتمالاً با این ترس مواجهید که یک دستور مخفی در داده‌های ورودی، کل سیستم شما را به مسیر اشتباهی ببرد. افزایش ابزارهای در دسترس عامل‌های هوش مصنوعی، اگرچه کاربرد آن‌ها را بیشتر می‌کند، اما همزمان جلوگیری از رسیدن اقدامات مخرب به سیستم‌های عملیاتی را سخت‌تر می‌سازد. برای حل این چالش و عبور از این دیوار حاکمیتی، آناکوندا (Anaconda) در ۶ اکتبر ۲۰۲۴ پلتفرمی را معرفی کرد که توسعه‌ی هماهنگ عامل‌ها را با تست‌های امنیتی خودکار جفت می‌کند.

تصور کنید کارخانه‌ای دارید که نرم‌افزار در آن ساخته، تحت فشار تست شده و مستقیماً منتشر می‌شود؛ آناکوندا این چرخه را «کارخانه توسعه هوش مصنوعی» (AI Dev Factory) می‌نامد. این سیستم با ادغام فناوری‌های Kilo Code، Enkrypt AI و Outerbounds تلاش می‌کند تا در حالی که عامل‌ها خودمختارتر می‌شوند، همچنان قابل نظارت و کنترل باقی بمانند.

زمینه و بستر خودمختاری عامل‌ها

به نقل از مستندات آناکوندا، هدف راهبردی این است که محیط‌های خاصی که عامل‌ها در آن نرم‌افزار می‌سازند، محیط‌هایی که رفتار آن‌ها به چالش کشیده می‌شود و محیط‌هایی که جریان‌های کاری نهایی در آن اجرا می‌شوند، به هم متصل شوند. برای سازمان‌های سازمانی، نگرانی اصلی این است که آیا این اتصالات باعث می‌شود مدیریت خودمختاریِ رو به رشدِ عامل‌ها آسان‌تر شود یا خیر.

این موضوع به‌ویژه زمانی حیاتی می‌شود که عامل‌ها شروع به مصرف اطلاعات از ابزارهای خارجی و منابع بیرونی می‌کنند. در چنین حالتی، ریسک فراتر از پاسخ‌های اشتباه یا ناامن است؛ یک دستور پنهان در متون بازیابی‌شده می‌تواند فراخوانی ابزارهای بعدی را منحرف کند و مسیر اجرای عملیات را تغییر دهد. به همین دلیل، بررسی زنجیره‌های رفتاری عامل‌ها به یک ضرورت تبدیل شده است.

در قلب این سیستم، مکانیزم «سوارم» (Swarm) یا دسته از شرکت Kilo قرار دارد. در این ساختار، به‌جای اینکه عامل‌ها در انزوا کار کنند، یک سوارم وظایفی مانند طراحی احراز هویت و نوشتن تست‌ها را بین چندین عامل توزیع می‌کند. این رویکرد تعاملی یادآور سیستم عامل‌های AIPass است که در آن عامل‌ها با ارسال ایمیل برای یکدیگر گزارش باگ ثبت می‌کنند و از این طریق هماهنگی عملیاتی را افزایش می‌دهند. این عامل‌ها از طریق یک تخته پیام مشترک با هم ارتباط می‌گیرند. این قابلیت اجازه می‌دهد تا مثلاً یک عامل تست بتواند تصمیمات طراحی را در لحظه ببیند، به جای اینکه منتظر بماند تا یک زیر-وظیفه به‌طور کامل به پایان برسد.

مکانیزم‌های هماهنگی

توصیف فنی Kilo از سیستم سوارم، یک منطق هماهنگی خاص را برجسته می‌کند: یک جلسه اصلی (Main Session) و عامل‌های فرزند (Descendant Agents) آن، یک تخته پیام مشترک دارند. در حالی که کارها به‌صورت موازی پیش می‌روند، عامل‌ها یافته‌های خود را در تخته پست کرده و سایرین آن‌ها را می‌خوانند.

با این حال، مرزهای مشخصی برای این هماهنگی وجود دارد تا از تداخل‌های عملیاتی جلوگیری شود:

• پیام‌های تخته نمی‌توانند عامل‌ها را بیدار کنند، آن‌ها را از حالت تعلیق خارج کنند یا اقداماتشان را تایید کنند.
• پیام‌های «توقف مشورتی» (Advisory Hold) یا پیام‌های «وتو»، به‌طور خودکار باعث توقف عامل‌ها نمی‌شوند.
• تمام شرکت‌کنندگان در جلسه به تاریخچه کامل تخته پیام‌ها دسترسی دارند.

این بدان معناست که هماهنگی باید از مجوزهای اجرایی و کنترل‌های دسترسی تفکیک شود. آناکوندا مدعی است این هماهنگی موازی، کارهای تکراری را کم کرده و هزینه استنتاج (Inference) — که شبیه کرایه یک آشپزخانه صنعتی است و هرچه دستور پخت سنگین‌تر باشد هزینه آن بیشتر می‌شود — را کاهش می‌دهد، هرچند هنوز عدد دقیقی برای این صرفه‌جویی منتشر نکرده است. این جریان‌های کاری مستقیماً در VS Code و نسخه بتای Kilo Desktop ادغام شده‌اند. Kilo Desktop محیط‌های مهندسی، علوم داده و مدیریت محیط پایتون را با دسترسی به بیش از ۵۰۰ مدل و قابلیت استنتاج محلی ترکیب می‌کند.

بخش امنیت بر عهده Enkrypt AI است که تیم قرمز (Red Teaming) — یعنی شبیه‌سازی حملات برای یافتن نقاط ضعف — را به‌صورت خودکار انجام می‌دهد. این سیستم به‌جای استفاده از اسکریپت‌های ایستا و ثابت، از عامل‌هایی استفاده می‌کند که فرضیاتی درباره نقاط ضعف می‌سازند، آن‌ها را تست می‌کنند و تاکتیک‌های خود را بر اساس پاسخ هدف تغییر می‌دهند. برای مثال، اگر هدف در برابر یک حمله مقاومت کند یا پاسخ منفی دهد، سیستم به‌جای تکرار ساده همان درخواست با کلمات متفاوت، استراتژی خود را به‌طور کلی تغییر می‌دهد.

جزئیات امنیتی و حفاظ‌ها

رویکرد Enkrypt AI بر اساس مدل تهدید خاص هر استقرار تنظیم شده و مستقیماً در محیط داخلی مشتری اجرا می‌شود. ویژگی‌های کلیدی امنیتی این سیستم عبارتند از:

• تست‌های خصمانه: بررسی گسترده در بیش از ۳۰۰ دسته حمله، که مدل‌ها، عامل‌ها و ادغام‌های پروتکل زمینه مدل (MCP) را شامل می‌شود.
• تاکتیک‌های تطبیقی: استفاده از حافظه جلسه برای جلوگیری از تکرار الگوهای حمله شکست‌خورده و بهره‌گیری از اکتشاف موازی برای بررسی همزمان ریسک‌های مختلف.
• حفاظ‌های زمان اجرا (Runtime Guardrails): محصولی اختصاصی که برای تایید، تغییر یا مسدود کردن رفتارهای ریسکی در سراسر عامل‌ها، ابزارها، تولید بازیابی‌افزا (RAG) — که شبیه دانش‌آموزی است که قبل از جواب دادن، اول کتاب را باز می‌کند و از آن نقل می‌آورد — و اتصالات MCP طراحی شده است.
• کاهش ریسک: هدف‌گذاری مستقیم روی تزریق پرامپت (Prompt Injection)، اقدامات ناامن ابزارها، تخطی از مرزهای دسترسی (Privilege-boundary violations) و خروج غیرمجاز داده‌های حساس.
• ابزارهای هوشمند: ارائه امتیاز ریسک مدل‌ها در محیط Kilo و ایجاد یک «ثبت وقایع حوادث عامل‌ها» (Agent Incident Registry) که شامل گزارش‌های عمومی مستند است تا به انتخاب مدل مناسب کمک کند.

آناکوندا گزارش داده است که ۶۳٪ از توسعه‌دهندگان AI-native در نظرسنجی این شرکت به سمت استفاده از سوارم‌ها می‌روند. همچنین تحقیقات Enkrypt نشان داد که در ۷۳٪ از ۲۵,۲۶۴ سرور MCP که در یک بازه چهارماهه اسکن شدند، آسیب‌پذیری وجود داشت.

برای تکمیل این چرخه، پلتفرم از AI Orchestration (که پیش‌تر Outerbounds بود) برای مدیریت محیط تولید استفاده می‌کند. این لایه با ردیابی دقیق مدل، پکیج و سیاست‌های استفاده شده برای هر اجرا، تکرارپذیری را تضمین می‌کند. این سیستم راهی فراهم می‌کند تا هر خروجی را به محیط و وابستگی‌هایی که آن را تولید کرده‌اند، متصل کرد.

تولید و تحویل

لایه ارکستراسیون شامل چندین جزء فنی برای تضمین پایداری است:

• Fast Bakery: ابزاری که ایمیج‌های کانتینر را از وابستگی‌های conda و PyPI، از جمله کتابخانه‌های نیتیو (Native Libraries)، می‌سازد.
• کاتالوگ منتخب: دسترسی به بیش از ۱۹,۰۰۰ پکیج منتخب و ۷۷ مدل متن‌باز تاییدشده.
• ردیابی تبار (Lineage Tracking): ردیابی مصنوعات و اجراهای تکرارپذیر جریان‌های کاری در ابرهای مختلف.

این چرخش، آناکوندا را از یک تامین‌کننده قطعات پایتون به یک مدیر کامل چرخه حیات عامل تبدیل می‌کند. آن‌ها روی این فرض شرط بسته‌اند که سازمان‌ها تنها زمانی سوارم‌ها را می‌پذیرند که سوابق قابل اعتمادی از اینکه چه چیزی مجاز بوده و چرا، وجود داشته باشد.

برای مدیران کسب‌وکار، این یعنی ریسک «عامل‌های سرکش» نه با مدل‌های ساده‌تر، بلکه با یک فرآیند صنعتی سخت‌گیرانه مدیریت می‌شود. اثر ثانویه این اتفاق، ایجاد سدی بلند برای تامین‌کنندگان کوچک ابزارهای AI است که توان ارائه چنین سطح یکپارچه‌ای از حسابرسی امنیتی را ندارند.

اینکه آیا این رویکرد یکپارچه واقعاً جلوی شکست‌های روز-صفر (zero-day) را می‌گیرد یا خیر، هنوز مشخص نیست. باید نظاره‌گر باشیم که این حفاظ‌ها در برابر موج صعودی تزریق پرامپت غیرمستقیم در محیط‌های متکی به RAG چگونه عمل می‌کنند.

گام بعدی شما

• اگر از MCP برای اتصال مدل‌ها به داده‌ها استفاده می‌کنید، سرورهای خود را با ابزارهای اسکن امنیتی بررسی کنید.
• در صورت استفاده از سیستم‌های چندعاملی، یک تخته پیام مشترک برای شفافیت تصمیمات مدل‌ها پیاده‌سازی کنید.
• استراتژی تست تیم قرمز خود را از اسکریپت‌های ایستا به مدل‌های تطبیقی تغییر دهید.

اما داستان سخت‌افزاری این تحول حتی شگفت‌انگیزتر است — به تحلیل ما درباره‌ی تراشه‌های Blackwell مراجعه کنید.