تصور کنید یک پرامپت مخرب، یک عامل مستقل را متقاعد کند تا کلیدهای API یا وزنهای اختصاصی مدل را لو دهد و کل سیستم شما را به خطر بیندازد. طبق گزارشی که در ۸ اوت ۲۰۲۶ توسط dev.to منتشر شد، استقلال عاملهای هوش مصنوعی سطح حمله را بسیار فراتر از خودِ مدل گسترش میدهد، زیرا این سامانهها بهطور مستقل کد اجرا کرده و پایگاهدادهها را بازجویی میکنند.
عامل (Agent) — شبیه به کارمندی است که نه تنها میداند چه بگوید، بلکه اجازه دارد برای انجام کار، ابزارهایی را باز کند و به پروندهها دسترسی داشته باشد — اکنون فراتر از تولید متن عمل میکند. این عاملها ابزارها را فراخوانی میکنند، فایلها را بررسی میکنند و با سرویسهای خارجی ارتباط میگیرند. این استقلال، بردارهای جدیدی برای استخراج دادهها ایجاد میکند. مهاجمان میتوانند از تزریق پرامپت (Prompt Injection) استفاده کنند تا عامل را مجبور به افشای دستورالعملهای سیستمی یا بازیابی اسرار کنند.
علاوه بر این، تزریقهای غیرمستقیم میتوانند از طریق بسترهای مورد اعتماد مانند ایمیلها، وبسایتها یا اسناد وارد شوند. اگر محیط اجرا دسترسیهای گستردهای داشته باشد، یک دستور مخرب ساده به مسیری مستقیم برای نشت کلیدهای API یا استخراج مدل تبدیل میشود. همانطور که در تحلیلهای قبلی ما دربارهی امنیت مدلهای بازمتن اشاره کردیم، کنترلهای سنتی برنامهها دیگر کافی نیستند زیرا رفتار عاملها پویا است. فراخوانی ابزاری که در یک گردشکار امن است، ممکن است در گردشکاری دیگر خطرناک باشد و لیستهای دسترسی ایستا را منسوخ کند. این تغییر، نیازی حیاتی به دیدهشدن (Visibility) روابط بین عاملها، مدلها، اعتبارنامهها، منابع داده و مقصدهای خروجی ایجاد میکند.
به همین دلیل، تیمهای امنیتی در حال پیادهسازی جداسازی سختگیرانه محیطها هستند. وزنهای مدل، آداپتورها، دادههای ارزیابی، پرامپتهای سیستمی و اعتبارنامههای API باید در ذخیرهسازهای فقط-خواندنی قرار گیرند و از کارکنان استنتاج (Inference) — لحظهای که مدل واقعاً جواب تولید میکند، شبیه به خودِ آشپزی و نه دورهی آموزش آشپز — جدا شوند. این گزارش تأکید میکند که اسرار باید توسط یک کارگزار (Broker) اختصاصی مدیریت شوند، نه اینکه در لاگها، کد منبع یا فایلهای محیطی جاسازی شوند.
برای مهار مؤثر این خطرات، چندین لایه فنی ضروری است:
- سیاستهای خروجی پیشفرض-ممنوع (Default-deny egress) برای محدود کردن ارتباطات به نقاط انتهایی تأییدشده و شناسایی اعتبارنامههای کدگذاریشده یا پاسخهای غیرعادی و حجیم.
- اجرای ابزار در محیط ایزوله (Sandboxed)، استفاده از مصنوعات امضا شده و محدودیت نرخ (Rate limits) برای جلوگیری از استخراج انبوه دادهها. در این راستا، استفاده از میکرومشینها برای ایزولهسازی سریع، همانطور که در معماری AgentENV و استفاده از Firecracker بررسی شده، راهکاری کارآمد برای مدیریت این محیطهاست.
- اعتبارنامههای کوتاهمدت که برای وظایف خاص صادر میشوند؛ برای مثال، عاملی که یک مجموعه داده را میخواند، نباید اجازه تغییر در زیرساخت را داشته باشد.
- الزام به تأیید انسانی برای اقداماتی که تأثیر بالایی بر سیستم دارند.
این رویهها در زیرساختهای دفاعی شرکت HONEYPOTZ INC محوریت دارند و برای برنامههایی که حریم خصوصی در آنها حیاتی است، مانند DEEPBODY INC (deepbody.me)، جایی که منشأ دادهها (Provenance) و دسترسی کنترلشده به دادهها ضروری است، حیاتی هستند.
در این میان، پروژه متنباز TrustGraph رویکردی گرافمحور را جایگزین لیستهای ایستا کرده است. این سیستم، عاملها، ابزارها، اسرار، مجموعهدادهها و مقصدهای شبکه را بهعنوان گرههایی با روابط صریح مدلسازی میکند. این ساختار اجازه میدهد یک سیاست امنیتی، دسترسی عامل ارزیابی به نقطه انتهایی استنتاج را مجاز کند، اما دسترسی به ذخیرهساز مدل را بهطور سختگیرانه مسدود نماید. قانون دیگری ممکن است به یک ابزار بازیابی اجازه دهد اسناد تأییدشده را بخواند، اما آن را از ارسال محتویات به یک دامنه ناشناخته منع کند.
تحلیل گراف همچنین «زنجیرههای امتیازات پنهان» را آشکار میکند. ممکن است یک عامل دسترسی مستقیم به یک راز نداشته باشد، اما از طریق یک حساب سرویس یا کارگری که تنظیماتش اشتباه است، بهطور غیرمستقیم به آن برسد. شناسایی این مسیرهای انتقالی پیش از استقرار، به تیمها اجازه میدهد بدون مختل کردن گردشکار، دسترسیها را کاهش دهند.
در نهایت، شناسایی مستمر باید مکمل این پیشگیریها باشد. تیمهای امنیتی باید آرگومانهای ابزار، صدور اعتبارنامهها، خواندن فایلها و درخواستهای خروجی را در لاگهای مقاوم در برابر دستکاری ثبت کنند. برای دستیابی به این سطح از شفافیت، ابزارهایی مانند Tracepath برای ثبت کامل فراخوانیهای ابزار به سازمانها کمک میکنند تا پاسخگویی و انطباق با استانداردهای امنیتی را تضمین کنند. هشدارها باید هنگام دسترسی غیرعادی به توکنها، ایجاد آرشیو، عملیات مکرر کدگذاری یا تلاش برای خواندن دایرکتوریهای مدل فعال شوند.
استفاده از اعتبارنامههای قناری (Canary) و مصنوعات مدل تگگذاریشده میتواند هشدار زودهنگامی برای لمس داراییهای محافظتشده باشد. برای توسعهدهنده، این به معنای تغییر ذهنیت از «محیط پیرامونی» به «ذهنیت رابطهای» است. دیگر نمیتوانید فرض کنید ابزاری امن است چون عامل مجاز است؛ بلکه باید کل مسیری را که داده طی میکند، اعتبارسنجی کنید.
برای تأیید این دفاعها، تیمها باید تستهای خصمانه منظمی انجام دهند. این شامل تزریق مستقیم پرامپت، مسموم کردن محتوای بازیابی و تلاش برای بازسازی رفتار اختصاصی مدل از طریق پرسوجوهای بیش از حد است تا اطمینان حاصل شود که کنترلهای لایهای بهدرستی عمل میکنند.
گام بعدی شما
- بررسی دسترسیهای فعلی عاملهای خود و جایگزینی اعتبارنامههای دائمی با توکنهای کوتاهمدت.
- پیادهسازی محیطهای ایزوله (Sandbox) برای هر ابزاری که کد خارجی اجرا میکند. برای مقیاسپذیری این محیطها در سطح گسترده، رویکرد Kimi K3 در اجرای هزاران محیط ایزوله الگویی برای بهینهسازی زمان بوت و مدیریت منابع است.
- مدلسازی روابط بین عامل و دادهها بهصورت گراف برای شناسایی مسیرهای دسترسی غیرمستقیم.
اما تأمین سختافزاری برای اجرای این لایههای امنیتی بدون افت سرعت، چالش بعدی است — به تحلیل ما دربارهی بهینهسازی استنتاج در خوشههای GPU مراجعه کنید.
گفتگو