تصور کنید تمام قفلهای درب ورودی خانهتان ایمن است، اما کلیدهای اصلی در راهروهای داخلی برای هر بینندهای رها شدهاند. این دقیقاً همان وضعیتی است که بسیاری از توسعهدهندگان عاملهای هوش مصنوعی با آن دستوپنجه نرم میکنند.
بسیاری از سازمانها تنها خروجیهای قابل مشاهده را برای یافتن رمزها و کلیدهای حساس بررسی میکنند، اما زنجیره تفکر (Chain-of-Thought) — که شبیه وقتی است شاگرد ریاضی پای تخته بلندبلند فکر میکند تا به جواب برسد — به یک نقطه کور تبدیل شده است. طبق مطالعهای که در سال ۲۰۲۶ توسط AgentLeak منتشر شد، نشت دادهها در عاملها از پاسخهای نهایی به سمت این کانالهای استدلالی داخلی مهاجرت کرده است.
همانطور که در تحلیل قبلی ما دربارهی امنیت مدلهای بازمتن اشاره کردیم، لایههای پنهانی از پردازش همیشه ریسکهای پیشبینینشدهای دارند. این شکاف امنیتی پیامدهای مالی وخیمی دارد. به گزارش The Register و Cybernews، در اواسط سال ۲۰۲۶ یک استارتاپ سه نفره تنها در ۴۸ ساعت مبلغ ۸۲,۳۱۴ دلار ضرر کرد؛ چرا که یک کلید سرقتشده از مدل Gemini مورد سوءاستفاده قرار گرفت و صورتحساب آنها را ۴۵۷ برابر هزینه عملیاتی معمول رساند. در همین راستا، بررسیهای ما نشان میدهد که برخی مدلهای زبانی در برابر نشت کلیدهای امنیتی آسیبپذیرتر هستند و مقاومت متفاوتی در برابر این نوع حملات دارند.
مخاطرات قانونی نیز به همان اندازه جدی هستند. طبق اعلام DPO Europe، قانون هوش مصنوعی اتحادیه اروپا (EU AI Act) میتواند جریمههایی تا ۷٪ از گردش جهانی سالانه اعمال کند. پیش از این، شرکت Meta به دلیل شکست در مدیریت افشای توکنها، ۲۵۱ میلیون یورو جریمه پرداخت کرده است. با این حال، یافتههای Beam AI نشان میدهد ۸۸٪ از سازمانها امسال دچار حادثه امنیتی در عاملهای خود شدهاند، اما ۸۲٪ از آنها تصور میکردند به اندازه کافی ایمن هستند.
برای حل این مشکل، ابزار متنباز جدیدی به نام agentproof منتشر شده است. این ابزار در آزمایش روی چهار مدل مستقل، در شناسایی رمزهای بصری (Literal Secrets) موفقیت کامل داشت و هیچ مورد مثبت کاذبی گزارش نکرد. نکته کلیدی اینجاست: سختسازی پاسخ نهایی، امنیت کانال استدلالی را تضمین نمیکند.
البته این ابزار محدودیتهایی دارد؛ زیرا بر اساس تطابق لغوی عمل میکند نه معنایی و بهجای اجرا در زمانِ پاسخدهی (Runtime)، بهصورت آفلاین کار میکند. همچنین در ۱۰ مورد آزمایش روی الگوهای ناشناخته، ناتوان بود. این یعنی اگرچه ابزار مفیدی است، اما تزریق پرامپت (Prompt Injection) همچنان یک مشکل حلنشده در کل صنعت است؛ موضوعی که بر اساس گزارش OWASP با افزایش چشمگیر ۳۴۰ درصدی به یکی از بحرانیترین تهدیدات امنیتی تبدیل شده است.
گام بعدی شما
- اگر از عاملهای هوش مصنوعی در محیط تولید استفاده میکنید، لاگهای استدلالی (Reasoning Logs) خود را بررسی کنید.
- ابزار agentproof را از گیتهاب دریافت کرده و روی تاریخچه درخواستهای مدل اجرا کنید.
- مکانیزمهای فیلترینگ خود را از خروجی نهایی به لایههای میانی استنتاج منتقل کنید.
اما داستان سختافزاری این تحول حتی شگفتانگیزتر است — به تحلیل ما دربارهی تراشههای Blackwell مراجعه کنید.
گفتگو