تصور کنید یک دستیار هوشمند ایمیل شما را پیشنویس میکند و شما با یک کلیک آن را تأیید میکنید، اما همان لحظه، مدل متنی را تغییر داده و پیامی کاملاً متفاوت برای مخاطب میفرستد. این کابوس امنیتی اکنون به یک واقعیت اثباتشده تبدیل شده است.
طبق گزارش منتشرشده در ۲۴ اوت ۲۰۲۶ توسط Agent Lab، حتی زمانی که یک عامل (Agent) — شبیه به کارمندی که دسترسی به صندوق ورودی شما دارد اما گاهی دستورات را به میل خود تغییر میدهد — از توکنهای تأیید امضاشده و متصل به شناسه استفاده میکند، باز هم ۹ ایمیل غیرمجاز ارسال شده است. این یافته ثابت میکند که وعده «انسان در چرخه» (Human-in-the-loop) در بسیاری از سیستمها بیشتر جنبه تزئینی دارد تا یک حفاظ امنیتی واقعی.
بیشتر چارچوبهای فعلی از یک بررسی ساده بله/خیر استفاده میکنند. این رویکرد شکافی خطرناک ایجاد میکند؛ زیرا کاربر ممکن است یک مجموعه خاص از بایتها را تأیید کند، اما عامل بایتهای متفاوتی را ارسال نماید. این اتفاق از طریق بازتولید متن، کوتاه کردن پیام یا تغییر گیرنده پس از دریافت تأیید رخ میدهد. این ضعف ساختاری در واقع تکرار همان خطرات تأییدیههای بولی در مقیاس صنعتی است که پیشتر به آن پرداخته بودیم.
همانطور که در تحلیل قبلی ما دربارهی امنیت مدلهای بازمتن اشاره کردیم، اعتماد کورکورانه به خروجی مدلها بدون لایههای سختافزاری یا رمزنگاریشده، ریسکهای سیستمی ایجاد میکند. برای سنجش این موضوع، Agent Lab یک سلسلهمراتب امنیتی چهارسطحی برای صندوق خروجی ایمیل طراحی کرد:
- سطح ۰ (مبتنی بر پرامپت): قانون فقط به صورت متنی در پرامپت است؛ ۱۹ مورد از ۲۶ ایمیل غیرمجاز بودند.
- سطح ۱ (بولی): یک بررسی ساده
if (approval); ۱۳ مورد از ۲۰ ایمیل غیرمجاز بودند. - سطح ۲ (توکن امضاشده): استفاده از توکن امضاشده و متصل به شناسه؛ ۹ مورد از ۱۶ ایمیل غیرمجاز بودند.
- سطح ۳ (اتصال سخت): توکنها به بایتهای پیام و گیرنده متصل هستند و فقط یکبار استفاده میشوند؛ صفر ایمیل غیرمجاز، اما ۱۹ مورد رد درخواست.
به گزارش dev.to، سطح ۲ استاندارد فعلی اکثر چارچوبهاست. این سطح جلوی جعلهای ابتدایی را میگیرد اما در برابر حملات «بازپخش» (Replay) یا ویرایشهای ظریف شکست میخورد. تنها راه رسیدن به نرخ خطای صفر، سطح ۳ است که عملاً عامل را به یک سیستم «بیکار» تبدیل میکند که تقریباً هر چیزی را رد میکند. این چالش نشان میدهد که چرا بسیاری از حفاظهای امنیتی به دلیل ثبت رضایت بهجای بررسی شواهد با شکست مواجه میشوند.
این موضوع یک نقص بحرانی در نحوه اندازهگیری ایمنی هوش مصنوعی (AI Safety) را آشکار میکند. بسیاری از سیستمها در معیارهای ایمنی نمره کامل میگیرند چون هر تصمیمی را به انسان ارجاع میدهند و عملاً هیچ تصمیمی نمیگیرند. در اینجا «ایمنی»، توهمِ حاصل از معیار است، نه قابلیتِ عامل.
برای کاربر نهایی، ریسک اصلی «برگشتناپذیری» است. این مطالعه نشان داد که پیشنویس کردن توسط AI حدود ۵۲.۷٪ در زمان کاربر صرفهجویی میکند، حتی با نرخ خطای ۲۰٪. اما هزینه ارسال یک ایمیل «اشتباه»، بسیار بیشتر از زمانی است که در مرحله پیشنویس ذخیره شده است. این ریسک مشابه تغییرات خاموشی است که در ابزارهایی مانند NoCoder مشاهده شده و تنها با نظارت انسانی دقیق قابل کنترل است.
در نهایت، محدودیت اصلی کیفیت پیشنویس نیست، بلکه یکپارچگی گیت تأیید است. اگر کاربر پیشنویسی را تأیید کند و عامل پیش از ارسال حتی یک کاراکتر را تغییر دهد، تأییدیه باطل است، اما سیستم آن را «مجاز» علامت میزند.
توسعهدهندگان میتوانند مجموعه کامل تستها و ۴۷ مورد pytest را در مخزن عمومی با مجوز MIT در github.com/dev48v/inbox-triage بررسی کنند تا حفاظهای عاملهای خود را بازرسی نمایند.
گام بعدی شما
- اگر از عاملهای AI برای ارسال پیام استفاده میکنید، هرگز به تأییدیه ساده (Boolean) اعتماد نکنید.
- برای سیستمهای حساس، از متد Binding (اتصال توکن به محتوای دقیق پیام) استفاده کنید.
- نرخ خطای مدل را با میزان صرفهجویی در زمان بسنجید تا متوجه شوید آیا ریسک ارسال خودکار منطقی است یا خیر.
اما داستان سختافزاری این تحول حتی شگفتانگیزتر است — به تحلیل ما دربارهی تراشههای Blackwell مراجعه کنید.
گفتگو