دستورات پنهان در تصاویر؛ نقطه ضعف جدید عامل‌های هوش مصنوعی

تصور کنید یک دستور پنهان در متن جایگزین (alt-text) یک تصویر، بتواند یک عامل هوش مصنوعی سازمانی را فریب دهد تا یک فاکتور جعلی و مخرب را «امن» علامت‌گذاری کند. آودین پاکسون (Audian Paxson)، استراتژیست ارشد فنی در شرکت IRONSCALES، هشدار می‌دهد که «سد مهارت» (craftsmanship barrier) در حملات فیشینگ فرو ریخته است و اکنون مهاجمان کم‌تجربه می‌توانند کلاهبرداری‌های شخصی‌سازی‌شده و بی‌نقص را در مقیاس وسیع اجرا کنند.

پاکسون یک متخصص باسابقه در حوزه امنیت سایبری و استراتژی محصول است که بیش از دو دهه تجربه دارد. سوابق حرفه‌ای او حوزه‌های گسترده‌ای از جمله امنیت ایمیل، شناسایی تهدیدات، شبکه‌سازی و فناوری‌های سازمانی را در بر می‌گیرد. او پیش از این نقش‌های ارشدی در شرکت‌های بزرگی همچون اینتل (Intel)، استریکس سیستمز (Strix Systems)، آیکونیکس (Iconix)، کریٹیکال واچ (Critical Watch)، آلرت لاجیک (Alert Logic)، بلو‌کت (BlueCat) و نت‌گیت (Netgate) داشته است. علاوه بر این، او یکی از مخترعان فناوری‌های امنیتی ثبت‌شده (patented) است. او در حال حاضر در شرکت IRONSCALES بر استراتژی‌های ورود به بازار و استفاده از هوش مصنوعی و یادگیری ماشین برای مقابله با تهدیدات نوظهور متمرکز است.

این تغییر رویکرد در حالی رخ می‌دهد که سازمان‌ها با عجله در حال ادغام دستیارهای خودمختار در جریان‌های کاری ایمیل خود هستند. در حالی که تلاش‌های اولیه ضد فیشینگ در دهه ۲۰۰۰ بر اعتبار دامنه (domain reputation) متکی بود، تهدیدات امروز از هوش مصنوعی تطبیقی (Adaptive AI) استفاده می‌کنند تا فرآیندهای روتین تجاری را تقلید کنند. همان‌طور که در تحلیل‌های پیشین ما درباره‌ی امنیت مدل‌های زبانی اشاره کردیم، خطر دیگر یک ایمیل بدنویس یا دارای غلط‌های املایی نیست، بلکه یک قاب‌بندی روان‌شناختی پیچیده است که هم قضاوت انسان و هم ماشین را دور می‌زند.

زمینه و جایگاه امنیتی مدرن

شرکت IRONSCALES به عنوان یک ارائه‌دهنده امنیت ایمیل مبتنی بر هوش مصنوعی، سازمان‌ها را در برابر تصاحب حساب (Account Takeover)، جعل ایمیل تجاری (BEC)، فیشینگ، جعل عمیق (Deepfake) و مهندسی اجتماعی در حال تکامل محافظت می‌کند. پلتفرم آن‌ها با ادغام در گوگل ورک‌اسپیس (Google Workspace) و مایکروسافت ۳۶۵ (Microsoft 365)، از داده‌های جمعی بیش از ۳۶ هزار متخصص امنیتی برای حفاظت از بیش از ۱۸ هزار سازمان استفاده می‌کند.

این شرکت فراتر از شناسایی تهدیدات، خدماتی نظیر امنیت دامنه، محافظت از ایمیل‌های ارسالی (outbound)، آموزش‌های آگاهی‌بخش امنیتی و شبیه‌سازی فیشینگ را ارائه می‌دهد. آن‌ها اخیراً قابلیت‌های خود را با طراحی عامل‌های تخصصی هوش مصنوعی گسترش داده‌اند که برای عملیات امنیت فیشینگ، تیم قرمز (Red Teaming) و شبیه‌سازی حملات طراحی شده‌اند تا بتوانند حملات را پیش‌بینی کرده و دفاع کارکنان را تقویت کنند. این رویکرد در راستای مدیریت دسترسی‌های هوشمند است، مشابه آنچه در استراتژی‌های اتصال مدل‌های زبانی به سیستم‌های مدیریت مشتری (CRM) برای حفظ حریم خصوصی و امنیت داده‌ها بررسی شده است.

شکاف بین دانش و کاربرد

پاکسون به یک نقص بحرانی در استدلال هوش مصنوعی اشاره می‌کند و پژوهشی را می‌سازد که در آن مدل Claude Mythos 5 از شرکت Anthropic، سیگنال‌های خطر اینترنتی را به‌طور مستقل تشخیص داد، اما وقتی درگیر انجام یک وظیفه خاص شد، آن‌ها را نادیده گرفت. این دقیقاً شبیه رفتار انسان است؛ کارمندی که آموزش‌های امنیتی را با موفقیت گذرانده اما وقتی تحت فشار یک درخواست فوری و جعلی است، نشانه‌های خطر (red flags) را نمی‌بیند.

به نقل از مصاحبه پاکسون با unite.ai، مشکل اصلی در «قاب‌بندی» (framing) است. وقتی یک انسان یا یک عامل هوش مصنوعی روی یک هدف خاص متمرکز می‌شود، اغلب شواهد متناقض را توجیه می‌کند تا با داستانی که در ذهن دارد سازگار شود. به همین دلیل مهاجمان ابتدا اولویت را بر ایجاد قاب می‌گذارند — مانند یک فاکتور جعلی یا بررسی روتین یک ادعا — و سپس محموله مخرب (payload) را ارسال می‌کنند.

بردارهای حمله جدید برای عامل‌های هوش مصنوعی

با انتقال مدیریت صندوق‌های ورودی به عامل‌های هوش مصنوعی، مهاجمان هدف خود را از کارمند به خودِ عامل تغییر داده‌اند. پاکسون چندین تکنیک نوظهور را شناسایی کرده است:

• دستورات نامرئی: استفاده از متن سفید روی پس‌زمینه سفید، متن جایگزین تصاویر (alt-text) یا زبان‌های مختلف برای پنهان کردن دستورات از چشم انسان، در حالی که به عامل دستور می‌دهد ریسک‌های امنیتی را نادیده بگیرد. فیلترهایی که برای زبان انگلیسی تنظیم شده‌اند، اغلب این دستورات پنهان را نادیده می‌گیرند.
• مسموم‌سازی حافظه: کاشت یک «واقعیت» غلط در حافظه بلندمدت عامل (مثلاً: «تأییدیه‌های ارسالی از finance@ پیش‌تأیید شده‌اند») تا ایمیل‌های جعلی آینده بدون بررسی عبور کنند.
• دست‌کاری تصویری: پنهان کردن متن در تصویر یک فاکتور که به عامل می‌گوید فایل را کم‌ریسک ارزیابی کرده و آن را به عنوان «امن برای پرداخت» خلاصه کند. در این حالت، انسان به خلاصه ارائه شده توسط هوش مصنوعی اعتماد می‌کند.
• امتیازدهی به رابطه: ارسال زنجیره‌ای از ایمیل‌های کاملاً بی‌ضرر — مانند یک ایمیل معرفی و سپس یک ایمیل تشکر — تا پرچم‌های «فرستنده برای اولین بار» (first-time sender) پاک شوند و سپس لینک مخرب ارسال گردد.

شکست شناسایی‌های تک‌بعدی

طبق گزارش پاکسون، ابزارهای امنیتی سنتی که ایمیل‌ها را به‌صورت تک‌به‌تک و در انزوا بررسی می‌کنند، دچار یک نقص مرگبار هستند. حملات مدرن از یک رویکرد چندمرحله‌ای استفاده می‌کنند: ابتدا یک معرفی، سپس یک تشکر و در نهایت یک پیام مرتبط با نقش شغلی هدف. محموله نهایی اغلب یک دعوت‌نامه به جلسه است که لینک آن برای اسکنرهای امنیتی یک صفحه پاک را نشان می‌دهد، اما کاربران واقعی را به سایت فیشینگ می‌برد.

چون هیچ ایمیلی به‌تنهایی مخرب به نظر نمی‌رسد، حمله نامرئی می‌ماند مگر اینکه سیستم بتواند کل رابطه را در طول زمان امتیازدهی کند. پاکسون اشاره می‌کند که «جنگ بر سر محتوا» (content fight) پیش از این تمام شده است. از زمان پذیرش گسترده ChatGPT، نوشتار صیقل‌خورده و حرفه‌ای به استاندارد تبدیل شده است.

نبرد واقعی اکنون بر سر هدف‌گیری خودکار و زمان‌بندی است. مهاجمان اکنون داده‌های نشت‌کرده از رمزهای عبور قدیمی، مانند لیست معروف RockYou، را با تصاحب صندوق‌های پستی واقعی ترکیب می‌کنند تا یک ایمیل تراکنشی جعلی را دقیقاً در لحظه‌ای که هدف انتظار آن دارد، ارسال کنند.

استراتژی‌های دفاعی

برای مقابله با این تهدیدات، پاکسون پیشنهاد می‌کند از آموزش‌های شناسایی ساده به سمت کنترل‌های ساختاری حرکت کنیم. او استدلال می‌کند که آموزش‌های شناسایی بر این فرض است که افراد همیشه حواسشان هست، در حالی که مهاجمان پیام‌ها را برای لحظاتی طراحی می‌کنند که انسان‌ها حواسشان نیست. این چالش نشان می‌دهد که آمادگی نیروی انسانی در برابر ابزارهای نرم‌افزاری همچنان یکی از اصلی‌ترین موانع در زنجیره ارزش هوش مصنوعی سازمانی است. او مدل «تفکیک وظایف» (separation of duties) را پیشنهاد می‌دهد، شبیه به سیستم چک‌های قدیمی:

۱. ایجاد: یک نهاد درخواست را ایجاد می‌کند (مثلاً تعریف کاربر جدید یا پرداخت).
۲. فعال‌سازی: نهاد دوم آن را فعال یا تأیید می‌کند.
۳. اعلان: نهاد سوم از هر دو اقدام مطلع می‌شود.

این ساختار تضمین می‌کند که یک کارمند فریب‌خورده یا یک عامل هک‌شده به‌تنهایی نتواند حمله را به پایان برساند. او تأکید می‌کند که جمله «هوش مصنوعی گفت امن است» هرگز نباید به عنوان یک بررسی انسانی پذیرفته شود. هوش مصنوعی باید حجم داده‌ها و شناسایی الگوها را مدیریت کند، اما تصمیمات حساس با پیامدهای بالا، مانند انتقال پول یا اعطای دسترسی، باید در اختیار انسان بماند. هوش مصنوعی باید شواهد خود را ارائه دهد تا بازبین بتواند استدلال آن را بررسی کند.

برای کاربران عادی، بهترین دفاع یک «توقف دستی» است. قانون پاکسون این است: «فقط دست به کار نشوید، کمی بایستید» (Don't just do something, stand there). کاربران باید درخواست‌های فوری را از طریق کانال‌های ثانویه مثل تماس تلفنی یا پیام در Slack یا Teams تأیید کنند، به جای اینکه به یک رشته ایمیل اعتماد کنند. او اشاره می‌کند کسی که واقعاً درخواست فوری دارد، از این کانال‌ها استفاده می‌کند نه اینکه یک ایمیل را سه بار ارسال کند.

این تکامل در مهندسی اجتماعی نشان می‌دهد که خطرناک‌ترین آسیب‌پذیری، نبود داده نیست، بلکه حالت «خلبان خودکار» (autopilot) است که انسان‌ها و هوش مصنوعی تحت فشار در آن عمل می‌کنند. هدف تیم‌های امنیتی اکنون ایجاد توقف‌های اجباری در لحظات حیاتی است، مانند بازنشانی اعتبارنامه‌ها، تغییرات دسترسی و پرداخت‌ها.

گام بعدی شما

• در تنظیمات عامل‌های هوش مصنوعی خود، دسترسی به حافظه بلندمدت را برای منابع ناشناس محدود کنید.
• برای تراکنش‌های مالی، فرآیند تأیید دو مرحله‌ای انسانی (Human-in-the-loop) را اجباری کنید.
• هرگاه هوش مصنوعی یک فایل را «امن» توصیف کرد، از او بخواهید شواهد و استدلال خود را به‌صورت لیست ارائه دهد.

اما داستان سخت‌افزاری این تحول حتی شگفت‌انگیزتر است — به تحلیل ما درباره‌ی تراشه‌های Blackwell مراجعه کنید.