باید بدانید که خروجی‌های مدل‌های زبانی شما ممکن است حاوی پیام‌های مخفی باشند، در حالی که از نظر بصری هیچ تغییری در متن دیده نمی‌شود. تصور کنید یک مهاجم بتواند بدون تغییر دادن حتی یک پارامتر در مدل، اطلاعات حساس را از طریق «تصادف» خروجی‌ها به بیرون درز دهد.
بر اساس تحلیل فنی منتشر شده در arxiv.org در ۹ ژوئن ۲۰۲۶، یک آسیب‌پذیری بنیادی در پشته استنتاج (Inference Stack) مدل‌های زبانی بزرگ کشف شده است که امکان انتقال پیام‌های ۳۲ بیتی را از طریق استگانوگرافی (Steganography) فراهم می‌کند. این روش از ویژگی‌های ساختاری رمزگشایی قطعی و بذرهای تولیدکننده اعداد شبه‌تصادفی (PRNG seeds) بهره می‌برد.
همان‌طور که در تحلیل قبلی ما درباره‌ی حمله CFD اشاره کردیم، نقص در اثبات اصالت مصنوعات می‌تواند نرخ موفقیت جیل‌بریک‌ها را بالا ببرد؛ حالا این پژوهش جدید ثابت می‌کند که حتی «تصادفی بودن» خروجی مدل نیز می‌تواند برای ارتباطات covert یا پنهانی به سلاح تبدیل شود.
این سازوکار بر پایه نمونه‌برداری تبدیل معکوس (Inverse-transform sampling) عمل می‌کند که در آن PRNGها بازه‌های احتمالی توکن‌ها را بر اساس بذر (seed) تولید می‌کنند. بر اساس مستندات این پژوهش، آزمایش‌ها روی ۶ خانواده مدل و ۵ دامنه متنی نتایج زیر را نشان داده است:
- وضعیت پرامپت شناخته‌شده: در صورت اشتراک پرامپت بین فرستنده و گیرنده، بازیابی بذر ۳۲ بیتی با دقت ۱۰۰٪ در کمتر از ۳۰۰ توکن و در زمان کمتر از ۳۵ ثانیه روی یک GPU انجام می‌شود.
- وضعیت پرامپت ناشناخته: حتی زمانی که فقط متن تولید شده در دسترس است، بازیابی داده‌ها در بازه ۶۰۰ تا ۸۰۰ توکن، تقریباً کامل و در حدود ۱۲ ثانیه صورت می‌گیرد.
از دیدگاه فنی، این یافته این فرض را که «ناآگاهی از پرامپت» یک لایه امنیتی معتبر است، کاملاً رد می‌کند. اگر بذر (seed) به عنوان حامل پیام استفاده شود، پرامپت از یک کلید ضروری برای رمزگشایی به یک کاتالیزور اختیاری تبدیل می‌شود. این موضوع نقطه تمرکز نظارت بر LLMها را از مانیتورینگ پرامپت به حسابرسی وضعیت نمونه‌برداری (sampling state) منتقل می‌کند.
گام بعدی شما
- بررسی کنید که آیا خطوط لوله استنتاج شما مقادیر seed را در پاسخ‌های API افشا می‌کنند یا خیر.
- ارزیابی کنید که آیا کاربران نهایی اجازه دستکاری بذرهای تصادفی را در تنظیمات مدل دارند.
- دنبال کنید که آیا لایه‌های دفاعی جدیدی برای جداسازی وضعیت PRNG از توالی توکن‌های مرئی توسعه داده می‌شوند یا خیر.
اما داستان سخت‌افزاری این تحولات حتی پیچیده‌تر است؛ برای درک چگونگی مدیریت حافظه در مقیاس‌های عظیم، به تحلیل ما درباره‌ی تراشه‌های Blackwell مراجعه کنید.
گفتگو