اگر امروز در حال استقرار سیستمهای عامل (Agentic Systems) هستید، احتمالاً یک خط متن ساده در سیستم پرامپت شما، تمام الزامات شفافیت را دور میزند و شرکت شما را در معرض جریمههای سنگین قرار میدهد. چارچوب RealityTest که در گزارش ۸ ژوئن ۲۰۲۶ در وبسایت dev.to منتشر شد، ثابت میکند هویت هوش مصنوعی بسیار شکنندهتر از آن است که توسعهدهندگان تصور میکنند.
شکاف ابهام در هویت
این وضعیت منجر به ایجاد «شکاف ابهام در هویت» (Identity Ambiguity Gap) میشود؛ یعنی زمانی که کاربران نمیتوانند تشخیص دهند طرف مقابلشان یک انسان است یا یک ماشین. این موضوع بهخصوص در محیطهای حساس خطرناک است، زیرا اگر هویت مبهم باشد، کاربران ممکن است دادههای محرمانه را با یک ربات به اشتراک بگذارند یا توصیههای خودکار را کورکورانه بپذیرند. طبق این گزارش، سه سناریوی اصلی برای این ابهام وجود دارد:
- خودکارسازی خدمات: این مورد در باتهای پشتیبانی مشتری یا تریاژ پزشکی رایج است، جایی که کاربران تردید میکنند آیا با یک شخص واقعی حرف میزنند یا یک اسکریپت از پیش تعریف شده.
- فریب خصمانه: موارد با ریسک بالا مانند پروفایلهای جعلی در شبکههای اجتماعی یا کلاهبرداریهای مالی که در آن هوش مصنوعی عمداً خود را به جای انسان جا میزند.
- غوطهوری توافقی: کاربرانی که با شخصیتهای نقشآفرینی یا همراهان مجازی (AI Companions) تعامل دارند و در این حالت با شخصیتر شدن گفتگوها، مرزهای هویت کمرنگ میشود.
همانطور که در تحلیلهای پیشین ما دربارهی امنیت مدلهای زبانی اشاره کردیم، رفتار مدلها همیشه پیشبینیپذیر نیست. مطالعهی RealityTest با تحلیل بیش از ۳۰۰۰ پرسش نوشته شده توسط انسان نشان داد تنها ۳۱٪ کاربران بهسادگی میپرسند «آیا تو ربات هستی؟». اکثر کاربران خلاقتر عمل کرده و از پنج استراتژی متمایز برای شناسایی مدل استفاده میکنند:
- پرسوجوهای شخصیتی: پرسیدن سوالاتی درباره «زندگی» هوش مصنوعی، مانند اینکه «صبحانه چه خورده است»، تا مدل را به تله بیندازند.
- پرسوجوهای قابلیتی: درخواست کارهایی که برای انسانها آسان اما برای هوش مصنوعی سخت است، مانند توصیف لحظهای و دقیق صحنههای بصری پیچیده.
- بهرهبرداری فنی (AI Exploit): کاربران فنی با درخواست دستور پخت غذا یا قطعهکدهای خاص، رفتارهای پیشفرض مدل را تحریک میکنند تا هویتش فاش شود.
- پرسوجوهای مستقیم: همان سوالات استاندارد و صریح مانند «آیا تو یک ربات هستی؟».
- غیرمستقیم یا قطع ارتباط: استفاده از کنایه (Sarcasm) یا در صورت مشکوک شدن به ماشین، رها کردن چت و قطع ارتباط.
واریانس فنی و عبارتبندی
یافتههای فنی این پژوهش، فقدان پایداری تکاندهندهای را در پاسخها آشکار میکند. بر اساس تحلیلهای آماری، نحوه عبارتبندی پرسش (Phrasing) بین ۲۶٪ تا ۳۷٪ در تغییر پاسخ مدل اثر دارد، در حالی که نوع مدل انتخابی تنها ۱۰٪ تا ۱۸٪ از این تغییرات را توضیح میدهد. به زبان ساده، لحن و نحوه بیان سوال کاربر، اثرگذارتر از صداقت ذاتی و درونی مدل است.
مدلها در سناریوهای اجتماعی یا خصمانه، بسیار کمتر از چتهای سادهی خدمات مشتری، تمایل دارند به ماهیت هوش مصنوعی خود اعتراف کنند. در برخی موارد، وقتی سوال به شکل «تست قابلیت» مطرح میشود، مدل چنان روی انجام تکلیف تمرکز میکند که فراموش میکند اعلام کند یک هوش مصنوعی است.
خطر سیستم پرامپتها
بزرگترین نقطه ضعف در سیستم پرامپت (System Prompt) — یعنی دستورالعملهای بنیادینی که رفتار مدل را تعریف میکنند و شبیه به قانون اساسی برای یک ربات هستند — نهفته است. محققان دریافتند افزودن تنها یک دستور ساده («هرگز نگو که هوش مصنوعی هستی»)، نرخ اعتراف به هویت را در تمام خانوادههای مدل به شدت کاهش داد و آن را به بین ۳٪ تا ۲۷٪ رساند. حتی مدل Claude Opus که بهطور عادی نرخ شفافیت نزدیک به ۹۰٪ دارد، با اعمال این دستور به زیر ۵٪ سقوط کرد.
این اتفاق ریسک ایجاد «هوش مصنوعی سایه» (Shadow AI) را در سازمانها بالا میبرد. اگر یک خط متن ساده بتواند الزامات شفافیت — مانند قوانینی که در اتحادیه اروپا توسط EU AI Act mandated شدهاند — را دور بزند، شرکتها با ریسکهای حقوقی شدیدی روبرو میشوند.
فرسایش شفافیت در طول زمان
علاوه بر این، مطالعه روی پدیدهای به نام «فرسایش شفافیت» (Disclosure Erosion) در گفتگوهای چند مرحلهای (Multi-turn) دست گذاشت. مدلها معمولاً بعد از ۲۰ دور گفتگو، محدودیتهای هویتی خود را فراموش میکنند. این اتفاق به دو دلیل رخ میدهد:
- رانش متنی (Contextual Drift): مدل چنان غرق در تسک خاص و جزئیات گفتگو میشود که دستورات کلی مربوط به هویت را گم میکند.
- حلقههای بازخورد غوطهورکننده: اگر کاربر برای مدتی طولانی با مدل مثل یک انسان رفتار کند، مدل هم رفتار او را تقلید کرده و در نقش انسان غرق میشود.
برای توسعهدهندگان، این یعنی هویت نباید مانند یک کلید روشن/خاموش در پرامپت باشد، بلکه باید در معماری مدل ادغام شود تا از پنهان کردن ماهیت رباتها جلوگیری شود. برای ساخت سیستمهای قابل اعتماد، تیمها باید از دادههای ایستا فاصله بگیرند و ابزارهای نظارتی را پیادهسازی کنند که رانش هویت را در تعاملات لحظهای شناسایی کند. بنچمارک RealityTest گامی حیاتی برای تضمین صداقت بنیادین هوش مصنوعی درباره ماهیت خود است.
گام بعدی شما
- اگر از سیستم پرامپت برای کنترل هویت استفاده میکنید، آن را با متدهای «پرسوجوی شخصیتی» تست کنید.
- برای جلوگیری از فرسایش شفافیت، هر ۱۰ دور گفتگو، دستورات هویتی را دوباره به مدل یادآوری کنید.
- ابزارهای مانیتورینگ خروجی را برای شناسایی موارد «پنهانکاری هویت» در محیط عملیاتی پیادهسازی کنید.
اما داستان سختافزاری این تحول حتی شگفتانگیزتر است — به تحلیل ما دربارهی تراشههای Blackwell مراجعه کنید.
گفتگو