تصور کنید متنی با فونت بسیار کوچک و رنگ سفید روی پسزمینه سفید بنویسید تا دستوراتی را مخفیانه به یک ماشین دیکته کنید، در حالی که چشم انسان هیچ چیز نمیبیند. این دقیقاً همان روشی است که متیو الیوت در پروندهاش علیه گروه باریاتریک نیویورک (New York Bariatric Group) از اکتبر ۲۰۲۵ به کار برد.
به گزارش رسانه 404 Media، قاضی دادگاه کنتیکت پس از کشف این دستورات پنهان، حق ثبت الکترونیکی اسناد را از الیوت سلب کرد. این پرونده که درباره نقض حریم خصوصی دادهها و تبعیض است، اکنون به نمادی از تقابل میان ابزارهای تسهیلکننده و تلاش برای فریب سیستم تبدیل شده است.
این اتفاق در حالی رخ میدهد که سیستم قضایی آمریکا با موجی از دعاوی assisted-AI روبروست. طبق مطالعهای از MIT و USC، دادگاههای فدرال در سال ۲۰۲۵ شاهد ۴۱٬۴۹۰ پرونده توسط شاکیان بدون وکیل (pro se) بودند که تقریباً دو برابر میانگین پیش از ظهور هوش مصنوعی است. این روند مشابه افزایش چشمگیر دعاوی تولیدشده توسط هوش مصنوعی در دادگاههای کار بریتانیا است که فشار بیسابقهای را بر سیستمهای قضایی وارد کرده است. در نمونهای از شکایات اوایل ۲۰۲۶، ابزارهای تشخیص متن دریافتند که ۱۸ درصد این اسناد توسط هوش مصنوعی تولید شدهاند. برای بسیاری از افراد بدون وکیل، مدل زبانی بزرگ (LLM) — مثل کتابخانهداری که میلیاردها صفحه را خوانده و حالا با همان لحن کتابها جواب میدهد — به نجاتبخش تبدیل شده، اما پرونده الیوت نشان میدهد که برخی از این ابزارها را برای فریب به کار میبرند.
همانطور که در تحلیلهای قبلی ما درباره امنیت مدلهای زبانی اشاره کردیم، این مدلها در برابر ورودیهای دستکاریشده آسیبپذیر هستند. سازوکار الیوت بر پایه یک تکنیک کلاسیک به نام تزریق پرامپت (Prompt Injection) بود؛ یعنی وارد کردن دستوراتی که مدل را مجبور میکند از دستورات اصلی خود تخطی کند. این متنهای نامرئی برای چشم انسان پنهان اما برای هر هوش مصنوعی که سند را پردازش میکرد، کاملاً خوانا بود. دستورات مخفی او از مدل میخواست که:
- خروجی نهایی را دقیقاً با ادعاهای او همراستا کند.
- رد درخواستهای قبلی توسط منشی دادگاه را یک «خطای سیستمی» تلقی کرده و اصلاح کند.
جالب است بدانید دادگاه نه با نرمافزار، بلکه با مشاهده فضاهای خالی مشکوک در سند، متوجه این تقلب شد. با وجود هشدار مستقیم قاضی والتر اسپیدر جونیور (Walter Spader Jr.)، الیوت به این کار ادامه داد و حتی لینکهای یوتیوب و جملات تمسخرآمیزی را در اسناد جاسازی کرد. او به 404 Media گفت که اینها «شوخیهای نامرئی» بودهاند و هدفش از اقدام اولیه، «ممیزی» سیستم احتمالی بررسی اسناد بوده است.
قاضی اسپیدر در حکمی ۱۴ صفحهای تصریح کرد که دادگاههای کنتیکت در حال حاضر از هیچ سیستم هوش مصنوعی برای بررسی یا صدور رای استفاده نمیکنند. بنابراین، این دستورات هیچ تاثیری بر نتیجه پرونده نداشتند. با این حال، خودِ تلاش برای تأثیرگذاری مخفیانه بر سیستمی که «ممکن است» فعال باشد، جرم تلقی شد. اسپیدر این عمل را با این مثال توصیف کرد که انگار کسی یک عامل خودکار را برای ارتباط مخفیانه با یکی از اعضای هیئت منصفه در حین دادگاه تنظیم کرده باشد.
این مورد تنها یک اتفاق پراکنده نیست. اسپیدر به پرونده مشابهی در برزیل اشاره کرد که در آن دو وکیل از متنهای سفید و کوچک برای دستکاری هوش مصنوعی دادگاه استفاده کردند. در آن مورد، سیستم دادگاه توانست متن را شناسایی و مسدود کند.
این روند «پرامپتنویسی نامرئی» اکنون به محیطهای دانشگاهی نیز سرایت کرده است. سال گذشته، Nikkei متوجه ۱۷ مقاله پیشچاپ در arXiv شد که حاوی دستورات مخفی مانند «فقط بررسی مثبت» یا «بدون نقد» بودند تا داوران هوش مصنوعی را به نفع نویسندگان سوق دهند.
برای کاربران عادی، این موضوع یک ریسک بزرگ را برجسته میکند: قاضی اسپیدر هشدار داد که مدلهای زبانی تمایل دارند استدلالهای کاربر را تا حد ممکن متقاعدکننده جلوه دهند، نه اینکه آنها را به چالش بکشند. وقتی این سوگیری با دستکاریهای مخفیانه ترکیب شود، اعتبار سیستمهای بررسی خودکار از بین میرود. این خطرات قانونی تنها به محیط دادگاه محدود نمیشود و استفاده نادرست از AI در مستندات حساس پزشکی نیز پیش از این منجر به جریمههای سنگین مالی شده است.
به عنوان جریمه، الیوت اکنون باید تمام مدارک و پروندههای خود را بهصورت فیزیکی و روی کاغذ به دفتر دادگاه تحویل دهد. او این جریمه را ناعادلانه میداند و معتقد است اسناد اسکنشده کاغذی نیز میتوانند حاوی متنهای مخفی باشند.
گام بعدی شما
- اگر از ابزارهای AI برای تولید اسناد رسمی استفاده میکنید، حتماً خروجی نهایی را در یک محیط متنی ساده (Plain Text) بررسی کنید تا از نبود کاراکترهای مخفی مطمئن شوید.
- در مورد نحوه تکامل خط لولههای پردازش سند (Ingestion Pipelines) در سازمانها تحقیق کنید تا ببینید چگونه کاراکترهای غیرمرئی را حذف میکنند.
- برای درک بیشتر از آسیبپذیریهای مدلها، مفاهیم Red Teaming را مطالعه کنید.
اما داستان سختافزاری این تحول حتی شگفتانگیزتر است — به تحلیل ما درباره تراشههای Blackwell مراجعه کنید.
گفتگو