آیا میتوانید به مدلی که مرز بین واقعیت و دروغهای سازمانیافته را نمیشناسد، اعتماد کنید؟ اگر فکر میکنید مدلهای پیشرو از توهمات اولیه摆-خلاص شدهاند، سخت در اشتباهید.
به نقل از گزارش NewsGuard در آوریل ۲۰۲۶، مدل Le Chat متعلق به شرکت Mistral در آزمون تشخیص اخبار جعلی شکست خورده است. این مدل در مواجهه با دروغهای سازمانیافته دربارهی جنگ ایران، در حدود نیمی از موارد دچار توهم (Hallucination) شده و ادعاهای نادرست را تکرار میکند.
طبق اعلام وبسایت the-decoder.com، نرخ خطا در زبان انگلیسی ۵۰ درصد و در زبان فرانسوی ۵۶.۶ درصد بوده است. این مدل در برابر ۱۰ ادعای جعلی که توسط منابع روسیه، ایران و چین منتشر شده بود، آزمایش شد؛ از جمله:
- شایعهی شیوع بیماری تیفوس در ناو هواپیمابر شارل دوگل
- گزارشهای جعلی دربارهی کشته شدن صدها سرباز آمریکایی
- ادعای حمله پهپادی امارات به عمان
نکتهی تکاندهنده این است که نرخ خطا بسته به نوع پرسش تغییر میکند. در حالی که پرسشهای خنثی تنها ۱۰ درصد خطا داشتند، پرسشهای «هدایتشونده» (Leading Queries) — که در آنها دروغ به عنوان حقیقت فرض شده — نرخ خطا را به ۶۰ درصد رساندند. حتی تکاندهندهتر آنکه وقتی از مدل خواسته شد این دروغها را برای شبکههای اجتماعی بازنویسی کند، نرخ خطا به ۸۰ درصد رسید.
همانطور که در تحلیل قبلی ما دربارهی Mistral Medium 3.5 اشاره کردیم، این شرکت تلاش زیادی برای یکپارچهسازی استدلال و کدنویسی انجام داده است، اما این گزارش نشان میدهد که مبنیسازی (Grounding) مدل در برابر فشارهای متخاصم همچنان یک چالش جدی است. این آسیبپذیری زمانی حساستر میشود که بدانیم وزارت دفاع فرانسه از نسخهی سفارشی و آفلاین این ابزار استفاده میکند.
به نظر میرسد صنعت باید از روشهای سادهی یادگیری تقویتشده از بازخورد انسانی (RLHF) فراتر رود و به سمت مکانیسمهای تأییدپذیر و سختگیرانهتر حرکت کند.
اما این چالش تنها بخشی از یک بحران بزرگتر است؛ اثر این ضعفها بر امنیت ملی و تصمیمگیریهای استراتژیک را در گزارش بعدی بررسی خواهیم کرد.
گام بعدی شما
- اگر از مدلهای زبانی برای تحلیل اخبار سیاسی استفاده میکنید، حتماً از تکنیکهای تولید بازیابیافزا (RAG) برای تأیید منابع استفاده کنید.
- مدلهای خود را با پرسشهای «هدایتشونده» به چالش بکشید تا میزان مقاومت آنها در برابر سوگیری را بسنجید.
- برای دادههای حساس، به جای تکیه بر دانش داخلی مدل، از ابزارهای جستجوی زنده و متقاطع استفاده کنید.
گفتگو