پرش به محتوای اصلی
پرش به محتوای مقاله

مطالعه استونی: دقت ۹۵.۲ درصدی Claude Fable 5 در شناسایی پروپاگاندای روسیه

·۲۶ خرداد ۱۴۰۵۲ دقیقه مطالعه۱ بازدید
فریب مدل‌های هوش مصنوعی توسط تبلیغات روسی؛ نتایج یک معیار سنجش جدید
فریب مدل‌های هوش مصنوعی توسط تبلیغات روسی؛ نتایج یک معیار سنجش جدید
اشتراک‌گذاری
واقعاً چه چیز جدید است؟

شناسایی شکاف عملکردی شدید بین مدل‌های اروپایی (Mistral) و آمریکایی (Claude) در شناسایی پروپاگاندا؛ موضوعی که تا پیش از این بنچمارک استونی به‌طور دقیق و مقیاس‌پذیر اندازه‌گیری نشده بود.

اگر برای تحلیل اخبار سیاسی به هوش مصنوعی تکیه می‌کنید، احتمالاً متوجه نشده‌اید که مدل انتخابی شما تعیین می‌کند حقیقت را ببینید یا یک روایت سازمان‌یافته دولتی. این انتخاب ساده، مرز بین آگاهی و گمراهی شماست.

در ۱۶ ژوئن ۲۰۲۶، پژوهشی از مؤسسه زبان استونی شکاف عمیقی را در نحوه برخورد مدل‌ها با اطلاعات نادرست روسیه نشان داد. مدل زبانی بزرگ (LLM) — مثل کتابخانه‌داری که میلیاردها صفحه را خوانده و حالا با همان لحن کتاب‌ها جواب می‌دهد — باید بتواند تفاوت حقیقت و پروپاگاندا را بفهمد. اما نتایج نشان داد بسیاری از مدل‌ها در این آزمون شکست خوردند.

این یک ریسک امنیتی جدی است، نه فقط یک خطای فنی ساده. همان‌طور که در تحلیل‌های پیشین ما درباره‌ی امنیت مدل‌های بازمتن اشاره کردیم، شبکه‌های روسیه مانند «پراودا» فعالانه داده‌های آموزشی مدل‌ها را با میلیون‌ها مقاله جعلی مسموم می‌کنند. هدف آن‌ها تغییر افکار عمومی در سطح جهانی است. این موضوع با اقدام اخیر OpenAI برای متوقف کردن یک کمپین پروپاگاندا در انتخابات فدرال آلمان هم‌سو است.

طبق گزارش این پژوهش، ۶۰ مدل با ۷۵ پرسش در سه زبان مختلف ارزیابی شدند:

  • Claude Fable 5 با امتیاز ۹۵.۲ در صدر جدول قرار گرفت و پس از آن Claude Opus 4.7 ایستاد.
  • مدل‌های Nemotron 3 (محصول Nvidia) و Qwen 3.6 Plus (محصول Alibaba) نیز در رده‌های بالای جدول بودند.
  • مدل‌های Mistral، از جمله نسخه جدید Medium 3.5، در یک‌سوم پایین رده‌بندی قرار گرفتند.

فریب مدل‌های هوش مصنوعی با تبلیغات روسی؛ نتایج یک معیار جدید

این نتایج با بررسی‌های Newsguard هم‌خوانی دارد که نرخ اطلاعات نادرست در Mistral را ۳۶.۶۷٪ اعلام کرده است. باید توجه داشت که مدل‌ها در این تست به اینترنت دسترسی نداشتند؛ بنابراین نتایج مستقیماً توانایی ذاتی مدل در شناسایی سوگیری را اندازه می‌گیرد.

برای مدیرانی که به دنبال هوش مصنوعی حاکمیتی (Sovereign AI) — یعنی مدلی که تحت کنترل و استانداردهای ملی باشد — هستند، این نتایج یک زنگ خطر است. Mistral در حال مذاکره برای جذب سرمایه ۳ میلیارد یورویی با ارزش ۲۰ میلیارد یورو است. با این حال، این شرکت در ابتدایی‌ترین سطحِ حقیقت‌سنجی، از رقبای آمریکایی عقب است. این یعنی ادعای این شرکت برای تبدیل شدن به جایگزین امن اروپایی، پایه و اساس فنی ندارد.

گام بعدی شما

  • تابعی از مدل خود بسازید که روایت‌های متناقض در گزارش‌های مرزی شرق اروپا را شناسایی کند.
  • برای تایید اعتبار اخبار ژئوپلیتیک، خروجی مدل‌های مختلف را با داده‌های Newsguard تطبیق دهید.
  • در ارزیابی مدل‌های اروپایی، به جای ملیت شرکت، بر روی بنچمارک‌های مستقل تمرکز کنید.

اما داستان سخت‌افزاری پشت این دقت‌ها حتی شگفت‌انگیزتر است — به تحلیل ما درباره‌ی تراشه‌های Blackwell مراجعه کنید.

چرا این موضوع مهم است؟

این نتایج نشان می‌دهد که امنیت اطلاعاتی در عصر **هوش مصنوعی زاینده** به شدت به کیفیت داده‌های آموزشی وابسته است. تکیه بر مدل‌های ضعیف در شناسایی سوگیری‌ها، ریسک پذیرش روایت‌های جعلی در سطوح کلان مدیریتی را افزایش می‌دهد.

تأثیر برای ایران

برای توسعه‌دهندگان ایرانی که به دنبال مدل‌های مستقل یا متن‌باز هستند، این خبر هشدار می‌دهد که «منشأ» مدل تضمین‌کننده امنیت یا دقت آن در تحلیل محتوا نیست.

·نگاه ما
تحریریه دات‌هوش

تحلیل ما نشان می‌دهد که مفهوم **هوش مصنوعی حاکمیتی** (Sovereign AI) نباید با ملیت سازنده مدل اشتباه گرفته شود. اعتبار یک مدل را بنچمارک‌های مستقل تعیین می‌کنند، نه پاسپورت شرکت سازنده یا محل استقرار سرورهای آن.

منابع

این گزارش با خط‌لولهٔ خودکار دات‌هوش از منابع معتبر جهانی تدوین و زیر نظر تحریریه منتشر شده است. روش کار ما

گفتگو

پنج‌شنبه‌های هوش‌محور

بسته‌ی هفتگی دات‌هوش

۵ خبر، ۲ ابزار، ۱ پرامپت در هر شماره. به‌زودی راه‌اندازی می‌شود — هر پنج‌شنبه صبح.

خبر کلیدی
ابزار کاربردی
پرامپت حرفه‌ای
تحلیل پژوهش
به‌زودی
زاویه‌ی ایرانی
به‌زودی
تمرین این هفته
به‌زودی

راهنماهای دات‌هوش

راهنماهای کاربردیِ دات‌هوش برای کار با هوش مصنوعی — از همین‌جا شروع کنید:

دات‌هوش

راهنمای فارسی هوش مصنوعی — با نگاه به ایران

اخبار روزانه، معرفی ابزارها و مدل‌ها، و آموزشِ کار با هوش مصنوعی؛ همیشه با این پرسش که از ایران چه چیزی کار می‌کند و چه چیزی نه.