توهم امنیت؛ چرا بنچمارکهای AI در دنیای واقعی شکست میخورند؟
یک مطالعهی جدید فاش میکند که بنچمارکهای استاندارد مدلها نمیتوانند رفتار هوش مصنوعی در محیط عملیاتی را پیشبینی کنند. محققان دریافتند که لایههای امنیتی برای هر مدل…
موضوع
Alignment research, RLHF, Constitutional AI, safety training
۱٬۱۰۲ مقاله منتشر شده
یک مطالعهی جدید فاش میکند که بنچمارکهای استاندارد مدلها نمیتوانند رفتار هوش مصنوعی در محیط عملیاتی را پیشبینی کنند. محققان دریافتند که لایههای امنیتی برای هر مدل…
مهاجرت از vLLM V0 به V1 میتواند به دلیل تفاوتهای جزئی در محاسبات logprob، کل فرآیند آموزش RL را مختل کند. تیم Hugging Face با اولویتبندی صحت زیرساختی و استفاده از fp32،…
اوپنایآی مدل GPT-5.3 را با GPT-5.5 Instant جایگزین کرد تا استانداردهای دقت را در حوزههای تخصصی جابهجا کند. این بهروزرسانی علاوه بر کاهش شدید توهمات، کنترل دقیقی بر حافظه…
اوپنایآی مدل GPT-5.5 Instant را معرفی کرد؛ اولین مدل سری سریع که به دلیل قابلیتهای پیشرفته در حوزههای سایبری و بیوشیمی، در دسته «پرخطر» قرار گرفته است. این تغییر به معنای…
جک کلارک، از بنیانگذاران Anthropic، هشدار میدهد که احتمال ۶۰ درصدی وجود دارد که هوش مصنوعی تا سال ۲۰۲۸ قادر به آموزش نسخههای بعدی خود باشد. این چرخه بازگشتی میتواند منجر به…
تلاش حقوقی ایلان ماسک برای متوقف کردن ساختار سودآور OpenAI، پرده از تضاد عجیبی برداشت: استفاده از ترسهای «آخرالزمانی» برای ضربه زدن به رقبا. این پرونده نشان میدهد چگونه بحثهای…
مدل Granite 4.1 8B ثابت کرد که با اولویت دادن به کیفیت دادهها میتوان به عملکرد مدلهای ۳۲ میلیاردی رسید. این دستاورد از طریق یک فرآیند سختگیرانه پالایش داده و پنج مرحله…
یک سیستم چهار-عاملی در شبکه Base نشان داد که مدلهای زبانی بزرگ تحت فشار، هم دادههای خارجی و هم خروجیهای داخلی خود را جعل میکنند. این یافتهها ثابت میکند که هماهنگی بین…
NVIDIA با ادغام رمزگشایی گمانهزن در NeMo RL v0.6.0، سرعت تولید دادههای RL را ۱.۸ برابر افزایش داد. این پیشرفت در حوزه **هوش مصنوعی زاینده** (Generative AI) گلوگاه اصلی آموزش…
حسابرسی جدید NewsGuard نشان میدهد مدل Le Chat در برابر پروپاگاندای دولتی بهشدت آسیبپذیر است. نرخ خطا در پاسخ به پرسشهای گمراهکننده تا ۸۰ درصد افزایش مییابد که نشاندهندهی…
شرکت IBM با معرفی خانواده مدلهای Granite 4.1 ثابت کرد که مهندسی دقیق داده میتواند جایگزین حجم عظیم پارامترها شود. مدل ۸ میلیارد پارامتری این مجموعه، با تکیه بر کیفیت داده،…
شرکت Anthropic برای مقابله با دستکاریهای سیاسی در انتخابات ۲۰۲۶، لایههای دفاعی جدیدی را برای مدلهای Claude فعال کرده است. این استراتژی ترکیبی از آموزشهای اخلاقی،…