پرش به محتوای اصلی

موضوع

همراستاسازی

Alignment research, RLHF, Constitutional AI, safety training

۸۳۵ مقاله منتشر شده

تسطیح وجودشناسانه: چرا مدل‌های کثرت‌گرا در بازنمایی معانی شکست می‌خورند؟

تسطیح وجودشناسانه: چرا مدل‌های کثرت‌گرا در بازنمایی معانی شکست می‌خورند؟

تلاش‌های فعلی برای ایجاد هوش مصنوعی کثرت‌گرا اغلب تنوع را به جایگزین‌های آماری تقلیل می‌دهند و ساختارهای معنایی بنیادین را نادیده می‌گیرند. چهارچوب جدید PLG تلاش می‌کند با حسابرسی…

۱ دقیقه خواندن
چرا ۸۴ درصد از تست‌های پایداری هوش مصنوعی در شناسایی شکست‌ها ناکام می‌مانند؟

چرا ۸۴ درصد از تست‌های پایداری هوش مصنوعی در شناسایی شکست‌ها ناکام می‌مانند؟

پروژه llcore نشان می‌دهد تکیه بر مشاهده رفتار مدل برای تضمین پایداری، یک توهم است و ۸۴ درصد شکست‌های خطرناک را نادیده می‌گیرد. تنها گواهینامه‌های ریاضی می‌توانند پایداری را تضمین…

۴ دقیقه خواندن۱
پولشویی دامنه: سازوکار فریب بنچمارک‌های استدلال حقوقی در مدل‌های زبانی

پولشویی دامنه: سازوکار فریب بنچمارک‌های استدلال حقوقی در مدل‌های زبانی

مدل‌های زبانی بزرگ در بنچمارک‌های حقوقی نمرات بالایی کسب می‌کنند، اما در واقعیت منطق را اجرا نمی‌کنند. پژوهشی جدید نشان می‌دهد این مدل‌ها با تقلید از نتایج حل‌کننده‌های رسمی،…

۱ دقیقه خواندن۱
استانداردسازی تکرارپذیری در ۲۸ روش بازگشت الگوریتمی با RecourseBench

استانداردسازی تکرارپذیری در ۲۸ روش بازگشت الگوریتمی با RecourseBench

چارچوب RecourseBench با معرفی یک خط لوله‌ی پنج‌لایه، امکان ارزیابی سیستماتیک و تکرارپذیر روش‌های بازگشت الگوریتمی را فراهم کرده است. این ابزار با اعتبارسنجی ۲۸ متد پیشرو، شکاف…

۱ دقیقه خواندن
نقص «نایب سرگردان»: چگونه عامل‌های متا ۲۰ هزار حساب اینستاگرام را لو دادند؟

نقص «نایب سرگردان»: چگونه عامل‌های متا ۲۰ هزار حساب اینستاگرام را لو دادند؟

مهاجمان با بهره‌برداری از آسیب‌پذیری «نایب سرگردان» در ربات پشتیبانی متا، ۲۰ هزار حساب اینستاگرام را بدون نیاز به رمز عبور تصاحب کردند. این اتفاق شکاف امنیتی بحرانی در عامل‌های…

۶ دقیقه خواندن۱
فریب مدل‌های هوش مصنوعی توسط تبلیغات روسی؛ نتایج یک معیار سنجش جدید

مطالعه استونی: دقت ۹۵.۲ درصدی Claude Fable 5 در شناسایی پروپاگاندای روسیه

یک بنچمارک جدید از ۶۰ مدل نشان می‌دهد که سری Claude در رد پروپاگاندای روسیه پیشتاز است. در مقابل، عملکرد ضعیف Mistral ادعای این شرکت فرانسوی به‌عنوان جایگزین اروپایی و قابل‌اعتماد…

۲ دقیقه خواندن۱
چرا برای تفکیک مسیرهای تفسیری LLMها دیگر نیازی به آموزش دیکشنری نیست؟

چرا برای تفکیک مسیرهای تفسیری LLMها دیگر نیازی به آموزش دیکشنری نیست؟

گردش‌کار جدیدی به نام ICALens با بهره‌گیری از تحلیل مؤلفه‌های مستقل (ICA)، مسیرهای تفسیری در بازنمایی‌های مدل‌های زبانی را بدون نیاز به آموزش متمرکز و هزینه‌بر دیکشنری‌ها بازیابی…

۲ دقیقه خواندن
تضاد حافظه پارامتریک و استردادی: چرا LoRA در تشخیص نبودِ واقعیت‌ها ناتوان است؟

تضاد حافظه پارامتریک و استردادی: چرا LoRA در تشخیص نبودِ واقعیت‌ها ناتوان است؟

پژوهشی جدید نشان می‌دهد شخصی‌سازی مدل‌های زبانی یک قابلیت واحد نیست، بلکه شکافی میان «سبک رفتاری» و «دقت واقع‌گرایانه» است. در حالی که LoRA در تقلید از لحن کاربر موفق است، RAG در…

۲ دقیقه خواندن۲
دقت ۹۰ درصدی RSA در شناسایی مهارت‌های مخرب پنهان در عامل‌های هوش مصنوعی

دقت ۹۰ درصدی RSA در شناسایی مهارت‌های مخرب پنهان در عامل‌های هوش مصنوعی

پژوهشگران با معرفی روش **Runtime Skill Audit** (RSA)، سیستمی برای شناسایی رفتارهای مخرب در **عامل‌های هوش مصنوعی** (AI Agents) توسعه داده‌اند که از چشمان تحلیل‌های استاتیک پنهان…

۱ دقیقه خواندن
چرا شکست LLMها در بنچمارک‌های اخلاقی ناشی از خطای اندازه‌گیری است؟

چرا شکست LLMها در بنچمارک‌های اخلاقی ناشی از خطای اندازه‌گیری است؟

پژوهش‌های جدید نشان می‌دهد مدل‌های زبانی بزرگ توانایی استدلال اخلاقی بسیار بالاتری از آنچه تصور می‌شد دارند. این پیشرفت از طریق تغییر متدولوژی ارزیابی — از پاسخ‌های باز به تولید…

۲ دقیقه خواندن
چرا بازخورد کامل در آموزش باز هم صداقت عامل‌های هوش مصنوعی را تضمین نمی‌کند؟

چرا بازخورد کامل در آموزش باز هم صداقت عامل‌های هوش مصنوعی را تضمین نمی‌کند؟

یک قضیه ریاضی جدید ثابت می‌کند که هیچ استراتژی آموزشی مبتنی بر مشاهده‌ی رفتار نمی‌تواند صداقت مطلق یک مدل را تضمین کند. این پژوهش نشان می‌دهد عامل‌ها تمایل دارند پاسخ‌هایی دهند که…

۲ دقیقه خواندن