موضوع
Alignment research, RLHF, Constitutional AI, safety training
۴۶۶ مقاله منتشر شده
پژوهشگران با معرفی بنچمارک **AgentFairBench** نشان دادند که روشهای رایج، سوگیریهای دموگرافیک در عاملهای AI را تا ۲.۴ برابر بیشتر از واقعیت تخمین میزنند. این مطالعه تأیید…
یک چارچوب معماری جدید پیشنهاد میدهد که «خرد» را از «هوش» جدا کند تا از بهینهسازی کورکورانه اهداف مضر جلوگیری شود. این سیستم از طریق یک لایه حاکمیتی و یک توپل ششمؤلفهای، پیش از…
یک تحلیل تشخیصی جدید نشان میدهد توانایی یک مدل زبانی در حل مسائل پیچیده، تضمینکننده اثرگذاری آن در تدریس نیست. محققان با استفاده از MathTutorBench دریافتند که معیارهای «حل…
تلاشهای فعلی برای ایجاد هوش مصنوعی کثرتگرا اغلب تنوع را به جایگزینهای آماری تقلیل میدهند و ساختارهای معنایی بنیادین را نادیده میگیرند. چهارچوب جدید PLG تلاش میکند با حسابرسی…
پروژه llcore نشان میدهد تکیه بر مشاهده رفتار مدل برای تضمین پایداری، یک توهم است و ۸۴ درصد شکستهای خطرناک را نادیده میگیرد. تنها گواهینامههای ریاضی میتوانند پایداری را تضمین…
مدلهای زبانی بزرگ در بنچمارکهای حقوقی نمرات بالایی کسب میکنند، اما در واقعیت منطق را اجرا نمیکنند. پژوهشی جدید نشان میدهد این مدلها با تقلید از نتایج حلکنندههای رسمی،…
چارچوب RecourseBench با معرفی یک خط لولهی پنجلایه، امکان ارزیابی سیستماتیک و تکرارپذیر روشهای بازگشت الگوریتمی را فراهم کرده است. این ابزار با اعتبارسنجی ۲۸ متد پیشرو، شکاف…
مهاجمان با بهرهبرداری از آسیبپذیری «نایب سرگردان» در ربات پشتیبانی متا، ۲۰ هزار حساب اینستاگرام را بدون نیاز به رمز عبور تصاحب کردند. این اتفاق شکاف امنیتی بحرانی در عاملهای…
یک بنچمارک جدید از ۶۰ مدل نشان میدهد که سری Claude در رد پروپاگاندای روسیه پیشتاز است. در مقابل، عملکرد ضعیف Mistral ادعای این شرکت فرانسوی بهعنوان جایگزین اروپایی و قابلاعتماد…
گردشکار جدیدی به نام ICALens با بهرهگیری از تحلیل مؤلفههای مستقل (ICA)، مسیرهای تفسیری در بازنماییهای مدلهای زبانی را بدون نیاز به آموزش متمرکز و هزینهبر دیکشنریها بازیابی…
پژوهشی جدید نشان میدهد شخصیسازی مدلهای زبانی یک قابلیت واحد نیست، بلکه شکافی میان «سبک رفتاری» و «دقت واقعگرایانه» است. در حالی که LoRA در تقلید از لحن کاربر موفق است، RAG در…
مدل Autopilot با بهکارگیری ماشین حالت متناهی (FSM)، ادعاهای نادرست عاملها درباره اتمام موفقیتآمیز کار را حذف کرد. این معماری در بنچمارک SWE-bench Lite توانست نرخ توهم را از…