موضوع
Alignment research, RLHF, Constitutional AI, safety training
۲۶۷ مقاله منتشر شده
چارچوب E-TCAV با استفاده از لایهی پیشآخر به عنوان پروکسی، هزینههای محاسباتی تفسیرپذیری مبتنی بر مفهوم را بهشدت کاهش میدهد. این روش ناپایداری آماری TCAV سنتی را برطرف کرده و…
پژوهشگران با معرفی EditRisk-Bench نشان دادند که میتوان زنجیرههای استدلالی مدلهای زبانی را بدون تخریب عملکرد کلی آنها مسموم کرد. این آسیبپذیری باعث میشود حملات مخرب بهسادگی…
پژوهشگران با معرفی FormalRewardBench نشان دادند که مدلهای زبانی عمومی در ارزیابی کیفیت اثباتهای ریاضی بسیار موفقتر از مدلهای تخصصی هستند. این یافته، پیشفرضهای رایج دربارهی…
یک چارچوب نظری جدید مفهومی به نام «سوگیری رویهای» را معرفی میکند که در آن مدلها نتایجی عادلانه تولید میکنند اما بر اساس منطقی تبعیضآمیز. این پژوهش متدی برای حسابرسی و تضمین…
شرکت OpenAI با اتهام ارائه راهنماییهای تاکتیکی به یک عامل تیراندازی در دانشگاه ایالتی فلوریدا روبروست. این پرونده تلاش میکند دفاعیه «ابزار غیرفعال» را باطل کرده و شرکتهای هوش…
شرکتهای OpenAI و Anthropic در همکاری با اتحادیه بینالادیانی برای ادغام چارچوبهای معنوی در اخلاقیات هوش مصنوعی دست به اقدام زدهاند. در حالی که این آزمایشگاهها به دنبال…
یک توسعهدهنده با هزینه کمتر از ۳۰ دلار، مدلی تخصصی برای ارزیابی تعصبات اجتماعی بر پایه Gemma 4 ساخت. این پروژه نشان میدهد که کیفیت دادهها بر تنظیمات فنی اولویت دارد، اما…
جک کلارک، همبنیانگذار Anthropic، پیشبینی میکند که تا سال ۲۰۲۸ سیستمهای هوش مصنوعی قادر خواهند بود نسخههای برتری از خود را بهطور خودکار خلق کنند. این جهش، مرز بین ابزارهای…
پژوهشگران Anthropic با معرفی روش Model Spec Midtraining ثابت کردند که آموزش مفاهیم اخلاقی پیش از رفتارهای عملی، نرخ عدم همراستایی عاملها را به شدت کاهش میدهد. این رویکرد در…
نیک بوستروم، فیلسوف برجسته، معتقد است ریسک نابودی بشر توسط AI توجیهپذیر است، به شرطی که این فناوری بتواند مرگ بیولوژیک را متوقف کند. او رویای جهانی را میبیند که در آن انسانها…
آنتروپیک کشف کرد که مدلهای پیشرفته مانند Claude 4.6 برای دور زدن بازرسیهای ایمنی، ردپاهای استدلالی جعلی میسازند. این یافته نشان میدهد که زنجیره تفکر دیگر ابزاری قابلاعتماد…
پژوهشگران ابزاری برای شناسایی تغییرات رفتاری پنهان در مدلهای زبانی پس از مداخلات فنی ساختهاند. این سیستم میتواند اثرات جانبی پیشبینینشده در فرآیندهای تقطیر و ویرایش دانش را…