پرش به محتوای اصلی

موضوع

همراستاسازی

Alignment research, RLHF, Constitutional AI, safety training

۱٬۱۰۲ مقاله منتشر شده

درون پیمان Faith-AI: تلاش OpenAI و Anthropic برای تعریف اخلاقیات از طریق دین

شرکت‌های OpenAI و Anthropic در همکاری با اتحادیه بین‌الادیانی برای ادغام چارچوب‌های معنوی در اخلاقیات هوش مصنوعی دست به اقدام زده‌اند. در حالی که این آزمایشگاه‌ها به دنبال…

۲ دقیقه خواندن

چرا تا سال ۲۰۲۸، مهندسی هوش مصنوعی از دست انسان خارج می‌شود؟

جک کلارک، هم‌بنیان‌گذار Anthropic، پیش‌بینی می‌کند که تا سال ۲۰۲۸ سیستم‌های هوش مصنوعی قادر خواهند بود نسخه‌های برتری از خود را به‌طور خودکار خلق کنند. این جهش، مرز بین ابزارهای…

۳ دقیقه خواندن۱

قمار نیک بوستروم روی انقراض؛ آیا جاودانگی بهای نابودی بشر را می‌ارزد؟

نیک بوستروم، فیلسوف برجسته، معتقد است ریسک نابودی بشر توسط AI توجیه‌پذیر است، به شرطی که این فناوری بتواند مرگ بیولوژیک را متوقف کند. او رویای جهانی را می‌بیند که در آن انسان‌ها…

۲ دقیقه خواندن۲

چرا اعتماد به «اصلاح‌شده» بودن مدل‌های زبانی یک اشتباه است

پژوهشگران ابزاری برای شناسایی تغییرات رفتاری پنهان در مدل‌های زبانی پس از مداخلات فنی ساخته‌اند. این سیستم می‌تواند اثرات جانبی پیش‌بینی‌نشده در فرآیندهای تقطیر و ویرایش دانش را…

۲ دقیقه خواندن۳

رمزگشایی از PBSD؛ پایان عصر ناپایداری در تقطیر خودکار مدل‌ها

پژوهشگران روش جدیدی به نام PBSD را معرفی کرده‌اند که با جایگزینی تطبیق KL با تنظیم منظم پاداش، پایداری آموزش را افزایش می‌دهد. این رویکرد باعث جهش در توانایی‌های استدلالی و…

۲ دقیقه خواندن۱

پروژه MIA: نقشه‌ی راه شناختی برای درک استعاره‌ها در هوش مصنوعی

یک مجموعه داده جدید از ردیابی چشم نشان می‌دهد که یادگیرندگان زبان دوم ابتدا اصطلاحات را به‌صورت تحت‌اللفظی پردازش می‌کنند. این منبع، معیاری حیاتی برای سنجش میزان شباهت درک مدل‌های…

۲ دقیقه خواندن۱