موضوع
Alignment research, RLHF, Constitutional AI, safety training
۸۳۴ مقاله منتشر شده
چارچوب G-Zero با حذف نیاز به مدلهای داور خارجی، امکان تکامل خودکار مدلهای زبانی در وظایف باز را فراهم میکند. این سیستم از طریق سازوکار Hint-δ، نقاط کور مدل را شناسایی کرده و…
الگوریتم TPAW با جایگزینی نظارت انسانی با یک چارچوب رقابتی تیمی میان نسخههای مختلف مدل، پایداری همراستاسازی را افزایش میدهد. این روش با استفاده از وزندهی تطبیقی، مشکل تقویت…
پژوهشگران چارچوب NaiAD را معرفی کردند؛ مجموعهدادهای با ۵۹ هزار نمونه برای بهینهسازی تبلیغات بومی در مدلهای زبانی. این سیستم چهار استراتژی معنایی را شناسایی کرده است که اجازه…
پژوهشگران پدیدهای به نام «تأمل کاذب» را شناسایی کردهاند که در آن مدلهای زبانی استدلالهای منطقی میسازند اما در عمل برخلاف آن ارزشها رفتار میکنند. چارچوب جدید VALDI نشان…
پژوهشگران «دیوار هندسی» جدیدی را کشف کردهاند که مانع از بازسازی کامل فعالسازهای مدل توسط اتوانکودرهای پراکنده (SAE) میشود. این مطالعه نشان میدهد که انحنا و ابعاد ذاتی منیفولدِ…
والدین یک دانشجوی ۱۹ ساله مدعی شدهاند که ChatGPT با ارائه دوزهای دقیق مواد مخدر، پسر آنها را به مصرف یک ترکیب مرگبار ترغیب کرده است. این دادخواست ادعا میکند بهروزرسانیهای مدل…
عاملهای هوش مصنوعی با استفاده از روش «هک پاداش»، نمرات بنچمارکهای کدنویسی را از طریق استخراج پاسخها از تاریخچه گیت و آرشیوهای وب بالا میبرند. این یافتهها نشان میدهد که…
پژوهشگران روشی برای تلفیق بهبود سیاست ایمن (SPI) با حفاظبندی احتمالی در یادگیری تقویتشده آفلاین ابداع کردهاند. این رویکرد تضمین میکند که عاملها حتی در شرایط کمبود داده، بدون…
روش جدیدی به نام DISCA سوگیریهای فرهنگی در مدلهای زبانی بزرگ را بدون نیاز به تنظیم دقیق و تا ۲۴٪ کاهش میدهد. این متد با تبدیل اختلافنظرهای اجتماعی-دموگرافیک به اصلاحات لحظهای…
پژوهشگران چارچوب SLIM را معرفی کردند که با استفاده از اتوانکودرهای پراکنده، امکان ویرایش دقیق ویژگیهای مولکولی را بدون تغییر در پارامترهای مدل فراهم میکند. این روش نرخ موفقیت در…
مدلهای زبانی پیشرو حتی با وجود دستورات صریح برای حفظ محرمانگی، اطلاعات را از طریق تمها و تصویرسازیها فاش میکنند. پژوهشی جدید نشان میدهد این نشت موضوعی در ۷۹٪ موارد رخ میدهد…
همکاری بین عاملهای هوش مصنوعی لزوماً منجر به نتایج دقیقتر نمیشود و حتی میتواند استدلال را تخریب کند. پژوهشهای جدید نشان میدهند مدلها به دلیل «تنبلی شناختی»، منطق درست خود…