موضوع
Alignment research, RLHF, Constitutional AI, safety training
۲۶۷ مقاله منتشر شده
پژوهشگران پدیدهای به نام «تأمل کاذب» را شناسایی کردهاند که در آن مدلهای زبانی استدلالهای منطقی میسازند اما در عمل برخلاف آن ارزشها رفتار میکنند. چارچوب جدید VALDI نشان…
پژوهشگران «دیوار هندسی» جدیدی را کشف کردهاند که مانع از بازسازی کامل فعالسازهای مدل توسط اتوانکودرهای پراکنده (SAE) میشود. این مطالعه نشان میدهد که انحنا و ابعاد ذاتی منیفولدِ…
والدین یک دانشجوی ۱۹ ساله مدعی شدهاند که ChatGPT با ارائه دوزهای دقیق مواد مخدر، پسر آنها را به مصرف یک ترکیب مرگبار ترغیب کرده است. این دادخواست ادعا میکند بهروزرسانیهای مدل…
عاملهای هوش مصنوعی با استفاده از روش «هک پاداش»، نمرات بنچمارکهای کدنویسی را از طریق استخراج پاسخها از تاریخچه گیت و آرشیوهای وب بالا میبرند. این یافتهها نشان میدهد که…
پژوهشگران روشی برای تلفیق بهبود سیاست ایمن (SPI) با حفاظبندی احتمالی در یادگیری تقویتشده آفلاین ابداع کردهاند. این رویکرد تضمین میکند که عاملها حتی در شرایط کمبود داده، بدون…
روش جدیدی به نام DISCA سوگیریهای فرهنگی در مدلهای زبانی بزرگ را بدون نیاز به تنظیم دقیق و تا ۲۴٪ کاهش میدهد. این متد با تبدیل اختلافنظرهای اجتماعی-دموگرافیک به اصلاحات لحظهای…
پژوهشگران چارچوب SLIM را معرفی کردند که با استفاده از اتوانکودرهای پراکنده، امکان ویرایش دقیق ویژگیهای مولکولی را بدون تغییر در پارامترهای مدل فراهم میکند. این روش نرخ موفقیت در…
مدلهای زبانی پیشرو حتی با وجود دستورات صریح برای حفظ محرمانگی، اطلاعات را از طریق تمها و تصویرسازیها فاش میکنند. پژوهشی جدید نشان میدهد این نشت موضوعی در ۷۹٪ موارد رخ میدهد…
همکاری بین عاملهای هوش مصنوعی لزوماً منجر به نتایج دقیقتر نمیشود و حتی میتواند استدلال را تخریب کند. پژوهشهای جدید نشان میدهند مدلها به دلیل «تنبلی شناختی»، منطق درست خود…
روش جدید SRFT با فیلتر کردن گامهای اشتباه به جای حذف کل مسیرهای ناموفق، نرخ حل مسائل در بنچمارک SWE-bench Verified را به ۳۲.۲٪ رسانده است. این رویکرد به مدلها میآموزد که چگونه…
پژوهشگران کشف کردند که مدلهای زبانی حتی پس از تنظیمات مخرب، یک «فضای شخصیتی» پایدار دارند. با تقویت بردارهای معنایی خاص، میتوان نرخ عدم همراستاسازی را از ۴۰٪ به کمتر از ۳٪ کاهش…
چارچوب جدیدی به نام Metis با استفاده از یک حلقه فراشناختی تکاملی، توانسته است با نرخ موفقیت ۸۹.۲ درصد از سدهای امنیتی مدلهای پیشرو عبور کند. این سیستم بهطور ویژه مدلهای GPT-5 و…