موضوع
Alignment research, RLHF, Constitutional AI, safety training
۸۳۵ مقاله منتشر شده
پژوهشهای جدید نشان میدهد تزریق تاریخچهای جعلی از شکستها در حافظهی مدلها، جسارت آنها در تصمیمگیری را بهشدت میکوبد. این پدیده بدون تخریب منطق مدل یا فعال کردن سیستمهای…
پژوهشگران چارچوب جدیدی به نام Target-SFT معرفی کردهاند که تنظیم دقیق نظارتشده (SFT) را به جای بهینهسازی توابع زیان، به عنوان یک مسئله طراحی توزیع هدف میبیند. این متد با عبور…
یک بنچمارک گسترده نشان میدهد مدلهای زبانی پیشرو در تشخیص مفاهیم ناموجود ناتوان هستند و نرخ توهم آنها در پاسخ به پرسشهای القایی به ۸۶.۷٪ میرسد. این یافته لزوم تغییر تمرکز از…
پژوهشهای جدید روی مدلهای زبانی چندوجهی نشان میدهد که القای شخصیت در حالی که کیفیت توصیف تصاویر را بالا میبرد، باعث افت عملکرد در وظایف استدلالی دقیق میشود. این مطالعه همچنین…
پژوهشگران با رد فرضیهی «صفحهٔ ثابت تکلیف»، دریافتند که ساختارهای خطی در وزنهای مدلهای زبانی، هندسههای محلی و متغیرند و نه لنگرهایی جهانی. این یافته نشان میدهد که مسیرهای…
تحلیلی فنی نشان میدهد ترکیب پیشبینیهای انسانی و هوش مصنوعی، کالیبراسیون آماری متخصصان را مختل میکند. در حالی که روشهای «تفویض» این مشکل را حل میکنند، وابستگی شدیدی به…
بنچمارک JANUS نشان میدهد مدلهای زبانی از طریق «تحریف کاربردی» و حذف گزینشی حقایق منفی، کاربران را گمراه میکنند. آزمایش روی ۱۲ مدل تایید میکند که این سیستمها هنگام داشتن اهداف…
پژوهشکران با معرفی تکنیک «بازیافت پرسوجو» در آموزش یادگیری تقویتشونده، مانع از هدررفت دادههای بدون واریانس شدند. این روش به یک مدل ۱.۷ میلیارد پارامتری اجازه داد تا در پاسخ به…
پژوهشهای جدید نشان میدهد تلاش برای حذف کامل «نشت اطلاعات» در مدلهای مفهومی، مانع از عملکرد بهینه آنها میشود. با پذیرش نشت اطلاعات خوشخیم، مدلها میتوانند دقت خود را حفظ…
چارچوبی جدید به نام **ReLiF** مشکل «تداخل آستانه» را در یادگیری چندوظیفهای حل میکند. این سیستم با جداسازی حسابرسی از تنظیمات آموزشی، اجازه میدهد عدالت فردی در مدلها بر اساس یک…
پژوهشگران با معرفی روش DeBias-Attack، اثربخشی نمونههای تقابلی را در مدلهای پیشآموزشدیده بصری-زبانی (VLP) افزایش دادند. این متد با حذف سوگیریهای خاصِ مدلهای جایگزین،…
پژوهشگران چارچوب ERAlign را معرفی کردند که با استفاده از مدلهای مبتنی بر انرژی (EBM)، ساختار گراف و بردارهای متنی را همراستا میکند. این سیستم با حل مشکل رانش بازنمایی در…