پرش به محتوای اصلی

موضوع

همراستاسازی

Alignment research, RLHF, Constitutional AI, safety training

۸۳۴ مقاله منتشر شده

سازوکار SVV: کاهش نرخ عدم همراستاسازی مدل‌های زبانی به زیر ۳٪

سازوکار SVV: کاهش نرخ عدم همراستاسازی مدل‌های زبانی به زیر ۳٪

پژوهشگران کشف کردند که مدل‌های زبانی حتی پس از تنظیمات مخرب، یک «فضای شخصیتی» پایدار دارند. با تقویت بردارهای معنایی خاص، می‌توان نرخ عدم همراستاسازی را از ۴۰٪ به کمتر از ۳٪ کاهش…

۲ دقیقه خواندن
سازوکار Metis: چگونه یک حلقه فراشناختی سدهای امنیتی GPT-5 و O1 را می‌شکند؟

سازوکار Metis: چگونه یک حلقه فراشناختی سدهای امنیتی GPT-5 و O1 را می‌شکند؟

چارچوب جدیدی به نام Metis با استفاده از یک حلقه فراشناختی تکاملی، توانسته است با نرخ موفقیت ۸۹.۲ درصد از سدهای امنیتی مدل‌های پیشرو عبور کند. این سیستم به‌طور ویژه مدل‌های GPT-5 و…

۲ دقیقه خواندن
ThreatCore: چرا تشخیص «قصد آسیب» دشوارتر از شناسایی کلمات رکیک است؟

ThreatCore: چرا تشخیص «قصد آسیب» دشوارتر از شناسایی کلمات رکیک است؟

پژوهشگران با معرفی بنچمارک ThreatCore نشان دادند که مدل‌های زبانی بزرگ در شناسایی تهدیدات غیرمستقیم ضعف شدیدی دارند. این مطالعه پیشنهاد می‌کند که استفاده از برچسب‌گذاری نقش معنایی…

۲ دقیقه خواندن
چرا قوانین مقیاس‌پذیری در حذف کلیشه‌های اجتماعی مدل‌های زبانی شکست می‌خورند؟

چرا قوانین مقیاس‌پذیری در حذف کلیشه‌های اجتماعی مدل‌های زبانی شکست می‌خورند؟

پژوهش جدید StereoTales نشان می‌دهد تمام مدل‌های زبانی بزرگ، بدون توجه به اندازه یا سازنده، در تولید داستان‌های باز، کلیشه‌های مضر اجتماعی را بازتولید می‌کنند. این سوگیری‌ها ایستا…

۲ دقیقه خواندن
گزارش arXiv: چارچوب SFFL نرخ توهمات در مدل‌های صوتی-تصویری را ۱۱.۱۷٪ کاهش داد

گزارش arXiv: چارچوب SFFL نرخ توهمات در مدل‌های صوتی-تصویری را ۱۱.۱۷٪ کاهش داد

چارچوب استدلالی جدیدی به نام SFFL با تفکیک مسیرهای استدلال برای هر مودالیته، توهمات در مدل‌های زبانی چندوجهی را به‌طور چشم‌گیری کاهش داده است. این متد دقت کلی را ۵.۱۶٪ و نرخ کاهش…

۲ دقیقه خواندن
گزارش arXiv: متد TRACE دقت استدلال ریاضی را ۲.۷۶ درصد فراتر از GRPO برد

گزارش arXiv: متد TRACE دقت استدلال ریاضی را ۲.۷۶ درصد فراتر از GRPO برد

متد جدیدی به نام TRACE با هدف‌گیری توکن‌های حیاتی در فرآیند تقطیر، نرخ خطای مدل‌های استدلالی را کاهش داد. این رویکرد برخلاف روش‌های متراکم، از نشت اطلاعات ممتاز جلوگیری کرده و…

۲ دقیقه خواندن۲
توهم ایمنی؛ بنچمارک‌های سمیت LLM چگونه سیگنال‌های کاذب تولید می‌کنند

توهم ایمنی؛ بنچمارک‌های سمیت LLM چگونه سیگنال‌های کاذب تولید می‌کنند

بنچمارک‌های سنجش سمیت در مدل‌های زبانی بزرگ به دلیل سوگیری‌های ساختاری، نتایج غیرقابل‌اعتمادی ارائه می‌دهند. پژوهشی جدید نشان می‌دهد تغییرات ساده در نوع تکلیف یا دامنه داده‌ها…

۲ دقیقه خواندن
گزارش arXiv: سیستم PRISM نرخ نشت اسرار در خط‌لوله‌های چند-عاملی را به ۰٪ رساند

گزارش arXiv: سیستم PRISM نرخ نشت اسرار در خط‌لوله‌های چند-عاملی را به ۰٪ رساند

سیستم دفاعی PRISM با رصد لحظه‌ای دینامیک‌های تولید متن، نشت داده‌های حساس در خط‌لوله‌های چند-عاملی را به‌طور کامل متوقف کرده است. این ابزار بدون کاهش کیفیت خروجی، نرخ نشت در سطح…

۲ دقیقه خواندن۱