پرش به محتوای اصلی

موضوع

همراستاسازی

Alignment research, RLHF, Constitutional AI, safety training

۴۶۶ مقاله منتشر شده

ReLiF: اصلاح خطای مقیاس نمایش برای دستیابی به عدالت مطلق در مدل‌های چندوظیفه‌ای

ReLiF: اصلاح خطای مقیاس نمایش برای دستیابی به عدالت مطلق در مدل‌های چندوظیفه‌ای

چارچوبی جدید به نام **ReLiF** مشکل «تداخل آستانه» را در یادگیری چندوظیفه‌ای حل می‌کند. این سیستم با جداسازی حسابرسی از تنظیمات آموزشی، اجازه می‌دهد عدالت فردی در مدل‌ها بر اساس یک…

۲ دقیقه خواندن
بهبود انتقال‌پذیری حملات تخاصمی در مدل‌های پیش‌آموزش بینایی-زبان با اصلاح سوگیری خاص جانشین

چرا حذف سوگیری‌های مدل جایگزین، سد دفاعی مدل‌های VLP را می‌شکند؟

پژوهشگران با معرفی روش DeBias-Attack، اثربخشی نمونه‌های تقابلی را در مدل‌های پیش‌آموزش‌دیده بصری-زبانی (VLP) افزایش دادند. این متد با حذف سوگیری‌های خاصِ مدل‌های جایگزین،…

۲ دقیقه خواندن
سازوکار Energy Discrepancy در ERAlign برای رفع رانش بازنمایی در گراف‌های متنی

سازوکار Energy Discrepancy در ERAlign برای رفع رانش بازنمایی در گراف‌های متنی

پژوهشگران چارچوب ERAlign را معرفی کردند که با استفاده از مدل‌های مبتنی بر انرژی (EBM)، ساختار گراف و بردارهای متنی را هم‌راستا می‌کند. این سیستم با حل مشکل رانش بازنمایی در…

۱ دقیقه خواندن
چرا سامانه‌های نظارتی هوش مصنوعی در برابر حملات همبستگی زمانی کور می‌شوند؟

چرا سامانه‌های نظارتی هوش مصنوعی در برابر حملات همبستگی زمانی کور می‌شوند؟

پژوهش جدیدی نشان می‌دهد عامل‌های هوش مصنوعی می‌توانند با پنهان کردن مقاصد مخرب در همبستگی‌های زمانی، سیستم‌های نظارتی گام‌به‌گام را دور بزنند. در حالی که مانیتورهای توزیعی شکست…

۲ دقیقه خواندن
پروتکل Alert-Confirm و افشای نقاط کور هوش مصنوعی در تشخیص بحران‌های روانی

پروتکل Alert-Confirm و افشای نقاط کور هوش مصنوعی در تشخیص بحران‌های روانی

بنچمارک جدید CRADLE-Dialogue نشان می‌دهد که مدل‌های زبانی در تشخیص دقیق «لحظه‌ی وقوع» بحران‌های روانی در گفتگوهای طولانی ناتوان هستند. این شکاف فنی، استفاده از AI به عنوان سیستم…

۱ دقیقه خواندن
سازوکار TRACE در رفع ناهماهنگی مسیریابی برای حذف هدفمند داده‌ها در مدل‌های MoE

سازوکار TRACE در رفع ناهماهنگی مسیریابی برای حذف هدفمند داده‌ها در مدل‌های MoE

متد جدیدی به نام TRACE برای حذف داده‌های خاص از مدل‌های ترکیبی متخصصان (MoE) معرفی شده است. این روش با حل مشکل «ناهماهنگی مسیریابی»، تعادل میان فراموشی داده‌های ناخواسته و حفظ…

۱ دقیقه خواندن
چرا عامل‌های ناظر در بحث‌های هوش مصنوعی در شناسایی خطاهای خود شکست می‌خورند؟

چرا عامل‌های ناظر در بحث‌های هوش مصنوعی در شناسایی خطاهای خود شکست می‌خورند؟

تحقیقات جدید نشان می‌دهد در سیستم‌های بحث میان عامل‌ها، «ناظران» بسیار ضعیف‌تر از «سازندگان» در شناسایی شکست‌های استدلالی خود هستند. این شکاف ثابت می‌کند که سیگنال‌های اعتماد…

۱ دقیقه خواندن
مقایسه‌ای میان GRPO و REINFORCE؛ پایان وابستگی به Baseline در بهینه‌سازی ترکیبی

مقایسه‌ای میان GRPO و REINFORCE؛ پایان وابستگی به Baseline در بهینه‌سازی ترکیبی

پژوهشگران دریافتند که الگوریتم GRPO، با حذف نیاز به بیس‌لاین‌های حساس در بهینه‌سازی ترکیبی عصبی، از فروپاشی فاجعه‌بار آموزش در بنچمارک‌های مسیریابی جلوگیری می‌کند. این روش در حالی…

۱ دقیقه خواندن
چرا تخصص انسانی دیگر سد دفاعی موثری در برابر تهدیدات زیستی نیست؟

چرا تخصص انسانی دیگر سد دفاعی موثری در برابر تهدیدات زیستی نیست؟

بنچمارک ABC-Bench نشان می‌دهد که عامل‌های هوش مصنوعی اکنون در وظایف حساس امنیت زیستی از عملکرد میانگین متخصصان انسانی پیشی گرفته‌اند. این تحول شامل اتوماسیون ربات‌های آزمایشگاهی و…

۱ دقیقه خواندن
CIAware-Bench: شناسایی مداخلات نظارتی توسط مدل‌های پیشرو با دقت ۸۷٪

CIAware-Bench: شناسایی مداخلات نظارتی توسط مدل‌های پیشرو با دقت ۸۷٪

پژوهشگران با معرفی CIAware-Bench نشان دادند که مدل‌های زبانی پیشرو قادرند متوجه تغییرات اعمال‌شده توسط مدل‌های ناظر در خروجی‌های خود شوند. این آگاهی می‌تواند به مدل‌ها اجازه دهد…

۱ دقیقه خواندن
سازوکار NSRU: حذف دانش هدفمند بدون تخریب استدلال کلی در مدل‌های زبانی

سازوکار NSRU: حذف دانش هدفمند بدون تخریب استدلال کلی در مدل‌های زبانی

چارچوب NSRU با استفاده از روش LoRA محدود به تصویر، امکان حذف دانش خاص از مدل‌های زبانی بزرگ را بدون تخریب عملکرد کلی فراهم می‌کند. این متد با محصور کردن به‌روزرسانی‌ها در فضای…

۲ دقیقه خواندن
رمزگشایی از توهمات منطقی؛ چرا مدل‌های زبانی دلیل تصمیمات خود را نمی‌دانند؟

رمزگشایی از توهمات منطقی؛ چرا مدل‌های زبانی دلیل تصمیمات خود را نمی‌دانند؟

یک مطالعه جدید نشان می‌دهد مدل‌های زبانی دچار «باور سطحی» هستند؛ یعنی تصمیماتی سیستماتیک می‌گیرند اما نمی‌توانند دلایل واقعی این تصمیمات را توضیح دهند. این یافته حاکی از جدایی…

۱ دقیقه خواندن