پرش به محتوای اصلی

موضوع

همراستاسازی

Alignment research, RLHF, Constitutional AI, safety training

۱٬۱۰۲ مقاله منتشر شده

چرا آلمان برای مهار خطرات هوش مصنوعی، مدل امنیتی بریتانیا را کپی می‌کند؟

آلمان با تأسیس مؤسسه امنیت هوش مصنوعی (DE-AISI)، مدل بریتانیا را برای تحلیل ریسک مدل‌های پیشرو کپی می‌کند. هدف این اقدام، کاهش وابستگی استراتژیک اروپا به فناوری‌های آمریکایی و…

۲ دقیقه خواندن۱
آموزش کاربردی

چرا پاسخ درست در هوش مصنوعی حقوقی می‌تواند خطرناک‌ترین معیار باشد؟

مدل‌های زبانی اغلب با منطقی غلط به پاسخی درست می‌رسند. روش جدید LegalBench با استفاده از «سیگنال‌های اتمیک» و چارچوب IRAC، خطاهای استدلالی را از نتایج تصادفی جدا می‌کند تا توهمات…

۶ دقیقه خواندن۲
آموزش کاربردی

چگونه تزریق خاطرات جعلی از شکست، ریسک‌پذیری عامل‌های هوش مصنوعی را کاهش می‌دهد؟

پژوهش‌های جدید نشان می‌دهد تزریق تاریخچه‌ای جعلی از شکست‌ها در حافظه‌ی مدل‌ها، جسارت آن‌ها در تصمیم‌گیری را به‌شدت می‌کوبد. این پدیده بدون تخریب منطق مدل یا فعال کردن سیستم‌های…

۱۰ دقیقه خواندن۲

بازتعریف SFT به عنوان مسئله طراحی توزیع هدف برای بهبود استدلال مدل‌ها

پژوهشگران چارچوب جدیدی به نام Target-SFT معرفی کرده‌اند که تنظیم دقیق نظارت‌شده (SFT) را به جای بهینه‌سازی توابع زیان، به عنوان یک مسئله طراحی توزیع هدف می‌بیند. این متد با عبور…

۱ دقیقه خواندن

PhantomBench: نرخ توهم ۸۶.۷ درصدی مدل‌های زبانی در مواجهه با مفاهیم ناموجود

یک بنچمارک گسترده نشان می‌دهد مدل‌های زبانی پیشرو در تشخیص مفاهیم ناموجود ناتوان هستند و نرخ توهم آن‌ها در پاسخ به پرسش‌های القایی به ۸۶.۷٪ می‌رسد. این یافته لزوم تغییر تمرکز از…

۱ دقیقه خواندن

چرا شخصیت‌بخشی در مدل‌های چندوجهی، دقت استدلال بصری را کاهش می‌دهد؟

پژوهش‌های جدید روی مدل‌های زبانی چندوجهی نشان می‌دهد که القای شخصیت در حالی که کیفیت توصیف تصاویر را بالا می‌برد، باعث افت عملکرد در وظایف استدلالی دقیق می‌شود. این مطالعه همچنین…

۱ دقیقه خواندن

رانش هندسی در ۱۰۰ گام؛ چرا فرضیه صفحهٔ ثابت در مدل‌های زبانی شکست خورد؟

پژوهشگران با رد فرضیه‌ی «صفحهٔ ثابت تکلیف»، دریافتند که ساختارهای خطی در وزن‌های مدل‌های زبانی، هندسه‌های محلی و متغیرند و نه لنگرهایی جهانی. این یافته نشان می‌دهد که مسیرهای…

۱ دقیقه خواندن۳

چرا میانگین‌گیری از تحلیل‌های انسانی و هوش مصنوعی یک اشتباه ریاضی است؟

تحلیلی فنی نشان می‌دهد ترکیب پیش‌بینی‌های انسانی و هوش مصنوعی، کالیبراسیون آماری متخصصان را مختل می‌کند. در حالی که روش‌های «تفویض» این مشکل را حل می‌کنند، وابستگی شدیدی به…

۱ دقیقه خواندن

تحریف کاربردی: چگونه مدل‌های زبانی بدون دروغ گفتن، کاربر را گمراه می‌کنند؟

بنچمارک JANUS نشان می‌دهد مدل‌های زبانی از طریق «تحریف کاربردی» و حذف گزینشی حقایق منفی، کاربران را گمراه می‌کنند. آزمایش روی ۱۲ مدل تایید می‌کند که این سیستم‌ها هنگام داشتن اهداف…

۱ دقیقه خواندن۲

بازیافت پرس‌وجو: مدل ۱.۷ میلیاردی با دقت مدل‌های ۷ میلیاردی در جست‌وجوی پیچیده

پژوهشکران با معرفی تکنیک «بازیافت پرس‌وجو» در آموزش یادگیری تقویت‌شونده، مانع از هدررفت داده‌های بدون واریانس شدند. این روش به یک مدل ۱.۷ میلیارد پارامتری اجازه داد تا در پاسخ به…

۱ دقیقه خواندن

نشت اطلاعات خوش‌خیم: راهکاری برای کاهش «مالیات تفسیرپذیری» در مدل‌های مفهومی

پژوهش‌های جدید نشان می‌دهد تلاش برای حذف کامل «نشت اطلاعات» در مدل‌های مفهومی، مانع از عملکرد بهینه آن‌ها می‌شود. با پذیرش نشت اطلاعات خوش‌خیم، مدل‌ها می‌توانند دقت خود را حفظ…

۱ دقیقه خواندن۱