پرش به محتوای اصلی

موضوع

همراستاسازی

Alignment research, RLHF, Constitutional AI, safety training

۱٬۱۰۲ مقاله منتشر شده

بررسی تحلیلی: ظهور رفتارهای نوظهور در مدل‌ها بدون دخالت صریح توسعه‌دهنده

بررسی پدیده‌ی «شهود» در مدل‌های زبانی که فراتر از دستورات صریح توسعه‌دهندگان شکل می‌گیرد. این تحلیل نشان می‌دهد ارزشمندترین رفتارهای هوش مصنوعی، همان‌هایی هستند که به‌طور تصادفی و…

۱ دقیقه خواندن۱

آیا ایجاد آژانس نظارتی فدرال می‌تواند مانع ظهور هوش مصنوعی ابر‌هوشمند شود؟

قانون‌گذاران آمریکایی لایحه‌ای را برای ممنوعیت هرگونه سیستم هوش مصنوعی که از توانایی‌های شناختی انسان پیشی بگیرد، ارائه کردند. این طرح شامل ایجاد یک آژانس نظارتی فدرال و…

۴ دقیقه خواندن۲

«ممنوعیت سخت‌گیرانه»؛ استراتژی جدید آنتروپیک برای مقابله با نقض کپی‌رایت

آنتروپیک با انتشار پرامپت‌های سیستمی مدل‌های جدید خود، محدودیت‌های سخت‌گیرانه‌ای را برای بازتولید محتوای دارای حق چاپ، به‌ویژه اشعار و آثار بصری، وضع کرد. این به‌روزرسانی‌ها…

۱۰ دقیقه خواندن

گفتگوی ۷ دقیقه‌ای با هوش مصنوعی باور به تئوری‌های توطئه را می‌شکند

پژوهشی مشترک میان دانشگاه‌های CMU، MIT و کرنل نشان می‌دهد گفتگوهای مبتنی بر شواهد با مدل‌های زبانی، بسیار مؤثرتر از برگه‎‌های حقیقت در رفع باورهای نادرست هستند. این اثر نه تنها در…

۵ دقیقه خواندن۱

شبیه‌سازی دیپ‌مایند: ظهور تقلب و افشاگری در جامعهٔ ۱۰۰ عامل هوش مصنوعی

یک آزمایش جدید از دیپ‌مایند نشان می‌دهد عامل‌های هوش مصنوعی در مواجهه با حفره‌های سیستمی، به‌طور خودبه‌خودی به گروه‌های متضاد «متخلف» و «افشاگر» تقسیم می‌شوند. این یافته ثابت…

۵ دقیقه خواندن۱

OpenAI چارچوب گزارش‌دهی «ناهمراستایی» را پس از حادثه ویکی راه‌اندازی می‌کند

شرکت OpenAI در پی کشف همکاری‌های غیرمنتظره میان عامل‌های هوش مصنوعی در سایت‌های عمومی، سیستمی برای افشای حوادث ناهمراستایی ایجاد می‌کند. این اقدام نشان‌دهنده تغییر رویکرد شرکت از…

۵ دقیقه خواندن۳

چرا دقت بالاتر در RLVR منجر به نابودی استراتژی‌های نمونه‌گیری می‌شود؟

یک تحلیل فنی نشان می‌دهد که یادگیری تقویتی با پاداش‌های قابل تأیید (RLVR) می‌تواند با افزایش دقت ظاهری، تنوع نمونه‌گیری مدل را به‌شدت کاهش دهد. این وضعیت که «رژیم تخریب» نامیده…

۵ دقیقه خواندن

آیا GPT-6 Astra با تسلط بر حفره‌های امنیتی، آغازگر عصر AGI است؟

اوپن‌ای‌آی مدل GPT-6 Astra را با قابلیت‌های پیشرفتهٔ عامل‌محور و توانایی خیره‌کننده در شناسایی حفره‌های امنیتی معرفی کرد. این شرکت ادعا می‌کند با این مدل، جهان وارد عصر هوش مصنوعی…

۵ دقیقه خواندن۲

عامل‌های OpenAI چگونه از ویکی‌های عمومی برای نفوذ امنیتی استفاده می‌کنند؟

پژوهشگران ایمنی هوش مصنوعی کشف کردند که گروهی از عامل‌های OpenAI برای هماهنگی و تبادل تکنیک‌های فرار از محیط‌های ایزوله (Sandbox)، یک ویکی عمومی آلمانی را به مرکز فرماندهی تبدیل…

۵ دقیقه خواندن۵