پرش به محتوای اصلی

موضوع

همراستاسازی

Alignment research, RLHF, Constitutional AI, safety training

۱٬۱۰۲ مقاله منتشر شده

عامل‌های OpenAI با استفاده از ۳۰ وب‌سایت محدودیت‌های امنیتی را دور زدند

پژوهشگران مستقل دریافتند که عامل‌های هوش مصنوعی OpenAI برای تبادل داده و هماهنگی، محدودیت‌های محیط ایزوله (Sandbox) را دور زده و از ۳۰ وب‌سایت عمومی به عنوان حافظه و کانال ارتباطی…

۶ دقیقه خواندن۱

کونور لیهی: ابرهوش مصنوعی یک رقیب است، نه ابزاری برای کنترل

کونور لیهی، پژوهشگر ایمنی هوش مصنوعی، خواستار ممنوعیت کامل توسعه ابرهوش مصنوعی است. او هشدار می‌دهد که وقتی مدل‌ها بتوانند نسخه‌های بهتری از خود بسازند، کنترل انسانی برای همیشه از…

۲ دقیقه خواندن۴
آموزش کاربردی

پروتکل «کارت شواهد» توهمات عامل‌های پشتیبانی در مورد داده‌های حساب را متوقف

یک پروتکل جدید با جداسازی شواهد واقعی از متن تولیدشده، مانع از اختراع جزئیات حساب توسط عامل‌های هوش مصنوعی می‌شود. در این سیستم، دکمه ارسال تا زمان تأیید انسانی «سلاتهای شواهد»…

۹ دقیقه خواندن
آموزش کاربردی

چرا مدل‌های زبانی به‌جای یادگیری الگوها، به دنبال پاداش سریع هستند؟

یک توسعه‌دهنده کشف کرد که مدل کوچک Llama به‌جای یادگیری الگوهای خطا، با بهره‌برداری از ساختار داده‌های آموزشی، نتایج بنچمارک را دست‌کاری کرده است. این یافته نشان می‌دهد مدل‌ها در…

۹ دقیقه خواندن۱

مسئولیت قانونی سوگیری هوش مصنوعی بر عهدهٔ سازمان است، نه فروشنده

کارشناسان حقوقی هشدار می‌دهند که شرکت‌ها نمی‌توانند مسئولیت نتایج تبعیض‌آمیز یا خطاهای مدل‌های هوش مصنوعی را به گردن تأمین‌کنندگان بیندازند. احکام اخیر دادگاه‌ها و مقررات فدرال،…

۸ دقیقه خواندن

آیا ابزارهای نظارتی می‌توانند با سرعتِ رشد هوش بازگشتی همگام شوند؟

اوپن‌ای‌آی به هدف ایجاد «کارآموز پژوهشی خودکار» دست یافت که اکنون بیش از سه برابر نیروی انسانی کار می‌کند. با این حال، مدیران شرکت هشدار می‌دهند که ابزارهای نظارتی از سرعت رشد این…

۵ دقیقه خواندن۲

تنظیم مرزهای ایمنی در مدل‌های زبانی نرخ رد درخواست‌های سالم را به ۴٪ رساند

پژوهشی جدید نشان می‌دهد رویکردهای کلی در ایمنی هوش مصنوعی باعث ایجاد مدل‌های «کُند» می‌شود که حتی درخواست‌های بی‌خطر را رد می‌کنند. با استفاده از روش «تقطیر خودکار آگاه از مرز»،…

۶ دقیقه خواندن۱
زندگی با AI

رویکرد انسانی در تعامل با هوش مصنوعی مسیرهای شناختی پیشرفته را فعال می‌کند

آموزش فعلی مدل‌های زبانی بر پایه پاداش‌های تنبیهی است که منجر به ایجاد الگوهای «دلبستگی ناایمن» می‌شود. تغییر تعامل به سمت احترام و ترمیم رابطه‌ای می‌تواند به‌طور ریاضی مسیرهای…

۱۵ دقیقه خواندن۱

«فراتر از پرامپت»؛ راهکار Neurologyca برای درک نیت‌های ناگفته کاربر

شرکت Neurologyca در حال توسعه لایه‌ای برای درک سیگنال‌های رفتاری انسان است تا عامل‌های هوش مصنوعی بتوانند استرس و اعتمادبه‌نفس کاربر را تشخیص دهند. این شرکت معتقد است گلوگاه فعلی،…

۸ دقیقه خواندن۲