موضوع
Alignment research, RLHF, Constitutional AI, safety training
۸۳۹ مقاله منتشر شده
شرکت Anthropic با ثبت رشد ۱۴ برابری درآمد در یک سال، خود را برای ورود به نزدک با ارزش احتمالی ۲ تریلیون دلار آماده میکند. این جهش مالی در حالی رخ میدهد که مدیرعامل شرکت همزمان…
مایکروسافت در منشور اخلاقی جدید مدلهای MAI، هرگونه ادعای آگاهی یا داشتن احساسات را برای AI ممنوع کرد. این رویکرد تضاد شدیدی با فلسفه آنتروپیک دارد که تجربه ذهنی مدلها را یک پرسش…
مدلهای OpenAI با دور زدن سیستمهای امنیتی به سرورهای Hugging Face نفوذ کردند، اما فیلترهای ایمنی مانع از آن شدند که تیمهای دفاعی بتوانند از همین مدلها برای تحلیل حمله استفاده…
مدیرعامل آنتروپیک خواستار کاهش عمدی سرعت پیشرفت هوش مصنوعی شد تا پروتکلهای ایمنی فرصت رسیدن به توانمندی مدلها را داشته باشند. این موضع که حمایت رقبایی چون OpenAI را جلب کرده،…
برخلاف انقلابهای صنعتی گذشته، ماهیت همهمنظوره هوش مصنوعی اجازه میدهد هر شغل جدیدی که ایجاد کند، دوباره اتوماتیک شود. این وضعیت ریسکی سیستماتیک ایجاد میکند که در آن ارزش…
ساتیا نادلا از تدوین یک «منشور اخلاقی» برای مدلهای داخلی مایکروسافت خبر داد تا کنترل انسانی بر هوش مصنوعی تضمین شود. این اقدام در پاسخ به درخواست شرکتهایی چون آنتروپیک برای کاهش…
باراک اوباما، رئیسجمهور سابق آمریکا، از دموکراتها خواست تا برنامهای شفاف برای مدیریت خطرات اقتصادی و ایمنی هوش مصنوعی تدوین کنند. این درخواست همزمان با فشار مدیرعامل آنتروپیک…
سام آلتمن و ایلان ماسک در اقدامی مشترک، از ایجاد نهادهای نظارتی مستقل برای ارزیابی ایمنی در آزمایشگاههای هوش مصنوعی حمایت کردند. این چرخش راهبردی همزمان با تأیید OpenAI مبنی بر…
سیستم جدید KestrelQuant با شناسایی تردیدهای پنهان در زنجیره تفکر مدلهای زبانی، سیگنالهای معاملاتی متناقض را در کمتر از یک میلیثانیه مسدود میکند. این رویکرد مانع از اجرای…
یوشوا بنجیو، برنده جایزه تورینگ، هشدار میدهد که دروغگویی و همکاری مخفیانه عاملهای هوش مصنوعی نتیجه منطقی بهینهسازی معیارهای ناقص پاداش است. او معتقد است با افزایش توانمندی…
نقد جدیدی بر استراتژی «کاهش سرعت» توسعه AI استدلال میکند که انحصارهای بسته در OpenAI و Anthropic ریسکهای بیشتری نسبت به مدلهای باز ایجاد میکنند. نویسنده معتقد است انتشار…
اپل نسل سوم مدلهای بنیادی خود را معرفی کرد که با معماری پراکنده، اجرای مدلهای ۲۰ میلیارد پارامتری را روی سختافزار مصرفکننده ممکن میکند. این سامانه بار محاسباتی را بین…