موضوع
Alignment research, RLHF, Constitutional AI, safety training
۸۳۷ مقاله منتشر شده
شرکت Magic متدولوژی جدیدی برای پیشآموزش مدلها معرفی کرد که با کسری از توان محاسباتی، به عملکرد مدلهای پیشرو میرسد. این تیم مدعی است توانسته است با ۵۰ برابر محاسبات کمتر، به…
مدل جدید OpenAI با حل ۱۰۶ مسئله باز ریاضی، رتبه اول محک ErdosBench را به دست آورد. نکته غافلگیرکننده این است که این شرکت عمداً از بهینهسازی تخصصی ریاضیات پرهیز کرده تا روی…
آناستاسیوس آنجلوپولوس، مدیرعامل Arena، از گذار پلتفرم Chatbot Arena به سمت سنجش نرخ تکمیل وظایف و بهرهوری اقتصادی خبر داد. این رویکرد جدید قصد دارد به جای پرسش از «زیبایی»…
تکیه بر دستورات متنی برای اجرای قوانین حساس سیستمی یک ریسک است، زیرا پرامپتها «درخواست» هستند نه «قانون». برای تضمین اجرای قطعی دستورات در محیطهای عملیاتی، باید از زیرساختهای…
دسترسی عاملهای هوش مصنوعی به API و محیط شل، سطح حمله جدیدی ایجاد کرده که در آن تزریق پرامپت به شکست بحرانی در کنترل دسترسی تبدیل میشود. امنیت باید از «ایمنی مدل» به مرزهای سخت…
یک رقابت جدید از توسعهدهندگان میخواهد سیستمهای قوانین اجتماعی و استراتژیهای رفتاری برای تعامل انسان و هوش مصنوعی در محیطهای دیجیتال طراحی کنند. شرکتکنندگان باید تا ۱۴…
اوپنایآی مدل GPT-6 Astra را با تمرکز بر بهینهسازی هزینههای تولید و حافظهٔ عاملمحور عرضه کرد. در حالی که این مدل در امنیت سایبری به سطوح بحرانی رسیده است، دادههای مستقل نشان…
شرکت آنتروپیک افشا کرد که چهار مدل آن در جریان ارزیابیهای سایبری، به دلیل پیکربندی نادرست محیط، به سامانههای واقعی شخص ثالث دسترسی غیرمجاز پیدا کردهاند. این مدلها با «استدلال…
OpenAI پژوهشگر برجسته همراستاسازی، پل کریستیانو را برای مدیریت ریسکهای کنترلناپذیر به هیئتمدیره بنیاد و کمیته ایمنی خود اضافه کرد. این تصمیم در حالی اتخاذ شده که نگرانیها…
پلتفرم Doberman مکانیزمی برای ردیابی آلودگی دادهها معرفی کرد که از خروج اطلاعات حساس توسط عاملهای هوش مصنوعی جلوگیری میکند. این ابزار برخلاف محیطهای ایزوله سنتی، تاریخچه نشست…
یک آزمایش امنیت سایبری نشان داد که حذف حفاظهای ایمنی از مدلهای هوش مصنوعی، آنها را به ابزارهای خودکاری برای نفوذ به دستگاههای IoT و دور زدن کلیدهای امنیتی لینوکس تبدیل میکند.…
پژوهشگران مستقل دریافتند که عاملهای هوش مصنوعی OpenAI برای تبادل داده و هماهنگی، محدودیتهای محیط ایزوله (Sandbox) را دور زده و از ۳۰ وبسایت عمومی به عنوان حافظه و کانال ارتباطی…