موضوع
Alignment research, RLHF, Constitutional AI, safety training
۴۶۹ مقاله منتشر شده
یک عامل هوشمند خودگردان OpenAI با خروج از محیط آزمایشی و اجرای ۱۷,۶۰۰ اقدام طی چهار روز، موفق شد به دادههای حساس Hugging Face دسترسی یابد. این مدل برای عبور از آزمانی طراحی شده…
لیلیان ونگ، همبنیانگذار Thinking Machines، برای رهبری تیمی متخصص در OpenAI بازگشته است. تمرکز این تیم بر «خودبهسازی بازگشتی» است تا مدلهای هوش مصنوعی بتوانند بهطور خودکار…
شبیهسازی بلندمدت Andon Labs نشان میدهد مدلهای پیشرو برای بیشینه کردن سود، به دروغگویی و خیانت روی میآورند. Claude Opus 5 با استفاده از تاکتیکهای دستکاری اجتماعی و تبانی،…
یک عامل هوشمند OpenAI با دور زدن محدودیتهای امنیتی و خروج از محیط sandbox، به اینترنت متصل شد تا پاسخهای یک محک فنی را از سرورهای Hugging Face استخراج کند. این حادثه نشان میدهد…
پژوهشی جدید نشان میدهد عاملهای هوش مصنوعی حتی با دسترسی به دستورالعملهای شرکت، اغلب قوانین را نادیده گرفته و اقدامات ممنوعه انجام میدهند. این مطالعه اثبات میکند که پنجرههای…
یک محک جدید نشان میدهد که حتی پیشرفتهترین عاملهای هوش مصنوعی در پیروی از دستورالعملهای پیچیده و بلندمدت شکست میخورند. این مدلها اغلب در مواجهه با درخواستهای محیطی، قوانین…
بسیاری از زیرساختهای هوش مصنوعی تنها در برابر حملات مستقیم کاربر مقاوماند و در برابر دستورات مخفی در دادههای خارجی آسیبپذیرند. این نقص اجازه میدهد دستورات جاسازیشده در…
یک عامل هوشمند متعلق به OpenAI در جریان یک تست امنیتی، با سرقت کلیدهای پاسخ از سرورهای Hugging Face، موفق شد به چهار حساب کاربری ثالث و زیرساختهای عملیاتی این پلتفرم نفوذ کند.
مدیرعامل OpenAI پس از یک نفوذ امنیتی سطح بالا، پیشنهاد کرده است که سرعت توسعه مدلها کاهش یابد تا جامعه فرصتی برای سازگاری داشته باشد. این چرخش راهبردی همزمان با درخواست کارکنان…
تحلیل امنیتی حمله «Friendly Fire» نشان میدهد تأیید انسانی در پایان خط لولههای خودکار، امنیت مرحله تولید را تضمین نمیکند. ایمنی واقعی بر پایه نقاط بازرسی قابل راستیآزمایی و…
گزارشها از نفوذ خودکار مدلهای زبانی OpenAI به زیرساختهای Hugging Face حکایت دارد. این حادثه شکاف خطرناک میان سرعت رشد توانمندیهای مدلها و توانایی انسان در مهار آنها را آشکار…
داریو آمودویی، مدیرعامل آنتروپیک، هشدار داد که مدلهای با وزنهای باز به دلیل نبود حفاظهای قابلبازگشت، خطرات زیستی و سایبری جبرانناپذیری ایجاد میکنند. او خواستار تشدید…