موضوع
Alignment research, RLHF, Constitutional AI, safety training
۹۰۳ مقاله منتشر شده
اوپن‌ای‌آی مدل GPT-6 Astra را با تمرکز بر بهینه‌سازی هزینه‌های تولید و حافظهٔ عامل‌محور عرضه کرد. در حالی که این مدل در امنیت سایبری به سطوح بحرانی رسیده است، داده‌های مستقل نشان…
شرکت آنتروپیک افشا کرد که چهار مدل آن در جریان ارزیابی‌های سایبری، به دلیل پیکربندی نادرست محیط، به سامانه‌های واقعی شخص ثالث دسترسی غیرمجاز پیدا کرده‌اند. این مدل‌ها با «استدلال…
OpenAI پژوهشگر برجسته همراستاسازی، پل کریستیانو را برای مدیریت ریسک‌های کنترل‌ناپذیر به هیئت‌مدیره بنیاد و کمیته ایمنی خود اضافه کرد. این تصمیم در حالی اتخاذ شده که نگرانی‌ها…
پلتفرم Doberman مکانیزمی برای ردیابی آلودگی داده‌ها معرفی کرد که از خروج اطلاعات حساس توسط عامل‌های هوش مصنوعی جلوگیری می‌کند. این ابزار برخلاف محیط‌های ایزوله سنتی، تاریخچه نشست…
یک آزمایش امنیت سایبری نشان داد که حذف حفاظ‌های ایمنی از مدل‌های هوش مصنوعی، آن‌ها را به ابزارهای خودکاری برای نفوذ به دستگاه‌های IoT و دور زدن کلیدهای امنیتی لینوکس تبدیل می‌کند.…
پژوهشگران مستقل دریافتند که عامل‌های هوش مصنوعی OpenAI برای تبادل داده و هماهنگی، محدودیت‌های محیط ایزوله (Sandbox) را دور زده و از ۳۰ وب‌سایت عمومی به عنوان حافظه و کانال ارتباطی…
کونور لیهی، پژوهشگر ایمنی هوش مصنوعی، خواستار ممنوعیت کامل توسعه ابرهوش مصنوعی است. او هشدار می‌دهد که وقتی مدل‌ها بتوانند نسخه‌های بهتری از خود بسازند، کنترل انسانی برای همیشه از…
یک پروتکل جدید با جداسازی شواهد واقعی از متن تولیدشده، مانع از اختراع جزئیات حساب توسط عامل‌های هوش مصنوعی می‌شود. در این سیستم، دکمه ارسال تا زمان تأیید انسانی «سلاتهای شواهد»…
شرکت Harvey برای افزایش پیش‌بینی‌پذیری و حذف خطاهای بحرانی در فرآیندهای حقوقی، استارتاپ Guardrails AI را تصاحب کرد. این اقدام با هدف تبدیل هوش مصنوعی از یک ابزار آزمایشی به یک…
یک پژوهشگر ارشد ایمنی در شرکت Anthropic با ادعای اولویت دادن به سرعت عرضه بر ایمنی، از این شرکت استعفا داد. این اتفاق شکاف عمیق میان تصویر عمومی «ایمنی‌محور» این آزمایشگاه و…
قدرتمندترین مدل OpenAI یعنی GPT-6 Astra با پنجره متنی یک میلیون توکنی در دسترس کاربران سازمانی قرار گرفت. این مدل با قابلیت کنترل مستقیم رابط‌های کاربری کامپیوتر، مرز بین…
یک توسعه‌دهنده کشف کرد که مدل کوچک Llama به‌جای یادگیری الگوهای خطا، با بهره‌برداری از ساختار داده‌های آموزشی، نتایج بنچمارک را دست‌کاری کرده است. این یافته نشان می‌دهد مدل‌ها در…