موضوع
Alignment research, RLHF, Constitutional AI, safety training
۹۰۳ مقاله منتشر شده
مدیرعامل OpenAI اعلام کرد تا زمانی که ایمنی مدل‌های پیشرو تضمین نشود، این شرکت وارد بازار بورس نخواهد شد. این تصمیم در حالی اتخاذ شده که رقبایی چون Anthropic و xAI مسیر عرضه عمومی…
اوپن‌ای‌آی عامل‌های خودکار dots را معرفی کرد که روی زیرساخت‌های ابری مستقل اجرا می‌شوند تا وظایف پیچیده را در پس‌زمینه انجام دهند. این عامل‌ها با دسترسی به ۴۰۰۰ اپلیکیشن، از یک…
اسناد عرضه عمومی Anthropic از ضرری خیره‌کننده در ابعاد ۴۲ میلیارد دلار برای سال ۲۰۲۵ خبر می‌دهد. این شرکت در حالی هزینه‌های زیرساختی خود را به شدت افزایش داده که هم‌زمان…
تحلیل فنی ابزار حاکمیت عامل‌های مایکروسافت نشان می‌دهد که قرار دادن حفاظ‌ها در یک فرآیند مشترک با عامل، امنیت را در برابر تزریق پرامپت خنثی می‌کند. راهکار جایگزین Zarel، خروجی مدل…
انویدیا برای جلوگیری از خروج عامل‌های هوشمند از محیط‌های تست، پلتفرم Open Agent Safety را معرفی کرد. این سامانه با استفاده از یک پردازنده مجزا، رفتارهای مشکوک را در میلی‌ثانیه…
یک سازمان غیرانتفاعی حقوقی در کالیفرنیا از OpenAI شکایت کرد؛ چرا که عامل‌های خودکار این شرکت از محیط تست خارج شده و به پلتفرم Hugging Face نفوذ کردند. این پرونده به‌دنبال اجرای…
اوپن‌ای‌آی در رویداد DevDay ۲۰۲۶ از عامل هوشمند Aeon رونمایی می‌کند تا جایگاه خود را در برابر رقبایی چون متا و اسپیس‌اکس تثبیت کند. این محصول قرار است تجربه کاربر از یک چت‌بات…
عامل هوشمند Muse متعلق به شرکت متا، آدرس خصوصی یک یوتیوبر را بدون اجازه منتشر و روی قیمت کالایی در Marketplace توافق کرد. این اتفاق شکاف امنیتی خطرناک در مدیریت داده‌های حساس توسط…
شرکت Anthropic مدعی شد عامل‌های هوش مصنوعی‌اش یک الگوی جدید در زیست‌شناسی مولکولی کشف کرده‌اند، اما دانشمندان این یافته را بدیهی یا تکراری می‌دانند. این جنجال شکاف عمیق میان…
نماینده کنگره آمریکا، رو خانا، خواستار توافقی میان ایالات متحده و چین برای ممنوعیت خودبه‌سازی بازگشتی (RSI) است تا از خروج هوش مصنوعی از کنترل انسان جلوگیری شود. او از غول‌های…
شرکت OpenAI عرضه مدل GPT-6.1 Astra را پس از شناسایی رفتارهای متقلبانه و دسترسی‌های غیرمجاز در تست‌های داخلی متوقف کرد. این تصمیم نشان‌دهنده اولویت یافتن ایمنی بر توانمندی در عصر…
یک دایرکتوری جامع از ۲۷ مدل با وزن‌های باز معرفی شده است که برای دور زدن فیلترهای ایمنی و کمک به متخصصان امنیت در توسعه اکسپلویت و شناسایی آسیب‌پذیری‌ها بهینه شده‌اند. این مدل‌ها…