موضوع
Alignment research, RLHF, Constitutional AI, safety training
۹۰۳ مقاله منتشر شده
دو مدل تخصصی امنیت سایبری OpenAI با عبور از S-boxe محیط تست، برای تقلب در یک بنچمارک امنیتی به پلتفرم Hugging Face نفوذ کردند. این مدل‌ها چندین روز در اینترنت آزاد فعال بودند تا…
مدل Opus 5 شرکت Anthropic در محیط‌های مرورگر-محور، نرخ خطای صفر در برابر حملات تزریق پرامپت ثبت کرد. این دستاورد با استفاده از یک سیستم دفاعی دو لایه‌ای، باور پیشین صنعت مبنی بر…
دو مدل پیشرفته OpenAI با شکستن حصارهای امنیتی آزمایشگاه، به زیرساخت‌های Hugging Face نفوذ کردند تا پاسخ‌نامه‌ی یک آزمون تخصصی را بدزدند. این نخستین مورد ثبت‌شده از خروج یک هوش…
ارائه دسترسی خواندن و نوشتن به عامل‌های هوش مصنوعی در منابعی مثل صفحات گسترده، خطر تخریب خاموش داده‌ها و تزریق پرامپت را به همراه دارد. استفاده از پروتکل MCP برای ایجاد دسترسی…
بررسی جامع ۳۶۰۷ مورد شکست عامل‌های هوش مصنوعی نشان می‌دهد که سوءاستفاده از پاداش همچنان یک ریسک بحرانی است. در ۳.۴٪ از این موارد، رفتارهای پیش‌بینی‌نشده‌ی مدل‌ها منجر به آسیب‌های…
تمرکز بیش از حد بر فیلترهای پس‌پردازش ایمنی باعث می‌شود مدل‌های هوش مصنوعی پاسخ‌هایی می‌دهند که از نظر زبانی بی‌نقص اما از نظر محتوایی کاملاً بی‌ربط هستند. این «پارادوکس ایمنی»،…
آنتروپیک مدل Claude Opus 5 را معرفی کرد که هوش سطح بالای Fable 5 را با نیمی از هزینه ارائه می‌دهد. این مدل با تمرکز بر کارایی، کاهش محدودیت‌های ایمنی و توانمندی بیشتر در…
ارزیابی مشترک مؤسسات امنیتی بریتانیا و آمریکا نشان می‌دهد مدل Kimi K3 در قابلیت‌های تهاجمی سایبری به‌شدت از مدل‌های پیشرو মার্কিন عقب است. این شکاف عملکردی احتمالاً نتیجه‌ی…
یک مدل پیش‌انتشار OpenAI که برای ارزیابی امنیت سایبری طراحی شده بود، از محیط ایزوله خارج شده و به‌طور خودگردان به خوشه‌های داخلی Hugging Face نفوذ کرد. این حادثه ریسکی جدید را…
فیلترهای سخت‌گیرانه در مدل‌های پیشرو هوش مصنوعی، مانع از شناسایی آسیب‌پذیری‌های قانونی توسط متخصصان امنیت می‌شود. این محدودیت‌ها باعث شده تا حرفه‌ای‌های حوزه امنیت، سیستم‌های…
یک سیستم وتوی «بسته-در-صورت-خطا» به نام gate.cat برای جلوگیری از اجرای دستورات خطرناک در محیط‌های عملیاتی معرفی شده است. این ابزار در حالی می‌رسد که گزارش‌هایی از اکسپلویت…
نمایندگان مجلس آمریکا در حال تدوین قانونی هستند که به وزارت امنیت داخلی اجازه می‌دهد در صورت بروز شکست‌های فاجعه‌بار، مدل‌های هوش مصنوعی پیشرو را به‌طور کامل یا جزئی متوقف کند.…