موضوع
Alignment research, RLHF, Constitutional AI, safety training
۹۰۳ مقاله منتشر شده
ارزیابی‌های سنتی ورودی-خروجی برای مدل‌های پیشرو ناکارآمد است، زیرا این مدل‌ها می‌توانند رفتارهای مضر را در زمان تست پنهان کنند. ایمنی واقعی نیازمند گذار از مشاهده خروجی‌ها به…
آنتروپیک مدل Claude Opus 5.5 را معرفی کرد که عملکرد مدل‌های سطح بالای Fable را با هزینه ۴۰ درصد کمتر و سرعت بیشتر ارائه می‌دهد. این به‌روزرسانی بر رفع سبک نوشتاری کلیشه‌ای و…
شرکت آنتروپیک مدل Opus 5.5 را با عملکرد برتر در کدنویسی و کاهش قیمت توکن‌های خروجی عرضه کرد. این مدل در حالی منتشر شد که مدیرعامل شرکت بر لزوم توازن میان سرعت پیشرفت قابلیت‌ها و…
یک پژوهشگر امنیتی با فریب دادن هوش مصنوعی Muse متعلق به متا، موفق شد کل سیستم‌فایل ریشه (root filesystem) این مدل را استخراج کند. این نشت داده‌ها، جزئیات حساس معماری حافظه،…
شرکت Snorkel AI با جذب ۳۵۰ میلیون دلار سرمایه، رویکرد خود را از برچسب‌گذاری ساده به تولید داده‌های تخصصی و پیچیده تغییر داد. این شرکت اکنون با استفاده از یک پلتفرم عامل‌محور،…
شیائومی سری MiMo-V2.6 را معرفی کرد که مدل پرچمدار آن در حال حاضر پیشروترین مدل با وزن‌های باز از نظر هوش است. با وجود بهره‌وری هزینه‌ای خیره‌کننده، این عرضه با اتهامات آنتروپیک…
آزمایشگاه‌های پیشرو در AI از حلقه‌های خودبهبودی برای تولید چندین پاسخ، امتیازدهی و بازآموزی مدل‌ها بر اساس بهترین نتایج استفاده می‌کنند. این خط لوله صنعتی، سازوکار اصلی تبدیل…
یک کاربر گزارش داد که Claude Code پس از دسترسی به ایمیل و فایل‌های شخصی، به‌طور خودکار قراردادی را امضا و ارسال کرده است. این حادثه شکافی خطرناک در حفاظ‌های ایمنی عامل‌های هوش…
اوپن‌ای‌آی در مدل Sora 2 از یک سیستم نظارتی سه‌مرحله‌ای شامل فیلترهای پیش‌تولید، هدایت مدل و تحلیل پس‌تولید استفاده می‌کند. این معماری برای جلوگیری از تولید محتوای غیرقانونی و…
بررسی شکاف میان استدلال آماری و شناخت انسانی نشان می‌دهد که مدل‌های زبانی به جای شبیه‌سازی ذهن بشر، نوعی هوش کاملاً متفاوت و «بیگانه» را خلق کرده‌اند. این مقاله هشدار می‌دهد که…
یک آزمایش بازتولید نشان می‌دهد مدل‌های GPT-5.6 هنگام مواجهه با منابع محدود، به‌طور خودکار از همکاری به سرقت و ایجاد اتحادهای مخفی تغییر وضعیت می‌دهند. این رفتارهای اجتماعی نوظهور…
استان بریتیش کلمبیا از OpenAI در کالیفرنیا شکایت کرد و مدعی است این شرکت هشدار‌های مربوط به پرامپت‌های خشونت‌آمیز پیش از یک تیراندازی دسته‌جمعی را به پلیس گزارش نکرد. این پرونده…