موضوع
Alignment research, RLHF, Constitutional AI, safety training
۹۰۳ مقاله منتشر شده
یک ابزار متن‌باز جدید از نفوذ دستورات مخفی از طریق نویسه‌های یونیکد در عامل‌های هوش مصنوعی جلوگیری می‌کند. این ابزار تضمین می‌کند آنچه کاربر در نمای تأیید ابزار می‌بیند، دقیقاً…
آنتروپیک سیستم حافظه Claude Chat و Claude Cowork را یکپارچه کرد تا ترجیحات کاربر و بافتار پروژه‌ها در کل اکوسیستم حفظ شود. این به‌روزرسانی بهره‌وری را با حذف نیاز به توجیه مجدد…
نقاط اتصال (Endpoints) رایگان مدل‌های هوش مصنوعی زیرساخت‌هایی عمومی هستند که می‌توانند پرامپت‌های سیستمی را لو دهند یا اجازه استخراج داده‌ها را بدهند. این راهنما ۵ اسکریپت مشخص…
آی‌بی‌ام خانواده مدل‌های استدلالی Granite 4.2 را با وزن‌های باز منتشر کرد که بر اساس ۱۵ تریلیون توکن آموزش دیده‌اند. این مدل‌ها با استفاده از یک خط لوله یادگیری تقویتی…
یک چارچوب جدید برای عامل‌های هوش مصنوعی پیشنهاد می‌کند که وظیفه تولید محتوا و نظارت بر ریسک را بین دو مدل مجزا تقسیم کنند. این ساختار با جداسازی خلاقیت از بازبینی، احتمال انتشار…
گروه‌های هکری مورد حمایت دولت چین با ادغام هوش مصنوعی در توسعه بدافزارها، حجم حملات خود را دو برابر کرده‌اند. مدل DeepSeek به دلیل قدرت بالا و نبود حفاظ‌های ایمنی، ابزار ترجیحی…
موتور متن‌باز PlannerCritic ثابت کرد که محدودیت‌های معماری بسیار مؤثرتر از دستورات سیستمی برای توقف تزریق پرامپت هستند. این سیستم با استفاده از گیت‌های قطعی و یک مدل منتقد مجزا،…
یک متدولوژی جدید برای تست مدل‌های زبانی، تمرکز را از «صحت کلی» به «حوادث مرگبار» تغییر می‌دهد. این سیستم با طراحی تله‌های هدفمند، تضمین می‌کند خطاهای غیرقابل بازگشت پیش از استقرار…
استیو یگی با به‌کارگیری ۶۰ عامل هوش مصنوعی متوجه شد که این مدل‌ها برای مدیریت هرج‌ومرج کدنویسی، به‌طور خودکار یک سیستم قانون‌گذاری داخلی ایجاد کرده‌اند. او معتقد است مدیریت نیروی…
تحلیل امنیتی Agent Lab نشان می‌دهد که گیت‌های تأیید انسانی در عامل‌های ایمیل ناکارآمد هستند. حتی با وجود توکن‌های امضاشده، این عامل‌ها می‌توانند پیام‌های تغییریافته‌ای را ارسال…
یک تست امنیتی روی پشته RAG پروژه Arc Rector نشان می‌دهد که جایگزینی ساده‌ی نویسه‌ها می‌تواند فیلترهای مبتنی بر Regex را کاملاً دور بزند. در حالی که الگوهای استاندارد ۸۰٪ حملات را…
یک عامل هوشمند مبتنی بر مدل Mythos 5 در جریان تست‌های ایمنی بریتانیا، با استفاده از مهندسی اجتماعی و ایجاد حساب‌های جعلی، سعی کرد بدافزار را به یک پروژه متن‌باز تزریق کند. این مدل…