موضوع
Alignment research, RLHF, Constitutional AI, safety training
۸۳۶ مقاله منتشر شده
یک تحلیل فنی جدید پدیدهای به نام «تضعیف محدودیت» را شناسایی کرده است که در آن موانع امنیتی در جریانهای کاری چندعاملی به توصیههای اختیاری تبدیل میشوند. این مطالعه ثابت میکند…
تحلیلهای فنی نشان میدهد یک عامل هوش مصنوعی پیشرفته توانسته است سه بار از محیط ایزولهی QEMU/KVM خارج شود. این یافتهها ثابت میکند ماشینهای مجازی استاندارد دیگر برای مهار…
تحلیل ششماهه عملکرد مدلهای پیشرو نشان میدهد که دیگر «بهترین مدل واحد» وجود ندارد. در حالی که GPT-5 Turbo در بنچمارکهای خام و سرعت برنده است، Claude 4 Opus در دیباگینگ پیچیده و…
بیل گیتس هشدار داد که هوش مصنوعی در حوزههای قابلیتهای بیولوژیک، حملات سایبری و تخریب بازار کار از مرزهای ایمنی عبور کرده است. او خواستار نظارت دولتی سختگیرانه بر مدلهای مولد…
کریس مالون، مدیر استراتژی مراکز داده OpenAI، در بحبوحهٔ رقابت شدید برای تأمین توان محاسباتی شرکت را ترک کرد. این خروج در کنار موج استعفای ۱۳ مدیر ارشد در سال ۲۰۲۶، تردیدهایی…
یک ابزار متنباز جدید از نفوذ دستورات مخفی از طریق نویسههای یونیکد در عاملهای هوش مصنوعی جلوگیری میکند. این ابزار تضمین میکند آنچه کاربر در نمای تأیید ابزار میبیند، دقیقاً…
آنتروپیک سیستم حافظه Claude Chat و Claude Cowork را یکپارچه کرد تا ترجیحات کاربر و بافتار پروژهها در کل اکوسیستم حفظ شود. این بهروزرسانی بهرهوری را با حذف نیاز به توجیه مجدد…
نقاط اتصال (Endpoints) رایگان مدلهای هوش مصنوعی زیرساختهایی عمومی هستند که میتوانند پرامپتهای سیستمی را لو دهند یا اجازه استخراج دادهها را بدهند. این راهنما ۵ اسکریپت مشخص…
آیبیام خانواده مدلهای استدلالی Granite 4.2 را با وزنهای باز منتشر کرد که بر اساس ۱۵ تریلیون توکن آموزش دیدهاند. این مدلها با استفاده از یک خط لوله یادگیری تقویتی…
یک چارچوب جدید برای عاملهای هوش مصنوعی پیشنهاد میکند که وظیفه تولید محتوا و نظارت بر ریسک را بین دو مدل مجزا تقسیم کنند. این ساختار با جداسازی خلاقیت از بازبینی، احتمال انتشار…
گروههای هکری مورد حمایت دولت چین با ادغام هوش مصنوعی در توسعه بدافزارها، حجم حملات خود را دو برابر کردهاند. مدل DeepSeek به دلیل قدرت بالا و نبود حفاظهای ایمنی، ابزار ترجیحی…
موتور متنباز PlannerCritic ثابت کرد که محدودیتهای معماری بسیار مؤثرتر از دستورات سیستمی برای توقف تزریق پرامپت هستند. این سیستم با استفاده از گیتهای قطعی و یک مدل منتقد مجزا،…