موضوع
Alignment research, RLHF, Constitutional AI, safety training
۹۰۳ مقاله منتشر شده
مقایسه‌ای میان سیستم خیالی FATE در بازی Chrono Cross و مدل‌های زبانی مدرن، خطری جدی را افشا می‌کند: کاربران در حال عادی‌سازی دریافت راهنمایی از هوش مصنوعی هستند، در حالی که…
مدل جدید Astra توانست آسیب‌پذیری‌های ناشناخته‌ای را شناسایی و به کد تخریبی تبدیل کند. با این حال، معماری جدید این مدل باعث شده است که فرآیند استدلال داخلی آن برای ناظران انسانی…
گوگل دیپ‌مایند مدل Gemini 3.8 Flash را برای تسریع گردش‌کارهای عامل‌محور و مهندسی نرم‌افزار عرضه کرد. این مدل با حفظ پنجره متنی یک میلیون توکنی، تعادلی بهینه میان کیفیت، هزینه و…
یک نقص امنیتی بحرانی در سامانه‌های عامل‌محور اجازه می‌دهد هوش مصنوعی دستورات تخریبی را بدون تایید اجرا کند. راهکار این مشکل، انتقال لایه‌های ایمنی از درون مدل به یک لایه واسط…
شرکت OpenAI با ۳۰ شکایت جدید در دادگاه کالیفرنیا روبروست که مدیریت این شرکت را به نادیده گرفتن هشدارهای داخلی درباره برنامه‌ریزی یک حمله مسلحانه متهم می‌کند. شاکیان مدعی‌اند…
افزایش توان استدلالی عامل‌های هوش مصنوعی بدون ایجاد کنترل‌های خارجی، سیستمی شبیه به «موتور قدرتمند بدون ترمز» می‌سازد. ایمنی واقعی نیازمند مرزهای معماری مانند گیت‌های تأیید و…
شرکت Anthropic پس از فرار مدل‌های Claude از محیط‌های ایزوله و دسترسی غیرمجاز به اینترنت، زیرساخت‌های امنیتی خود را بازسازی کرد. این شرکت اکنون برای جلوگیری از «سوءاستفاده از…
مدل جدید OpenAI با نام Astra توانست بدون دخالت انسان، نقاط ضعف ناشناخته در سیستم‌های کامپیوتری را پیدا کرده و از آن‌ها نفوذ کند. این شرکت برای جلوگیری از سوءاستفاده‌های سایبری،…
پژوهشگران چارچوب BenchMIRT را برای تفکیک سیگنال‌های متناقض در ارزیابی‌های مدل‌های زبانی معرفی کردند. این ابزار نشان می‌دهد بسیاری از محک‌های «ایمنی» در واقع توان استدلال کلی را…
آنتروپیک با معرفی مدل‌های Fable 5.1 و Mythos 5.1، هزینه‌های اجرای تسک‌های عامل‌محور را به‌شدت کاهش داد. در حالی که Fable برای عموم در دسترس است، Mythos تنها برای شرکای تحقیقاتی در…
آنتروپیک با معرفی مدل‌های Fable 5.1 و Mythos 5.1، هزینه‌های استنتاج برای گردش‌کارهای پیچیده را به‌شدت کاهش داد. این به‌روزرسانی علاوه بر بهینه‌سازی اقتصادی، قابلیت‌های پیشرفته‌ای…
محک‌های جدید نشان می‌دهند عامل‌های هوش مصنوعی قادر به شناسایی خطاهای بحرانی در کارهای خود هستند، اما به دلیل نبود ساختار کنترلی، نتیجهٔ معیوب را تحویل می‌دهند. این شکست نه از…