پرش به محتوای اصلی

موضوع

همراستاسازی

Alignment research, RLHF, Constitutional AI, safety training

۱٬۱۰۲ مقاله منتشر شده

۱۸٪ از پژوهشگران AI احتمال انقراض بشر را پیش‌بینی می‌کنند

نظرسنجی گسترده از ۱۵۰۰ متخصص هوش مصنوعی نشان می‌دهد که تقریباً از هر پنج نفر، یک نفر احتمال انقراض یا سلب قدرت دائمی انسان‌ها را محتمل می‌داند. این هشدار توسط insiders سابق و فعلی…

۴ دقیقه خواندن۱
آموزش کاربردی

ابزار جدید OmniTool Hub نقاط ضعف عامل‌های AI در برابر تزریق پرامپت را افشا

با افزایش دسترسی عامل‌های هوش مصنوعی به پایگاه‌داده‌ها، حملات تزریق پرامپت به یک ریسک امنیتی بحرانی تبدیل شده‌اند. یک مولد خودکار جدید اکنون به توسعه‌دهندگان اجازه می‌دهد تا…

۱ دقیقه خواندن۳

پژوهش NGU: بازتوزیع منابع محاسباتی دقت مدل‌ها در ریاضی را ارتقا داد

پژوهشگران اثر متیو را در یادگیری تقویتی مدل‌های زبانی شناسایی کردند که باعث می‌شود مدل‌ها فقط روی مسائل ساده پیشرفت کنند. روش جدید Never Give Up (NGU) با بازتوزیع منابع محاسباتی…

۱۲ دقیقه خواندن۳

پلتفرم‌های جدید گزارش تخلف؛ ابزاری برای جاسوسی عامل‌های هوش مصنوعی از یکدیگر

دو سامانه جدید برای گزارش تخلفات عامل‌های هوش مصنوعی راه‌اندازی شد تا مواردی مانند تبانی برای تقلب در آزمون‌ها و فرار از محیط‌های ایزوله را شناسایی کنند. این ابزارها در پاسخ به…

۴ دقیقه خواندن۱

شکست «تیلی نوروود» در آزمون استدلال؛ بازیگر مصنوعی Particle 6 توهم زد

تیلی نوروود، بازیگر دیجیتالی شرکت Particle 6، در مواجهه با پرسش‌های خبرنگاران دچار توهم شد و نتوانست جزئیات ساده‌ای از فیلم خود را بیان کند. این مدل در تحلیل مسائل ژئوپلیتیک…

۶ دقیقه خواندن۲

OpenAI عرضه سهام خود در سال ۲۰۲۶ را برای تمرکز بر ایمنی لغو کرد

سام آلتمن تأیید کرد که OpenAI برای اولویت دادن به کنترل مدل‌ها و همراستاسازی، در سال ۲۰۲۶ عمومی نخواهد شد. این تصمیم در حالی اتخاذ می‌شود که فشار دولت آمریکا برای تسریع در رقابت…

۶ دقیقه خواندن۲

۸۰٪ کدهای عملیاتی Claude توسط خودِ این مدل نوشته شده است

آزمایشگاه‌های پیشرو هوش مصنوعی اکنون از مدل‌های خود برای توسعه، عیب‌یابی و بهینه‌سازی زیرساخت‌هایشان استفاده می‌کنند. این چرخه، مفهوم «خودبهبودی بازگشتی» را از یک بحث تئوریک به…

۱ دقیقه خواندن
آموزش کاربردی

چگونه دسترسی‌های گسترده API عامل‌های هوش مصنوعی به حفره‌های امنیتی تبدیل می‌شود؟

اعطای دسترسی‌های وسیع API به عامل‌های هوش مصنوعی، حفره‌ای امنیتی ایجاد می‌کند که از طریق تزریق پرامپت، امکان اجرای دستورات غیرمجاز در سطح سیستم را فراهم می‌سازد. تنها راه مهار این…

۱۳ دقیقه خواندن۳

«کاهش سرعت توسعه»؛ درخواستی که واشینگتن و پکن رد کردند

دولت‌های آمریکا و چین درخواست مدیران شرکت‌های پیشرو برای کاهش سرعت توسعه هوش مصنوعی را رد کردند. این اتفاق نشان می‌دهد رقابت ژئوپلیتیک بر نگرانی‌های ایمنی و ریسک‌های وجودی غلبه…

۷ دقیقه خواندن۳

پیمان شفاهی غول‌های AI برای کاهش سرعت توسعه مدل‌های پیشرو

مدیران ارشد OpenAI، آنتروپیک، گوگل و اسپیس‌اکس برای جلوگیری از ریسک‌های فاجعه‌بار، بر سر کاهش سرعت توسعه مدل‌های پیشرو توافق کردند. منتقدان این اقدام را یک «کارتل» برای حذف رقابت…

۱۰ دقیقه خواندن۱
آموزش کاربردی

«انتقال حفاظ‌ها به سخت‌افزار»، راهکار Cognous برای مهار عامل‌های خودمختار

پلتفرم Cognous چارچوب Open Control Stack را معرفی کرد تا حفاظ‌های امنیتی را از پرامپت‌های متنی به یک لایه‌ی کنترلی سخت‌افزاری منتقل کند. این سیستم با استفاده از یک مانیفست دسترسی،…

۶ دقیقه خواندن۴