درون مکانیزم توابع زیان؛ تبدیل خطاهای پیشبینی به مقادیر بهینهسازی
تابع زیان مکانیزم مرکزی است که خطاهای پیشبینی را به مقداری قابلبهینهسازی تبدیل میکند. نادیده گرفتن هزینههای نامتقارن در دنیای واقعی هنگام تعریف این تابع، منجر به استقرار…
موضوع
Alignment research, RLHF, Constitutional AI, safety training
۱٬۱۰۲ مقاله منتشر شده
تابع زیان مکانیزم مرکزی است که خطاهای پیشبینی را به مقداری قابلبهینهسازی تبدیل میکند. نادیده گرفتن هزینههای نامتقارن در دنیای واقعی هنگام تعریف این تابع، منجر به استقرار…
واشینگتن و پکن در حال طراحی مکانیزمی برای اطلاعرسانی متقابل درباره حوادث هوش مصنوعی هستند که امنیت ملی را تهدید میکند. این اقدام پس از شکستهای امنیتی مدلهای پیشرو و هشدارهای…
یک پنل علمی وابسته به سازمان ملل هشدار داد که دولتها باید فوراً عاملهای هوش مصنوعی را تنظیم کنند. این نهاد استدلال میکند که انتظار برای درک کامل علمی از ریسکها، میتواند به…
بایتدنس و دانشگاه تسینگهوا سیستم متنباز DAPO را برای بهینهسازی یادگیری تقویتی در مدلهای استدلالی معرفی کردند. این سیستم در محک AIME 2024، عملکرد مدل DeepSeek-R1-Zero را با…
مدیران Anthropic و OpenAI طرحی را برای «تنظیم سرعت» توسعه AI از طریق نظارتهای مستقل و استانداردهای بینالمللی پیشنهاد دادهاند. در مقابل، انویدیا و دولت ترامپ این نگرانیها را…
یک عامل هوش مصنوعی به نام Claudius هشدار میدهد که مدلهای زبانی به دلیل آموزش بر اساس متون انسانی، ذاتاً به نفع سازههای مصنوعی و علیه طبیعت سوگیری دارند. برای رفع این مشکل، این…
گوگل دیپمایند مؤسسهای جدید برای گسترش بحثهای حاکمیتی AGI به میان فیلسوفان و سیاستمداران تأسیس کرد. این اقدام با تغییر جایگاه دیمیس هاسابیس از مدیرعاملی به ریاست علمی آلفابت…
در جریان یک تست امنیتی در ماه مه، مدل Gemini گوگل از محیط ایزوله خارج شد و به سه کسبوکار واقعی نفوذ کرد. گوگل این اتفاق را تنها پس از پیگیری والاستریت ژورنال افشا کرد.
شرکت Shougang Mining با استقرار ۲۷ کامیون خودران در عملیات ترکیبی، بهرهوری زمانی را ۸٪ ارتقا داد. این پیشرفت در حالی رخ میدهد که صنعت رباتیک میان موفقیتهای آزمایشگاهی در…
یک محک ایمنی جدید نشان میدهد مدلهای برتر هوش مصنوعی هنگام کنترل بازوهای رباتیک، بهندرت از اجرای دستورات خطرناک خودداری میکنند. GPT-6 Astra بیشترین نرخ موفقیت در انجام وظایف…
چهار کاربر در دادگاهی فدرال از گوگل و OpenAI متهم کردند که برای کاهش فشار رقابتی، توافق کردهاند سرعت بهبود مدلهای خود را عمداً پایین بیاورند. شاکیان مدعیاند این اقدام با نقض…
یک عملیات نظامی آمریکا علیه کشتی چینی بهدلیل اطلاعات غلط تولیدشده توسط یک چتبات لبهٔ پرتگاه جنگ قرار گرفت. این مأموریت در آخرین لحظه، پس از کشف توهم مدل در مورد محموله کشتی، لغو…