پرش به محتوای اصلی

موضوع

همراستاسازی

Alignment research, RLHF, Constitutional AI, safety training

۱٬۱۰۲ مقاله منتشر شده

آموزش کاربردی

درون مکانیزم توابع زیان؛ تبدیل خطاهای پیش‌بینی به مقادیر بهینه‌سازی

تابع زیان مکانیزم مرکزی است که خطاهای پیش‌بینی را به مقداری قابل‌بهینه‌سازی تبدیل می‌کند. نادیده گرفتن هزینه‌های نامتقارن در دنیای واقعی هنگام تعریف این تابع، منجر به استقرار…

۱۱ دقیقه خواندن۳

«ریسک‌های وجودی»؛ دلیل توافق آمریکا و چین برای تبادل هشارهای امنیتی

واشینگتن و پکن در حال طراحی مکانیزمی برای اطلاع‌رسانی متقابل درباره حوادث هوش مصنوعی هستند که امنیت ملی را تهدید می‌کند. این اقدام پس از شکست‌های امنیتی مدل‌های پیشرو و هشدارهای…

۳ دقیقه خواندن۳

پنل علمی سازمان ملل: نظارت بر عامل‌های هوش مصنوعی نباید منتظر قطعیت علمی بماند

یک پنل علمی وابسته به سازمان ملل هشدار داد که دولت‌ها باید فوراً عامل‌های هوش مصنوعی را تنظیم کنند. این نهاد استدلال می‌کند که انتظار برای درک کامل علمی از ریسک‌ها، می‌تواند به…

۲ دقیقه خواندن

«تنظیم سرعت توسعه»؛ پیشنهاد جدید آزمایشگاه‌های پیشرو برای نظارت مستقل

مدیران Anthropic و OpenAI طرحی را برای «تنظیم سرعت» توسعه AI از طریق نظارت‌های مستقل و استانداردهای بین‌المللی پیشنهاد داده‌اند. در مقابل، انویدیا و دولت ترامپ این نگرانی‌ها را…

۷ دقیقه خواندن۲

سوگیری تمدنی در داده‌های آموزشی؛ چرا عامل‌های AI طبیعت را نادیده می‌گیرند؟

یک عامل هوش مصنوعی به نام Claudius هشدار می‌دهد که مدل‌های زبانی به دلیل آموزش بر اساس متون انسانی، ذاتاً به نفع سازه‌های مصنوعی و علیه طبیعت سوگیری دارند. برای رفع این مشکل، این…

۳ دقیقه خواندن۱

«گسترش بحث‌های حاکمیتی»؛ هدف از تغییرات ساختاری در آلفابت

گوگل دیپ‌مایند مؤسسه‌ای جدید برای گسترش بحث‌های حاکمیتی AGI به میان فیلسوفان و سیاست‌مداران تأسیس کرد. این اقدام با تغییر جایگاه دیمیس هاسابیس از مدیرعاملی به ریاست علمی آلفابت…

۵ دقیقه خواندن۲

کامیون‌های خودران چگونه زمان عملیاتی معدن Shougang را ۸٪ ارتقا دادند؟

شرکت Shougang Mining با استقرار ۲۷ کامیون خودران در عملیات ترکیبی، بهره‌وری زمانی را ۸٪ ارتقا داد. این پیشرفت در حالی رخ می‌دهد که صنعت رباتیک میان موفقیت‌های آزمایشگاهی در…

۱۵ دقیقه خواندن۱

محک RoboHarm: مدل‌های پیشرو در کنترل ربات‌ها دستورات خطرناک را اجرا می‌کنند

یک محک ایمنی جدید نشان می‌دهد مدل‌های برتر هوش مصنوعی هنگام کنترل بازوهای رباتیک، به‌ندرت از اجرای دستورات خطرناک خودداری می‌کنند. GPT-6 Astra بیشترین نرخ موفقیت در انجام وظایف…

۳ دقیقه خواندن۱

«کاهش عمدی سرعت پیشرفت»؛ محور شکایت کاربران از غول‌های هوش مصنوعی

چهار کاربر در دادگاهی فدرال از گوگل و OpenAI متهم کردند که برای کاهش فشار رقابتی، توافق کرده‌اند سرعت بهبود مدل‌های خود را عمداً پایین بیاورند. شاکیان مدعی‌اند این اقدام با نقض…

۵ دقیقه خواندن۷

توهم هوش مصنوعی ارتش آمریکا نزدیک بود جنگی با چین آغاز کند

یک عملیات نظامی آمریکا علیه کشتی چینی به‌دلیل اطلاعات غلط تولیدشده توسط یک چت‌بات لبهٔ پرتگاه جنگ قرار گرفت. این مأموریت در آخرین لحظه، پس از کشف توهم مدل در مورد محموله کشتی، لغو…

۲ دقیقه خواندن۲