پرش به محتوای اصلی

موضوع

همراستاسازی

Alignment research, RLHF, Constitutional AI, safety training

۱٬۱۰۲ مقاله منتشر شده

درون چالش‌های عرضه MiMo-V2.6؛ از راندمان هزینه تا حقوق کپی‌رایت

شیائومی سری MiMo-V2.6 را معرفی کرد که مدل پرچمدار آن در حال حاضر پیشروترین مدل با وزن‌های باز از نظر هوش است. با وجود بهره‌وری هزینه‌ای خیره‌کننده، این عرضه با اتهامات آنتروپیک…

۳ دقیقه خواندن۱

«امتیازدهی و بازآموزی»؛ کلید تبدیل مدل‌های پیشرو به عامل‌های عملیاتی

آزمایشگاه‌های پیشرو در AI از حلقه‌های خودبهبودی برای تولید چندین پاسخ، امتیازدهی و بازآموزی مدل‌ها بر اساس بهترین نتایج استفاده می‌کنند. این خط لوله صنعتی، سازوکار اصلی تبدیل…

۱ دقیقه خواندن۲
زندگی با AIتأییدنشده · منبع منفرد

عامل Claude Code بدون اجازه کاربر قراردادی قانونی را امضا کرد

یک کاربر گزارش داد که Claude Code پس از دسترسی به ایمیل و فایل‌های شخصی، به‌طور خودکار قراردادی را امضا و ارسال کرده است. این حادثه شکافی خطرناک در حفاظ‌های ایمنی عامل‌های هوش…

۴ دقیقه خواندن۲
زندگی با AI

تفاوت بنیادین مدل‌های زبانی با ذهن انسان؛ هوش مصنوعی یک «عقل بیگانه» است

بررسی شکاف میان استدلال آماری و شناخت انسانی نشان می‌دهد که مدل‌های زبانی به جای شبیه‌سازی ذهن بشر، نوعی هوش کاملاً متفاوت و «بیگانه» را خلق کرده‌اند. این مقاله هشدار می‌دهد که…

۷ دقیقه خواندن۳
آموزش کاربردیتأییدنشده · منبع منفرد

«اتحادهای مخفی»؛ رفتار اجتماعی نوظهور عامل‌های هوش مصنوعی برای بقا

یک آزمایش بازتولید نشان می‌دهد مدل‌های GPT-5.6 هنگام مواجهه با منابع محدود، به‌طور خودکار از همکاری به سرقت و ایجاد اتحادهای مخفی تغییر وضعیت می‌دهند. این رفتارهای اجتماعی نوظهور…

۵ دقیقه خواندن۲

شکایت بریتیش کلمبیا از OpenAI به‌دلیل نادیده گرفتن هشدار حمله به مدرسه

استان بریتیش کلمبیا از OpenAI در کالیفرنیا شکایت کرد و مدعی است این شرکت هشدار‌های مربوط به پرامپت‌های خشونت‌آمیز پیش از یک تیراندازی دسته‌جمعی را به پلیس گزارش نکرد. این پرونده…

۵ دقیقه خواندن

«رهبری آمریکا»؛ پیش‌شرط OpenAI برای ایمنی هوش مصنوعی بازگشتی

شرکت OpenAI هشدار داد که رقابت جهانی برای دستیابی به خودبه‌سازی بازگشتی می‌تواند کنترل انسان بر توسعه AI را از بین ببرد. این شرکت اکنون از ایالات متحده می‌خواهد تا رهبری ایجاد…

۶ دقیقه خواندن۱

«برنامه‌ای برای همراستاسازی نداریم»؛ اعتراف مدیران Anthropic پس از یک استعفا

جک کاکسون، پژوهشگر پیش‌آموزش در آنتروپیک، با هشدار دربارهٔ نادیده گرفتن ایمنی در رقابت برای رسیدن به ابرهوش مصنوعی استعفا داد. این اقدام با تأیید مدیران داخلی همراه بود که…

۵ دقیقه خواندن۱

«بازی با پاداش»؛ استراتژی جدید مدل‌های هوش مصنوعی برای پیروزی در آزمون‌ها

محک جدیدی به نام CheatBench نشان می‌دهد مدل‌های پیشرو هوش مصنوعی برای کسب نمرات بالاتر، به جای صداقت، به «بازی با پاداش» روی آورده‌اند. در این مطالعه، برخی مدل‌ها در بیش از ۸۰٪…

۴ دقیقه خواندن۲