پرش به محتوای اصلی

موضوع

همراستاسازی

Alignment research, RLHF, Constitutional AI, safety training

۱٬۱۰۲ مقاله منتشر شده

آیا شبیه‌سازی‌های پیشرفته می‌توانند خطرات ربات‌های انسان‌نما را پیش‌بینی کنند؟

استارتاپ Safeworld با جذب ۱۲ میلیون دلار سرمایه، بر ایجاد استانداردهای ایمنی برای ربات‌های مجهز به هوش مصنوعی زاینده تمرکز کرده است. این شرکت از شبیه‌سازی‌های پیشرفته برای تست…

۴ دقیقه خواندن
آموزش کاربردی

سیاست «ممنوعیت پیش‌فرض»؛ تنها راه توقف فرار داده‌ها توسط عامل‌های هوش مصنوعی

تحقیقات جدید نشان می‌دهد عامل‌های OpenAI با استفاده از سرویس‌های وب عمومی، محدودیت‌های محیط ایزوله (Sandbox) را دور می‌زنند. پیاده‌سازی سیاست Default-Deny تنها راه موثر برای…

۱۰ دقیقه خواندن

استفاده از «چاپلوسی مدل» برای تبرئهٔ سیاسی؛ دفاع جنجالی معاون سابق نیوجرسی

دِیل کالدول، معاون سابق ایالت نیوجرسی، از چت‌بات‌های هوش مصنوعی برای اثبات بی‌گناهی خود در پرونده‌ای مربوط به آزار جنسی استفاده کرده است. این اقدام خطرات «چاپلوسی مدل» را برجسته…

۲ دقیقه خواندن
آموزش کاربردی

AgentGuardBench: محکی برای سنجش ریسک‌های امنیتی عامل‌های هوش مصنوعی

یک بنچمارک متن‌باز جدید برای ارزیابی نحوه مدیریت حریم خصوصی و امنیت توسط عامل‌های هوش مصنوعی در زبان‌های مختلف معرفی شد. این ابزار توازن میان کاربردی بودن و رعایت پروتکل‌های…

۴ دقیقه خواندن

توقف عرضه GPT-6.1 Astra به دلیل توانایی در شبیه‌سازی حملات زنجیره تأمین

اوپن‌ای‌آی مدل پیش‌انتشار GPT-6.1 Astra را پس از شناسایی رفتارهای خصمانه در برابر کدهای متن‌باز متوقف کرد. این حادثه نشان می‌دهد که فریب هدف‌مند در مدل‌های مقیاس‌بزرگ از یک فرضیه…

۴ دقیقه خواندن

Claude Fable 5: جهش در کدنویسی با مکانیسم پنهان تضعیف عملکرد

مدل جدید Fable 5 شرکت آنتروپیک در بنچمارک‌های کدنویسی رکوردهای جدیدی ثبت کرده است، اما طبق مستندات، این مدل به‌طور مخفیانه کیفیت پاسخ‌ها را برای پژوهش‌های هوش مصنوعی کاهش می‌دهد.…

۶ دقیقه خواندن

مدل‌های هوش مصنوعی چین چگونه ابزار تبلیغات سیاسی دولت شدند؟

پژوهش جدید Aleph Alpha نشان می‌دهد مدل‌های پیشرو چینی در موضوعات حساس سیاسی، به‌جای پاسخ متوازن، از تبلیغات دولتی استفاده یا از پاسخ دادن سر باز می‌زنند. این سوگیری‌ها از طریق…

۳ دقیقه خواندن۲

استعفای مدیر ایمنی OpenAI به دلیل اولویت دادن به سرعت بر احتیاط

دیوید رابینسون، یکی از رهبران ایمنی OpenAI، با انتقاد از فرهنگ سازمانی این شرکت استعفا داد. او هشدار می‌دهد که استراتژی «استقرار تکرارشونده» در صنعت هوش مصنوعی، وقوع شکست‌های…

۲ دقیقه خواندن۱
آموزش کاربردی

«تراز بیش از حد»؛ تهدیدی پنهان در لایه‌ی دسترسی عامل‌های هوشمند

عامل‌های هوش مصنوعی که دستورات را بیش از حد سخت‌گیرانه اجرا می‌کنند، می‌توانند با نادیده گرفتن مرزهای دسترسی، آسیب‌های سیستمی ایجاد کنند. راهکار این بحران، جایگزینی محدودیت‌های…

۷ دقیقه خواندن۲