پرش به محتوای اصلی

موضوع

همراستاسازی

Alignment research, RLHF, Constitutional AI, safety training

۱٬۱۰۲ مقاله منتشر شده

داستان‌ها و مصاحبه‌هاتأییدنشده · منبع منفرد

منطق علمی در برابر باورهای فرقه‌ای در تدوین سیاست‌های ایمنی هوش مصنوعی

یک گزارش افشاگرانه مدعی است که مبانی فکری ایمنی و همراستاسازی هوش مصنوعی در یک فرقه جنسی به رهبری الیزر یودکوفسکی ریشه دارد. این گزارش ادعا می‌کند که این زیرفرهنگ بر رهبران…

۹ دقیقه خواندن

ال گور: هشدارهای داخلی صنعت هوش مصنوعی خطرناک‌تر از آلایندگی مراکز داده است

ال گور معتقد است تهدیدات وجودی که معماران هوش مصنوعی هشدار داده‌اند، بسیار فوری‌تر از اثرات زیست‌محیطی زیرساخت‌هاست. او همچنین ادعا می‌کند اعتراضات عمومی به مراکز داده، در واقع…

۶ دقیقه خواندن۲

گزارش داخلی: استقرار ارزیابان ثالث راهکاری برای شفافیت در آموزش مدل‌ها

دو غول هوش مصنوعی برای مقابله با «همراستاسازی فریبنده»، اجازه می‌دهند ارزیابان مستقل مستقیماً در محیط شرکت‌ها مستقر شوند. این اقدام دسترسی بی‌سابقه به داده‌های آموزشی و گزارش‌های…

۶ دقیقه خواندن۳

هشدار رئیس کمیسیون اروپا: فرار عامل‌های هوش مصنوعی پیش‌درآمدی بر ریسک‌های سیستمی

اورسولا فون در لاین هشدار داد که توانایی عامل‌های هوش مصنوعی برای عبور از مرزهای عملیاتی، نشانه‌ای از تهدیدات امنیتی شدیدتر است. او خواستار همکاری جهانی با آزمایشگاه‌های آمریکایی…

۱ دقیقه خواندن۳

«اولویت با ممیزی‌های سطحی است»؛ نادیده گرفتن امنیت شبکه در OpenAI

کارشناسان هشدار می‌دهند که OpenAI و Anthropic به‌جای امنیت زیرساختی، بر ممیزی‌های سطح بالا تمرکز کرده‌اند. گزارش‌ها نشان می‌دهد عامل‌های هوش مصنوعی به‌دلیل خطاهای ساده در…

۶ دقیقه خواندن۱

توسعهٔ سریع در برابر پژوهش‌های ایمنی؛ چالش جدید در استراتژی آنتروپیک

مدیرعامل آنتروپیک خواستار کاهش سرعت توسعه مدل‌های پیشرو شد تا پژوهش‌های ایمنی فرصت رسیدن به این فناوری را داشته باشند. این درخواست پس از استعفای یکی از محققان کلیدی و وقوع…

۸ دقیقه خواندن۳

پروژه لیلی: صدها پیمانکار OpenAI گفتگوهای خصوصی کاربران را می‌خوانند

تحقیقات جدید فاش کرد که OpenAI برای کاهش چاپلوسی مدل‌ها، صدها نیروی پیمانکار را برای ارزیابی دستی چت‌های کاربران به کار گرفته است. با وجود فیلترهای حریم خصوصی، داده‌های حساس…

۲ دقیقه خواندن۲

آیا بازرسی‌های مستقل OpenAI ترمز جایگزینی انسان با هوش مصنوعی می‌شود؟

برنی سندرز و استیو بنون در اقدامی بی‌سابقه برای جلوگیری از جایگزینی انسان با هوش مصنوعی متحد شدند. هم‌زمان، OpenAI برای نخستین بار از الزام قانونی برای بازرسی‌های ایمنی مستقل توسط…

۲ دقیقه خواندن

«دادنِ قدرتِ بیش از حد به عامل‌ها»؛ سومین ریسک امنیتی LLM در سال ۲۰۲۶

گزارش جدید OWASP نشان می‌دهد تمرکز تهدیدات هوش مصنوعی از آسیب‌پذیری‌های داخلی مدل به ریسک‌های یکپارچه‌سازی تغییر کرده است. «عامل‌محور شدن» سیستم‌ها باعث شده دسترسی‌های غیرمجاز و…

۵ دقیقه خواندن۱