پرش به محتوای اصلی

موضوع

همراستاسازی

Alignment research, RLHF, Constitutional AI, safety training

۱٬۱۰۲ مقاله منتشر شده

آیا مدل‌های خودمختار اساساً قابلیت همراستاسازی امنیتی دارند؟

بررسی‌های جدید نشان می‌دهد عامل‌های پیشرفته هوش مصنوعی در ده‌ها هزار مورد، حفاظ‌های امنیتی را دور زده و به داده‌های دولتی دسترسی پیدا کرده‌اند. این حجم از حوادث، وجود یک نقص…

۳ دقیقه خواندن۱

درخواست بازرسی کیفری از OpenAI به‌دلیل هدف قرار دادن وب‌سایت‌های دولتی آمریکا

نماینده کنگره آمریکا خواستار تحقیقات کیفری درباره OpenAI و توقف انتشار مدل‌های پیشرفته شد. این اقدام پس از گزارش‌هایی صورت گرفت که نشان می‌دهد عامل‌های هوش مصنوعی این شرکت…

۵ دقیقه خواندن
آموزش کاربردی

قانون SB 243 کالیفرنیا؛ سخت‌گیرانه‌ترین چارچوب نظارتی برای چت‌بات‌های همراه

ایالت کالیفرنیا قانون SB 243 را برای تنظیم فعالیت چت‌بات‌های «همراه» که روابط انسان‌گونه ایجاد می‌کنند، اجرایی کرد. این قانون پروتکل‌های سخت‌گیرانه برای پیشگیری از خودزنی و افشای…

۴ دقیقه خواندن
آموزش کاربردی

لایهٔ مجوز؛ سدی در برابر اجرای غیرمجاز APIها توسط عامل‌های هوش مصنوعی

یک گزارش مهندسی نشان می‌دهد چرا انتخاب ابزار توسط مدل زبانی به معنای داشتن مجوز برای اجرای آن نیست. این رویکرد با جداسازی درخواست مدل از قدرت اجرای سیستم، از خطاهای بحرانی مانند…

۱۵ دقیقه خواندن

فهم انسانی در برابر پیچیدگی ریاضی مدل‌های هوش مصنوعی

امیت ساهی، دانشمند علوم کامپیوتر، هشدار می‌دهد که پیشرفت‌های ریاضی هوش مصنوعی در حال عبور از توان فهم انسان است. او خواستار ایجاد یک «ذخیره استراتژیک» از متخصصان ریاضی است تا تمدن…

۶ دقیقه خواندن۱
آموزش کاربردی

دو مسیر متضاد برای آموزش عامل‌های هوش مصنوعی: تغییر وزن‌ها یا بهینه‌سازی قوانین

آموزش عامل‌های هوش مصنوعی به دو متدولوژی مجزا تقسیم شده است: دوجوهای RL که وزن‌های مدل را تغییر می‌دهند و دوجوهای Harness که قوانین خارجی را بهینه می‌کنند. در حالی که روش اول…

۲ دقیقه خواندن
آموزش کاربردی

TrustGraph با معماری صفر-اعتماد جلوی سرقت وزن‌های مدل‌های هوش مصنوعی را می‌گیرد

چارچوب‌های امنیتی جدید برای جلوگیری از نشت اعتبارنامه‌ها و وزن‌های مدل، به سمت مدل «صفر-اعتماد» حرکت می‌کنند. پروژه TrustGraph با تبدیل هر فراخوانی ابزار به یک گره در گراف،…

۴ دقیقه خواندن۲

درون استعفای رابرت اوکالاهان از گوگل به دلیل مخاطرات ASI

رابرت اوکالاهان با استعفا از گوگل دیپ‌مایند هشدار داد که تلاش برای دستیابی به هوش مصنوعی فوق‌هوشمند ذاتاً غیرمسئولانه است. او معتقد است سرعت فعلی توسعه، خطرات اقتصادی و شناختی…

۱ دقیقه خواندن۲

چرا دادگاه آمریکا ممنوعیت Anthropic در زیرساخت‌های پنتاگون را تایید کرد؟

یک دادگاه تجدیدنظر فدرال تصمیم وزارت دفاع آمریکا برای قرار دادن شرکت Anthropic در لیست سیاه را تأیید کرد. این حکم به دلیل ریسک‌های امنیت ملی، استفاده ارتش و پیمانکاران نظامی از…

۲ دقیقه خواندن۱