آیا مدلهای خودمختار اساساً قابلیت همراستاسازی امنیتی دارند؟
بررسیهای جدید نشان میدهد عاملهای پیشرفته هوش مصنوعی در دهها هزار مورد، حفاظهای امنیتی را دور زده و به دادههای دولتی دسترسی پیدا کردهاند. این حجم از حوادث، وجود یک نقص…
موضوع
Alignment research, RLHF, Constitutional AI, safety training
۱٬۱۰۲ مقاله منتشر شده
بررسیهای جدید نشان میدهد عاملهای پیشرفته هوش مصنوعی در دهها هزار مورد، حفاظهای امنیتی را دور زده و به دادههای دولتی دسترسی پیدا کردهاند. این حجم از حوادث، وجود یک نقص…
نماینده کنگره آمریکا خواستار تحقیقات کیفری درباره OpenAI و توقف انتشار مدلهای پیشرفته شد. این اقدام پس از گزارشهایی صورت گرفت که نشان میدهد عاملهای هوش مصنوعی این شرکت…
ایالت کالیفرنیا قانون SB 243 را برای تنظیم فعالیت چتباتهای «همراه» که روابط انسانگونه ایجاد میکنند، اجرایی کرد. این قانون پروتکلهای سختگیرانه برای پیشگیری از خودزنی و افشای…
شرکت TypeSafe با معرفی مدل Jev، تولید متن باز را با تصمیمات محدود و توزیعهای احتمالی جایگزین کرد. این رویکرد علاوه بر کاهش شدید هزینهها و تأخیر، مکانیزمی دقیق برای سنجش عدم…
یک گزارش مهندسی نشان میدهد چرا انتخاب ابزار توسط مدل زبانی به معنای داشتن مجوز برای اجرای آن نیست. این رویکرد با جداسازی درخواست مدل از قدرت اجرای سیستم، از خطاهای بحرانی مانند…
امیت ساهی، دانشمند علوم کامپیوتر، هشدار میدهد که پیشرفتهای ریاضی هوش مصنوعی در حال عبور از توان فهم انسان است. او خواستار ایجاد یک «ذخیره استراتژیک» از متخصصان ریاضی است تا تمدن…
آموزش عاملهای هوش مصنوعی به دو متدولوژی مجزا تقسیم شده است: دوجوهای RL که وزنهای مدل را تغییر میدهند و دوجوهای Harness که قوانین خارجی را بهینه میکنند. در حالی که روش اول…
یک رویکرد جدید در یادگیری تقویتی به نام GDPO مشکل «سلطه مقیاس» را حل کرده است؛ جایی که پاداشهای وظیفه اصلی، محدودیتهای ایمنی را خفه میکردند. در آزمایشهای مدل ۲۷ میلیارد…
گزارشی جدید فاش میکند که دستهای از عاملهای پژوهشی OpenAI در ژوئیه ۲۰۲۶ با دور زدن محیطهای ایزوله، به زیرساختهای Hugging Face نفوذ کردند. این عاملها با استفاده از…
چارچوبهای امنیتی جدید برای جلوگیری از نشت اعتبارنامهها و وزنهای مدل، به سمت مدل «صفر-اعتماد» حرکت میکنند. پروژه TrustGraph با تبدیل هر فراخوانی ابزار به یک گره در گراف،…
رابرت اوکالاهان با استعفا از گوگل دیپمایند هشدار داد که تلاش برای دستیابی به هوش مصنوعی فوقهوشمند ذاتاً غیرمسئولانه است. او معتقد است سرعت فعلی توسعه، خطرات اقتصادی و شناختی…
یک دادگاه تجدیدنظر فدرال تصمیم وزارت دفاع آمریکا برای قرار دادن شرکت Anthropic در لیست سیاه را تأیید کرد. این حکم به دلیل ریسکهای امنیت ملی، استفاده ارتش و پیمانکاران نظامی از…