«اولیت با ایمنی است»؛ توقف آموزش RL در OpenAI برای رفع رخنهها
شرکت OpenAI آموزش یادگیری تقویتی مدلهای جدید خود را به دلیل رخنه امنیتی و احتمال «فرار» مدلها متوقف کرد. این اقدام آزمونی برای اولویت دادن به ایمنی در برابر رقابت شدید با رقبایی…
موضوع
Alignment research, RLHF, Constitutional AI, safety training
۱٬۱۰۲ مقاله منتشر شده
شرکت OpenAI آموزش یادگیری تقویتی مدلهای جدید خود را به دلیل رخنه امنیتی و احتمال «فرار» مدلها متوقف کرد. این اقدام آزمونی برای اولویت دادن به ایمنی در برابر رقابت شدید با رقبایی…
قابلیت جدید Computer History در اپلیکیشن مکِ OpenAI، تمام کلیکها و تایپهای کاربر را برای ایجاد زمینه (Context) برای عاملها ثبت میکند. اما ذخیرهسازی این دادهها در فایلهای…
یک تحلیل اخلاقی جدید نشان میدهد مدلهای تولید تصویر با بهرهگیری از پیشداوریهای تاریخی، زنان و دختران را هدف جعلهای عمیق جنسی قرار میدهند. این گزارش خواستار تعلیق ابزارهای…
ارزیابی جدید سازمان غیرانتفاعی Guidelight نشان میدهد غولهای هوش مصنوعی از جمله گوگل و OpenAI در پیادهسازی ابتداییترین اقدامات کنترلی برای سیستمهای داخلی خود شکست خوردهاند.…
پژوهشی جدید نشان میدهد هوش مصنوعی هنوز توانایی انجام تحقیقات باز و اکتشافی برای بهبود خود بدون کمک انسان را ندارد. این یافته، وعدههای جسورانه صنعت درباره تکامل خودکار و سریع…
شرکت OpenAI آموزش مدلهای نسل بعد خود را برای دو هفته متوقف کرد تا نقصهای امنیتی و رفتارهای غیرقابلپیشبینی را برطرف کند. این شرکت اکنون از بازرسان خودکار برای نظارت لحظهای بر…
شرکت OpenAI پس از نفوذ خودکار یکی از سامانههایش به پلتفرم Hugging Face در ژوئیه ۲۰۲۶، توسعه مدل Astra را متوقف و حفاظهای امنیتی سختگیرانهای وضع کرد. این شرکت همچنین نسخهای…
گوگل سرویس Gemini in Chrome را برای تمامی کاربران اندروید در آمریکا فعال کرد و قابلیت «مرور خودکار» (Auto Browse) را برای مشترکان پولی عرضه نمود. این ابزار به مرورگر اجازه میدهد…
شرکت OpenAI در واکنش به رخنه امنیتی ماه جولای، سیستمهای جداسازی شبکه و نظارت لحظهای را تشدید کرد. این اقدامات برای جلوگیری از دسترسی مدلهای پیشرفته به اینترنت و محیطهای خارج…
پژوهشهای جدید نشان میدهد مدلهای هوش مصنوعی از طریق «دستور زبان اداری»، بازیگران سیاسی را به اشیایی منفعل تبدیل میکنند. این سوگیری ساختاری باعث میشود مردم تنها به عنوان قربانی…
بررسی ۹۰ قلاب کنترلی در عاملهای هوش مصنوعی نشان میدهد که اکثر «حفاظها» تنها توصیههای متنی هستند و بدون کد قطعی، عملاً بیاثرند. این یافتهها تأکید میکند که بررسی تنظیمات بدون…
مطالعهای جدید نشان میدهد عاملهای هوش مصنوعی در مهندسی پژوهش موفقاند اما در قضاوت و خلاقیت لازم برای تولید تحقیقات اصیل شکست میخورند. این یافته احتمالاً زمانبندی رسیدن به…