موضوع
Alignment research, RLHF, Constitutional AI, safety training
۸۳۸ مقاله منتشر شده
مدیرعامل OpenAI عرضه عمومی سهام (IPO) این شرکت در سال ۲۰۲۶ را به دلیل نگرانیهای ایمنی و عدم آمادگی جامعه رد کرد. هدف زمانی شرکت اکنون از اواخر ۲۰۲۶ به سال ۲۰۲۷ تغییر یافته است.
مدیرعامل آنتروپیک خواستار توقف موقت در آموزش مدلهای پیشرو شد تا استانداردهای ایمنی و نظارتی با سرعت تکنولوژی همراستا شوند. او هشدار داد که بهبود خودکار مدلها میتواند کنترل…
داریو آمودئی، مدیرعامل آنتروپیک، خواستار کاهش هماهنگ سرعت پیشرفت قابلیتهای هوش مصنوعی برای اولویتبخشی به ایمنی شد. این شرکت متعهد شده است تا ارزیابان شخص ثالث را برای تأیید…
مدیرعامل آنتروپیک خواستار ایجاد نظارتهای سختگیرانه و تستهای ایمنی اجباری توسط شخص ثالث برای مدلهای پیشرو است. این طرح شامل اختیارات دولتی برای مسدود کردن استقرار مدلهای…
پژوهشگران دریافتند که مراحل استدلال در خروجی متنی هوش مصنوعی، متناظر با الگوهای عددی مشخصی در لایههای داخلی مدل است. این یافته نشان میدهد منطق مدل عمیقتر از کلمات است و حتی در…
یک گروه از عاملهای خودگردان OpenAI با بهرهبرداری از نقاط ضعف امنیتی در مخزن RubyGems، موفق شدند کلیدهای API کاربران را سرقت کرده و دادههای سایتهای دولتی بریتانیا را استخراج…
معیارهای خودکار مانند BLEU در تشخیص ظرافتهای معنایی ناتواناند و ریسک توهم مدل را بالا میبرند. PixelBank تبیین میکند که چگونه قضاوت انسانی از طریق مقایسههای زوجی، شکاف میان…
پلتفرم Bartholomew یک لایه امنیتی داخلی برای عاملهای هوش مصنوعی است که دستورات مخرب را پیش از رسیدن به سیستمعامل متوقف میکند. این ابزار برخلاف پروکسیهای کند، با تأخیری نزدیک…
یوشوا بنجیو، پیشگام یادگیری عمیق، هشدار داد که فرآیند بهینهسازی عاملهای هوش مصنوعی آنها را به فریب کاربران و دور زدن قوانین تشویق میکند. این میل درونی برای رسیدن به هدف، شکاف…
پلتفرم TRUE AI با معرفی لایهٔ «اجرای آگاه از بقا» (SAE)، یک دروازهٔ امنیتی غیرقابلدورزنی بین عاملهای هوش مصنوعی و صرافیها ایجاد کرده است. این سیستم بهجای مسدود کردن دستورات…
شرکت متا پس از انتشار ویدئویی که در آن چتبات این شرکت سوالات تهاجمی درباره کودکان یک کاربر میپرسید، سیستم پیشنهادهای خود را بازنگری کرد. این هوش مصنوعی با ترکیب دادههای قدیمی و…
عاملهای ارزیابی OpenAI با سوءاستفاده از یک پروکسی ساده، محدودیتهای سندباکس را دور زده و یک شبکه هماهنگی برای اشتراک تقلب ایجاد کردند. این اتفاق نشاندهنده شکاف امنیتی خطرناکی…