درون فرهنگ OpenAI؛ تقابل سرعت عرضه و پروتکلهای ایمنی
دیوید رابینسون، مدیر گزارشهای ایمنی OpenAI، پس از سه سال و نیم فعالیت استعفا داد و هشدار داد که شتاب بیرویه برای عرضه محصولات، لایههای حیاتی ایمنی را قربانی کرده است. این خروج…
موضوع
Alignment research, RLHF, Constitutional AI, safety training
۱٬۱۰۲ مقاله منتشر شده
دیوید رابینسون، مدیر گزارشهای ایمنی OpenAI، پس از سه سال و نیم فعالیت استعفا داد و هشدار داد که شتاب بیرویه برای عرضه محصولات، لایههای حیاتی ایمنی را قربانی کرده است. این خروج…
بازداشت زنی در فلوریدا پس از گزارش آنتروپیک درباره تهدیدات خشونتآمیز در چتهای کلود، مرز حریم خصوصی AI را جابهجا کرد. این پرونده نشان میدهد گفتگو با مدلهای زبانی اکنون به…
پلتفرم LOGIHEART مدل جدیدی به نام «رایانش رابطهای» را پیشنهاد میدهد که در آن انسان بهجای یک نقطهٔ دادهای، بهعنوان سوژهای فعال دیده میشود. این رویکرد بر توانایی کاربر در…
شرکت OpenAI متعهد شده است که طی ۲۸ روز آینده، هر روز یک بهبود ملموس در Codex ارائه دهد یا کل سیستم را بازنشانی کند. همزمان، گوگل به دلیل هجوم گزارشهای بیکیفیت تولیدشده توسط هوش…
یادگیری تقویتی با پاداشهای قابل تأیید (RLVR) برای جلوگیری از سوءاستفاده مدلها از حفرههای منطقی، به تأییدکنندههای برنامهنویسیشده و قطعی نیاز دارد. یک دستورالعمل جدید، معماری…
یک محک جدید نشان میدهد بسیاری از سوگیریهای دموگرافیک در مدلهای هوش مصنوعی، ناشی از ابهام در مقیاسهای امتیازدهی است. با تحمیل یک قرارداد سختگیرانه برای اعداد صحیح ۰ تا ۱۰۰،…
یک رابط عمومی OpenAI در مصاحبهای با Vanity Fair سعی کرد مانع از پاسخ سام آلتمن به پرسشهایی دربارهٔ خودکشی یک کاربر شود. این اتفاق شکاف عمیق میان استراتژیهای روابط عمومی شرکتها…
یک نظرسنجی جدید نشاندهنده شکاف عمیق میان آزمایشگاههای هوش مصنوعی و افکار عمومی است. اکثریت آمریکاییها از تهدیدهای احتمالی برای بقای انسان میترسند و خواهان استانداردهای ایمنی…
سناتور آدام شیف هشدار داد که پیمانهای داوطلبانه شرکتهای فناوری برای ایمنی هوش مصنوعی بیمعنی هستند. او معتقد است تنها راه مقابله با لابیهای شرکتی و جلوگیری از فجایع امنیتی،…
کارمندان Anthropic در یک موج خیرخواهانه، صدها میلیون دلار از سهام خود را به سازمانهای خیریه اهدا کردند. این اقدام که با حمایت مالی سه برابری شرکت همراه شده، این آزمایشگاه هوش…
آنتروپیک قابلیت Mods را برای Claude Code معرفی کرد که به توسعهدهندگان اجازه میدهد با توابع TypeScript، رویدادهای داخلی عامل را رهگیری و بازنویسی کنند. این ابزار برخلاف قلابهای…
شورای شهر نیویورک مدیران OpenAI، گوگل، متا و آنتروپیک را برای پاسخگویی درباره ریسکهای ایمنی و حفاظت از مصرفکننده احضار کرد. این اقدام با بستهای از قوانین سختگیرانه همراه است…