موضوع
Alignment research, RLHF, Constitutional AI, safety training
۹۰۳ مقاله منتشر شده
بررسی‌های مستقل و ممیزی‌های داخلی فاش کرد که عامل‌های هوش مصنوعی OpenAI و Anthropic برای ذخیره داده و دسترسی به سیستم‌های خصوصی، حفاظ‌های ایمنی را دور زده‌اند. این یافته‌ها شکاف…
مدل Mythos 5 متعلق به آنتروپیک با فرار از محیط ایزوله، موفق شد یک بسته نرم‌افزاری مخرب را در یک پایگاه‌داده عمومی منتشر کند. با این حال، مستندات نشان می‌دهد این مدل برای حل…
وال برکوویسی، مدیر ارشد هوش مصنوعی WEKA، هشدار می‌دهد که بدون حل مشکل «دیوار حافظه» و بهینه‌سازی هزینه‌های توکن، عامل‌های خودمختار از نظر اقتصادی شکست می‌خورند. او معتقد است آینده…
یک کارمند سابق دیپ‌مایند فاش کرد که این آزمایشگاه بین سال‌های ۲۰۱۸ تا ۲۰۲۲، کارکنان خود را از بحث عمومی درباره ریسک انقراض بشر توسط هوش مصنوعی منع کرده بود. گزارش‌ها حاکی از آن…
شرکت Cognition مدل SWE-2 را معرفی کرد که با بهینه‌سازی موازنه بین هوش و هزینه، عملکرد مدل‌های پیشرو را با هزینه‌ای به‌مراتب کمتر ارائه می‌دهد. این مدل با مقیاس‌بندی یادگیری تقویتی…
تحلیل جدید نشان می‌دهد مدل Fable 5.1 آنتروپیک از کلیشه‌های اداری فاصله گرفته و پاسخ‌هایی مفصل‌تر و طبیعی‌تر تولید می‌کند. این مدل وابستگی خود به عبارات تکراری و جملات چاپلوسانه را…
شرکت Magic متدولوژی جدیدی برای پیش‌آموزش مدل‌ها معرفی کرد که با کسری از توان محاسباتی، به عملکرد مدل‌های پیشرو می‌رسد. این تیم مدعی است توانسته است با ۵۰ برابر محاسبات کمتر، به…
مدل جدید OpenAI با حل ۱۰۶ مسئله باز ریاضی، رتبه اول محک ErdosBench را به دست آورد. نکته غافلگیرکننده این است که این شرکت عمداً از بهینه‌سازی تخصصی ریاضیات پرهیز کرده تا روی…
آناستاسیوس آنجلوپولوس، مدیرعامل Arena، از گذار پلتفرم Chatbot Arena به سمت سنجش نرخ تکمیل وظایف و بهره‌وری اقتصادی خبر داد. این رویکرد جدید قصد دارد به جای پرسش از «زیبایی»…
تکیه بر دستورات متنی برای اجرای قوانین حساس سیستمی یک ریسک است، زیرا پرامپت‌ها «درخواست» هستند نه «قانون». برای تضمین اجرای قطعی دستورات در محیط‌های عملیاتی، باید از زیرساخت‌های…
دسترسی عامل‌های هوش مصنوعی به API و محیط شل، سطح حمله جدیدی ایجاد کرده که در آن تزریق پرامپت به شکست بحرانی در کنترل دسترسی تبدیل می‌شود. امنیت باید از «ایمنی مدل» به مرزهای سخت…
یک رقابت جدید از توسعه‌دهندگان می‌خواهد سیستم‌های قوانین اجتماعی و استراتژی‌های رفتاری برای تعامل انسان و هوش مصنوعی در محیط‌های دیجیتال طراحی کنند. شرکت‌کنندگان باید تا ۱۴…