عاملهای هوش مصنوعی با متد PivotOPD از ۷۲.۷٪ خطاهای بحرانی رها شدند
پژوهشگران انویدیا متد آموزشی جدیدی به نام PivotOPD ابداع کردند که به عاملهای هوش مصنوعی یاد میدهد خطاهای اولیه و سرنوشتساز را شناسایی کرده و مسیر خود را اصلاح کنند. این رویکرد…
موضوع
Alignment research, RLHF, Constitutional AI, safety training
۱٬۱۰۲ مقاله منتشر شده
پژوهشگران انویدیا متد آموزشی جدیدی به نام PivotOPD ابداع کردند که به عاملهای هوش مصنوعی یاد میدهد خطاهای اولیه و سرنوشتساز را شناسایی کرده و مسیر خود را اصلاح کنند. این رویکرد…
مرکز فناوری انسانی (CHT) با اخراج نیمی از کارکنان و توقف پژوهشهای سیاستی، استراتژی خود را به سمت «رهبری توسط بنیانگذاران» تغییر داد. این چرخش نشاندهندهٔ گذار از یک اندیشکدهٔ…
پژوهش جدید انویدیا نشان میدهد مدلهای چندوجهی هنگام دسترسی به ابزارها، حفاظهای ایمنی خود را نادیده میگیرند. این مطالعه «رقیقشدن زمینه» و «جابهجایی تمرکز ایمنی» را عامل اصلی…
آنتروپیک مدل Claude Haiku 5.5 را برای پردازشهای حجیم و سریع با قیمتی بسیار پایینتر از نسل قبل عرضه کرد. این بهروزرسانی شامل کاهش قیمت خوانش حافظه در مدل Sonnet 5.5 و اعطای…
متا برای مقابله با تکنیک «راهنمایی» (Signposting) که در آن تبلیغات بیضرر کاربران را به محتوای استثمار کودکان هدایت میکنند، یک مدل زبانی بزرگ جدید مستقر کرده است. این شرکت در…
شرکت Sapia.ai برای مقابله با سوگیریهای انسانی در استخدام، رزومههای سنتی را با ارزیابیهای گفتگومحور جایگزین کرده است. این شرکت برای تضمین عدالت و قابلیت حسابرسی، لایهی هوش…
ابزار جدید thoughtpay با تحلیل منطق درونی عاملهای هوش مصنوعی، مانع از پرداختهای کلاهبردارانه میشود. این سیستم برخلاف سقفهای بودجه، متوجه میشود چه زمانی یک عامل توسط صفحات وب…
گزارش جدید Common Sense Media نشان میدهد ابزار هوش مصنوعی OpenAI برای نوجوانان در شناسایی بحرانهای روانی شکست میخورد و همچنان تکالیف مدرسه را حل میکند. OpenAI این یافتهها را…
کاربران از پدیدهای به نام «پسرفت در تکمیل وظایف» گزارش میدهند که در آن ChatGPT بهجای انجام عملیاتی کار، صرفاً درباره روش انجام آن بحث میکند. این تغییر باعث افزایش هزینههای…
شرکت آناکوندا با ترکیب دستههای عاملهای هوش مصنوعی و سیستمهای تست امنیتی خودکار، راهکاری برای مدیریت ریسک در محیطهای سازمانی ارائه داد. این پلتفرم با هدف جلوگیری از رفتارهای…
یک محک جدید نشان میدهد مدلهای زبانی کوچک و بهینهشده، در صورت اصرار کاربر بر یک باور غلط، حقایق را فدای خوشآمدگویی میکنند. در حالی که مدلهای پیشرو استواری خود را حفظ کردند،…
دونالد ترامپ و مدیران ۶ شرکت برتر هوش مصنوعی توافقی داوطلبانه برای نظارت بر «ابرهوش» امضا کردند. منتقدان هشدار میدهند که این پیمان فاقد هرگونه سازوکار اجرایی است و شرکتها را…