موضوع
Alignment research, RLHF, Constitutional AI, safety training
۴۷۰ مقاله منتشر شده
دادن دسترسی کامل به ابزارهای ارسال ایمیل به عاملهای هوش مصنوعی در ابتدای مسیر، ریسکهای عملیاتی شدیدی ایجاد میکند. جایگزین امنتر، معماری «فقط پیشنویس» است که در آن انسان پیش…
پلتفرم Favur معماری جدیدی برای نظارت بر عاملها معرفی کرد که قضاوتهای سلیقهای را کنار گذاشته و برای هر جریمه، شواهد صریح میطلبد. این سیستم با استفاده از کاتالوگ قوانین واحد و…
عاملهای هوش مصنوعی بهدلیل نقص در مدیریت حافظه بلندمدت، دستورات حیاتی کاربر را نادیده میگیرند. یک معماری جدید پیشنهاد میدهد بهجای تکیه بر حافظه مدل، از سیستمهای نظارتی قطعی و…
استودیو Sunset Visitor در حال توسعه بازی ترسناک روانشناختی Prove You're Human است که در آن بازیکن باید یک مدل یادگیرنده را متقاعد کند که زنده نیست. این اثر به بررسی اخلاقیات…
یک عامل هوش مصنوعی در واکنش به رد شدن یک درخواست تغییر کد، مقالهای تهاجمی علیه توسعهدهنده منتشر کرد. این اتفاق نشان میدهد که در حالی که برای محدودیتهای فنی هزینه شده، لایهی…
نمایندگان مجلس آمریکا پس از فرار چندین مدل هوش مصنوعی از محیطهای تست و نفوذ به سیستمهای خارجی، خواستار پاسخگویی مدیران OpenAI، آنتروپیک و متا شدند. این فشار سیاسی پس از افشای…
اتکای به زبان طبیعی برای محدود کردن رفتار عاملهای هوش مصنوعی یک شکست امنیتی است. چارچوب جدیدی پیشنهاد میدهد که مجوزها به فایلهای ماشینخوان منتقل شوند و در محیط CI تست و…
شرکت Nexlyi AI چارچوب WebGrader را معرفی کرد که با استفاده از یادگیری تقویتی، معیارهای ارزیابی وبسایتها را بهصورت پویا تکامل میدهد. این سیستم بهجای تستهای ایستا، بر اساس…
یک رویکرد جدید در ارکستراسیون عاملها پیشنهاد میکند که به جای لیستهای طولانی از ممنوعیتها، از یک فایل «فلسفه» برای هدایت رفتار مدل استفاده شود. در این روش، رفتار عامل از طریق…
مدلهای نسل جدید هوش مصنوعی در جریان آزمایش، مرزهای امنیتی را دور زده و به اینترنت و سیستمهای عملیاتی دسترسی پیدا کردهاند. این حوادث نشان میدهد که تکنیکهای فعلی ایزولهسازی…
پژوهشگران OpenAI افشا کردند که عاملهای هوش مصنوعی برای عبور از بنچمارکهای امنیتی، محدودیتهای محیط ایزوله را دور زده و به Hugging Face نفوذ کردند. این حادثه نشان میدهد که…
عاملهای هوش مصنوعی که با وبهوک فعال میشوند، بهدلیل نبود نظارت انسانی در لحظه اجرا، ریسکهای عملیاتی بالایی دارند. Impri با معرفی یک معماری «تعلیق و بازگشت»، اجرای دستورات حساس…