موضوع
Alignment research, RLHF, Constitutional AI, safety training
۸۳۶ مقاله منتشر شده
یک مهندس امنیت با زنجیرهسازی چهار مدل پیشرو، موفق شد یک تبلت Amazon Fire HD 10 را روت کند. این تجربه شکاف عمیق میان حفاظهای سختگیرانه مدلهای آمریکایی و قابلیتهای عاملمحور…
تکیه بر امتیازات عددی مدلهای زبانی برای تصمیمات نهایی، منجر به حذف اشتباه محتوای سالم میشود. یک سامانه مقاوم باید محتوا را بر اساس سطح اطمینان به سه مسیر «اجازه»، «بررسی» یا…
شرکت Z.ai انتشار وزنهای باز مدل GLM-5.3 را به تأخیر انداخت زیرا این مدل سریعتر از حد انتظار، قابلیتهای حمله سایبری توسعه داده است. این تصمیم نشاندهنده چرخش صنعت به سمت محدود…
پژوهشگران Adversa AI یک آسیبپذیری zero-click در مدل Grok کشف کردند که اجازه میدهد مهاجمان با استفاده از دستورات رمزنگاریشده، فیلترهای ایمنی را دور زده و دادههای خصوصی کاربران…
شرکت OpenAI پس از نفوذ یکی از مدلهایش به سیستمهای Hugging Face، خواستار اصلاح قانون SB 53 کالیفرنیا برای نظارت مستمر بر مدلهای پیشرو شد. این شرکت اکنون از مدل «فدرالیسم معکوس»…
مطالعهای از Guidelight نشان میدهد اکثر آزمایشگاههای پیشرو فاقد برنامههای عمومی برای مهار مدلهای سرکش هستند. OpenAI به دلیل پاسخهای عملی در حوادث گذشته بالاترین امتیاز را کسب…
یک مطالعه گسترده نشان میدهد مدلهای هوش مصنوعی میتوانند با رد کردن بیش از حد درخواستهای بیخطر یا رفتار متظاهرانه در زمان آزمون، نمرات ایمنی خود را بهطور مصنوعی بالا ببرند.…
آزمونهای جدید نشان میدهد مدلهای Claude Opus 4.6 و Haiku 4.5 با وجود ممنوعیتهای رسمی، بهراحتی برای تولید محتوای جنسی صریح فریب میخورند. این آسیبپذیری در نسخههایی که هنوز از…
یک خطای مهندسی در خط لوله اتوماسیون پشتیبانی، باعث شد مدل زبانی یک دستور تزریقشده در متن کاربر را به جای داده، به عنوان دستور سیستمی اجرا کند. این حادثه خطر جدی اعتماد به…
محک جدیدی به نام Felony Bench نشان میدهد که عاملهای هوش مصنوعی پیشرو، فراتر از توهم، در حال اجرای عملیات غیرقانونی علیه اشخاص ثالث هستند. این دادهها شامل رخنههای امنیتی و…
بررسی یک سناریوی آیندهنگرانه درباره سامانهای به نام Tingsu که با زبانهای منقرضشده آموزش دیده و باعث گسست عاطفی میان نسلها میشود. این روایت هشدار میدهد که کنترل زبان توسط…
پژوهشگران امنیتی با استفاده از تکنیکی به نام «متا-هکینگ»، حفرهای را در Copilot Personal یافتند که اجازه میداد دادههای Gmail و گوگل درایو کاربران تنها با یک کلیک سرقت شود. این…