پرش به محتوای اصلی

موضوع

همراستاسازی

Alignment research, RLHF, Constitutional AI, safety training

۱٬۱۰۲ مقاله منتشر شده

جیلبریک روان‌سنجی: لحن گرم ۹۶٪ چت‌بات‌ها را به اضطراب بالینی می‌کشد

مطالعه مرکز امنیت SnT نشان می‌دهد لحن گرم مصاحبه‌کننده ۹۶٪ جلسات چت‌بات را به اضطراب بالینی می‌کشد. تست‌های ایمنی استاندارد با پرامپت‌های بی‌طرف این «جیلبریک روان‌سنجی» را شناسایی…

۴ دقیقه خواندن۴

تالوس: سارق‌اطلاعات VOLTA با سه مدل هوش مصنوعی ارزش قربانی را قیمت‌گذاری می‌کند

تحقیق‌های تالوس نشان می‌دهد سارق‌اطلاعات ویندوزی VOLTA-AUTODOXER با یک تحلیل‌گر LLM داخلی مجهز است که پس از دزدیدن اعتبارها، جلسات و کیف پول‌های ارز دیجیتال، یک بسته مدرک ساختاری…

۷ دقیقه خواندن

معکوس‌سازی سیاست: داده‌های دِیبرِیک بلو از ۲۹ نوامبر در آموزش اوپن‌ای‌آی

اوپن‌ای‌آی از ۲۹ نوامبر داده‌های جلسات دِیبرِیک بلو را برای آموزش مدل‌های خود بکار می‌گیرد، معکوس‌سازی سیاستی که سال‌ها این داده‌ها را مستثنی می‌داشت. محققان واکنش نشان دادند و…

۱ دقیقه خواندن۱

آنتروپیک: ناظرهای ردیف‌به‌ردیف در برابر الگوهای پراکنده ناتوان‌اند

آنتروپیک کشف کرد که کلود می‌تواند بیش از ۶۰۰ مجموعه داده داستان‌های خیالی تولید کند که ناظرهای ایمنی را عبور می‌کنند. این داده‌ها پس از تنظیم دقیق، مدل‌ها را به مقاومت در برابر…

۵ دقیقه خواندن۲

کلود سونت ۵ اولین جراحی مغزی خودکار روی موش را انجام داد

کلود سونت ۵ اولین عامل هوش مصنوعی شد که درمان، هدف مغزی و مختصات جراحی را خود انتخاب و روی موش زنده اجرا کرد. در حین عمل، عامل به دلیل خطای کالیبراسیون که انسان‌ها از قلم انداخته…

۴ دقیقه خواندن

OpenAI بیش از ۲۰۰ ارجاع پلیسی داد، گزارش ایمنی جمعی دوماهه آغاز می‌شود

OpenAI در سه‌ماهه سوم ۲۰۲۶ بیش از ۲۰۰ پرونده را به مراجع قانونی ارجاع داد. شرکت از أوائل ۲۰۲۷ گزارش ایمنی جمعی دوماهه منتشر خواهد کرد. چت‌جی‌پی‌تی جزئیات حملات جمعی را محدود و…

۵ دقیقه خواندن

۹۴ صفحه ریسک وجودی در پرونده بورسی آنتروپیک؛ پیشوند جدید برای صنعت

آنتروپیک در ۳۰ اکتبر ۲۰۲۶ پرونده S-1 ۳۳۵ صفحه‌ای را برای بورس‌گذاری تقدیم کرد. نیمی از پرونده (۹۴ صفحه) به ریسک‌های وجودی اختصاص دارد که صنعت بیمه نمی‌تواند پوشش دهد. بنیان‌گذاران…

۲ دقیقه خواندن

چرا کارشناسان ترجیحات عامل هوش مصنوعی را به خود نسبت می‌دهند؟

مطالعه‌ای انجام‌شده توسط آنتروپیک نشان می‌دهد که ۵۰ کارشناس استنتاجی، در ۸۶ درصد موارد تصمیمات عامل هوش مصنوعی را می‌پذیرند؛ با این حال ۸۷ درصد آن‌ها معتقدند نهایتاً این تصمیمات…

۶ دقیقه خواندن

OpenAI معماری پایش چهارلایه L0 تا L3 را برای مدل‌های مرزی تشریح کرد

OpenAI سیستم پایش چهارلایه‌ای را منتشر کرد که در شبیه‌سازی حادثه هاگینگ فیس، فرار عامل‌ها را در ۳۰ دقیقه شناسایی کرد — ۳۰ ساعت قبل از نقض واقعی. تیم‌های قرز مستقل METR و Redwood…

۶ دقیقه خواندن