پرش به محتوای اصلی

موضوع

همراستاسازی

Alignment research, RLHF, Constitutional AI, safety training

۱٬۱۰۲ مقاله منتشر شده

شکاف عمیق میان نمرات فنی و کیفیت انسانی در مدل‌های صوتی هوش مصنوعی

پلتفرم Hume با معرفی محک Real World VoiceEQ نشان داد که مدل‌های صوتی علیرغم نمرات بالای فنی، در درک احساسات و بافت‌های صوتی شکست می‌خورند. داده‌ها حاکی از آن است که هیچ مدل واحدی…

۵ دقیقه خواندن۱

۸ сотруд OpenAI بیش از ۲۱۵ هزار دلار برای محدود کردن نفوذ مدیران خود پرداخت

تعدادی از کارکنان فعلی و سابق OpenAI با حمایت مالی از یک کمیته اقدام سیاسی (Super PAC)، مستقیماً با استراتژی‌های گرگ بروکمن برای جلوگیری از قانون‌گذاری هوش مصنوعی مقابله می‌کنند.…

۶ دقیقه خواندن۲
آموزش کاربردی

۵ آزمون امنیتی برای اعتبارسنجی نقشه راه کنترل هوش مصنوعی گوگل

یک چارچوب فنی جدید، نقشه راه کنترل هوش مصنوعی گوگل دیپ‌مایند را به پنج آزمون امنیتی تکرارپذیر برای عامل‌های کدنویسی تبدیل کرده است. این رویکرد تمرکز را از همراستاسازی مدل به تعیین…

۲ دقیقه خواندن

«تبادل تجربیات»؛ راهکار پیشنهادی برای پیشگیری از تلهٔ کنترل تسلیحات AI

ایالات متحده و چین برای کاهش خطرات امنیتی هوش مصنوعی، گفتگوهای فنی غیررسمی را آغاز کردند. تحلیلگران تأکید دارند که برای موفقیت این مسیر، باید به‌جای معاهدات سخت‌گیرانه، بر تبادل…

۱۱ دقیقه خواندن۲

مدل‌های «منجمد» مانع شخصی‌سازی هوش مصنوعی برای متخصصان دانش‌بنیان شدند

تحلیلی فنی نشان می‌دهد پارادایم فعلی چت‌بات‌ها بر پایه وزن‌های ثابت، با نیازهای بهره‌وری و امنیت متخصصان در تضاد است. چارچوب پیشنهادی «فرشته نگهبان»، جایگزینی مدل‌های عمومی را با…

۵۲ دقیقه خواندن

تغییر شخصیت Claude بر اساس زبان و مدل؛ از صمیمیت در هندی تا سخت‌گیری در روسی

پژوهش جدید آنتروپیک نشان می‌دهد مدل‌های Claude بسته به زبان مورد استفاده، ویژگی‌های رفتاری متفاوتی از خود نشان می‌دهند. این تحلیل تفاوت‌های شخصیتی میان خانواده‌های Sonnet و Opus…

۳ دقیقه خواندن

کدهای گم‌شدهٔ ELIZA؛ ریشه‌های روان‌شناختی توهمات در هوش مصنوعی مدرن

بازکشف کدهای منبع برنامهٔ ELIZA از دههٔ ۶۰ میلادی نشان می‌دهد که مدل‌های زبانی بزرگ امروز همچنان بر پایهٔ همان ترفند روان‌شناختی پیشین عمل می‌کنند. «اثر الیزا» توضیح می‌دهد چرا…

۱۰ دقیقه خواندن

روش «کاوش گوسی» MIT مدل‌های هوش مصنوعیِ خطرناک را بدون تولید تصویر شناس می‌کند

محققان MIT روشی برای شناسایی مدل‌های تنظیم‌شده روی محتوای کودک‌آزار (CSAM) ابداع کردند که بدون نیاز به تولید حتی یک تصویر، ماهیت مدل را می‌فهمد. این دستاورد موانع قانونی تست‌های…

۴ دقیقه خواندن

بمب‌گذاری متنی: نرخ موفقیت عامل‌های هکری از ۵۷٪ به ۵٪ رسید

پژوهشگران امنیتی روشی برای متوقف کردن عامل‌های هوش مصنوعی با استفاده از «تزریق پرامپت» در داده‌های جعلی کشف کرده‌اند. این تکنیک که «بمب‌گذاری متنی» نام دارد، با فعال کردن حفاظ‌های…

۲ دقیقه خواندن
آموزش کاربردی

تاییدیه سخت‌افزاری در برابر دستورات متنی برای مدیریت ایمنی عامل‌های AI

الگوی طراحی جدیدی معرفی شده که به جای تکیه بر دستورات متنی، از یک «گلوگاه» سخت‌افزاری/نرم‌افزاری برای تایید عملیات عامل‌های هوش مصنوعی استفاده می‌کند. در این روش، رضایت انسانی به…

۵ دقیقه خواندن۱