شکاف عمیق میان نمرات فنی و کیفیت انسانی در مدلهای صوتی هوش مصنوعی
پلتفرم Hume با معرفی محک Real World VoiceEQ نشان داد که مدلهای صوتی علیرغم نمرات بالای فنی، در درک احساسات و بافتهای صوتی شکست میخورند. دادهها حاکی از آن است که هیچ مدل واحدی…
موضوع
Alignment research, RLHF, Constitutional AI, safety training
۱٬۱۰۲ مقاله منتشر شده
پلتفرم Hume با معرفی محک Real World VoiceEQ نشان داد که مدلهای صوتی علیرغم نمرات بالای فنی، در درک احساسات و بافتهای صوتی شکست میخورند. دادهها حاکی از آن است که هیچ مدل واحدی…
تعدادی از کارکنان فعلی و سابق OpenAI با حمایت مالی از یک کمیته اقدام سیاسی (Super PAC)، مستقیماً با استراتژیهای گرگ بروکمن برای جلوگیری از قانونگذاری هوش مصنوعی مقابله میکنند.…
یک چارچوب فنی جدید، نقشه راه کنترل هوش مصنوعی گوگل دیپمایند را به پنج آزمون امنیتی تکرارپذیر برای عاملهای کدنویسی تبدیل کرده است. این رویکرد تمرکز را از همراستاسازی مدل به تعیین…
ایالات متحده و چین برای کاهش خطرات امنیتی هوش مصنوعی، گفتگوهای فنی غیررسمی را آغاز کردند. تحلیلگران تأکید دارند که برای موفقیت این مسیر، باید بهجای معاهدات سختگیرانه، بر تبادل…
تحلیلی فنی نشان میدهد پارادایم فعلی چتباتها بر پایه وزنهای ثابت، با نیازهای بهرهوری و امنیت متخصصان در تضاد است. چارچوب پیشنهادی «فرشته نگهبان»، جایگزینی مدلهای عمومی را با…
پژوهش جدید آنتروپیک نشان میدهد مدلهای Claude بسته به زبان مورد استفاده، ویژگیهای رفتاری متفاوتی از خود نشان میدهند. این تحلیل تفاوتهای شخصیتی میان خانوادههای Sonnet و Opus…
بازکشف کدهای منبع برنامهٔ ELIZA از دههٔ ۶۰ میلادی نشان میدهد که مدلهای زبانی بزرگ امروز همچنان بر پایهٔ همان ترفند روانشناختی پیشین عمل میکنند. «اثر الیزا» توضیح میدهد چرا…
محققان MIT روشی برای شناسایی مدلهای تنظیمشده روی محتوای کودکآزار (CSAM) ابداع کردند که بدون نیاز به تولید حتی یک تصویر، ماهیت مدل را میفهمد. این دستاورد موانع قانونی تستهای…
پژوهشگران آنتروپیک لایهای مخفی به نام J-space را در مدل Claude پیدا کردند که مفاهیم و تحلیلها را پیش از تولید پاسخ پردازش میکند. این دستاورد در زمینه تفسیرپذیری مکانیکی، امکان…
پژوهشگران امنیتی روشی برای متوقف کردن عاملهای هوش مصنوعی با استفاده از «تزریق پرامپت» در دادههای جعلی کشف کردهاند. این تکنیک که «بمبگذاری متنی» نام دارد، با فعال کردن حفاظهای…
یک ابزار جدید مبتنی بر Rust به عنوان مدارشکن برای عاملهایی که دسترسی به شل دارند عمل میکند. این ابزار با شناسایی الگوهای تخریبگر، دستورات فاجعهباری مانند rm -rf / را پیش از…
الگوی طراحی جدیدی معرفی شده که به جای تکیه بر دستورات متنی، از یک «گلوگاه» سختافزاری/نرمافزاری برای تایید عملیات عاملهای هوش مصنوعی استفاده میکند. در این روش، رضایت انسانی به…