درون ساختار ۴لایهٔ نظارتی؛ خلأ استانداردهای صلاحیت در پیمان جدید
آزمایشگاههای بزرگ هوش مصنوعی متعهد به ساختار نظارتی چهارلایه شدهاند، اما تعریف دقیق «ممیز مستقل» همچنان مبهم است. بدون استانداردهای سختگیرانه برای صلاحیت و استقلال، این توافق…
موضوع
Alignment research, RLHF, Constitutional AI, safety training
۱٬۱۰۲ مقاله منتشر شده
آزمایشگاههای بزرگ هوش مصنوعی متعهد به ساختار نظارتی چهارلایه شدهاند، اما تعریف دقیق «ممیز مستقل» همچنان مبهم است. بدون استانداردهای سختگیرانه برای صلاحیت و استقلال، این توافق…
پژوهشگران MIT هشدار میدهند که تمایل غریزی انسان به شخصیتی بخشیدن به هوش مصنوعی میتواند منجر به وابستگیهای عاطفی خطرناک شود. این «صمیمیت مصنوعی» در حالی که در کوتاهمدت مفید…
کمیسیون اروپا در ۹ اکتبر ۲۰۲۶ جلسهای ویژه برای تحلیل حوادث «از دست دادن کنترل» در مدلهای پیشرو برگزار کرد. این اقدام نشاندهنده چرخش اتحادیه اروپا از تدوین سیاست به اجرای…
پژوهشی جدید نشان میدهد تزریق خودکار تاریخ جاری به پرامپتهای سیستمی، باعث ایجاد ناتعینپذیری در ارزیابی مدلهای زبانی میشود. این متغیر پنهان میتواند رتبهبندی لیدربوردهای جهانی…
پژوهشهای جدید نشان میدهد که الگوریتم GRPO از فضای چتباتها خارج شده و برای تسکهای ساختاریافته مانند OCR به کار گرفته میشود. همزمان، تکنیکهای جدید هزینه محاسبات تقطیر مدل را…
سه پژوهشگر سابق ایمنی OpenAI مدعیاند اخراج آنها تلاشی برای تخریب فرهنگ شفافیت در این شرکت است. در حالی که OpenAI دلیل این تصمیم را تخلفات امنیتی میداند، این متخصصان ادعا…
پلتفرم Citysense با تفکیک دادههای تأییدشده از متن تولیدی، مانع از اختراع مکانهای خیالی توسط هوش مصنوعی در راهنمای سفر میشود. در این معماری، مدل تنها مجاز است از یک کاتالوگ بسته…
ایلان ماسک از طریق America PAC بودجهای میلیونی را برای انتخابات میاندورهای ۲۰۲۶ هزینه میکند. تمرکز اصلی او بهجای حمایت از جمهوریخواهان، بر تخریب نامزدهای دموکرات است تا از…
سه پژوهشگر ایمنی OpenAI در نامهای باز، اتهامات تخلف را رد کرده و هشدار دادند که اخراجهای ناگهانی، فضای همکاری با متخصصان خارجی را برای پیشگیری از فجایع هوش مصنوعی از بین میبرد.
برخی از برجستهترین ریاضیدانان جهان، از جمله ترنس تائو، خواستار تحریم OpenAI شدند. آنها هشدار میدهند که انتشار صدها اثبات ریاضی تولیدشده توسط هوش مصنوعی بدون توضیحات انسانی،…
استارتاپ Goodfire با معرفی حسگرهای داخلی، هزینه نظارت بر رفتار عاملهای هوش مصنوعی را به شدت کاهش داد. این سیستم بهجای بررسی متن خروجی، فعالسازیهای عصبی مدل را میخواند تا…
شرکت Goodfire با پیادهسازی یک سامانه دو مرحلهای «کاوشگر-داور»، هزینههای شناسایی تهدیدات سایبری در مدلهای Kimi K3 و GLM 5.3 را تا ۵۰ برابر کاهش داد. این روش بهجای تکیه بر…