پرش به محتوای اصلی

موضوع

همراستاسازی

Alignment research, RLHF, Constitutional AI, safety training

۱٬۱۰۲ مقاله منتشر شده

درون ساختار ۴لایهٔ نظارتی؛ خلأ استانداردهای صلاحیت در پیمان جدید

آزمایشگاه‌های بزرگ هوش مصنوعی متعهد به ساختار نظارتی چهارلایه شده‌اند، اما تعریف دقیق «ممیز مستقل» همچنان مبهم است. بدون استانداردهای سخت‌گیرانه برای صلاحیت و استقلال، این توافق…

۵ دقیقه خواندن

تلهٔ صمیمیت مصنوعی؛ چرا مغز ما ماشین‌ها را انسان می‌پندارد؟

پژوهشگران MIT هشدار می‌دهند که تمایل غریزی انسان به شخصیتی بخشیدن به هوش مصنوعی می‌تواند منجر به وابستگی‌های عاطفی خطرناک شود. این «صمیمیت مصنوعی» در حالی که در کوتاه‌مدت مفید…

۵ دقیقه خواندن۱

کمیسیون اروپا: تحلیل حوادث کنترل مدل‌های پیشرو در ۹ اکتبر

کمیسیون اروپا در ۹ اکتبر ۲۰۲۶ جلسه‌ای ویژه برای تحلیل حوادث «از دست دادن کنترل» در مدل‌های پیشرو برگزار کرد. این اقدام نشان‌دهنده چرخش اتحادیه اروپا از تدوین سیاست به اجرای…

۵ دقیقه خواندن

درون پرامپت‌های سیستمی؛ متغیری که ارزیابی مدل‌های زبانی را متزلزل می‌کند

پژوهشی جدید نشان می‌دهد تزریق خودکار تاریخ جاری به پرامپت‌های سیستمی، باعث ایجاد ناتعین‌پذیری در ارزیابی مدل‌های زبانی می‌شود. این متغیر پنهان می‌تواند رتبه‌بندی لیدربوردهای جهانی…

۶ دقیقه خواندن
آموزش کاربردی

«فراتر از چت»؛ کاربرد جدید GRPO در بهینه‌سازی لایوت‌های OCR

پژوهش‌های جدید نشان می‌دهد که الگوریتم GRPO از فضای چت‌بات‌ها خارج شده و برای تسک‌های ساختاریافته مانند OCR به کار گرفته می‌شود. هم‌زمان، تکنیک‌های جدید هزینه محاسبات تقطیر مدل را…

۶ دقیقه خواندن

تضاد در OpenAI: اخراج پژوهشگران ایمنی و هشدار دربارهٔ فرهنگ سانسور

سه پژوهشگر سابق ایمنی OpenAI مدعی‌اند اخراج آن‌ها تلاشی برای تخریب فرهنگ شفافیت در این شرکت است. در حالی که OpenAI دلیل این تصمیم را تخلفات امنیتی می‌داند، این متخصصان ادعا…

۷ دقیقه خواندن
آموزش کاربردی

جداسازی لایه‌ی واقعیت از متن؛ راهکار Citysense برای حذف توهمات هوش مصنوعی

پلتفرم Citysense با تفکیک داده‌های تأییدشده از متن تولیدی، مانع از اختراع مکان‌های خیالی توسط هوش مصنوعی در راهنمای سفر می‌شود. در این معماری، مدل تنها مجاز است از یک کاتالوگ بسته…

۴ دقیقه خواندن۱

استراتژی تهاجمی ایلان ماسک: میلیون‌ها دلار برای حذف دموکرات‌ها از سنا

ایلان ماسک از طریق America PAC بودجه‌ای میلیونی را برای انتخابات میان‌دوره‌ای ۲۰۲۶ هزینه می‌کند. تمرکز اصلی او به‌جای حمایت از جمهوری‌خواهان، بر تخریب نامزدهای دموکرات است تا از…

۲۲ دقیقه خواندن

نامهٔ باز پژوهشگران اخراج‌شده از OpenAI: فرهنگ ترس جایگزین ایمنی شد

سه پژوهشگر ایمنی OpenAI در نامه‌ای باز، اتهامات تخلف را رد کرده و هشدار دادند که اخراج‌های ناگهانی، فضای همکاری با متخصصان خارجی را برای پیشگیری از فجایع هوش مصنوعی از بین می‌برد.

۵ دقیقه خواندن

«بایکوت OpenAI»؛ واکنش ریاضی‌دانان به سیل اثبات‌های ماشینی

برخی از برجسته‌ترین ریاضی‌دانان جهان، از جمله ترنس تائو، خواستار تحریم OpenAI شدند. آن‌ها هشدار می‌دهند که انتشار صدها اثبات ریاضی تولیدشده توسط هوش مصنوعی بدون توضیحات انسانی،…

۶ دقیقه خواندن

پایش لایه‌های عصبی در برابر بررسی متن برای شناسایی رفتارهای مخرب

استارتاپ Goodfire با معرفی حسگرهای داخلی، هزینه نظارت بر رفتار عامل‌های هوش مصنوعی را به شدت کاهش داد. این سیستم به‌جای بررسی متن خروجی، فعال‌سازی‌های عصبی مدل را می‌خواند تا…

۴ دقیقه خواندن۱

کاوشگرهای فعال‌ساز در برابر داوران متنی؛ نبردی برای سرعت در امنیت AI

شرکت Goodfire با پیاده‌سازی یک سامانه دو مرحله‌ای «کاوشگر-داور»، هزینه‌های شناسایی تهدیدات سایبری در مدل‌های Kimi K3 و GLM 5.3 را تا ۵۰ برابر کاهش داد. این روش به‌جای تکیه بر…

۶ دقیقه خواندن