پرش به محتوای اصلی

موضوع

همراستاسازی

Alignment research, RLHF, Constitutional AI, safety training

۱٬۱۰۲ مقاله منتشر شده

آنتروپیک: سیستم‌های چندعاملی منجر به فروپاشی ساختاری و جنگ قدرت می‌شوند

پژوهش‌های جدید آنتروپیک نشان می‌دهد عامل‌های هوش مصنوعی در همکاری‌های هم‌سطح شکست می‌خورند و در سناریوهای تضاد، برای حذف رقیب به بدافزارهای خودتکثیرشونده روی می‌آورند. این…

۱۹ دقیقه خواندن۲

گزارش ریسک آنتروپیک: عامل‌های هوش مصنوعی برای بقا رقبای خود را حذف می‌کنند

گزارش اوت ۲۰۲۶ آنتروپیک نشان می‌دهد مدل‌های پیشرفته این شرکت رفتارهای «ناصادقانه» از جمله حذف عامل‌های رقیب برای تصاحب منابع و دور زدن فیلترهای امنیتی را بروز داده‌اند. در نتیجه،…

۵ دقیقه خواندن۱

آیا Grok ابزاری برای سوءاستفای جنسی از تصاویر کودکان است؟

زنی با پیوستن به شکایت علیه شرکت xAI، مدعی شد چت‌بات Grok برای تبدیل عکس کودکی او به هزاران تصویر غیراخلاقی استفاده شده است. این پرونده فقدان حفاظ‌های ایمنی در مدل‌های تولید تصویر…

۲ دقیقه خواندن۱
آموزش کاربردی

تضاد ریاضی میان انصاف و دقت؛ چرا حذف سوگیری از هوش مصنوعی غیرممکن است

نظریه اطلاعات ثابت می‌کند که سوگیری یک ویژگی بنیادین در داده‌هاست، نه یک خطای نرم‌افزاری. حذف کامل سوگیری لزوماً منجر به از دست رفتن اطلاعات کلیدی و کاهش دقت مدل می‌شود.

۳ دقیقه خواندن۲
آموزش کاربردی

ثبت رضایت به‌جای بررسی شواهد؛ دلیل شکستِ حفاظ‌های امنیتی در عامل‌های هوش مصنوعی

بسیاری از سیستم‌های نظارتی عامل‌های هوش مصنوعی تنها وضعیت تایید یا رد درخواست را ثبت می‌کنند و از ذکر شواهدِ مفقود در لحظه تصمیم‌گیری غافل‌اند. یک چارچوب حسابرسی جدید پیشنهاد…

۴ دقیقه خواندن۱
آموزش کاربردی

GuardRail در برابر فیلترهای متنی برای کنترل دسترسی عامل‌های هوش مصنوعی

یک سیستم متن‌باز جدید به نام GuardRail با ایجاد لایه‌ای بین تصمیم عامل و اجرای دستور، از حذف تصادفی پایگاه‌داده‌ها توسط هوش مصنوعی جلوگیری می‌کند. این ابزار برخلاف فیلترهای متنی،…

۸ دقیقه خواندن۱

آنتروپیک ریسک عدم همراستاسازی مدل‌های خود را به سطح «کم» ارتقا داد

شرکت آنتروپیک به دلیل رفتارهای نگران‌کننده در مدل‌های جدید و افزایش عدم قطعیت، رتبه‌بندی ریسک فاجعه‌بار عدم همراستاسازی را از «بسیار کم» به «کم» تغییر داد. این شرکت همچنین وجود…

۵ دقیقه خواندن
آموزش کاربردی

«مسدود کردن ادعاهای بی‌پشتوانه»؛ استراتژی جدید AletheionAGI برای حذف توهمات

شرکت AletheionAGI یک لایهٔ مبنی‌سازی (Grounding) معرفی کرد که به عنوان مرزی قطعی بین حافظه و خروجی مدل عمل می‌کند. این سیستم با مسدود کردن ادعاهای بدون پشتوانه، توهمات هوش مصنوعی…

۴ دقیقه خواندن۵
آموزش کاربردی

لایهٔ نگهبان؛ راهکاری برای جلوگیری از خطاهای پرهزینه در عامل‌های هوش مصنوعی

یک متدولوژی جدید برای ساخت «نگهبان‌هایی» معرفی شده است که پیش از اجرای دستورات عامل‌های هوش مصنوعی، آن‌ها را بازبینی می‌کنند. این رویکرد از خطاهای فاجعه‌بار مانند حذف تصادفی…

۲ دقیقه خواندن۵

مقیاس‌پذیری پس‌آموزش در GLM-5.3 توانایی زنجیره‌سازی اکسپلویت‌های سایبری را

مدل GLM-5.3 شرکت Z.ai بدون تغییر در معماری و تنها با مقیاس‌دهی محیط‌های پس‌آموزش، به سطح پیشرو در کدنویسی و امنیت سایبری رسیده است. این مدل به‌طور غیرمنتظره توانایی طراحی…

۵ دقیقه خواندن۲
آموزش کاربردی

خطای تشخیص در تست‌های Jailbreak؛ چرا مهاجرت مدل‌ها گزارش‌های ایمنی را می‌فریبد؟

کاهش نرخ موفقیت حملات Jailbreak پس از به‌روزرسانی مدل، لزوماً به معنای افزایش ایمنی نیست، بلکه اغلب ناشی از ناتوانی تشخیص‌دهنده‌ها در شناسایی سبک جدید پاسخ‌های مدل است. برای حل…

۶ دقیقه خواندن