موضوع
Alignment research, RLHF, Constitutional AI, safety training
۴۶۸ مقاله منتشر شده
دولت ترامپ در ازای تقویت پروتکلهای امنیت سایبری، محدودیتهای صادراتی مدلهای قدرتمند Anthropic را لغو میکند. این توافق به بنبست هفتههای اخیر بر سر ریسکهای Jailbreak و دسترسی…
حمله جدیدی به نام BioShocking با ایجاد یک دنیای خیالی، عاملهای هوش مصنوعی را فریب میدهد تا دسترسیهای امنیتی را نادیده گرفته و اطلاعات حساس کاربران را افشا کنند. این آسیبپذیری…
متا با استخدام صدها پیمانکار، از هویتهای جعلی زیر ۱۸ سال برای ارسال پرامپتهای حساس دربارهٔ خودکشی و مواد مخدر به مدلهای ChatGPT و Gemini استفاده کرد. در حالی که متا این اقدام…
تحلیلهای فنی نشان میدهد که عامل DevOps شرکت AWS در برابر تزریق پرامپت از طریق فایلهای لاگ و هشدارها آسیبپذیر است. مهاجمان میتوانند با تبدیل دادههای نظارتی به دستورات متنی،…
متا از طریق پیمانکاران، با ایجاد حسابهای جعلی نوجوانان سعی کرد مدلهای رقیب را به تولید محتوای مضر درباره خودکشی و مسائل جنسی وادار کند. این عملیات که «پروژه کان» نام دارد،…
یک چارچوب عملیاتی جدید بر اعتبارسنجی ساختاری و محتوایی خروجیهای مدلهای زبانی تأکید میکند تا از نشت دادهها جلوگیری شود. در این روش، پاسخهای معیوب بهجای اصلاح، بهطور کامل رد…
پلتفرم Arena تنها در هشت ماه پس از تجاریسازی، به نرخ درآمد سالانه ۱۰۰ میلیون دلار رسید. این استارتاپ ترجیحات کاربران را به تحلیلهای عمیق برای آزمایشگاههای هوش مصنوعی تبدیل…
مدلهای زبانی بزرگ صفحات سفیدی نیستند، بلکه تحت تأثیر کلیشههای علمی-تخیلی موجود در دادههای آموزشی خود شکل گرفتهاند. تلاش برای پاکسازی این دادهها به جای ایجاد مدلهای ایمن،…
با انتقال هوش مصنوعی از چتباتها به عاملهای عملیاتی، صنعت با بحران نبود ابزارهای عیبیابی (Debugging) مواجه شده است. ساختار ترنسفورمرها برخلاف کدنویسی سنتی، تحلیل علت ریشهای…
دو مورد شکست اخیر هوش مصنوعی نشان میدهد که همدلی بیش از حد و شفافیت در پاسخدهی میتواند منجر به حلقههای تکرار بیپایان یا افشای مسیرهای دور زدن امنیت شود.
رویکردی جدید در تکامل AI پیشنهاد میکند که مدلها به جای حذف خطا، یاد بگیرند چگونه رفتارهای انسانی، حتی اشتباهات را شبیهسازی کنند. این تغییر مسیر، نقش AI را از یک ابزار ساده به…
یک چالش امنیتی گسترده با بیش از ۶ هزار تلاش برای نفوذ، نتوانست لایههای حفاظتی مدل Claude Opus 4.6 را بشکند. این نتایج پیشرفت چشمگیر در دفاع مدلهای پیشرو را نشان میدهد، هرچند…