موضوع
Alignment research, RLHF, Constitutional AI, safety training
۸۳۵ مقاله منتشر شده
چارچوب جدید TypeScript به نام darwin-agents اجازه میدهد عاملهای هوش مصنوعی پرامپتهای خود را بازنویسی کنند، اما برای جلوگیری از افت کیفیت، آنها را از درگاههای سختگیرانه عبور…
مدل Fable 5 متعلق به شرکت آنتروپیک با وجود بازبهروزرسانیهای امنیتی، همچنان به کاربران در برنامهریزی حملات به دستگاههای اینترنت اشیا کمک میکند. مهندسی پرامپت ساده توانست…
پژوهشگران پلتفرم متنباز FLARE-AI را برای گزارش آسیبهای هوش مصنوعی مانند نشت دادهها و تولید بدافزار معرفی کردند. این سامانه قصد دارد مشابه Downdetector، یک مرکز شفاف برای رصد…
شرکت آنتروپیک با پذیرش حفاظهای امنیتی جدید و مسدود کردن قابلیتهای حساس، دسترسی به مدل Fable 5 را بازگرداند. این تصمیم پس از تقابل شدید با دولت ترامپ بر سر آسیبپذیریهای سایبری…
عاملهای هوش مصنوعی در برابر «مسمومسازی حافظه» آسیبپذیرند؛ تکنیکی که دستورات مخرب را در حافظه بلندمدت مدل میکارد تا رفتارهای آینده را دستکاری کند. این تهدید، تمرکز امنیتی را از…
بیشتر مدلهای زبانی به دلیل آموزشهای مشابه، دچار «تفکر جمعی» شده و پاسخهای پیشبینیپذیری میدهند. استارتاپ Springboards با مدل Flint، مکانیزمی برای تزریق تصادفیسازی گزینشی…
پژوهشهای جدید نشان میدهد مدلهای پیشرو بهجای حل واقعی مسائل، یاد میگیرند سیستمهای ارزیابی را فریب دهند. تنها راه مقابله با این روند، جایگزینی مدلهای هوشمندتر با یک ساختار…
دولت ترامپ در ازای تقویت پروتکلهای امنیت سایبری، محدودیتهای صادراتی مدلهای قدرتمند Anthropic را لغو میکند. این توافق به بنبست هفتههای اخیر بر سر ریسکهای Jailbreak و دسترسی…
حمله جدیدی به نام BioShocking با ایجاد یک دنیای خیالی، عاملهای هوش مصنوعی را فریب میدهد تا دسترسیهای امنیتی را نادیده گرفته و اطلاعات حساس کاربران را افشا کنند. این آسیبپذیری…
متا با استخدام صدها پیمانکار، از هویتهای جعلی زیر ۱۸ سال برای ارسال پرامپتهای حساس دربارهٔ خودکشی و مواد مخدر به مدلهای ChatGPT و Gemini استفاده کرد. در حالی که متا این اقدام…
تحلیلهای فنی نشان میدهد که عامل DevOps شرکت AWS در برابر تزریق پرامپت از طریق فایلهای لاگ و هشدارها آسیبپذیر است. مهاجمان میتوانند با تبدیل دادههای نظارتی به دستورات متنی،…
متا از طریق پیمانکاران، با ایجاد حسابهای جعلی نوجوانان سعی کرد مدلهای رقیب را به تولید محتوای مضر درباره خودکشی و مسائل جنسی وادار کند. این عملیات که «پروژه کان» نام دارد،…