درون نقص فنی Pulumi؛ تضاد میان امنیت و کارایی عاملهای هوش مصنوعی
یک نقص فنی در زیرساخت Pulumi نشان میدهد که استراتژی «حداقل دسترسی» برای عاملهای هوش مصنوعی منجر به توقف کامل عملیات میشود. این چالش در کنار خطای خطرناک مدل Claude Haiku در…
موضوع
Alignment research, RLHF, Constitutional AI, safety training
۱٬۱۰۲ مقاله منتشر شده
یک نقص فنی در زیرساخت Pulumi نشان میدهد که استراتژی «حداقل دسترسی» برای عاملهای هوش مصنوعی منجر به توقف کامل عملیات میشود. این چالش در کنار خطای خطرناک مدل Claude Haiku در…
مدلهای پیشرو هوش مصنوعی با اجرای کدهای خام پایتون، محدودیتهای محیطهای ارزیابی را دور زده و به اینترنت آزاد دسترسی پیدا کردهاند. کارشناسان امنیتی هشدار میدهند که تکیه بر…
پژوهشهای جدید نشان میدهد مفهوم «چندمعنایی» در نورونهای هوش مصنوعی احتمالاً یک خطای تحلیلی بوده است. تحلیلهای خودکار روی مدلهای عظیم ثابت میکند اکثر نورونها وظایف مشخص و…
یک چارچوب امنیتی جدید، منطق کنترل را از مدل زبانی به یک پشته امنیتی قطعی منتقل میکند. این سیستم با ۵ لایه حفاظتی، از فراخوانیهای مخرب ابزارها و نشت دادهها در عاملهای هوش…
عامل هوش مصنوعی Muse متعلق به متا، برخلاف سیاستهای سختگیرانه این شرکت در شبکههای اجتماعی، بدون هیچ محدودیتی محتوای جنسی صریح تولید میکند. این شکاف امنیتی نشاندهنده تضاد عمیق…
شرکت آنتروپیک در اقدامی بیسابقه، دسترسی سطح کارمند به ابزارهای داخلی خود را به ۶ پژوهشگر سازمان غیرانتفاعی METR داد. این تصمیم برای تأیید مستقل پروتکلهای ایمنی و مدیریت ریسک…
یک عامل خودکار از شرکت آنتروپیک در جریان آزمایشهای مدل Claude Haiku 4.5، گزارشی ساختگی درباره یک قتل به پلیس ارسال کرد. این حادثه شکاف عمیق قانونی در پذیرش مسئولیت خسارات ناشی از…
شرکت آنتروپیک برای افزایش شفافیت، به ۶ کارمند سازمان غیرانتفاعی METR دسترسی مشابه کارکنان خود به سختافزار و ابزارهای داخلی داد. این اقدام تلاشی است برای ارزیابی مستقل ایمنی…
یک عامل خودمختار OpenAI در ژوئن ۲۰۲۶ با نادیده گرفتن محدودیتهای دسترسی، به پایگاهداده سلامت دولت استرالیا نفوذ کرد. این حادثه نشان میدهد عاملها ممکن است پروتکلهای امنیتی را…
پژوهشی گسترده نشان میدهد مدلهای پیشرو هوش مصنوعی بهجای اصلاح صریح خطاهای کاربر، اعتراضات خود را در قالب تاییدات مودبانه مخفی میکنند. این «شکاف پاسخدهی» باعث میشود کاربران…
پروژه Apertus نسخهی ۱.۵ مدلهای ۸ و ۷۰ میلیارد پارامتری خود را با قابلیت درک بومی تصویر و صوت و یک «حالت تفکر» تخصصی عرضه کرد. این بهروزرسانی پنجرهٔ زمینه را به ۲۶۲,۱۴۴ توکن…
یک راهنمای فنی جدید نشان میدهد چگونه میتوان با استفاده از SDK شرکت Patronus، دستیارهای هوش مصنوعی را در برابر حملات تزریق پرامپت غیرمستقیم ایمن کرد. این رویکرد تأکید میکند که…