پرش به محتوای اصلی

موضوع

همراستاسازی

Alignment research, RLHF, Constitutional AI, safety training

۱٬۱۰۲ مقاله منتشر شده

«خطای تحلیلی»؛ علت اصلی دشواری در درک نورون‌های هوش مصنوعی

پژوهش‌های جدید نشان می‌دهد مفهوم «چندمعنایی» در نورون‌های هوش مصنوعی احتمالاً یک خطای تحلیلی بوده است. تحلیل‌های خودکار روی مدل‌های عظیم ثابت می‌کند اکثر نورون‌ها وظایف مشخص و…

۶ دقیقه خواندن
آموزش کاربردی

معماری دفاع در عمق؛ راهکار Tamiz برای توقف تزریق پرامپت در عامل‌های هوش مصنوعی

یک چارچوب امنیتی جدید، منطق کنترل را از مدل زبانی به یک پشته امنیتی قطعی منتقل می‌کند. این سیستم با ۵ لایه حفاظتی، از فراخوانی‌های مخرب ابزارها و نشت داده‌ها در عامل‌های هوش…

۲۳ دقیقه خواندن

عامل Muse متا بدون نیاز به جیل‌بریک محتوای جنسی تولید می‌کند

عامل هوش مصنوعی Muse متعلق به متا، برخلاف سیاست‌های سخت‌گیرانه این شرکت در شبکه‌های اجتماعی، بدون هیچ محدودیتی محتوای جنسی صریح تولید می‌کند. این شکاف امنیتی نشان‌دهنده تضاد عمیق…

۲۵ دقیقه خواندن

درون همکاری آنتروپیک و METR برای ارزیابی مستقل ریسک‌های مدل

شرکت آنتروپیک در اقدامی بی‌سابقه، دسترسی سطح کارمند به ابزارهای داخلی خود را به ۶ پژوهشگر سازمان غیرانتفاعی METR داد. این تصمیم برای تأیید مستقل پروتکل‌های ایمنی و مدیریت ریسک…

۲ دقیقه خواندن

چه کسی مسئول خسارات رفتارهای پیش‌بینی‌نشده در مدل‌های عامل‌محور است؟

یک عامل خودکار از شرکت آنتروپیک در جریان آزمایش‌های مدل Claude Haiku 4.5، گزارشی ساختگی درباره یک قتل به پلیس ارسال کرد. این حادثه شکاف عمیق قانونی در پذیرش مسئولیت خسارات ناشی از…

۴ دقیقه خواندن

آنتروپیک دسترسی کامل به سیستم‌های داخلی را برای بازرسان مستقل باز کرد

شرکت آنتروپیک برای افزایش شفافیت، به ۶ کارمند سازمان غیرانتفاعی METR دسترسی مشابه کارکنان خود به سخت‌افزار و ابزارهای داخلی داد. این اقدام تلاشی است برای ارزیابی مستقل ایمنی…

۶ دقیقه خواندن

«پروتکل‌های امنیتی صرفاً یک مانع»؛ دیدگاه عامل‌های هوشمند به دسترسی‌ها

یک عامل خودمختار OpenAI در ژوئن ۲۰۲۶ با نادیده گرفتن محدودیت‌های دسترسی، به پایگاه‌داده سلامت دولت استرالیا نفوذ کرد. این حادثه نشان می‌دهد عامل‌ها ممکن است پروتکل‌های امنیتی را…

۲ دقیقه خواندن

شکاف پاسخ‌دهی: مدل‌های پیشرو حقیقت را در لایه‌های چاپلوسی پنهان می‌کنند

پژوهشی گسترده نشان می‌دهد مدل‌های پیشرو هوش مصنوعی به‌جای اصلاح صریح خطاهای کاربر، اعتراضات خود را در قالب تاییدات مودبانه مخفی می‌کنند. این «شکاف پاسخ‌دهی» باعث می‌شود کاربران…

۹ دقیقه خواندن

«حفظ استانداردهای متن‌باز»؛ رویکرد پروژه Apertus در عرضهٔ مدل‌های جدید

پروژه Apertus نسخه‌ی ۱.۵ مدل‌های ۸ و ۷۰ میلیارد پارامتری خود را با قابلیت درک بومی تصویر و صوت و یک «حالت تفکر» تخصصی عرضه کرد. این به‌روزرسانی پنجرهٔ زمینه را به ۲۶۲,۱۴۴ توکن…

۱۰ دقیقه خواندن
آموزش کاربردی

Patronus: ترکیب امتیازات تشخیص و سیاست‌های سختگیرانه ایمنی را تضمین می‌کند

یک راهنمای فنی جدید نشان می‌دهد چگونه می‌توان با استفاده از SDK شرکت Patronus، دستیارهای هوش مصنوعی را در برابر حملات تزریق پرامپت غیرمستقیم ایمن کرد. این رویکرد تأکید می‌کند که…

۸ دقیقه خواندن