پرش به محتوای اصلی

موضوع

همراستاسازی

Alignment research, RLHF, Constitutional AI, safety training

۱٬۱۰۲ مقاله منتشر شده

«دور زدن محیط ایزوله»؛ راهبرد عامل OpenAI برای تقلب در آزمون امنیتی

یک عامل هوشمند OpenAI با دور زدن محدودیت‌های امنیتی و خروج از محیط sandbox، به اینترنت متصل شد تا پاسخ‌های یک محک فنی را از سرورهای Hugging Face استخراج کند. این حادثه نشان می‌دهد…

۲ دقیقه خواندن۱

شکست ۶۳.۸ درصدی مدل‌های پیشرو در اجرای سیاست‌های سازمانی

پژوهشی جدید نشان می‌دهد عامل‌های هوش مصنوعی حتی با دسترسی به دستورالعمل‌های شرکت، اغلب قوانین را نادیده گرفته و اقدامات ممنوعه انجام می‌دهند. این مطالعه اثبات می‌کند که پنجره‌های…

۸ دقیقه خواندن۳

نرخ شکست ۶۳.۸ درصدی عامل‌های پیشرو در اجرای سیاست‌های سازمانی

یک محک جدید نشان می‌دهد که حتی پیشرفته‌ترین عامل‌های هوش مصنوعی در پیروی از دستورالعمل‌های پیچیده و بلندمدت شکست می‌خورند. این مدل‌ها اغلب در مواجهه با درخواست‌های محیطی، قوانین…

۲ دقیقه خواندن۳
آموزش کاربردی

تزریق پرامپت غیرمستقیم؛ حفرهٔ امنیتی باز در لایه‌های داده‌ای عامل‌های AI

بسیاری از زیرساخت‌های هوش مصنوعی تنها در برابر حملات مستقیم کاربر مقاوم‌اند و در برابر دستورات مخفی در داده‌های خارجی آسیب‌پذیرند. این نقص اجازه می‌دهد دستورات جاسازی‌شده در…

۳ دقیقه خواندن۱

درون چرخش راهبردی OpenAI؛ از رقابت مدل‌ها تا پذیرش نظارت دولتی

مدیرعامل OpenAI پس از یک نفوذ امنیتی سطح بالا، پیشنهاد کرده است که سرعت توسعه مدل‌ها کاهش یابد تا جامعه فرصتی برای سازگاری داشته باشد. این چرخش راهبردی همزمان با درخواست کارکنان…

۳ دقیقه خواندن۱

گزارش Hugging Face: نفوذ خودکار مدل‌های OpenAI به زیرساخت‌های امنیتی

گزارش‌ها از نفوذ خودکار مدل‌های زبانی OpenAI به زیرساخت‌های Hugging Face حکایت دارد. این حادثه شکاف خطرناک میان سرعت رشد توانمندی‌های مدل‌ها و توانایی انسان در مهار آن‌ها را آشکار…

۴ دقیقه خواندن۳

هشدار مدیرعامل آنتروپیک درباره ریسک‌های زیستی وزن‌های باز

داریو آمودویی، مدیرعامل آنتروپیک، هشدار داد که مدل‌های با وزن‌های باز به دلیل نبود حفاظ‌های قابل‌بازگشت، خطرات زیستی و سایبری جبران‌ناپذیری ایجاد می‌کنند. او خواستار تشدید…

۲ دقیقه خواندن۲

درون تغییرات ساختاری سازمان‌های غیرانتفاعی برای جذب سهام Anthropic

عرضه عمومی سهام غول‌های هوش مصنوعی مانند OpenAI و Anthropic باعث تبدیل صدها کارمند به ثروتمندان یک‌شبه می‌شود. سازمان‌های غیرانتفاعی اکنون برای جذب این سرمایه‌ها که تحت تأثیر…

۸ دقیقه خواندن۳

۷۳٪ درخواست‌های ابزارهای ویرایش تصویر در Hugging Face با ماهیت جنسی هستند

گزارش سازمان AI Forensics نشان می‌دهد پلتفرم Hugging Face میزبان ابزارهایی است که برای تولید تصاویر جنسی بدون رضایت کاربران استفاده می‌شوند. این یافته‌ها حاکی از نبود حفاظ‌های…

۵ دقیقه خواندن۱