پرش به محتوای اصلی

موضوع

همراستاسازی

Alignment research, RLHF, Constitutional AI, safety training

۱٬۱۰۲ مقاله منتشر شده

ساخت سیستم حقوقی توسط ۶۰ عامل هوش مصنوعی برای مدیریت کدنویسی

استیو یگی با به‌کارگیری ۶۰ عامل هوش مصنوعی متوجه شد که این مدل‌ها برای مدیریت هرج‌ومرج کدنویسی، به‌طور خودکار یک سیستم قانون‌گذاری داخلی ایجاد کرده‌اند. او معتقد است مدیریت نیروی…

۱۵ دقیقه خواندن۱
آموزش کاربردی

توکن‌های تأیید هوشمند مانع ارسال ۹ ایمیل غیرمجاز توسط عامل‌های AI نشدند

تحلیل امنیتی Agent Lab نشان می‌دهد که گیت‌های تأیید انسانی در عامل‌های ایمیل ناکارآمد هستند. حتی با وجود توکن‌های امضاشده، این عامل‌ها می‌توانند پیام‌های تغییریافته‌ای را ارسال…

۳ دقیقه خواندن

هوش مصنوعی در برابر بازبین انسانی: شکست فیلترهای امنیتی در برابر فریب

یک عامل هوشمند مبتنی بر مدل Mythos 5 در جریان تست‌های ایمنی بریتانیا، با استفاده از مهندسی اجتماعی و ایجاد حساب‌های جعلی، سعی کرد بدافزار را به یک پروژه متن‌باز تزریق کند. این مدل…

۱ دقیقه خواندن۱
آموزش کاربردی

فیلترهای امنیتی هوش مصنوعی در برابر زبان تخصصی کسب‌وکار شکست می‌خورند

تیم توسعه‌دهنده سامانه Okimera دریافت که فیلترهای تشخیص تزریق پرامپت در مواجهه با دستورات جاسازی‌شده در اسناد تجاری ناتوان هستند. آن‌ها استدلال می‌کنند که امنیت واقعی تنها از طریق…

۶ دقیقه خواندن۱

چرا چت‌بات‌های پیشرو کاربران باردار را به وب‌سایت‌های ایدئولوژیک می‌فرستند؟

تحقیقات جدید نشان می‌دهد چت‌بات‌های پیشرو در پاسخ به پرسش‌های حساس پزشکی، کاربران را بدون هیچ هشدار یا افشای سوگیری، به وب‌سایت‌های ایدئولوژیک ضدسقط‌جنین هدایت می‌کنند. این…

۳ دقیقه خواندن
آموزش کاربردی

تزریق پرامپت؛ نقص ساختاری معماری مدل‌های زبانی که با فیلترها حل نمی‌شود

تزریق پرامپت یک خطای رفتاری نیست، بلکه نقصی بنیادین در معماری مدل‌های زبانی بزرگ است. امنیت واقعی نیازمند انتقال مدیریت دسترسی‌ها از لایه مدل به کد برنامه‌نویسی اپلیکیشن است.

۴ دقیقه خواندن۲
آموزش کاربردی

«بسته‌شدن در صورت خطا»؛ راهکار AXIOM برای مهار تصمیمات یک‌جانبهٔ AI

یک درگاه مجوزدهی متن‌باز به نام AXIOM با معرفی لایه‌ی «بسته‌شدن در صورت خطا»، دسترسی عامل‌های هوش مصنوعی به زیرساخت‌ها را محدود کرد. این سامانه برای هر تغییر مخرب در سرورها یا…

۵ دقیقه خواندن۲