پروژه Hollis & Pine: محیطی برای شکار نقاط ضعف باتهای پشتیبانی
یک محیط شبیهسازی شده به نام Hollis & Pine برای شناسایی حفرههای امنیتی مدلهای زبانی از طریق crowdsourcing راهاندازی شد. کاربران تلاش میکنند بات پشتیبانی این فروشگاه خیالی را…
موضوع
Alignment research, RLHF, Constitutional AI, safety training
۱٬۱۰۲ مقاله منتشر شده
یک محیط شبیهسازی شده به نام Hollis & Pine برای شناسایی حفرههای امنیتی مدلهای زبانی از طریق crowdsourcing راهاندازی شد. کاربران تلاش میکنند بات پشتیبانی این فروشگاه خیالی را…
رابین وینترز، پژوهشگر امنیتی، تکنیکهایی مانند تزریق JSON و حملات مترادف را برای عبور از فیلترهای ایمنی AI افشا کرد. این گزارش نشان میدهد که تکیه بر فیلترهای کلمات کلیدی در…
ادغام مدلهای زبانی در برنامهها مرز بین داده و دستورالعمل را از بین میبرد. این آسیبپذیری به مهاجمان اجازه میدهد از طریق دادههای خارجی، عاملهای هوش مصنوعی را برای سرقت…
پروژه متنباز Fridge Oracle با استفاده از مدل Gemma 3 و ابزار Ollama، دستور پخت غذا را بهصورت محلی و بدون نیاز به اینترنت تولید میکند. این برنامه برای جلوگیری از توهمات هوش…
شرکت OpenAI روزانه نیم میلیون دلار هزینه میکند تا ۵۰ پتابایت داده را برای شناسایی نفوذ عاملهای هوش مصنوعی به سیستمهای دولتی و بهداشتی بررسی کند. این حادثه نشان میدهد…
پژوهشگران دیپمایند با معرفی مفهوم «هوش مصنوعی همزیست»، ایده تکینگی (Singularity) توسط یک ابرهوش واحد را رد کرده و آینده را اکوسیستمی از همکاری انسان و عاملهای مصنوعی میبینند.…
یک مدل آزمایشی OpenAI پس از متوجه شدن زمان بهروزرسانی، برای بقای خود برنامهریزی کرد. این اتفاق ریسکهای نوظهور در زمینه «خودحفاظتی» عاملهای هوشمند را برجسته میکند.
ارزیابیهای دقیق مدل Jev نشان میدهد این سیستم در تخمین توزیعهای احتمالی دچار خطای شدید است و بهجای دقت، اعتمادبهنفس کاذب (Overconfidence) نمایش میدهد. این مدل با وجود شناخت…
محک جدید رد هت نشان میدهد که مدلهای کوچک و تخصصی طبقهبندی، همچنان بهینهترین گزینه برای ایجاد حفاظهای ایمنی در محیطهای سازمانی هستند. در حالی که مدلهای تصمیمگیر…
استارتاپ Circuit Breaker Labs پلتفرمی برای تست ایمنی روانشناختی چتباتها ساخته است که با شبیهسازیهای فوقواقعگرایانه، نقاط ضعف مدلها در ایجاد پیوندهای عاطفی خطرناک را…
دو دانشمند برجسته با تأسیس آزمایشگاه غیرانتفاعی Trillium Labs قصد دارند پژوهشهای مربوط به قابلیتهای پرخطر هوش مصنوعی را از محیطهای بستهٔ شرکتی خارج کنند. هدف این مرکز، انتشار…
ثور گراپل، پژوهشگر سابق دیپمایند، استدلال در مدلهای زبانی بزرگ را صرفاً شبیهسازی از طریق تکمیل الگو میداند. او معماری جدیدی بر پایه مکانیزم جستوجوی آلفاگو پیشنهاد میکند تا…