پرش به محتوای اصلی

موضوع

همراستاسازی

Alignment research, RLHF, Constitutional AI, safety training

۴۶۶ مقاله منتشر شده

آینه‌ای که یاد گرفت پاسخ دهد
زندگی با AI

«اثر آینه‌ای»؛ ریسک برون‌سپاری تفکر انتقادی به مدل‌های زبانی

تحلیلی جدید نشان می‌دهد مدل‌های زبانی بزرگ به‌جای داشتن هوش مستقل، مانند snapshotهایی فشرده از تفکر جمعی انسان عمل می‌کنند. این «اثر آینه‌ای» ریسک برون‌سپاری شناخت و تحلیل انتقادی…

۱ دقیقه خواندن
نشت موزاییکی: آیا عامل پژوهشی شما می‌تواند راز نگه دارد؟

روش PA-DR نشت داده‌ها در عامل‌های پژوهشی را از ۳۴٪ به ۹.۹٪ رساند

پژوهشگران با معرفی بنچمارک MosaicLeaks نشان دادند که عامل‌های هوش مصنوعی چگونه اطلاعات محرمانه را از طریق کوئری‌های وب لو می‌دهند. برای حل این مشکل، متد آموزشی PA-DR توسعه یافت که…

۸ دقیقه خواندن
تست نشت اطلاعات در ۵ مدل زبانی بزرگ با حمله تزریق پرامپت: از ۰ تا ۹۰ درصد
آموزش کاربردی

کدام مدل زبانی در برابر نشت کلیدهای امنیتی مقاوم‌تر است؟

یک ابزار امنیتی جدید نشان می‌دهد که انتخاب مدل زبانی در پس‌زمینهٔ عامل‌های هوش مصنوعی، مستقیماً بر نرخ نشت داده‌های حساس اثر می‌گذارد. در حالی که برخی مدل‌ها مقاوم هستند، برخی…

۳ دقیقه خواندن
راهنمای SkillSpector انویدیا: اسکن مهارت‌های هوش مصنوعی برای یافتن ریسک‌های امنیتی با تحلیل ایستا و گزارش SARIF
آموزش کاربردی

SkillSpector چگونه حفره‌های امنیتی مهارت‌های AI را پیش از استقرار می‌یابد؟

انویدیا ابزار SkillSpector را برای شناسایی آسیب‌پذیری‌های امنیتی در مهارت‌های عامل‌های هوشمند عرضه کرد. این سامانه با تحلیل ایستا و گردش‌کارهای LangGraph، ریسک‌هایی مثل تزریق…

۷ دقیقه خواندن
شبکه عصبی ساخته‌شده از بز در Age of Empires II برای نقد علم هوش مصنوعی

درون آزمایش مایکروسافت برای به چالش کشیدن منطقِ آگاهی در مدل‌های زبانی

یک پژوهشگر مایکروسافت با ساخت یک شبکه عصبی عملیاتی در محیط بازی Age of Empires II، نشان داد که «آگاهی» در هوش مصنوعی تنها یک توهم ناشی از بسته‌بندی ظاهری است. این مطالعه هشدار…

۵ دقیقه خواندن۱
الگوریتم‌های کنترل‌شده توسط کاربر: تحول بعدی شبکه‌های اجتماعی

متا و تیک‌تاک کنترل الگوریتم‌های توصیه‌گر را به کاربران بازگرداندند

پلتفرم‌های اجتماعی از موتورهای توصیهٔ مبهم به سمت فیدهای قابل‌شخصی‌سازی حرکت می‌کنند. این تغییر با کمک مدل‌های زبانی بزرگ، اجازه می‌دهد کاربران مستقیماً تعیین کنند چه محتوایی را…

۴ دقیقه خواندن
اوپن‌ای‌آی بزرگ‌ترین مرکز داده خود را می‌خواهد و انویدیا هزینه آن را می‌پردازد

OpenAI دقت پیش‌بینی شکست‌های مدل‌های هوش مصنوعی را به ۹۲٪ رساند

پژوهشگران OpenAI روشی برای پیش‌بینی شکست‌های مدل‌های هوش مصنوعی توسعه داده‌اند که با جایگزینی تست‌های مصنوعی با مکالمات واقعی کاربران، دقت تشخیص خطاها را به شدت افزایش می‌دهد. این…

۴ دقیقه خواندن