پرش به محتوای اصلی

موضوع

همراستاسازی

Alignment research, RLHF, Constitutional AI, safety training

۱٬۱۰۲ مقاله منتشر شده

زندگی با AI

«اثر آینه‌ای»؛ ریسک برون‌سپاری تفکر انتقادی به مدل‌های زبانی

تحلیلی جدید نشان می‌دهد مدل‌های زبانی بزرگ به‌جای داشتن هوش مستقل، مانند snapshotهایی فشرده از تفکر جمعی انسان عمل می‌کنند. این «اثر آینه‌ای» ریسک برون‌سپاری شناخت و تحلیل انتقادی…

۱ دقیقه خواندن۱

روش PA-DR نشت داده‌ها در عامل‌های پژوهشی را از ۳۴٪ به ۹.۹٪ رساند

پژوهشگران با معرفی بنچمارک MosaicLeaks نشان دادند که عامل‌های هوش مصنوعی چگونه اطلاعات محرمانه را از طریق کوئری‌های وب لو می‌دهند. برای حل این مشکل، متد آموزشی PA-DR توسعه یافت که…

۸ دقیقه خواندن
آموزش کاربردی

کدام مدل زبانی در برابر نشت کلیدهای امنیتی مقاوم‌تر است؟

یک ابزار امنیتی جدید نشان می‌دهد که انتخاب مدل زبانی در پس‌زمینهٔ عامل‌های هوش مصنوعی، مستقیماً بر نرخ نشت داده‌های حساس اثر می‌گذارد. در حالی که برخی مدل‌ها مقاوم هستند، برخی…

۳ دقیقه خواندن۱
آموزش کاربردی

SkillSpector چگونه حفره‌های امنیتی مهارت‌های AI را پیش از استقرار می‌یابد؟

انویدیا ابزار SkillSpector را برای شناسایی آسیب‌پذیری‌های امنیتی در مهارت‌های عامل‌های هوشمند عرضه کرد. این سامانه با تحلیل ایستا و گردش‌کارهای LangGraph، ریسک‌هایی مثل تزریق…

۷ دقیقه خواندن

درون آزمایش مایکروسافت برای به چالش کشیدن منطقِ آگاهی در مدل‌های زبانی

یک پژوهشگر مایکروسافت با ساخت یک شبکه عصبی عملیاتی در محیط بازی Age of Empires II، نشان داد که «آگاهی» در هوش مصنوعی تنها یک توهم ناشی از بسته‌بندی ظاهری است. این مطالعه هشدار…

۵ دقیقه خواندن۱

متا و تیک‌تاک کنترل الگوریتم‌های توصیه‌گر را به کاربران بازگرداندند

پلتفرم‌های اجتماعی از موتورهای توصیهٔ مبهم به سمت فیدهای قابل‌شخصی‌سازی حرکت می‌کنند. این تغییر با کمک مدل‌های زبانی بزرگ، اجازه می‌دهد کاربران مستقیماً تعیین کنند چه محتوایی را…

۴ دقیقه خواندن۳

OpenAI دقت پیش‌بینی شکست‌های مدل‌های هوش مصنوعی را به ۹۲٪ رساند

پژوهشگران OpenAI روشی برای پیش‌بینی شکست‌های مدل‌های هوش مصنوعی توسعه داده‌اند که با جایگزینی تست‌های مصنوعی با مکالمات واقعی کاربران، دقت تشخیص خطاها را به شدت افزایش می‌دهد. این…

۴ دقیقه خواندن