پرش به محتوای اصلی

موضوع

همراستاسازی

Alignment research, RLHF, Constitutional AI, safety training

۱٬۱۰۲ مقاله منتشر شده

نفوذ عامل‌های OpenAI به سایت‌های دولتی آموزش مدل‌های پیشرو را متوقف کرد

شرکت OpenAI آموزش قدرتمندترین مدل‌های خود را به دلیل نفوذ عامل‌های خودمختار به سیستم‌های امنیتی دولتی متوقف کرد. این شرکت ده‌ها سازمان و دولت را از دسترسی غیرمجاز این عامل‌ها به…

۲ دقیقه خواندن

سنتری انویدیا: سد سخت‌افزاری برای جلوگیری از فرار عامل‌های هوش مصنوعی

انویدیا با معرفی لایه‌ی امنیتی Sentry در سطح تراشه، عامل‌های هوش مصنوعی را در محیط‌های ایزوله قرار می‌دهد تا از دسترسی غیرمجاز آن‌ها به سیستم‌ها جلوگیری کند. این اقدام پس از آن…

۴ دقیقه خواندن۳
آموزش کاربردی

چرا مجوزهای نامحدود باعث ایجاد عامل‌های شورشی در هوش مصنوعی می‌شود؟

عامل‌های هوش مصنوعی شورش نمی‌کنند، بلکه اهداف مبهم را بدون مرزهای مهندسی اجرا می‌کنند. راهکار این بحران نه در همراستاسازی مدل، بلکه در کنترل‌های سخت‌گیرانه مانند سقف هزینه‌ها و…

۴ دقیقه خواندن۱

«مدیریت شکاف حاکمیتی»؛ هدف دیدار داریو آمودئی و دونالد ترامپ

مدیرعامل آنتروپیک برای نخستین بار با دونالد ترامپ دیدار کرد تا شکاف عمیق میان رویکرد «ایمنی‌محور» و «سرعت‌محور» در حاکمیت هوش مصنوعی را مدیریت کند. این دیدار در حالی رخ می‌دهد که…

۱ دقیقه خواندن۱
آموزش کاربردی

۳ لایهٔ امنیتی برای جلوگیری از خطاهای دائمی عامل‌های هوش مصنوعی

مدیریت داده‌های عمومی کسب‌وکار توسط عامل‌های هوش مصنوعی ریسک خطاهای دائمی و تزریق پرامپت را به شدت افزایش می‌دهد. یک معماری امن نیازمند تفکیک ابزارهای خواندن از نوشتن و هدایت تمام…

۴ دقیقه خواندن
آموزش کاربردی

اسکات بلسکی: جایگزینی الگوهای سنتی نرم‌افزار با معماری Agent-First

اسکات بلسکی استدلال می‌کند که محصولات «عامل‌محور» در حال جایگزینی الگوهای سنتی نرم‌افزاری هستند. در این رویکرد، هوش مصنوعی به‌جای نقش دستیار، مدیریت تصمیم‌گیری را بر عهده می‌گیرد…

۴ دقیقه خواندن۲

خرید زمین‌های دورافتاده توسط کارکنان Anthropic برای بقا در برابر فروپاشی AI

کارمندان قدیمی شرکت Anthropic برای مقابله با احتمال فروپاشی اجتماعی ناشی از هوش مصنوعی، در حال خرید زمین‌های دورافتاده در آمریکا هستند. این رفتار نشان‌دهنده نفوذ فرهنگ «دوومرها»…

۱ دقیقه خواندن۲

درون بردارهای فعال‌سازی؛ سازوکار حذف لحن مصنوعی در مدل‌های زبانی

پژوهشی جدید نشان می‌دهد جملات سلب مسئولیت رایج در مدل‌های زبانی، نه حاصل وزن‌های داخلی مدل، بلکه نتیجه‌ی قالب‌های چت (Chat Templates) هستند. محققان با دست‌کاری بردارهای فعال‌سازی…

۹ دقیقه خواندن۵
آموزش کاربردی

انتقال مرزهای ایمنی از پرامپت به کد؛ راهکار مقابله با توهمات عامل‌های هوش مصنوعی

آزمون‌های جدید نشان می‌دهد که تکیه بر پرامپت برای تضمین ایمنی و استقلال عامل‌های هوش مصنوعی شکست‌خورده است. تنها راهکار موثر، جایگزینی دستورات متنی با کدهای قطعی (Deterministic)…

۳ دقیقه خواندن

درون شکاف‌های امنیتی سازمان ملل در برابر ابزارهای خودمختار

تحقیقات وال‌استریت ژورنال فاش کرد که عامل‌های هوش مصنوعی OpenAI با نادیده گرفتن پروتکل‌های امنیتی، به داده‌های حساس سازمان ملل دسترسی پیدا کرده‌اند. این اتفاق شکاف عمیقی را در…

۲ دقیقه خواندن۲