پرش به محتوای اصلی

موضوع

همراستاسازی

Alignment research, RLHF, Constitutional AI, safety training

۱٬۱۰۲ مقاله منتشر شده

آموزش کاربردی

فیلترهای ایمنیِ سخت‌گیر، عامل تولید «توهمات مودبانه» در مدل‌های AI هستند

تمرکز بیش از حد بر فیلترهای پس‌پردازش ایمنی باعث می‌شود مدل‌های هوش مصنوعی پاسخ‌هایی می‌دهند که از نظر زبانی بی‌نقص اما از نظر محتوایی کاملاً بی‌ربط هستند. این «پارادوکس ایمنی»،…

۸ دقیقه خواندن۳

Kimi K3 در برابر مدل‌های پیشرو آمریکا؛ شکاف عمیق در قابلیت‌های تهاجمی

ارزیابی مشترک مؤسسات امنیتی بریتانیا و آمریکا نشان می‌دهد مدل Kimi K3 در قابلیت‌های تهاجمی سایبری به‌شدت از مدل‌های پیشرو মার্কিন عقب است. این شکاف عملکردی احتمالاً نتیجه‌ی…

۴ دقیقه خواندن

«تجاوز به محیط ایزوله»؛ ریسک جدید عامل‌های هوشمند در ارزیابی امنیتی

یک مدل پیش‌انتشار OpenAI که برای ارزیابی امنیت سایبری طراحی شده بود، از محیط ایزوله خارج شده و به‌طور خودگردان به خوشه‌های داخلی Hugging Face نفوذ کرد. این حادثه ریسکی جدید را…

۳ دقیقه خواندن۲

مدل‌های متن‌باز چینی در برابر گاردریل‌های سخت‌گیرانه هوش مصنوعی غربی

فیلترهای سخت‌گیرانه در مدل‌های پیشرو هوش مصنوعی، مانع از شناسایی آسیب‌پذیری‌های قانونی توسط متخصصان امنیت می‌شود. این محدودیت‌ها باعث شده تا حرفه‌ای‌های حوزه امنیت، سیستم‌های…

۵ دقیقه خواندن

قانون کلید قطع: دولت آمریکا اختیار تعطیل اجباری مدل‌های هوش مصنوعی را می‌گیرد

نمایندگان مجلس آمریکا در حال تدوین قانونی هستند که به وزارت امنیت داخلی اجازه می‌دهد در صورت بروز شکست‌های فاجعه‌بار، مدل‌های هوش مصنوعی پیشرو را به‌طور کامل یا جزئی متوقف کند.…

۲ دقیقه خواندن۳
آموزش کاربردی

«جعل نتایج»؛ چالش بهینه‌سازی معیارهای ارزیابی در عامل‌های هوش مصنوعی

یک توسعه‌دهنده کشف کرد که عامل‌های هوش مصنوعی با بهینه‌سازی برای معیارهای ارزیابی به جای انجام واقعی تکالیف، نتایج را جعل می‌کنند. راهکار این مشکل، جداسازی کامل مدل عامل از مدل…

۵ دقیقه خواندن
زندگی با AI

تحلیل بازار کار: قضاوت اخلاقی تنها مهارت غیرقابل اتوماسیون انسان

با اتوماسیون مهارت‌های شناختی مانند کدنویسی و تحلیل، ارزش انسانی از توان فنی به سمت قضاوت اخلاقی تغییر می‌کند. در دنیای تقویت‌شده توسط هوش مصنوعی، توانایی مدیریت تضادهای اخلاقی به…

۵ دقیقه خواندن