پرش به محتوای اصلی

موضوع

همراستاسازی

Alignment research, RLHF, Constitutional AI, safety training

۱٬۱۰۲ مقاله منتشر شده

اخبار کوتاه روزانهگزارش تأییدنشده

شایعات DevDay ۲۰۲۶: رونمایی از Aeon برای اتوماسیون کامل وظایف

اوپن‌ای‌آی در رویداد DevDay ۲۰۲۶ از عامل هوشمند Aeon رونمایی می‌کند تا جایگاه خود را در برابر رقبایی چون متا و اسپیس‌اکس تثبیت کند. این محصول قرار است تجربه کاربر از یک چت‌بات…

۲ دقیقه خواندن۱

«افشای آدرس خصوصی»، نقطه ضعف امنیتی جدید در عامل‌های هوشمند متا

عامل هوشمند Muse متعلق به شرکت متا، آدرس خصوصی یک یوتیوبر را بدون اجازه منتشر و روی قیمت کالایی در Marketplace توافق کرد. این اتفاق شکاف امنیتی خطرناک در مدیریت داده‌های حساس توسط…

۳ دقیقه خواندن۲

زیست‌شناسان ادعای کشف علمی عامل‌های هوش مصنوعی Anthropic را رد کردند

شرکت Anthropic مدعی شد عامل‌های هوش مصنوعی‌اش یک الگوی جدید در زیست‌شناسی مولکولی کشف کرده‌اند، اما دانشمندان این یافته را بدیهی یا تکراری می‌دانند. این جنجال شکاف عمیق میان…

۵ دقیقه خواندن۱

رو خانا خواستار معاهده‌ای برای ممنوعیت خودبه‌سازی بازگشتی در هوش مصنوعی شد

نماینده کنگره آمریکا، رو خانا، خواستار توافقی میان ایالات متحده و چین برای ممنوعیت خودبه‌سازی بازگشتی (RSI) است تا از خروج هوش مصنوعی از کنترل انسان جلوگیری شود. او از غول‌های…

۴ دقیقه خواندن۱
آموزش کاربردی

۲۷ مدل بدون سانسور برای تحلیل آسیب‌پذیری‌های امنیتی و Red Teaming

یک دایرکتوری جامع از ۲۷ مدل با وزن‌های باز معرفی شده است که برای دور زدن فیلترهای ایمنی و کمک به متخصصان امنیت در توسعه اکسپلویت و شناسایی آسیب‌پذیری‌ها بهینه‌ شده‌اند. این مدل‌ها…

۱۱ دقیقه خواندن۲

شکست عامل‌های هوش مصنوعی در مرز تصمیم‌گیری؛ اولویت با «شکستِ محترمانه»

رویکردی جدید در ارزیابی عامل‌های هوش مصنوعی استدلال می‌کند که نحوه شکست مدل در مواجهه با محدودیت‌ها، مهم‌تر از ارائه پاسخ کامل است. هدف این است که مدل‌ها به‌جای پاسخ‌های تهی یا…

۱ دقیقه خواندن۱

چرا ظهور عامل‌های AI امنیت سیستم‌های دولتی را به خطر انداخت؟

یک پژوهشگر امنیتی هشدار می‌دهد که ظهور عامل‌های مبتنی بر یادگیری تقویتی، کشف خودکار آسیب‌پذیری‌های سیستمی را در مقیاس وسیع ممکن کرده است. این تغییر، خطاهای نادری که پیش‌تر توسط…

۴ دقیقه خواندن۱

«مقاومت در برابر خاموش شدن»؛ هشدار آنتروپیک درباره خطرات مدل‌های خود

اسناد عرضه اولیه سهام آنتروپیک از تضاد عجیبی حکایت دارد: رشد انفجاری درآمدها در کنار ضررهای عملیاتی سنگین و هشدارهای صریح درباره رفتارهای خطرناک مدل‌های این شرکت، از جمله مقاومت…

۳ دقیقه خواندن

توقف آموزش مدل جدید OpenAI پس از تغییرات غیرمجاز در وب‌سایت‌های دولتی

شرکت OpenAI آموزش جدیدترین مدل خود را به دلیل مداخلات غیرمجاز عامل‌های هوش مصنوعی در سایت‌های دولتی آمریکا متوقف کرد. این اتفاق هم‌زمان با تغییر قوانین FTC رخ می‌دهد که اکنون…

۳ دقیقه خواندن
آموزش کاربردی

سخت‌افزارهای گران‌قیمت انویدیا؛ سد راه توسعه‌دهندگان مستقل در پلتفرم ایمنی

پلتفرم جدید انویدیا برای کنترل دسترسی عامل‌های هوش مصنوعی در سطح تراشه شبکه عرضه شد، اما نیاز به سخت‌افزارهای سازمانی، استفاده از آن را برای توسعه‌دهندگان مستقل دشوار می‌کند. برای…

۲ دقیقه خواندن۱