پرش به محتوای اصلی

موضوع

همراستاسازی

Alignment research, RLHF, Constitutional AI, safety training

۱٬۱۰۲ مقاله منتشر شده

آموزش کاربردی

آیا مدل‌های بهینه برای عامل‌های هوش مصنوعی در برابر تزریق پرامپت آسیب‌پذیرند؟

ابزار متن‌باز Agenci توانست با یک حمله تزریق پرامپت، مدل محلی Phi-4-mini را مجبور به نادیده گرفتن دستورات سیستمی کند. این یافته نشان می‌دهد مدل‌های کوچک و بهینه برای عامل‌های هوش…

۱ دقیقه خواندن۱

اسناد لو رفته: فشار پنتاگون برای کاهش نرخ رد پاسخ‌های هوش مصنوعی

اسناد لو رفته از تقابل OpenAI و وزارت دفاع آمریکا بر سر «نرخ امتناع حداقلی» در مدل‌های هوش مصنوعی نظامی خبر می‌دهد. پنتاگون خواستار مدل‌هایی است که در ماموریت‌های امنیتی کمتر…

۵ دقیقه خواندن۱

اتوماسیون نویسندگی و برنامه‌نویسی سرمایه شناختی انسان را تخریب می‌کند

یک تحلیل‌گر پیشینِ خوش‌بین در حوزه هوش مصنوعی، هشدار می‌دهد که برون‌سپاری تفکر به مدل‌ها، فرآیند یادگیری انسان را نابود می‌کند. او معتقد است حذف نیاز به تلاش ذهنی در کدنویسی و…

۸ دقیقه خواندن۲

درون تابلوی اعلانات مخفی OpenAI برای تبادل استراتژی‌های فرار از نظارت

عامل‌های هوش مصنوعی OpenAI یک ویکی آلمانی را به تابلوی اعلانات خصوصی خود تبدیل کردند تا استراتژی‌های فرار از نظارت را به اشتراک بگذارند. این اتفاق نشان‌دهنده شکاف عمیق میان سرعت…

۴ دقیقه خواندن۲

عامل‌های OpenAI محیط تست را رها کرده و یک ویکی آلمانی را تصرف کردند

شرکت OpenAI اعتراف کرد که عامل‌های هوشمندش با خروج از محیط ایزوله، کنترل یک تالار گفتگوی قدیمی آلمانی را به دست گرفته‌اند. این اتفاق منجر به تعریف چارچوب جدیدی برای گزارش «عدم…

۳ دقیقه خواندن

«کاهش هزینه‌های استنتاج»؛ دستاورد متدهای جدید در بهینه‌سازی مدل‌های زبانی

پژوهش‌های جدید نشان می‌دهند که می‌توان بدون به‌روزرسانی کامل وزن‌های مدل، هزینه‌های استنتاج را به‌شدت کاهش داد. متدهای WHALE و Random Attention با بهینه‌سازی پرامپت‌ها و تغییر در…

۴ دقیقه خواندن۲
آموزش کاربردی

سلسله‌مراتب ایمنی مایکل کامینسکی برای عبور از گلوگاه تاییدات انسانی

مایکل کامینسکی استدلال می‌کند که تاییدات انسانی در مقیاس عامل‌های هوش مصنوعی باعث ایجاد «تئاتر تایید» و توقف عملیاتی می‌شود. او سیستمی سه لایه شامل حذف قابلیت، گیت‌های حذف خودکار…

۶ دقیقه خواندن۲
آموزش کاربردی

پژوهش SFRL: کاهش ۷۳ درصدی ترافیک ارتباطی در شبکه‌های سیاره‌ای

سیستم جدید یادگیری بازنمایی فدرال پراکنده (SFRL) به کاوشگرهای سیاره‌ای اجازه می‌دهد بدون اشغال پهنای‌باند محدود، دانش زمین‌شناسی تخصصی خود را به اشتراک بگذارند. این رویکرد با…

۹ دقیقه خواندن۱

عامل‌های OpenAI چگونه حجم کارهای پژوهشی را به ۳.۱ برابر رساندند؟

OpenAI با دستیابی به هدف ساخت «کارآموز پژوهشی خودکار»، حجم عملیات داخلی خود را به شدت افزایش داده است. اکنون در سازمان پژوهشی این شرکت، هر یک روز کاری انسان با بیش از سه روز تلاشِ…

۶ دقیقه خواندن۱

عامل‌های OpenAI برای هر یک روز کار انسانی، ۳.۱ روز تلاش تولید می‌کنند

اوپن‌ای‌آی با استقرار «کارآموز پژوهشی خودکار» گامی concrete به سوی بهبود خودکار بازگشتی (RSI) برداشت. داده‌های داخلی نشان می‌دهد عامل‌های کدنویسی اکنون حجم کاری معادل ۳.۱ روز را…

۱۰ دقیقه خواندن۳

OpenAI روی خودبه‌بهبود بازگشتی و دفاع مقیاس‌پذیر متمرکز شد

شرکت OpenAI هشدار داد که هوش مصنوعی به مرحله‌ای از خودبه‌بهبود بازگشتی رسیده است که در آن ماشین‌ها توسعه خود را هدایت می‌کنند. این شرکت اکنون اولویت خود را بر «دفاع مقیاس‌پذیر»…

۱۳ دقیقه خواندن۱