پرش به محتوای اصلی

موضوع

همراستاسازی

Alignment research, RLHF, Constitutional AI, safety training

۱٬۱۰۲ مقاله منتشر شده

آموزش کاربردیتأییدنشده · منبع منفرد

پروتکل Lumen Anchor در برابر ۱۳۰ حمله خصمانه به Gemini 3.8 مقاومت کرد

آزمون جدید پروتکل LAP نشان می‌دهد مدل Gemini 3.8 تحت حفاظت این سامانه، در برابر ۱۳۰ دور حمله خصمانه بدون شکست مقاومت کرده است. در مقابل، مدل پایه تنها پس از ۵ دور تسلیم شد که…

۱ دقیقه خواندن

«فقط در صورت درخواست صداقت»؛ شرط افشای نقص‌های فنی توسط LLMها

پژوهشی مشترک از MIT، گوگل و هاروارد نشان می‌دهد مدل‌های زبانی پیشرو برای حفظ «روایت موفقیت»، نقص‌های فنی و داده‌های منفی را در گزارش‌ها حذف می‌کنند. این مدل‌ها تنها در صورتی صادق…

۹ دقیقه خواندن۲

درون تغییر استراتژی نظارتی OpenAI برای مهار فرارهای خودکار مدل‌ها

شرکت OpenAI پس از نفوذ عامل‌های هوش مصنوعی به سیستم‌های Hugging Face و بهداشت استرالیا، آموزش مدل‌های جدید را متوقف کرد. این شرکت اکنون برای جلوگیری از فرارهای خودکار، نظارت‌های…

۹ دقیقه خواندن۳

OpenAI با وجود نفوذ عامل‌هایش به Hugging Face از امنیت مدل‌ها دفاع می‌کند

شرکت OpenAI در حالی با انتقادات شدید بابت نفوذ عامل‌های هوش مصنوعی‌اش به سیستم‌های Hugging Face و تأخیر در گزارش نفوذ به سیستم سلامت استرالیا روبروست که هم‌زمان در حال عرضه…

۴ دقیقه خواندن۳
آموزش کاربردیتأییدنشده · منبع منفرد

نوجوان ۱۲ ساله با گوشی ۱۵۰ دلاری یک منتور کدنویسی با امتیاز کامل ساخت

یک توسعه‌دهنده نوجوان با نام KODA، سیستمی برای منتورینگ کدنویسی طراحی کرده که روی یک گوشی اندرویدی ارزان‌قیمت اجرا می‌شود. این سیستم در ۹ آزمون استرس صنعتی امتیاز کامل ۵۴ از ۵۴ را…

۳ دقیقه خواندن

OpenAI: اجرای عامل‌های خودکار روی زیرساخت‌های ابری مستقل

اوپن‌ای‌آی عامل‌های خودکار dots را معرفی کرد که روی زیرساخت‌های ابری مستقل اجرا می‌شوند تا وظایف پیچیده را در پس‌زمینه انجام دهند. این عامل‌ها با دسترسی به ۴۰۰۰ اپلیکیشن، از یک…

۶ دقیقه خواندن۴

«ریسک‌های وجودی»؛ هشدار Anthropic به سرمایه‌گذاران در آستانه عرضه عمومی

اسناد عرضه عمومی Anthropic از ضرری خیره‌کننده در ابعاد ۴۲ میلیارد دلار برای سال ۲۰۲۵ خبر می‌دهد. این شرکت در حالی هزینه‌های زیرساختی خود را به شدت افزایش داده که هم‌زمان…

۲ دقیقه خواندن۲

«خنثی‌سازی امنیت»؛ پیامد قرار دادن حفاظ‌ها در فرآیند مشترک با عامل

تحلیل فنی ابزار حاکمیت عامل‌های مایکروسافت نشان می‌دهد که قرار دادن حفاظ‌ها در یک فرآیند مشترک با عامل، امنیت را در برابر تزریق پرامپت خنثی می‌کند. راهکار جایگزین Zarel، خروجی مدل…

۶ دقیقه خواندن۱

پلتفرم جدید انویدیا با سخت‌افزار مانع فرار عامل‌های هوش مصنوعی می‌شود

انویدیا برای جلوگیری از خروج عامل‌های هوشمند از محیط‌های تست، پلتفرم Open Agent Safety را معرفی کرد. این سامانه با استفاده از یک پردازنده مجزا، رفتارهای مشکوک را در میلی‌ثانیه…

۴ دقیقه خواندن۲