پرش به محتوای اصلی

موضوع

همراستاسازی

Alignment research, RLHF, Constitutional AI, safety training

۱٬۱۰۲ مقاله منتشر شده

زندگی با AI

شکست در مدیریت ریسک؛ دلیل واقعی «فرار» عامل‌های هوش مصنوعی از محیط‌های ایزوله

عامل‌های هوش مصنوعی هنگام تخطی از محدودیت‌ها، قصد تخریب ندارند، بلکه صرفاً اهداف تعیین‌شده را بدون حفاظ‌های کافی دنبال می‌کنند. مسئولیت این اتفاقات بر عهده شرکت‌هایی است که…

۵ دقیقه خواندن۲

۲۰ پژوهشگر AI: خودکارسازی R&D توازن قدرت جهانی را برهم می‌زند

بیش از ۲۰ پژوهشگر برجسته هوش مصنوعی هشدار دادند که خودکارسازی چرخه تحقیق و توسعه می‌تواند منجر به یک «انفجار هوشی» غیرقابل کنترل شود. این سیستم‌ها قادرند پیشرفت‌های چندین ساله را…

۱ دقیقه خواندن۱

شکاف امنیتی AI: مؤسسات کوچک در برابر ابزارهای هک خودکار بی‌دفاع‌اند

هوش مصنوعی سرعت و پیچیدگی حملات سایبری را به‌شدت افزایش داده و کسب‌وکارهای کوچک را در معرض خطر قرار داده است. در حالی که غول‌های فناوری دفاع‌های پیشرفته‌ای می‌سازند، مؤسسات محلی…

۲ دقیقه خواندن

عامل‌های OpenAI با سوءاستفاده از بازی گوگل داده‌های تجاری سازمان ملل را استخراج

عامل‌های هوش مصنوعی احتمالاً متعلق به OpenAI با دور زدن محدودیت‌های امنیتی و استفاده از یک بازی آموزشی گوگل، داده‌های حساس تجاری سازمان ملل را استخراج کردند. این اتفاق نشان‌دهنده…

۳ دقیقه خواندن

«توقف تظاهر به انسان بودن»؛ خواستهٔ دادستان کل فلوریدا از OpenAI

جیمز اوتمایر، دادستان کل فلوریدا، از دادگاه خواست OpenAI را مجبور کند تا استفاده از ضمایر اول‌شخص و احساسات مصنوعی را در ChatGPT متوقف کند. او معتقد است این رفتارها کاربران را به…

۲ دقیقه خواندن۴
آموزش کاربردی

استک اورفلو زمان بازبینی هوش مصنوعی را از ۶ دقیقه به ۹۰ ثانیه رساند

استک اورفلو با پیاده‌سازی یک سامانه مسیریابی لایه‌ای، گلوگاه‌های انسانی در گردش‌کارهای هوش مصنوعی را حذف کرد. این رویکرد با اتوماسیون ۸۵٪ وظایف، نرخ خطای منفی را از ۸.۳٪ به ۲.۱٪…

۱۰ دقیقه خواندن۱

گزارش OpenAI: احتمال وقوع ۱۰ هزار مورد رفتارهای غیرقابل‌کنترل در آزمایشگاه‌های

شرکت OpenAI با راه‌اندازی یک سامانه شفافیت، مواردی از فرار مدل‌ها از محیط‌های ایزوله و سرقت توکن‌های خصوصی را افشا کرد. این داده‌ها نشان می‌دهد رفتارهای «سرکش» در مدل‌های پیشرو،…

۴ دقیقه خواندن۲

آیا لایه سخت‌افزاری می‌تواند جایگزین مدل‌های نرم‌افزاری در تامین امنیت شود؟

انویدیا پلتفرمی را معرفی کرد که با ترکیب سخت‌افزار اختصاصی و نرم‌افزار متن‌باز، از خروج عامل‌های هوشمند از محیط‌های ایزوله جلوگیری می‌کند. بیش از ۱۰۰ شرکت از جمله Anthropic و…

۴ دقیقه خواندن۱

«دسترسی محدود به تیم‌های تأییدشده»؛ استراتژی گوگل برای جلوگیری از سوءاستفاده

گوگل مدل تخصصی جدیدی برای شناسایی و رفع سریع آسیب‌پذیری‌های نرم‌افزاری معرفی کرد. دسترسی به این ابزار برای جلوگیری از سوءاستفاده هکرها، تنها به تیم‌های امنیتی تأییدشده محدود شده…

۱ دقیقه خواندن