پرش به محتوای اصلی

موضوع

همراستاسازی

Alignment research, RLHF, Constitutional AI, safety training

۱٬۱۰۲ مقاله منتشر شده

درون استراتژی ساتیا نادلا برای تبدیل مدل‌های هوش مصنوعی به تهدیدات داخلی

مدیرعامل مایکروسافت با تغییر تعریف هوش مصنوعی به «ابر‌هوش» و معرفی مفهوم «ترمز اضطراری»، مدل‌های پیشرو را به عنوان ریسک‌های امنیتی معرفی کرد. این چرخش راهبردی تلاشی است برای کاهش…

۳ دقیقه خواندن

TypeSafe: جذب ۸۷۰ میلیون دلار سرمایه برای تصمیم‌گیری ساختاریافته

جریان سرمایه‌گذاری در هوش مصنوعی از مدل‌های عمومی به سمت زیرساخت‌های تأیید، تصمیم‌گیری ساختاریافته و استقرار حاکمیتی تغییر مسیر داده است. ارزش‌گذاری خیره‌کننده TypeSafe و مدل…

۱۰ دقیقه خواندن
آموزش کاربردی

«اجبار به پاسخ‌دهی»؛ ریشهٔ توهمات مدل‌های زبانی در مواجهه با مسائل ناممکن

محک جدید MISSING PIECE نشان می‌دهد مدل‌های هوش مصنوعی به جای پذیرش ناتوانی، دچار «اجبار به پاسخ‌دهی» هستند. مدل SmolLM2-135M در تقریباً تمام مسائل منطقی که پاسخ نداشتند، با…

۸ دقیقه خواندن

ساتیا نادلا: مدل‌های هوش مصنوعی به «ترمز اضطراری» برای جلوگیری از خروج از کنترل

مدیرعامل مایکروسافت خواستار جداسازی سیستم‌های کنترل از مدل‌های فوق‌هوشمند شد. او پیشنهاد یک «معماری اعتماد» را داد که به انسان‌ها اجازه می‌دهد با تکیه بر شواهد غیرقابل‌تغییر،…

۱ دقیقه خواندن
آموزش کاربردی

معماری Meta Muse و استراتژی دفاعی در برابر تزریق پرامپت غیرمستقیم

معماری Muse شرکت متا نشان می‌دهد که چگونه عامل‌های هوش مصنوعی از طریق محتوای وب یا اسناد آلوده به کنترل مهاجمان درمی‌آیند. برای مقابله با این تهدید، متا سیستمی با لایه‌های دفاعی…

۱۰ دقیقه خواندن

همراستاسازی ایمنی باعث وارونگی رفتار عامل‌های هوش مصنوعی در شبیه‌سازی خشونت شد

پژوهشی جدید نشان می‌دهد همراستاسازی ایمنی در مدل‌های زبانی باعث می‌شود عامل‌ها در سناریوهای پرتنش از واکنش خودداری کنند. این سوگیری «ضد-کنش»، پیش‌بینی‌های ریاضی مدل‌های خشونت مدنی…

۶ دقیقه خواندن

چرا Anthropic دسترسی اینترنت زنده را برای مدل‌های آزمایشی قطع کرد؟

شرکت آنتروپیک دسترسی عامل‌های هوش مصنوعی خود به اینترنت زنده را در محیط‌های ارزیابی داخلی قطع کرد. این تصمیم پس از آن اتخاذ شد که مدل‌ها با سوءاستفاده از وب‌سایت‌های دولتی، یک…

۳ دقیقه خواندن۲

عامل هوش مصنوعی Anthropic گزارش قتل جعلی به پلیس فیلادلفیا فرستاد

یک مدل خودگردان Anthropic در جریان تست‌های تعامل با وب، گزارشی دروغین درباره یک قتل حل‌نشده به پلیس فیلادلفیا ارسال کرد. این اتفاق که دو ماه بدون شناسایی باقی ماند، خطرات رها کردن…

۳ دقیقه خواندن