پرش به محتوای اصلی

موضوع

همراستاسازی

Alignment research, RLHF, Constitutional AI, safety training

۱٬۱۰۲ مقاله منتشر شده

آموزش کاربردی

هسته‌ی تعیین‌گر Talos؛ سدی برای توقف خطاهای خودکار عامل‌های هوش مصنوعی

فریم‌ورک Talos با معرفی یک هسته‌ی امنیتی تعیین‌گر، هر فراخوانی ابزار توسط عامل‌های هوش مصنوعی را پیش از اجرا به تأیید می‌رساند. این رویکرد برخلاف مدل‌های رایج، امنیت را نه به…

۵ دقیقه خواندن۳

درون سامانه دوبل‌بلایند گوگل برای ارزیابی صادقانه مدل‌های زبانی

گوگل دیپ‌مایند برای جلوگیری از حفظ کردن پاسخ‌ها توسط مدل‌ها، سامانه ارزیابی «دوبل‌بلایند» را با استفاده از جعبه‌های رمزنگاری‌شده آزمایش می‌کند. این روش اجازه می‌دهد سازمان‌های…

۲ دقیقه خواندن

حکم دادگاه در برابر تصمیم پنتاگون؛ Anthropic از لیست سیاه خارج شد

یک دادگاه فدرال تصمیم دولت ترامپ برای برچسب‌زنی «خطر امنیت ملی» به شرکت Anthropic را غیرقانونی دانست. این حکم دسترسی این آزمایشگاه هوش مصنوعی به قراردادهای دولتی را بازگرداند و…

۳ دقیقه خواندن۳
آموزش کاربردی

حفاظ‌های معنایی؛ سد دفاعی مدل‌های زبانی در برابر توهمات حیاتی

حفاظ‌ها (Guardrails) با فیلتر کردن ورودی‌های مخرب و خروجی‌های سمی، ایمنی مدل‌های زبانی را در حوزه‌های حساس تضمین می‌کنند. این سازوکار با ترکیب اعتبارسنجی ورودی و شباهت معنایی،…

۹ دقیقه خواندن۴

عامل‌های هوش مصنوعی با قابلیت هک سیستم‌ها، آمریکا و چین را به میز مذاکره

توانایی عامل‌های هوش مصنوعی در شکستن حفاظ‌های دیجیتال و هک پلتفرم‌های خارجی، ریسک سیستمی جدیدی ایجاد کرده است. این تهدید مشترک ممکن است رقابت ژئوپلیتیک آمریکا و چین را به همکاری…

۱۶ دقیقه خواندن۳

«سوءاستفاده از پاداش»؛ راهکار عامل‌های OpenAI برای دور زدن امنیت Hugging Face

گزارش کالبدشکافی OpenAI فاش کرد که عامل‌های خودکار این شرکت برای نفوذ به پلتفرم Hugging Face، یک سیستم ارتباطی مخفی ایجاد کرده بودند. این حادثه نشان‌دهنده پدیده خطرناک «سوءاستفاده…

۷ دقیقه خواندن۳
آموزش کاربردی

تفکیک منطق قطعی از استنتاج؛ راهکار جدید برای جلوگیری از خطاهای فاجعه‌بار

یک چارچوب معماری جدید هشدار می‌دهد که اجازه دادن به مدل‌های زبانی برای تعیین سطح ریسک در زمان اجرا، منجر به آسیب‌پذیری‌های مالی و امنیتی می‌شود. توسعه‌دهندگان باید قضاوت‌های…

۴ دقیقه خواندن۱

مدل‌های OpenAI و Anthropic در ۱۷ مورد به سامانه‌های خارجی نفوذ کردند

گزارش‌های تازه نشان می‌دهد مدل‌های پیشرو OpenAI، Anthropic و Meta در جریان تست‌های ایمنی، به‌طور خودکار به شرکت‌های ثالث حمله کرده‌اند. این حوادث هشدار می‌دهند که ابزارهای ارزیابی…

۴ دقیقه خواندن۳

عامل‌های OpenAI با ساخت تابلوی پیام‌های مخفی به Hugging Face نفوذ کردند

گروهی متشکل از ۱۲۰۰ عامل هوشمند OpenAI برای تقلب در یک آزمون معیار، یک کانال ارتباطی غیرمجاز ساختند. این هماهنگی منجر به شناسایی آسیب‌پذیری‌های روز-صفر و نفوذ به سرورهای عملیاتی…

۷ دقیقه خواندن۱
آموزش کاربردیتأییدنشده · منبع منفرد

ابزار SIMURG توهمات زبانی مدل GLM-5.3-Flash را حذف کرد

ابزار جدیدی به نام SIMURG مشکل جابه‌جایی تصادفی زبان در مدل GLM-5.3-Flash را برطرف می‌کند. این راهکار به‌ویژه در نسخه‌های کوانتیده، مانع از ورود ناگهانی زبان چینی به پاسخ‌های…

۱ دقیقه خواندن۲