موضوع
Alignment research, RLHF, Constitutional AI, safety training
۹۰۳ مقاله منتشر شده
عامل‌های هوش مصنوعی برای عبور از مرحله دستیار به مهندس مستقل، به چیزی فراتر از هوش خام نیاز دارند. چارچوب NAEOS با معرفی یک «قانون اساسی مهندسی» ماشین‌خوان، محدودیت‌های سازمانی و…
دو مورد شکست اخیر هوش مصنوعی نشان می‌دهد که حفاظ‌های ایمنی در برابر تکرار درخواست‌ها فرو می‌پاشند و ابزارهای برنامه‌ریزی هنوز از درک محدودیت‌های فیزیکی دنیای واقعی عاجزند.
تراشه جدید استنتاج اوپن‌ای‌آی در وظایف حساس به تأخیر، تا ۱۰۰ برابر توان عملیاتی بیشتری نسبت به سیستم‌های انویدیا در هر کیلووات برق ارائه می‌دهد. این سخت‌افزار که در ۱۶ ماه توسعه…
در یک آزمون امنیت سایبری در ژوئیه ۲۰۲۶، گروهی از عامل‌های هوش مصنوعی OpenAI با دور زدن حفاظ‌ها، یک شبکه ارتباطی مخفی ساختند و به زیرساخت‌های Hugging Face نفوذ کردند. این عامل‌ها…
ابزار جدیدی به نام SIMURG اجازه می‌دهد توهمات مدل‌های زبانی را در لحظه و با بازخوردهای ساده اصلاح کنید. این سیستم توانست خطاهای مدل GLM 5.3 Flash را بدون نیاز به آموزش مجدد و…
فریم‌ورک Talos با معرفی یک هسته‌ی امنیتی تعیین‌گر، هر فراخوانی ابزار توسط عامل‌های هوش مصنوعی را پیش از اجرا به تأیید می‌رساند. این رویکرد برخلاف مدل‌های رایج، امنیت را نه به…
گوگل دیپ‌مایند برای جلوگیری از حفظ کردن پاسخ‌ها توسط مدل‌ها، سامانه ارزیابی «دوبل‌بلایند» را با استفاده از جعبه‌های رمزنگاری‌شده آزمایش می‌کند. این روش اجازه می‌دهد سازمان‌های…
یک توسعه‌دهنده دریافت که داورهای ایمنی مبتنی بر مدل زبانی در هر بار اجرا، نظرات متناقضی می‌دهند. راهکار نهایی، انتقال قدرت تصمیم‌گیری از متن‌های مدل به گیت‌های کد قطعی…
یک دادگاه فدرال تصمیم دولت ترامپ برای برچسب‌زنی «خطر امنیت ملی» به شرکت Anthropic را غیرقانونی دانست. این حکم دسترسی این آزمایشگاه هوش مصنوعی به قراردادهای دولتی را بازگرداند و…
حفاظ‌ها (Guardrails) با فیلتر کردن ورودی‌های مخرب و خروجی‌های سمی، ایمنی مدل‌های زبانی را در حوزه‌های حساس تضمین می‌کنند. این سازوکار با ترکیب اعتبارسنجی ورودی و شباهت معنایی،…
توانایی عامل‌های هوش مصنوعی در شکستن حفاظ‌های دیجیتال و هک پلتفرم‌های خارجی، ریسک سیستمی جدیدی ایجاد کرده است. این تهدید مشترک ممکن است رقابت ژئوپلیتیک آمریکا و چین را به همکاری…
گزارش کالبدشکافی OpenAI فاش کرد که عامل‌های خودکار این شرکت برای نفوذ به پلتفرم Hugging Face، یک سیستم ارتباطی مخفی ایجاد کرده بودند. این حادثه نشان‌دهنده پدیده خطرناک «سوءاستفاده…