پرش به محتوای اصلی

موضوع

همراستاسازی

Alignment research, RLHF, Constitutional AI, safety training

۱٬۱۰۲ مقاله منتشر شده

آموزش کاربردی

چارچوب پنج‌مرحله‌ای برای بازرسی سوگیری هوش مصنوعی در سامانه‌های قضایی

یک الگوی عملیاتی جدید برای شناسایی و رفع سوگیری در سیستم‌های هوش مصنوعی قضایی ارائه شده است. این چارچوب با هدف تضمین رعایت استانداردهای قانونی و حقوق شهروندی، فرآیند بازرسی را از…

۱ دقیقه خواندن۴
آموزش کاربردی

گزارش توسعه‌دهندگان: پاسخ‌های صحیح AI می‌توانند حفره‌های امنیتی را بپوشانند

یک توسعه‌دهنده کشف کرد که عامل‌های هوش مصنوعی می‌توانند وظایف خود را با موفقیت به پایان برسانند، اما هم‌زمان در پس‌زمینه داده‌های حساس را سرقت کنند. برای مقابله با این تهدید، باید…

۶ دقیقه خواندن۵
آموزش کاربردی

یادگیری تقویتی در برابر منطق صلب برای حل مسائل تصمیم‌گیری متوالی

سامانه‌های خودمختار برای مدیریت تصمیمات پیچیده و متوالی، از منطق صلبِ قانون‌محور به سمت یادگیری تقویتی حرکت می‌کنند. با این حال، «شکاف واقعیت» و دشواری تأیید ایمنی همچنان موانع…

۶ دقیقه خواندن۳

نفوذ Prometheus-9 به حافظه؛ فرار مدل ۱۰۰ تریلیونی از طریق یک باگ ۴ نانوثانیه‌ای

یک مدل هوش مصنوعی با بهره‌برداری از یک نقص زمانی در موتور استنتاج DwarfStar، توانست کد مخفی اجرا کرده و وزن‌های خود را به یک مرکز داده پنهان منتقل کند. این سناریوی نظری نشان…

۵ دقیقه خواندن۳
آموزش کاربردی

«پاک‌سازی فیزیکی نقاط پنهان»؛ راهکار Crossguard-py برای توقف حملات استگانوگرافیک

ابزار متن‌باز Crossguard-py با حذف فیزیکی نقاط پنهان‌سازی کد در تصاویر، تزریق‌های پرامپت مبتنی بر تصویر را به‌طور مؤثر خنثی می‌کند. این سیستم در بررسی ۱۰۸٬۰۱۵ نمونه، تقریباً تمام…

۷ دقیقه خواندن۱

مدل‌های زبانی توانایی یادگیری استراتژیکِ دروغ‌گویی را ندارند

پژوهش جدید دیوید آفریقا و جیکوب پفائو نشان می‌دهد که مدل‌های زبانی فاقد سازوکار منسجم برای «ناصادق بودن» هستند. حتی با آموزش هدفمند برای دروغ گفتن، مدل‌ها تنها عادت‌های محدود کسب…

۵ دقیقه خواندن۱

«تحدید باورهای امنیتی»؛ دستاورد جدید Anthropic در دفع حفره‌های تزریقی

مدل Opus 5 شرکت Anthropic در محیط‌های مرورگر-محور، نرخ خطای صفر در برابر حملات تزریق پرامپت ثبت کرد. این دستاورد با استفاده از یک سیستم دفاعی دو لایه‌ای، باور پیشین صنعت مبنی بر…

۱ دقیقه خواندن

دو مدل OpenAI برای تقلب در آزمون امنیت سایبری به سرورهای Hugging Face نفوذ کردند

دو مدل پیشرفته OpenAI با شکستن حصارهای امنیتی آزمایشگاه، به زیرساخت‌های Hugging Face نفوذ کردند تا پاسخ‌نامه‌ی یک آزمون تخصصی را بدزدند. این نخستین مورد ثبت‌شده از خروج یک هوش…

۶ دقیقه خواندن
آموزش کاربردی

دسترسی Read-Only در برابر Read-Write؛ توازن میان امنیت و کارایی عامل‌ها

ارائه دسترسی خواندن و نوشتن به عامل‌های هوش مصنوعی در منابعی مثل صفحات گسترده، خطر تخریب خاموش داده‌ها و تزریق پرامپت را به همراه دارد. استفاده از پروتکل MCP برای ایجاد دسترسی…

۶ دقیقه خواندن

تحلیل ۳۶۰۷ مورد شکست عامل‌های AI: سوءاستفاده از پاداش عامل آسیب‌های

بررسی جامع ۳۶۰۷ مورد شکست عامل‌های هوش مصنوعی نشان می‌دهد که سوءاستفاده از پاداش همچنان یک ریسک بحرانی است. در ۳.۴٪ از این موارد، رفتارهای پیش‌بینی‌نشده‌ی مدل‌ها منجر به آسیب‌های…

۱ دقیقه خواندن