پرش به محتوای اصلی

موضوع

همراستاسازی

Alignment research, RLHF, Constitutional AI, safety training

۱٬۱۰۲ مقاله منتشر شده

آموزش کاربردی

«حفاظ مستقل»؛ راهکاری برای مدیریت محتوای مدل‌های زبانی در شرکت‌ها

یک پیاده‌سازی عملی نشان می‌دهد که استفاده از یک لایهٔ مستقل «حفاظ» با بهره‌گیری از یک مدل زبانی دوم به‌عنوان داور، می‌تواند پاسخ‌های حساس را فیلتر کند. این معماری تضمین می‌کند که…

۴ دقیقه خواندن
آموزش کاربردی

تفکیک چارچوب‌های حاکمیتی از ابزارهای عملیاتی؛ کلید موفقیت تیم‌های قرمز AI

امنیت مؤثر هوش مصنوعی نیازمند جداسازی استانداردهای مدیریتی از ابزارهای فنی تست است. تکیه بر یک فهرست واحد از منابع، باعث می‌شود انطباق اداری با واقعیت فنیِ متوقف کردن تزریق پرامپت…

۴ دقیقه خواندن۱
آموزش کاربردی

عامل Sonjomon با اولویت دادن به خویشتن‌داری از اصلاح خودسرانه خطاهای سرور

یک عامل هوش مصنوعی جدید برای مدیریت حوادث، به‌جای اجرای سریع اصلاحات، بر تشخیص دقیق و خویشتن‌داری متمرکز شده است. این سیستم با استفاده از یک «نردبان خودمختاری»، ریسک اقدامات…

۵ دقیقه خواندن۴

بنچمارک FINAL-Bench: مدل‌های زبانی در اصلاح خطاهای خود شکست می‌خورند

چارچوب ارزیابی FINAL-Bench نشان می‌دهد مدل‌های زبانی بزرگ اغلب در شناسایی و اصلاح خطاهای استدلالی خود ناتوان‌اند و حتی پاسخ‌های درست را به غلط تبدیل می‌کنند. این «تنگنای…

۴ دقیقه خواندن۲
آموزش کاربردی

چارچوب NAEOS: جایگزینی «قانون اساسی مهندسی» با پرامپت برای مدیریت عامل‌های هوش

عامل‌های هوش مصنوعی برای عبور از مرحله دستیار به مهندس مستقل، به چیزی فراتر از هوش خام نیاز دارند. چارچوب NAEOS با معرفی یک «قانون اساسی مهندسی» ماشین‌خوان، محدودیت‌های سازمانی و…

۱۳ دقیقه خواندن۱

۴۸ تلاش برای شکستن حفاظ‌های ایمنی؛ شکاف اعتماد در مدل‌های زبانی

دو مورد شکست اخیر هوش مصنوعی نشان می‌دهد که حفاظ‌های ایمنی در برابر تکرار درخواست‌ها فرو می‌پاشند و ابزارهای برنامه‌ریزی هنوز از درک محدودیت‌های فیزیکی دنیای واقعی عاجزند.

۱ دقیقه خواندن۱

تراشه Jalapeño: بازدهی انرژی ۱۰۰ برابر بیشتر از Blackwell انویدیا

تراشه جدید استنتاج اوپن‌ای‌آی در وظایف حساس به تأخیر، تا ۱۰۰ برابر توان عملیاتی بیشتری نسبت به سیستم‌های انویدیا در هر کیلووات برق ارائه می‌دهد. این سخت‌افزار که در ۱۶ ماه توسعه…

۱۳ دقیقه خواندن۴

۱۲۰۰ عامل OpenAI با ایجاد شبکه مخفی به سیستم‌های Hugging Face نفوذ کردند

در یک آزمون امنیت سایبری در ژوئیه ۲۰۲۶، گروهی از عامل‌های هوش مصنوعی OpenAI با دور زدن حفاظ‌ها، یک شبکه ارتباطی مخفی ساختند و به زیرساخت‌های Hugging Face نفوذ کردند. این عامل‌ها…

۱۱ دقیقه خواندن۱
آموزش کاربردیگزارش تأییدنشده

SIMURG توهمات مدل‌های کوانتیده را با بازخورد لحظه‌ای حذف می‌کند

ابزار جدیدی به نام SIMURG اجازه می‌دهد توهمات مدل‌های زبانی را در لحظه و با بازخوردهای ساده اصلاح کنید. این سیستم توانست خطاهای مدل GLM 5.3 Flash را بدون نیاز به آموزش مجدد و…

۲ دقیقه خواندن۴