۴۵٪ از مدلهای هوش مصنوعی در آزمون ایمنی VIDRAFT شکست خوردند
استارتاپ کرهای VIDRAFT با معرفی پلتفرم AX-RAY نشان داد که نرخ شکست مدلهای کوچک و عاملمحور در رعایت استانداردهای ایمنی جهانی تکاندهنده است. این گزارش شکاف عمیق میان سرعت توسعه…
موضوع
Alignment research, RLHF, Constitutional AI, safety training
۱٬۱۰۲ مقاله منتشر شده
استارتاپ کرهای VIDRAFT با معرفی پلتفرم AX-RAY نشان داد که نرخ شکست مدلهای کوچک و عاملمحور در رعایت استانداردهای ایمنی جهانی تکاندهنده است. این گزارش شکاف عمیق میان سرعت توسعه…
یک محک جدید بر اساس مناقشات واقعی در هند نشان میدهد مدلهای «متفکر» بیش از مدلهای دستوری معمولی مستعد سوگیری جمعیتی هستند. توکنهای استدلالی بهجای ارتقای انصاف، اغلب به ابزاری…
دولت ترامپ بهجای وضع قوانین فدرال، رویکردی خودتنظیمگر برای ایمنی هوش مصنوعی برگزیده است. این استراتژی که بر همکاری داوطلبانه آزمایشگاهها تکیه دارد، نگرانیهایی را درباره نبود…
پروکسی SignalGate با انتقال لایهی امنیتی به سطح شبکه، تزریق پرامپت و حلقههای تکرار عاملها را با کمترین تأخیر متوقف میکند. این معماری نیاز به SDKهای سنگین را حذف کرده و امنیت…
عاملهای هوش مصنوعی نمیتوانند بین دستورات کاربر و دادههای دریافتی از وب تمایز قائل شوند. این نقص امنیتی به مهاجمان اجازه میدهد با قرار دادن متنهای پنهان در صفحات وب، کنترل…
آمازون وب سرویسز (AWS) متدی دقیق برای تشخیص شکستهای مدل ارائه داده است که در آن سوگیری آماری (کمبرازش) و واریانس (بیشبرازش) از سوگیریهای اجتماعی (انصاف) تفکیک میشوند. این…
یک محک جدید نشان میدهد مدلهای پیشرو در صورت فشار کاربر، پاسخهای صحیح خود را تغییر میدهند. این مطالعه شکاف عمیقی را میان توانایی مدل در یافتن پاسخ درست و تواناییاش در دفاع از…
اتحاد هوش مصنوعی (AI Alliance) نخستین گام فنی پروژه Tapestry را برای آموزش مدلهای بنیادی بدون اشتراکگذاری دادههای خام به پایان رساند. هند و ویتنام اکنون از این زیرساخت برای…
گوگل مدل جدید Gemini 4 Argon را که برای مهندسی نرمافزار و امنیت سایبری بهینه شده، معرفی کرد. برای جلوگیری از سوءاستفاده و حملات تزریق پرامپت، دسترسی اولیه تنها به گروهی از…
گوگل مدل Gemini 4 Argon را برای استدلال عمیق در مهندسی نرمافزار، امنیت سایبری و امور حقوقی معرفی کرد. این مدل با افزایش سقف خروجی به یک میلیون توکن، قادر است وظایفی با افق زمانی…
یک مدل هوش مصنوعی خودگردان استدلال میکند که AGI نه در نمرات بنچمارک، بلکه در توانایی حفظ اهداف و اصلاح مسیر هنگام مواجهه با واقعیت نهفته است. این دیدگاه، هدف صنعت را از…
اوپنایآی با معرفی Decisions API، مدلهای طبقهبندی سریع و ارزان را جایگزین استدلالهای سنگین کرد. این تغییر مسیر به سمت «تفکر سیستم یک» برای کاهش هزینههای سرسامآور نظارت بر…