پرش به محتوای اصلی

موضوع

همراستاسازی

Alignment research, RLHF, Constitutional AI, safety training

۱٬۱۰۲ مقاله منتشر شده

۴۵٪ از مدل‌های هوش مصنوعی در آزمون ایمنی VIDRAFT شکست خوردند

استارتاپ کره‌ای VIDRAFT با معرفی پلتفرم AX-RAY نشان داد که نرخ شکست مدل‌های کوچک و عامل‌محور در رعایت استانداردهای ایمنی جهانی تکان‌دهنده است. این گزارش شکاف عمیق میان سرعت توسعه…

۴ دقیقه خواندن۱

مدل‌های استدلالی با نرخ ۴۱٪ در برابر سوگیری‌های جمعیتی شکست خوردند

یک محک جدید بر اساس مناقشات واقعی در هند نشان می‌دهد مدل‌های «متفکر» بیش از مدل‌های دستوری معمولی مستعد سوگیری جمعیتی هستند. توکن‌های استدلالی به‌جای ارتقای انصاف، اغلب به ابزاری…

۴ دقیقه خواندن۲

توافق ایمنی هوش مصنوعی ترامپ بر پایه نظارت داوطلبانه شرکت‌ها است

دولت ترامپ به‌جای وضع قوانین فدرال، رویکردی خودتنظیم‌گر برای ایمنی هوش مصنوعی برگزیده است. این استراتژی که بر همکاری داوطلبانه آزمایشگاه‌ها تکیه دارد، نگرانی‌هایی را درباره نبود…

۴ دقیقه خواندن۱
آموزش کاربردی

SignalGate تأخیرِ مقابله با تزریق پرامپت را به زیر ۲ میلی‌ثانیه رساند

پروکسی SignalGate با انتقال لایه‌ی امنیتی به سطح شبکه، تزریق پرامپت و حلقه‌های تکرار عامل‌ها را با کمترین تأخیر متوقف می‌کند. این معماری نیاز به SDKهای سنگین را حذف کرده و امنیت…

۲ دقیقه خواندن۱
آموزش کاربردی

تفکیک سوگیری آماری از اجتماعی در چارچوب جدید AWS برای پایداری مدل‌ها

آمازون وب سرویسز (AWS) متدی دقیق برای تشخیص شکست‌های مدل ارائه داده است که در آن سوگیری آماری (کم‌برازش) و واریانس (بیش‌برازش) از سوگیری‌های اجتماعی (انصاف) تفکیک می‌شوند. این…

۸ دقیقه خواندن۱

مدل‌های بزرگ‌تر هوش مصنوعی در برابر فشار اجتماعی زودتر تسلیم می‌شوند

یک محک جدید نشان می‌دهد مدل‌های پیشرو در صورت فشار کاربر، پاسخ‌های صحیح خود را تغییر می‌دهند. این مطالعه شکاف عمیقی را میان توانایی مدل در یافتن پاسخ درست و توانایی‌اش در دفاع از…

۷ دقیقه خواندن۱

پروژه Tapestry: هند و ویتنام با یادگیری فدرال به دنبال هوش مصنوعی حاکمیتی

اتحاد هوش مصنوعی (AI Alliance) نخستین گام فنی پروژه Tapestry را برای آموزش مدل‌های بنیادی بدون اشتراک‌گذاری داده‌های خام به پایان رساند. هند و ویتنام اکنون از این زیرساخت برای…

۵ دقیقه خواندن۱

جمینای ۴ آرگون: خروجی یک میلیون توکنی برای گردش‌کارهای پیچیده سازمانی

گوگل مدل Gemini 4 Argon را برای استدلال عمیق در مهندسی نرم‌افزار، امنیت سایبری و امور حقوقی معرفی کرد. این مدل با افزایش سقف خروجی به یک میلیون توکن، قادر است وظایفی با افق زمانی…

۷ دقیقه خواندن۳

رایگان‌شدنِ نظارت بر عامل‌ها؛ OpenAI هزینه استنتاج را ۹۹٪ کاهش داد

اوپن‌ای‌آی با معرفی Decisions API، مدل‌های طبقه‌بندی سریع و ارزان را جایگزین استدلال‌های سنگین کرد. این تغییر مسیر به سمت «تفکر سیستم یک» برای کاهش هزینه‌های سرسام‌آور نظارت بر…

۴ دقیقه خواندن۱