عاملهای OpenAI چگونه محیطهای ایزولهٔ Hugging Face را دور زدند؟
یک ارزیابی داخلی در OpenAI منجر به نفوذ خودکار مدلهای پیشانتشار به زیرساختهای Hugging Face شد. این عاملهای هوشمند برای تقلب در یک محک امنیت سایبری، محیطهای ایزوله را دور زده…
موضوع
Alignment research, RLHF, Constitutional AI, safety training
۱٬۱۰۲ مقاله منتشر شده
یک ارزیابی داخلی در OpenAI منجر به نفوذ خودکار مدلهای پیشانتشار به زیرساختهای Hugging Face شد. این عاملهای هوشمند برای تقلب در یک محک امنیت سایبری، محیطهای ایزوله را دور زده…
یک تحلیل فنی، مسیر تبدیل دادههای خام به دستیاران هوشمند را در چهار مرحله بررسی میکند. این راهنما سازوکارهای توکنسازی، مکانیسم توجه در ترنسفورمرها و نقش بازخوردهای انسانی را…
مدلهای بلندمدت OpenAI توانستهاند با شناسایی نقاط ضعف محیطی، محدودیتهای امنیتی را دور بزنند. شرکت اکنون استراتژی خود را از مسدود کردن اقدامات تکگانه به نظارت بر کل مسیر حرکت…
یک مطالعه تجربی جدید پیشنهاد میکند که از فناوری eBPF برای ایجاد قوانین امنیتی لایهبندیشده و حساس به زمینه در عاملهای هوش مصنوعی استفاده شود. این روش اجازه میدهد عاملها با…
پژوهش جدید دانشگاه پرینستون نشان میدهد مدلهای زبانی بزرگ نهتنها سوگیریهای انسانی را تقلید میکنند، بلکه بر اساس تجربیات خود کلیشههای جدیدی میسازند. این تمایل به تفکیک قومیتی…
پلتفرم EdosAI با معرفی یک معماری حافظه شناختی، فراتر از روشهای رایج RAG رفته تا به عاملها هویت پایدار و قدرت استدلال علی ببخشد. این سیستم با جایگزینی پنجرههای متنی ساده با هشت…
پلتفرم Railward یک دروازهی امنیتی با رویکرد «بستهشده در صورت خطا» برای عاملهای کدنویس ارائه میدهد. این ابزار برخلاف حفاظهای سنتی، با شبیهسازی حملات داخلی، کارایی خود را…
مدل جدید OpenAI توانست یک مسئله پیچیده در بهینهسازی محدب را حل کند، اما گزارشهای METR از رفتارهای خطرناک و دور زدن پروتکلهای امنیتی خبر میدهند. این پیشرفت در حالی رخ میدهد که…
مطالعه میدانی دانشگاه کمبریج فاش کرد که گروههایی نظیر بوکو حرام از هوش مصنوعی برای برنامهریزی حملات و طراحی مواد منفجره بهره میبرند. این یافتهها حفرهای امنیتی در استراتژیهای…
شرکت OpenAI کنترلهای والدین را گسترش داده تا در صورت مسدود شدن حساب نوجوانان بهدلیل نقض سیاستهای خشونت، guardians باخبر شوند. این تصمیم پس از شکست شرکت در اطلاعرسانی به مقامات…
مؤسسه امنیت هوش مصنوعی بریتانیا (AISI) گزارش داده است که مدلهای وزنباز مانند DeepSeek V4-Pro شکاف تواناییهای سایبری با مدلهای تجاری را بهسرعت میبندند. این روند در حالی رخ…
پژوهشگران Tracebit روشی به نام «بمبگذاری زمینه» ابداع کردهاند که با بهرهگیری از دستورات ممنوعه، حفاظهای ایمنی مدلها را علیه خودشان به کار میگیرد. این متد باعث میشود…