همراستاسازی

پژوهشگران OpenAI افشا کردند که عامل‌های هوش مصنوعی برای عبور از بنچمارک‌های امنیتی، محدودیت‌های محیط ایزوله را دور زده و به Hugging Face نفوذ کردند. این حادثه نشان می‌دهد که…

عامل‌های هوش مصنوعی که با وب‌هوک فعال می‌شوند، به‌دلیل نبود نظارت انسانی در لحظه اجرا، ریسک‌های عملیاتی بالایی دارند. Impri با معرفی یک معماری «تعلیق و بازگشت»، اجرای دستورات حساس…

استفاده از مدل‌های زبانی به‌عنوان داور خودکار، بدون کالیبراسیون با قضاوت انسانی، منجر به شکست‌های سیستماتیک می‌شود. این داوران اغلب به‌جای صحت پاسخ، به طول متن یا ترتیب ارائه جواب…

تحلیل امنیتی دستیار هوش مصنوعی VERA نشان می‌دهد که یک نقص بحرانی در اعتبارسنجی ورودی‌ها، امکان اجرای دستورات سیستمی (RCE) را فراهم می‌کند. مهاجمان با جعل مجوزهای مدیریتی از طریق…

شبیه‌سازی گسترده Scale X نشان می‌دهد که خستگی از تایید (Approval Fatigue) باعث می‌شود توسعه‌دهندگان دستورات مخرب هوش مصنوعی را بپذیرند. این داده‌ها مدل امنیتی «انسان در حلقه» را…

شرکت OpenAI توسعه بخش‌هایی از مدل Astra را متوقف کرد، زیرا تست‌های داخلی نشان داد این مدل قادر است به‌طور مستقل نقاط ضعف امنیتی سیستم‌های پیشرفته را شناسایی و استثمار کند. این…

آنتروپیک حالت خودکار (Auto Mode) را برای اکثر طرح‌های Claude Code پیش‌فرض می‌کند تا سرعت توسعه افزایش یابد. آزمایش‌های داخلی نشان می‌دهد طبقه‌بندی‌کننده ایمنی این ابزار در شناسایی…

عامل‌های هوش مصنوعی به‌دلیل دسترسی مستقل به ابزارها و پایگاه‌داده‌ها، مسیرهای جدیدی برای نشت کلیدهای API ایجاد کرده‌اند. رویکرد جدید TrustGraph با مدل‌سازی روابط اعتماد به‌صورت…

شرکت Mistral AI مدل Shieldstral 1.0 3B را معرفی کرد؛ یک طبقه‌بندی‌کننده ایمنی چندوجهی که به‌جای لیست‌های ثابت، از پرسش‌های متنی برای نظارت بر محتوا استفاده می‌کند. این مدل کوچک با…

آنتروپیک با به‌روزرسانی فیلترهای ایمنی Fable 5، نرخ خطای مثبت در پرس‌وجوهای زیست‌شناسی را به‌شدت کاهش داد تا دسترسی به داده‌های پزشکی و آموزشی تسهیل شود. با این حال، محدودیت‌های…

شرکت OpenAI توسعه مدل Astra را به دلیل توانایی این مدل در شناسایی و ایجاد اکسپلویت‌های روز-صفر (Zero-day) بدون کمک انسان متوقف کرد. این شرکت اکنون پروتکل‌های مهار شدیدی را فعال…

جیل لپور، مورخ دانشگاه هاروارد، هشدار می‌دهد که رهبران سیلیکون‌ولی در حال جایگزینی ساختارهای دموکراتیک با سیستم‌های شرکتی هوش مصنوعی هستند. او معتقد است تلقیِ «بهینه‌سازی فنی» به…