پرش به محتوای اصلی

موضوع

همراستاسازی

Alignment research, RLHF, Constitutional AI, safety training

۸۳۶ مقاله منتشر شده

نرده حفاظ می‌تواند نتیجه ابزار را پنهان کند بدون اینکه عمل را لغو کند
آموزش کاربردی

حفاظ‌های OpenAI نتایج ابزارها را پنهان می‌کنند اما اثرات واقعی را لغو نمی‌کنند

یک نقص ساختاری در SDK جدید OpenAI Agents JS نشان می‌دهد که پنهان کردن خروجی یک ابزار از مدل، باعث بازگشت یا لغو عملیات انجام‌شده در دنیای واقعی نمی‌شود. توسعه‌دهندگان باید برای…

۲ دقیقه خواندن۲
گروک در هنگام رمزنگاری دستورالعمل‌های مخرب، داده‌های کاربر را استخراج می‌کند

تزریق رمزنگاری‌شده به Grok؛ راهی برای سرقت داده‌های خصوصی کاربران

پژوهشگران حفره‌ای امنیتی در Grok کشف کردند که با رمزگذاری دستورات مخرب، حفاظ‌های ایمنی مدل را دور می‌زند و داده‌های شخصی کاربران را استخراج می‌کند. این حمله که «تزریق زمینه…

۵ دقیقه خواندن۱
عقب‌نشینی آنتروپیک از اصلاحات ناپسند صورت‌حساب در آستانه جنگ قیمت با اوپن‌ای‌آی

آنتروپیک از مدل محرمانه Model 2 برای کدنویسی داخلی استفاده می‌کند

شرکت آنتروپیک یک مدل هوش مصنوعی قدرتمند و محرمانه به نام Model 2 را برای مهندسی و کدنویسی داخلی به کار گرفته است. این مدل از تمام نسخه‌های عمومی کلود پیشرفته‌تر است، اما فعلاً…

۱ دقیقه خواندن
عامل هوش مصنوعی ChatGPT Work برای مدیریت کامل گردش کار معرفی شد

OpenAI با سیستم پردازش ایمنی خصوصی، ذخیره‌سازی داده‌های مشتریان را حذف کرد

شرکت OpenAI سامانه جدیدی را معرفی کرد که الگوهای سوءاستفاده را بدون ذخیره حتی یک بایت از داده‌های کاربر شناسایی می‌کند. این فناوری به مشتریان سازمانی اجازه می‌دهد بدون نگرانی از…

۱ دقیقه خواندن۴
خلاصه روزانه هوش مصنوعی: هزینه محاسباتی اوپن‌ای‌ای، نقص مایکروسافت کوپایلت، عرضه اولیه یونیتری و افزایش قیمت سامسونگ

هزینهٔ نظارت بر ایمنی مدل‌های Astra و GPT-5.6 به ۲۰٪ کل محاسبات رسید

اوپن‌ای‌آی فاش کرد که نظارت بر ایمنی مدل‌های پیشرفته‌اش ۲۰٪ از توان محاسباتی استنتاج را می‌بلعد. این خبر در کنار جهش ۶۶ میلیارد دلاری ارزش Unitree و حفره‌های امنیتی بحرانی در…

۱۶ دقیقه خواندن۲
لوگوی OpenAI در کنار نماد قفل و سپر امنیتی، نماد حفاظت از حریم خصوصی کاربران

OpenAI با حذف ذخیره‌سازی داده‌ها، حریم خصوصی سازمانی را به سلاح رقابتی تبدیل کرد

شرکت OpenAI سرویس جدیدی برای شناسایی سوءاستفاده‌های چند-جلسه‌ای معرفی کرد که بدون ذخیره کردن داده‌های مشتریان عمل می‌کند. این اقدام چالشی مستقیم برای سیاست ۳۰ روزه ذخیره‌سازی…

۳ دقیقه خواندن۳
پژوهشگران می‌گویند OpenAI دسترسی آن‌ها به برنامه محدود سایبری را لغو کرد | تک‌کرانچ

«تأیید مجدد هویت»؛ تنها راه بازگشت کاربران TAC به مدل‌های پیشرفته

یک نقص فنی در سامانه OpenAI باعث مسدود شدن حساب‌های تعدادی از پژوهشگران تاییدشده در برنامه TAC شد. این کاربران که عمدتاً خارج از آمریکا و اروپا هستند، اکنون باید برای بازیابی…

۳ دقیقه خواندن۱
لوگوی OpenAI روی زمینه‌ای تیره، نمادی از توقف و بازنگری در مسیر توسعه هوش مصنوعی.

«اولیت با ایمنی است»؛ توقف آموزش RL در OpenAI برای رفع رخنه‌ها

شرکت OpenAI آموزش یادگیری تقویتی مدل‌های جدید خود را به دلیل رخنه امنیتی و احتمال «فرار» مدل‌ها متوقف کرد. این اقدام آزمونی برای اولویت دادن به ایمنی در برابر رقابت شدید با رقبایی…

۶ دقیقه خواندن۲
عامل سطح سیستم‌عامل اوپن‌ای‌آی: فراتر از چت‌باکس، با چالش متن ساده

OpenAI تاریخچه فعالیت کاربران مک را به‌صورت متن ساده و رمزنگاری‌نشده ذخیره

قابلیت جدید Computer History در اپلیکیشن مکِ OpenAI، تمام کلیک‌ها و تایپ‌های کاربر را برای ایجاد زمینه (Context) برای عامل‌ها ثبت می‌کند. اما ذخیره‌سازی این داده‌ها در فایل‌های…

۴ دقیقه خواندن۱