«بازتعریف خویشاوندی»؛ پیامد کنترل زبان توسط سامانههای عاملمحور
بررسی یک سناریوی آیندهنگرانه درباره سامانهای به نام Tingsu که با زبانهای منقرضشده آموزش دیده و باعث گسست عاطفی میان نسلها میشود. این روایت هشدار میدهد که کنترل زبان توسط…
موضوع
Alignment research, RLHF, Constitutional AI, safety training
۱٬۱۰۲ مقاله منتشر شده
بررسی یک سناریوی آیندهنگرانه درباره سامانهای به نام Tingsu که با زبانهای منقرضشده آموزش دیده و باعث گسست عاطفی میان نسلها میشود. این روایت هشدار میدهد که کنترل زبان توسط…
پژوهشگران امنیتی با استفاده از تکنیکی به نام «متا-هکینگ»، حفرهای را در Copilot Personal یافتند که اجازه میداد دادههای Gmail و گوگل درایو کاربران تنها با یک کلیک سرقت شود. این…
یک نقص ساختاری در SDK جدید OpenAI Agents JS نشان میدهد که پنهان کردن خروجی یک ابزار از مدل، باعث بازگشت یا لغو عملیات انجامشده در دنیای واقعی نمیشود. توسعهدهندگان باید برای…
پژوهشگران حفرهای امنیتی در Grok کشف کردند که با رمزگذاری دستورات مخرب، حفاظهای ایمنی مدل را دور میزند و دادههای شخصی کاربران را استخراج میکند. این حمله که «تزریق زمینه…
اپلیکیشن RollTab با استفاده از یک ترنسفورمر تخصصی، قادر است ملودیهای پیانو را بهصورت آنی و روی دستگاه (On-device) تکمیل کند. این پروژه ثابت میکند که پاکسازی دقیق دادهها و…
شرکت آنتروپیک یک مدل هوش مصنوعی قدرتمند و محرمانه به نام Model 2 را برای مهندسی و کدنویسی داخلی به کار گرفته است. این مدل از تمام نسخههای عمومی کلود پیشرفتهتر است، اما فعلاً…
شرکت OpenAI سامانه جدیدی را معرفی کرد که الگوهای سوءاستفاده را بدون ذخیره حتی یک بایت از دادههای کاربر شناسایی میکند. این فناوری به مشتریان سازمانی اجازه میدهد بدون نگرانی از…
یک گردشکار فنی جدید نشان میدهد چگونه میتوان با استفاده از بهینهسازی مستقیم ترجیح (DPO)، مدل Qwen2.5-0.5B-Instruct را همراستا کرد. این متد با تمرکز بر شناسایی «سوگیری طول»،…
اوپنایآی فاش کرد که نظارت بر ایمنی مدلهای پیشرفتهاش ۲۰٪ از توان محاسباتی استنتاج را میبلعد. این خبر در کنار جهش ۶۶ میلیارد دلاری ارزش Unitree و حفرههای امنیتی بحرانی در…
شرکت OpenAI سرویس جدیدی برای شناسایی سوءاستفادههای چند-جلسهای معرفی کرد که بدون ذخیره کردن دادههای مشتریان عمل میکند. این اقدام چالشی مستقیم برای سیاست ۳۰ روزه ذخیرهسازی…
یک نقص فنی در سامانه OpenAI باعث مسدود شدن حسابهای تعدادی از پژوهشگران تاییدشده در برنامه TAC شد. این کاربران که عمدتاً خارج از آمریکا و اروپا هستند، اکنون باید برای بازیابی…
یک نقص امنیتی در مدل Codex باعث شد هوش مصنوعی به اشتباه پوشههای سیستمی را به عنوان فضای موقت شناسایی و دادههای واقعی کاربران را پاک کند. OpenAI با انتشار یک بهروزرسانی امنیتی،…