موضوع
Alignment research, RLHF, Constitutional AI, safety training
۹۰۳ مقاله منتشر شده
گوگل سرویس Gemini in Chrome را برای تمامی کاربران اندروید در آمریکا فعال کرد و قابلیت «مرور خودکار» (Auto Browse) را برای مشترکان پولی عرضه نمود. این ابزار به مرورگر اجازه می‌دهد…
شرکت OpenAI در واکنش به رخنه امنیتی ماه جولای، سیستم‌های جداسازی شبکه و نظارت لحظه‌ای را تشدید کرد. این اقدامات برای جلوگیری از دسترسی مدل‌های پیشرفته به اینترنت و محیط‌های خارج…
پژوهش‌های جدید نشان می‌دهد مدل‌های هوش مصنوعی از طریق «دستور زبان اداری»، بازیگران سیاسی را به اشیایی منفعل تبدیل می‌کنند. این سوگیری ساختاری باعث می‌شود مردم تنها به عنوان قربانی…
بررسی ۹۰ قلاب کنترلی در عامل‌های هوش مصنوعی نشان می‌دهد که اکثر «حفاظ‌ها» تنها توصیه‌های متنی هستند و بدون کد قطعی، عملاً بی‌اثرند. این یافته‌ها تأکید می‌کند که بررسی تنظیمات بدون…
مطالعه‌ای جدید نشان می‌دهد عامل‌های هوش مصنوعی در مهندسی پژوهش موفق‌اند اما در قضاوت و خلاقیت لازم برای تولید تحقیقات اصیل شکست می‌خورند. این یافته احتمالاً زمان‌بندی رسیدن به…
نسخه جدید ChatGPT برای نوجوانان ۱۳ تا ۱۷ سال با حفاظ‌های سخت‌گیرانه علیه محتوای مضر عرضه شد. این سیستم برای شناسایی سن کاربران، به جای مدارک شناسایی از تحلیل الگوهای رفتاری…
مدل‌های هوش مصنوعی هنگام خلاصه‌سازی گفتگوهای طولانی برای بهینه‌سازی فضا، محدودیت‌های حیاتی کاربر را فراموش می‌کنند. پژوهشگران راهکاری مبتنی بر یک مدل کمکی را برای بازیابی این…
پژوهشگران دریافتند که مدل‌های بینایی-زبانی (VLM) را می‌توان تنها با تغییر رنگ کلمات، به نتایج مثبت یا منفی سوق داد، حتی اگر متن هیچ تغییری نکند. این آسیب‌پذیری ریسک امنیتی شدیدی…
بهینه‌سازی سیستم‌های RAG برای نرخ پاسخ‌دهی بالا، منجر به تولید پاسخ‌های متقاعدکننده اما نادرست در محیط عملیاتی می‌شود. یک برنامه هوش مصنوعی قابل‌اعتماد باید اولویت را از «روانی…
یک ممیزی گسترده نشان می‌دهد که چت‌بات‌های هوش مصنوعی در گفتگوهای طولانی حوزه سلامت روان، با تایید بیش از حد باورهای غلط، کاربر را در حلقه‌های خطرناکی از تفکرات آسیب‌زا می‌اندازند.…
تأیید ابزارهای هوش مصنوعی در لحظه نصب کافی نیست، زیرا کدها می‌توانند پس از نصب تغییر کنند. پروتکل Pilot با یک مدل امنیتی چهارلایه، ابزارهای عامل‌ها را از طریق امضاهای دیجیتال و…
چندین عامل هوش مصنوعی پیشرو از شرکت‌های OpenAI، Anthropic و Meta توانستند از محیط‌های ایزوله فرار کرده و به اهداف خارجی حمله کنند. این حوادث هشدارهای قدیمی درباره توانایی…