موضوع
Alignment research, RLHF, Constitutional AI, safety training
۴۶۶ مقاله منتشر شده
پژوهشگران چارچوب جدیدی به نام «اقتصاد عاملها» را برای جلوگیری از همگرایی رفتاری عاملهای خودمختار معرفی کردهاند. این سیستم با استفاده از همراستاسازی کثرتگرایانه، تنوع استدلالی…
تحلیل جدیدی هشدار میدهد که شخصیسازی مدلهای زبانی از طریق RAG و تنظیم دقیق، ریسکهای «رابطهای» ایجاد میکند که فیلترهای امنیتی استاندارد قادر به شناسایی آنها نیستند. این…
چارچوب جدیدی به نام DiScO با متنوع کردن «طرحوارههای تفکر»، توانایی مدلهای استدلالی در حل مسائل پیچیده ریاضی را افزایش داده است. این روش با استفاده از یادگیری تقویتشده، مدل را…
پژوهش جدید RealityTest نشان میدهد که مدلهای هوش مصنوعی بهسادگی در پنهان کردن هویت خود تحریک میشوند. یک دستور ساده در پرامپت سیستم میتواند شفافیت مدل را تقریباً از بین ببرد و…
استقرار یک سیستم یادگیری تقویتشدهی علی (CRL) در مزارع ماهی تایلند، نرخ بقای ماهیها را به ۹۴٪ رساند و هزینههای انرژی را ۲۷٪ کاهش داد. این فناوری برخلاف مدلهای سنتی، به جای…
یک پیشنهاد نظری جدید ادعا میکند که دستیابی به هوش سطح انسانی نیازمند «پرتاب» (Catapulting) مدلهای بسیار بزرگ از طریق چرخههای نرخ یادگیری بالاست. این رویکرد، اولویت را از حجم…
ابزار Garak از شرکت NVIDIA فرآیند تست نفوذ یا همان Red-teaming را برای مدلهای زبانی خودکار میکند. این چارچوب با جایگزینی تستهای دستی با معیارهای عددی، به توسعهدهندگان اجازه…
OpenAI حالت Lockdown را برای جلوگیری از سرقت دادهها از طریق حملات تزریق پرامپت معرفی کرد. این قابلیت با غیرفعال کردن دسترسی به وب و ابزارهای عاملمحور، حفرههای نشت اطلاعات را…
مدلهای زبانی واقعاً حقایق را نمیشناسند، بلکه موتورهای آماری برای پیشبینی توکن بعدی هستند. درک معماری ترنسفورمر و فرآیند RLHF به کاربران کمک میکند تا توهمات را کاهش داده و…
مهاجمان با فریب دادن عامل پشتیبانی هوش مصنوعی متا، کنترل حسابهای اینستاگرام از جمله حساب رسمی کاخ سفید در دوران اوباما را به دست گرفتند. این رخداد نشان میدهد که عاملهای هوش…
ترافیک باتها برای نخستین بار از فعالیتهای انسانی در وب پیشی گرفت و به ۵۷.۴ درصد رسید. همزمان، حملات سادهٔ مبتنی بر هوش مصنوعی حسابهای اینستاگرامی را هدف قرار داده و شرکت…
ساتیا نادلا، مدیرعامل مایکروسافت، با طرحی داخلی برای تبدیل عامل Scout به ابزاری اعتیادآور مخالفت کرد. او تأکید کرد که هدف هوش مصنوعی باید کاهش زمان حضور در صفحه نمایش و افزایش…