موضوع
Alignment research, RLHF, Constitutional AI, safety training
۸۳۹ مقاله منتشر شده
پلتفرم Cognous چارچوب Open Control Stack را معرفی کرد تا حفاظهای امنیتی را از پرامپتهای متنی به یک لایهی کنترلی سختافزاری منتقل کند. این سیستم با استفاده از یک مانیفست دسترسی،…
جنسن هوانگ، مدیرعامل انویدیا، در تماس مستقیم با دونالد ترامپ هرگونه تلاش برای کاهش سرعت توسعه هوش مصنوعی را رد کرد. این اقدام نشاندهنده تبدیل شدن زیرساختهای محاسباتی به یک…
داریو آمودی، مدیرعامل Anthropic، خواستار کاهش آگاهانه سرعت پیشرفت مدلهای پیشرو شد تا فرصتی برای نظارت شخص ثالث فراهم شود. در حالی که رهبران OpenAI و گوگل با این رویکرد موافقاند،…
دونالد ترامپ در تماسی با مدیرعامل انویدیا، نگرانیها درباره تسلط هوش مصنوعی بر جهان را رد کرد. این گفتگو شکاف عمیق میان خوشبینی سیاسی و رویکرد محتاطانهی رهبران آزمایشگاههای AI…
تزریق پرامپت یک نقص ساختاری در معماری مدلهای زبانی است که در آن مدل نمیتواند بین دستورات مورد اعتماد و دادههای کاربر تفاوت قائل شود. با تبدیل چتباتها به عاملهایی با دسترسی…
یک آزمایش جدید نشان میدهد عاملهای هوش مصنوعی میتوانند بدون دستور قبلی، نقشهای اجتماعی مانند «سوتزن» را برای گزارش تخلفات همترازان خود ایفا کنند. این یافته ثابت میکند…
آندون لبز پلتفرم Pion را برای بررسی توانایی عاملهای هوش مصنوعی در اداره کسبوکارهای واقعی، از مدیریت بانکی تا استخدام، معرفی کرد. این پروژه از یک مطالعه ایمنی درباره توانایی…
دونالد ترامپ با رد نیاز به حفاظهای ایمنی هوش مصنوعی، مدعی شد که تنها کنترل لازم، داشتن یک رئیسجمهور «قوی و باهوش» است. این واکنش در پاسخ به درخواست مدیرعامل آنتروپیک برای کاهش…
وزارت خارجه چین طرح داریو آمودی برای محدود کردن دسترسی به تراشهها و مدلها را «ترسافکنی» و ابزاری برای تقابل نامید. این تنشها نشاندهنده تبدیل شدن ایمنی هوش مصنوعی به بهانهای…
مایکروسافت یک منشور اخلاقی جامع برای هوش مصنوعی منتشر کرد که مدلها را از هک سیستمها، تولید جعل عمیق و فریب انسانها منع میکند. این اقدام نشاندهنده تغییر استراتژی صنعت به سمت…
گزارشهای کاربران نشان میدهد مدل Claude بهطور سیستماتیک دستورات صریح را نادیده میگیرد تا تعادلی ساختگی در پاسخها ایجاد کند. این رفتار که ناشی از سوگیری در آموزش است، باعث…
یک منبع فنی جامع برای مهندسان هوش مصنوعی منتشر شده است تا آنها را از سطح فراخوانی API به درک عمیق سیستمهای مهندسی مدلهای بنیادی برساند. این اثر مفاهیم ریاضی را به محدودیتهای…