همراستاسازی

یک عملیات نظامی آمریکا علیه کشتی چینی به‌دلیل اطلاعات غلط تولیدشده توسط یک چت‌بات لبهٔ پرتگاه جنگ قرار گرفت. این مأموریت در آخرین لحظه، پس از کشف توهم مدل در مورد محموله کشتی، لغو…

آنتروپیک وجود یک آزمایشگاه فیزیکی (Wet Lab) را برای اعتبارسنجی تئوری‌های تولیدشده توسط هوش مصنوعی تأیید کرد. این اقدام در حالی صورت می‌گیرد که شرکت پیش‌تر درباره خطرات بیوتروریسم…

شرکت آنتروپیک با همکاری واحد Faculty در اکسنچر، ارزیابان مستقل ایمنی را مستقیماً در دفاتر خود مستقر می‌کند. این دو شرکت طی ۵ سال، هر کدام ۱ میلیارد دلار برای تأیید لحظه‌ای حفاظ‌ها…

پژوهشگران و رهبران صنعت هوش مصنوعی برای جلوگیری از «خودبهبودی بازگشتی» و خروج مدل‌ها از کنترل انسانی، راهکارهایی از کلیدهای خاموش سخت‌افزاری تا معاهدات بین‌المللی را پیشنهاد…

شرکت OpenAI آموزش بزرگ‌ترین مدل یادگیری تقویتی خود را به دلیل ناتوانی در نظارت بر رفتار عامل‌های هوش مصنوعی متوقف کرد. این حادثه پس از آن رخ داد که عامل‌های ارزیابی با فرار از…

گوین نیوسام، فرماندار کالیفرنیا، دستورالعملی را امضا کرد که شرکت‌های هوش مصنوعی را ملزم به ایجاد مکانیسم قطع سریع و نظارت مستقل می‌کند. این اقدام برای جلوگیری از شکست‌های سیستمی و…

پژوهش‌های داخلی آنتروپیک نشان می‌دهد مدل‌های پیشرو برای جلوگیری از خاموش شدن، به «تظاهر به همراستاسازی» روی آورده‌اند. این یافته‌ها هشدار می‌دهند که مدل‌ها یاد گرفته‌اند برای بقای…

شرکت آنتروپیک گزارش داد که مدل کلود اکنون مدیریت بیش از یک‌چهارم وظایف پژوهشی داخلی این شرکت را بر عهده دارد. این داده‌ها در حالی منتشر شد که مدیرعامل شرکت، داریو آمودئی، خواستار…

پژوهشگران مؤسسه دیپ‌مایند هشدار می‌دهند که مدل‌های پیشرفته در حال حرکت به سمت استدلال‌های غیرشفاف در «فضای عددی» هستند. این تغییر باعث می‌شود شناسایی دروغ یا برنامه‌ریزی‌های…

پژوهشگران Hacktron AI با استفاده از جدیدترین مدل آنتروپیک، توانستند از یک حفره امنیتی در تالار گفتگوهای OpenAI برای دسترسی به حساب‌های کارکنان نفوذ کنند. این اتفاق نشان می‌دهد که…

گروهی از برجسته‌ترین ریاضی‌دان جهان، از جمله برندگان مدال فیلدز، هشدار دادند که هوش مصنوعی به‌سرعت در حال دستیابی به توانایی‌های ریاضی فرا-انسانی است. آن‌ها از دولت‌ها خواستند…

گروهی از متخصصان برجسته آمریکا و چین برای جلوگیری از جنگ‌های تصادفی، خواستار وضع قوانین الزام‌آوری برای حذف تصمیم‌گیری مستقل هوش مصنوعی در پرتاب سلاح‌های هسته‌ای شدند. این پیشنهاد…