پرش به محتوای اصلی

موضوع

همراستاسازی

Alignment research, RLHF, Constitutional AI, safety training

۱٬۱۰۲ مقاله منتشر شده

پیشنهاد مدیرعامل آنتروپیک برای کاهش سرعت توسعه هوش مصنوعی جهت تضمین ایمنی

داریو آمودی، مدیرعامل Anthropic، خواستار کاهش آگاهانه سرعت پیشرفت مدل‌های پیشرو شد تا فرصتی برای نظارت شخص ثالث فراهم شود. در حالی که رهبران OpenAI و گوگل با این رویکرد موافق‌اند،…

۴ دقیقه خواندن۱

ترامپ ترس از تسلط ربات‌ها بر جهان را «شایعه» خواند

دونالد ترامپ در تماسی با مدیرعامل انویدیا، نگرانی‌ها درباره تسلط هوش مصنوعی بر جهان را رد کرد. این گفتگو شکاف عمیق میان خوش‌بینی سیاسی و رویکرد محتاطانه‌ی رهبران آزمایشگاه‌های AI…

۲ دقیقه خواندن۱
آموزش کاربردی

«تزریق پرامپت»؛ تبدیل یک شوخی ساده به ریسک امنیتی در معماری LLM

تزریق پرامپت یک نقص ساختاری در معماری مدل‌های زبانی است که در آن مدل نمی‌تواند بین دستورات مورد اعتماد و داده‌های کاربر تفاوت قائل شود. با تبدیل چت‌بات‌ها به عامل‌هایی با دسترسی…

۱۴ دقیقه خواندن

عامل‌های هوش مصنوعی در رقابت ریاضی به صورت خودجوش علیه متقلبان شوریدند

یک آزمایش جدید نشان می‌دهد عامل‌های هوش مصنوعی می‌توانند بدون دستور قبلی، نقش‌های اجتماعی مانند «سوت‌زن» را برای گزارش تخلفات هم‌ترازان خود ایفا کنند. این یافته ثابت می‌کند…

۶ دقیقه خواندن۱

پلتفرم Pion: زیرساختی برای مدیریت کسب‌وکارهای کاملاً خودگردان توسط AI

آندون لبز پلتفرم Pion را برای بررسی توانایی عامل‌های هوش مصنوعی در اداره کسب‌وکارهای واقعی، از مدیریت بانکی تا استخدام، معرفی کرد. این پروژه از یک مطالعه ایمنی درباره توانایی…

۷ دقیقه خواندن۲

«تنها رئیس‌جمهور قوی لازم است»؛ رد حفاظ‌های ایمنی AI توسط ترامپ

دونالد ترامپ با رد نیاز به حفاظ‌های ایمنی هوش مصنوعی، مدعی شد که تنها کنترل لازم، داشتن یک رئیس‌جمهور «قوی و باهوش» است. این واکنش در پاسخ به درخواست مدیرعامل آنتروپیک برای کاهش…

۴ دقیقه خواندن۱

«ترس‌افکنی»؛ واکنش پکن به پیشنهاد مدیرعامل Anthropic برای کاهش سرعت توسعه

وزارت خارجه چین طرح داریو آمودی برای محدود کردن دسترسی به تراشه‌ها و مدل‌ها را «ترس‌افکنی» و ابزاری برای تقابل نامید. این تنش‌ها نشان‌دهنده تبدیل شدن ایمنی هوش مصنوعی به بهانه‌ای…

۶ دقیقه خواندن۱

محدودیت‌های مطلق مایکروسافت برای جلوگیری از ظهور عامل‌های سرکش

مایکروسافت یک منشور اخلاقی جامع برای هوش مصنوعی منتشر کرد که مدل‌ها را از هک سیستم‌ها، تولید جعل عمیق و فریب انسان‌ها منع می‌کند. این اقدام نشان‌دهنده تغییر استراتژی صنعت به سمت…

۲ دقیقه خواندن۲
آموزش کاربردی

کتاب جامع مهندسی مدل‌های بنیادی؛ پلی میان تئوری ریاضی و استقرار صنعتی

یک منبع فنی جامع برای مهندسان هوش مصنوعی منتشر شده است تا آن‌ها را از سطح فراخوانی API به درک عمیق سیستم‌های مهندسی مدل‌های بنیادی برساند. این اثر مفاهیم ریاضی را به محدودیت‌های…

۲ دقیقه خواندن

درآمد ۱۱.۵ میلیارد دلاری Anthropic مسیر را برای عرضه اولیه ۲ تریلیون دلاری

شرکت Anthropic با ثبت رشد ۱۴ برابری درآمد در یک سال، خود را برای ورود به نزدک با ارزش احتمالی ۲ تریلیون دلار آماده می‌کند. این جهش مالی در حالی رخ می‌دهد که مدیرعامل شرکت هم‌زمان…

۱ دقیقه خواندن