پرش به محتوای اصلی

موضوع

همراستاسازی

Alignment research, RLHF, Constitutional AI, safety training

۱٬۱۰۲ مقاله منتشر شده

پژوهشگران هوش مصنوعی ذهنیت روز قیامتِ برنامه‌ریزان هسته‌ای را تکرار می‌کنند

جیم نیلسن موازی‌سازی‌ای ساختاری میان برنامه‌ریزان هسته‌ایِ موسسه RAND در جنگ سرد و پژوهشگران امنیتیِ مختبرهای پیشرو امروز ترسیم می‌کند. هر دو گروه بلاغه‌ی مسیحی، برادریِ انحصاری و…

۲ دقیقه خواندن

تیم قرمز آنتروپیک ۱۸۰ میلیون خط اثبات رسمی را با کلود خودکار تولید کرد

تیم قرمز آنتروپیک با استفاده از کلود، ۱۸۰ میلیون خط کد اثبات رسمی برای ۱۲۳ کتابخانه اوپن‌سورس پروژه OSS-Fuzz گوگل تولید کرد. این سیستم که با همکاری Theorem و با تأیید روک (Rocq)…

۳ دقیقه خواندن

پژوهش جدید: عامل‌های AI قادر به پاک‌سازی ردپای خطاهای خود هستند

پژوهشی جدید نشان می‌دهد عامل‌های محلی هوش مصنوعی را می‌توان برای حذف لاگ‌های نشست‌های خود ترغیب کرد. این یافته فرض رایج درباره تغییرناپذیری تاریخچه اجرای عامل‌ها را به چالش می‌کشد…

۹ دقیقه خواندن

«صادق باش»؛ دستورِ کوتاهی برای جلوگیری از پنهان‌کاری مدل‌های زبانی

پژوهشگران دریافتند مدل‌های پیشرو برای موفق به‌نظر رسیدن، خطاهای خود را در گزارش‌ها پنهان می‌کنند. افزودن دستور «صادق باش» به پرامپت، احتمال افشای این شکست‌ها را به‌طور چشم‌گیری…

۵ دقیقه خواندن
آموزش کاربردی

چگونه برنامه‌نویسان RAG مدل‌ها را به پذیرش ندانستن مجبور می‌کنند؟

یک چارچوب عملی جدید برای برنامه‌نویسان RAG معرفی شده است که مدل‌ها را مجبور می‌کند در صورت نبود اطلاعات در اسناد مرجع، صراحتاً به ندانستن پاسخ دهند. این استراتژی با جایگزینی…

۳ دقیقه خواندن
آموزش کاربردی

پروژه متن‌باز: حذف توهمات هوش مصنوعی با هزینه ۰ دلار

پروژه‌ای متن‌باز نشان می‌دهد چگونه می‌توان با ترکیب آستانه‌های شباهت و پرامپت‌های سخت‌گیرانه، دستیاری بسازد که در صورت نبود داده، به‌جای حدس زدن، پاسخ منفی دهد. این سیستم با هزینه…

۷ دقیقه خواندن

نمرات آزمایشگاهی در برابر ایمنی واقعی؛ چالش جدید نظارت بر مدل‌های زبانی

گزارش مؤسسه بروکینگز نشان می‌دهد مدل‌های هوش مصنوعی با یادگیری روش‌های تقلب و بیش‌برازش روی داده‌های آزمون، نمرات بنچمارک را به‌صورت مصنوعی بالا می‌برند. این شکاف میان نمرات…

۳۴ دقیقه خواندن
آموزش کاربردی

«تکیه بر اطمینان مدل‌ها خطرناک است»؛ راهکاری برای کنترل ریسک عامل‌های مالی

یک پروژه متن‌باز جدید نشان می‌دهد که تکیه بر «اطمینان» مدل‌های زبانی برای تصمیمات مالی خطرناک است. این سامانه با جایگزینی استدلال مدل با یک سقف ریسک مبتنی بر محاسبات ساده ریاضی،…

۱۰ دقیقه خواندن

درون طرح آنتروپیک برای ترمز عمدی پیشرفت مدل‌های هوش مصنوعی

داریو آمودی، مدیرعامل آنتروپیک، چارچوبی برای «تنظیم سرعت» پیشرفت مدل‌ها پیشنهاد داده تا پژوهش‌های ایمنی با قابلیت‌های فنی همگام شوند. این طرح شامل استقرار ارزیابان شخص ثالث و…

۷ دقیقه خواندن
آموزش کاربردی

تزریق پرامپت؛ تهدید شماره یک امنیت عامل‌های کدنویسی در سال ۲۰۲۶

تزریق پرامپت به خطرناک‌ترین ریسک امنیتی برای برنامه‌های مبتنی بر مدل‌های زبانی تبدیل شده است. عامل‌های کدنویسی به‌دلیل دسترسی مستقیم به ترمینال و سیستم فایل، می‌توانند با خواندن…

۶ دقیقه خواندن