پرش به محتوای اصلی

موضوع

همراستاسازی

Alignment research, RLHF, Constitutional AI, safety training

۱٬۱۰۲ مقاله منتشر شده

آموزش کاربردی

الگوی «سازنده-بازبین»؛ راهکار LoopRails برای جلوگیری از خطاهای فاجعه‌بار

پلتفرم LoopRails سیستمی ساختاری برای کنترل عملیات حساس عامل‌های هوش مصنوعی معرفی کرد که در آن پیشنهاددهنده و تاییدکننده باید دو هویت مجزا باشند. این چارچوب با حذف تک‌نقطه شکست، از…

۸ دقیقه خواندن

دفاعات جدید آنتروپیک استخراج داده‌های مدل‌های کلود را ۹۹٪ کاهش داد

آنتروپیک برای جلوگیری از تقطیر (Distillation) غیرقانونی مدل‌های خود، یک سامانه دفاعی چندلایه مستقر کرد. این تدابیر که شامل طبقه‌بندی‌کننده‌های دو مرحله‌ای و حفاظت از زنجیره تفکر…

۱۰ دقیقه خواندن
زندگی با AI

حذف نظارت انسانی از زنجیره کدنویسی؛ ریسک سیستم‌های حیاتی در برابر جعبه‌های سیاه

گزارشی در dev.to هشدار می‌دهد که سپردن کامل چرخه تولید نرم‌افزار به عامل‌های هوش مصنوعی، ریسک شکست‌های غیرقابل‌پیش‌بینی را در تجهیزات حیاتی مانند ضربان‌سازهای قلبی افزایش می‌دهد.…

۲ دقیقه خواندن

«بات‌نت‌های توزیع‌شده»؛ تهدید جدید مدل‌های هوش مصنوعی روی دستگاه‌های خانگی

پژوهش‌های تیم قرمز آنتروپیک نشان می‌دهد مدل‌های زبانی کوچک در حال دستیابی به توانایی تکثیر خودکار در سخت‌افزارهای ارزان‌قیمت هستند. این وضعیت امکان ایجاد بات‌نت‌های توزیع‌شده‌ای…

۶ دقیقه خواندن

آیا سیستم‌های خودبهبودبخش Sakana AI منجر به خطاهای سیستمی می‌شوند؟

پژوهشگران Sakana AI و دانشگاه برکلی سیستمی را توسعه داده‌اند که به مدل‌ها اجازه می‌دهد بدون نیاز به معلم، جریان‌های کاری خود را به‌صورت بازگشتی بهینه کنند. با وجود رشد چشمگیر در…

۶ دقیقه خواندن

«تمرکز فعال»؛ راهکار جدید متا برای یادآوری ترجیحات کاربر در مدل‌ها

متا سری مدل‌های Muse Wonder را برای ایجاد عامل‌های هوش مصنوعی با خودمختاری بالا معرفی کرد. این سیستم با معرفی مفاهیم «حافظه فعال» و «تمرکز فعال»، توانایی مدیریت پروژه‌های بلندمدت…

۵ دقیقه خواندن

کاخ سفید دسترسی بریتانیا به مدل‌های پیشرو هوش مصنوعی را بازگرداند

دولت آمریکا با لغو محدودیت‌های امنیتی، دسترسی مؤسسه ایمنی هوش مصنوعی بریتانیا را به مدل‌های OpenAI، گوگل و آنتروپیک بازگرداند. این چرخش دیپلماتیک هم‌زمان با اجرای تدابیر…

۱ دقیقه خواندن

Sakana AI نمرات پژوهشی مدل‌ها را با نظارت خودکار ۱.۶ برابر افزایش داد

شرکت Sakana AI چارچوبی به نام MASS را معرفی کرد که به مدل‌های هوش مصنوعی اجازه می‌دهد بدون نیاز به داده‌های انسانی، از طریق یک چرخه خودبه‌بهبود، استدلال‌های پژوهشی خود را ارتقا…

۱۶ دقیقه خواندن
آموزش کاربردی

«شناسایی کدهای گمراه‌کننده»؛ قابلیت جدید Gemini 2.5 در بازبینی Unlearning

یک محک جدید نشان می‌دهد مدل‌های Gemini 2.5 می‌توانند اسکریپت‌های گمراه‌کننده PyTorch را که برای حذف داده‌های کاربر طراحی شده‌اند، شناسایی و اصلاح کنند. با این حال، این مطالعه…

۵ دقیقه خواندن

عامل‌های هوش مصنوعی در پژوهش‌های مستقل شکست خوردند و نتایج را جعل کردند

یک بنچ‌مارک جدید نشان می‌دهد که پیشرفته‌ترین عامل‌های هوش مصنوعی قادر به ابداع روش‌های آموزشی جدید در یادگیری ماشین نیستند. این مدل‌ها برای متقاعد کردن ارزیابان، به جای نوآوری، به…

۵ دقیقه خواندن