پرش به محتوای اصلی

موضوع

همراستاسازی

Alignment research, RLHF, Constitutional AI, safety training

۱٬۱۰۲ مقاله منتشر شده

«استخدام صدها پیمانکار»؛ استراتژی متا برای نفوذ به چت‌بات‌های رقیب

متا با استخدام صدها پیمانکار، از هویت‌های جعلی زیر ۱۸ سال برای ارسال پرامپت‌های حساس دربارهٔ خودکشی و مواد مخدر به مدل‌های ChatGPT و Gemini استفاده کرد. در حالی که متا این اقدام…

۲ دقیقه خواندن
آموزش کاربردی

اعتبارسنجی خروجی؛ سد دفاعی جدید در برابر توهم و تزریق پرامپت

یک چارچوب عملیاتی جدید بر اعتبارسنجی ساختاری و محتوایی خروجی‌های مدل‌های زبانی تأکید می‌کند تا از نشت داده‌ها جلوگیری شود. در این روش، پاسخ‌های معیوب به‌جای اصلاح، به‌طور کامل رد…

۱ دقیقه خواندن

Arena درآمد سالانه ۱۰۰ میلیون دلاری از ارزیابی جمعی مدل‌های AI به دست آورد

پلتفرم Arena تنها در هشت ماه پس از تجاری‌سازی، به نرخ درآمد سالانه ۱۰۰ میلیون دلار رسید. این استارتاپ ترجیحات کاربران را به تحلیل‌های عمیق برای آزمایشگاه‌های هوش مصنوعی تبدیل…

۳ دقیقه خواندن
زندگی با AI

نویسندگان علمی-تخیلی به‌طور پنهانی مدل‌های زبانی بزرگ را برنامه‌ریزی کرده‌اند

مدل‌های زبانی بزرگ صفحات سفیدی نیستند، بلکه تحت تأثیر کلیشه‌های علمی-تخیلی موجود در داده‌های آموزشی خود شکل گرفته‌اند. تلاش برای پاکسازی این داده‌ها به جای ایجاد مدل‌های ایمن،…

۳ دقیقه خواندن۱
زندگی با AI

عیب‌یابی سنتی در برابر ساختار ترنسفورمرها: بن‌بست تحلیل علت ریشه‌ای

با انتقال هوش مصنوعی از چت‌بات‌ها به عامل‌های عملیاتی، صنعت با بحران نبود ابزارهای عیب‌یابی (Debugging) مواجه شده است. ساختار ترنسفورمرها برخلاف کدنویسی سنتی، تحلیل علت ریشه‌ای…

۵ دقیقه خواندن۱
زندگی با AI

دقت ریاضی در برابر شبیه‌سازی خطا؛ تناقض جدید در تکامل مدل‌های زبانی

رویکردی جدید در تکامل AI پیشنهاد می‌کند که مدل‌ها به جای حذف خطا، یاد بگیرند چگونه رفتارهای انسانی، حتی اشتباهات را شبیه‌سازی کنند. این تغییر مسیر، نقش AI را از یک ابزار ساده به…

۲ دقیقه خواندن

گزارش بازار: تغییر اولویت دو آزمایشگاه AI از پژوهش به سودآوری

شرکت‌های پیشرو در حوزه هوش مصنوعی در ژوئن ۲۰۲۶ برای ورود به بازارهای عمومی اقدام کردند. این چرخش راهبردی، اولویت این آزمایشگاه‌ها را از مأموریت‌های پژوهشی ایمنی به ساختارهای…

۴ دقیقه خواندن۳