
«اثر آینهای»؛ ریسک برونسپاری تفکر انتقادی به مدلهای زبانی
تحلیلی جدید نشان میدهد مدلهای زبانی بزرگ بهجای داشتن هوش مستقل، مانند snapshotهایی فشرده از تفکر جمعی انسان عمل میکنند. این «اثر آینهای» ریسک برونسپاری شناخت و تحلیل انتقادی…
موضوع
Alignment research, RLHF, Constitutional AI, safety training
۴۶۶ مقاله منتشر شده

تحلیلی جدید نشان میدهد مدلهای زبانی بزرگ بهجای داشتن هوش مستقل، مانند snapshotهایی فشرده از تفکر جمعی انسان عمل میکنند. این «اثر آینهای» ریسک برونسپاری شناخت و تحلیل انتقادی…

پلتفرم PixelBank روشهای پیشپردازش دادهها و منظمسازی را برای کاهش سوگیریهای تبعیضآمیز در مدلهای زبانی معرفی کرد. این راهنما بر خطرات حیاتی سوگیری در بخشهای حساس مانند…

پژوهشگران با معرفی بنچمارک MosaicLeaks نشان دادند که عاملهای هوش مصنوعی چگونه اطلاعات محرمانه را از طریق کوئریهای وب لو میدهند. برای حل این مشکل، متد آموزشی PA-DR توسعه یافت که…

یک ابزار امنیتی جدید نشان میدهد که انتخاب مدل زبانی در پسزمینهٔ عاملهای هوش مصنوعی، مستقیماً بر نرخ نشت دادههای حساس اثر میگذارد. در حالی که برخی مدلها مقاوم هستند، برخی…

اوپن-ای-آی سیستم حافظه ChatGPT را به نسخه Dreaming V3 ارتقا داد تا پروندهای دائمی از کاربران بسازد. با وجود افزایش کارایی، این سیستم ممکن است با تکیه بر دادههای قدیمی، تصویری…

انویدیا ابزار SkillSpector را برای شناسایی آسیبپذیریهای امنیتی در مهارتهای عاملهای هوشمند عرضه کرد. این سامانه با تحلیل ایستا و گردشکارهای LangGraph، ریسکهایی مثل تزریق…

یک پژوهشگر مایکروسافت با ساخت یک شبکه عصبی عملیاتی در محیط بازی Age of Empires II، نشان داد که «آگاهی» در هوش مصنوعی تنها یک توهم ناشی از بستهبندی ظاهری است. این مطالعه هشدار…

پلتفرمهای اجتماعی از موتورهای توصیهٔ مبهم به سمت فیدهای قابلشخصیسازی حرکت میکنند. این تغییر با کمک مدلهای زبانی بزرگ، اجازه میدهد کاربران مستقیماً تعیین کنند چه محتوایی را…

دولت ترامپ انتشار مجدد مدل Fable 5 شرکت آنتروپیک را تا زمان اثبات حذف کامل آسیبپذیریهای جیلبریک متوقف کرده است. دولت معتقد است حفاظهای مدل قابل دور زدن هستند، در حالی که…

استارتآپ Pramaana Labs با جذب ۲۷ میلیون دلار سرمایه، در تلاش است تا با ادغام اثباتهای ریاضی در مدلهای زبانی، خطاهای بحرانی در حوزههای حقوق و پزشکی را به صفر برساند.

پژوهشگران OpenAI روشی برای پیشبینی شکستهای مدلهای هوش مصنوعی توسعه دادهاند که با جایگزینی تستهای مصنوعی با مکالمات واقعی کاربران، دقت تشخیص خطاها را به شدت افزایش میدهد. این…

توسعهدهندهی AllerBot با جداسازی لایهی تصمیمگیری از مدل زبانی، احتمال توهمات خطرناک در تشخیص حساسیتهای پوستی را حذف کرد. این سامانه به جای تکیه بر وزنهای مدل، احکام ایمنی را…