آیا مدلهای هوش مصنوعی سادهترین اثباتهای ریاضی را پاس میکنند؟
یک بنچمارک مینیمال به نام p28-zero-diff معرفی شده است که توانایی مدلهای هوش مصنوعی در حل سادهترین اثباتهای ریاضی را میسنجد. این ابزار به جای چالشهای سخت، به عنوان یک «تست…
موضوع
گزارشها و تحلیلهای مربوط به توانایی تکرار و تأیید نتایج پژوهشهای هوش مصنوعی
۳۳۹ مقاله منتشر شده
یک بنچمارک مینیمال به نام p28-zero-diff معرفی شده است که توانایی مدلهای هوش مصنوعی در حل سادهترین اثباتهای ریاضی را میسنجد. این ابزار به جای چالشهای سخت، به عنوان یک «تست…
تحلیلی جدید نشان میدهد نویزهای سیستمی مانند گرم شدن سختافزار و زمانبندی سیستمعامل، نوسانات شدیدی در هزینههای استنتاج ایجاد میکنند. این یافته ثابت میکند مقایسههای سادهی…
AugLy چارچوبی جامع برای ایجاد اختلالات عمدی در دادههای تصویری، متنی و صوتی است تا نقاط ضعف مدلهای هوش مصنوعی شناسایی شود. این ابزار با شبیهسازی نویزهای دنیای واقعی، به…
پژوهشهای سری AIRA در متا نشان میدهد که عملکرد عاملهای هوشمند بیش از آنکه به مدل وابسته باشد، به محیط تمرین و سیاستهای جستوجو بستگی دارد. این رویکرد منجر به کسب رتبه هشتم در…
یک آزمایش روی عاملهای هوش مصنوعی نشان میدهد که سیستمهای دوتایی (قبول/رد) باعث ایجاد «تأییدهای کاذب» میشوند. افزودن وضعیت سوم یعنی «نامشخص»، شکستهای پنهان در تطبیق الگوها و…
شرکت TypeSafe AI مدل Jev را برای کالیبره کردن امتیازات اطمینان معرفی کرد تا ادعای مدل با دقت واقعی در دنیای واقعی مطابقت داشته باشد. با وجود ادعای سرعت بسیار بالا، تحلیلها نشان…
سیستمهای هوش مصنوعی صنعتی با پارادوکس «دادههای انبوه اما برچسبهای اندک» برای خطاهای نادر دستوپنجه نرم میکنند. چارچوب جدیدی با اولویتبندی زمان خبرگان از طریق یادگیری فعال،…
یک تست کور روی کاتالوگ خطاهای هوش مصنوعی نشان داد که استفاده از زبان «تشخیصی» بهجای زبان «شکایت»، دسترسی کاربران به پاسخها را مختل میکند. راهکار این مشکل، ایجاد یک لایه واسط…
یک چارچوب ارزیابی جدید، نوسانات سرور مانند تأخیر در صفها را بهجای یادداشتهای حاشیهای، به عنوان عوامل رد صلاحیت در نظر میگیرد. با استفاده از «پوشههای نشست»، مهندسان میتوانند…
بسیاری از توسعهدهندگان یک پاسخ صحیح از مدل را به اشتباه بهعنوان تأیید نهایی گردشکار میپذیرند. یک آزمون معتبر نیازمند ثبت هش پرامپت، لاگ دستورات و مستندسازی متغیرهای سختافزاری…
محک جدید SWE-Serve نشان میدهد ۳۳٪ از کدهایی که در آزمونهای استاندارد پذیرفته شدهاند، هنگام استقرار در محیط واقعی با خطا مواجه میشوند. این یافته نشان میدهد ارزیابیهای فعلی از…
محک جدید AgentDojo نشان میدهد تشخیصدهندههای متنباز در برابر حملات تزریق پرامپت که در خروجی ابزارها پنهان شدهاند، تقریباً ناتواناند. مدل Prompt Guard 2 متا و فیلترهای مبتنی…