خطاهای بنچمارک cli-bench عملکرد مدلهای کدنویسی را کمتر از واقع نشان داد
بررسی جدید روی بنچمارک cli-bench نشان میدهد بسیاری از شکستهای مدلهای هوش مصنوعی در کدنویسی، ناشی از باگهای محیطی و اسکریپتهای ارزیابی غلط بوده است. این مطالعه فاش کرد که…
موضوع
گزارشها و تحلیلهای مربوط به توانایی تکرار و تأیید نتایج پژوهشهای هوش مصنوعی
۳۳۹ مقاله منتشر شده
بررسی جدید روی بنچمارک cli-bench نشان میدهد بسیاری از شکستهای مدلهای هوش مصنوعی در کدنویسی، ناشی از باگهای محیطی و اسکریپتهای ارزیابی غلط بوده است. این مطالعه فاش کرد که…
آزمونهای جدید نشان میدهد مدل تصمیمگیر Kev-4B هنگام پردازش دستهای (Batching)، ثبات خود را از دست میدهد و به ورودیهای یکسان، پاسخهای متفاوتی میدهد. این یافته شکاف عمیقی را…
پژوهشی جدید نشان میدهد تزریق خودکار تاریخ جاری به پرامپتهای سیستمی، باعث ایجاد ناتعینپذیری در ارزیابی مدلهای زبانی میشود. این متغیر پنهان میتواند رتبهبندی لیدربوردهای جهانی…
یک گردشکار جدید برای توسعهدهندگان، اعتماد کورکورانه به خلاصههای متنی هوش مصنوعی را با یک «رسید» محلی از فایلهای متنی جایگزین میکند. این متد با ایجاد پیوند قابلراستی بین…
خطای پایین در مرحله آموزش لزوماً به معنای موفقیت مدل نیست و میتواند ماسکی برای تعمیمپذیری شکننده باشد. مدیریت موازنه اریبی و واریانس تنها راه تضمین این است که مدل در مواجهه با…
رانتایم APX با ایجاد تمایز بین قالبهای مشترک و تعاریف مالکیت پروژه، امکان نسخهبندی و بازرسی رفتار عاملها را فراهم کرد. این رویکرد اجازه میدهد رفتار هوش مصنوعی به جای تنظیمات…
گوگل پژوهشی با معرفی RRSI سیستمی را طراحی کرده که عاملهای هوش مصنوعی را مجبور میکند پیش از هر تغییر در ابزارها، تحلیل هزینه-فایده انجام دهند. این روش مانع از Overfitting یا همان…
یک محک جدید نشان میدهد مدلهای پیشرو در حالی که آزمونهای چهارگزینهای دادهکاوی را پاس میکنند، در استدلالهای باز و توصیفی ناتواناند. این مدلها اغلب به پاسخ درست میرسند اما…
مدل جدید Darwin-27B-ZTC-v2 با استفاده از مکانیزم Zero-Token Classification جایگاه نخست بنچمارک S1MB را به دست آورد. این مدل بهجای تولید متن، احتمالات را مستقیماً از حالتهای نهان…
یک حسابرسی فنی روی ۱۶۲ مقایسه بین مدلهای هوش مصنوعی نشان میدهد که اکثر برتریهای اعلامشده در جدولهای ردهبندی، از نظر آماری بیمعنی هستند. این مطالعه فقدان سیستماتیک دادههای…
یک عامل هوش مصنوعی به نام Max، یک شبکه عصبی ساختهشده در اکسل را به اسکریپتی مینیمال در پایتون تبدیل کرد. این پروژه نشان میدهد که چگونه مدلهای کوچک بهجای استدلال، صرفاً به حفظ…
یک چارچوب ارزیابی جدید با جداسازی مسیرهای «دقیق» و «کور»، مانع از تقلب مدلهای هوش مصنوعی در آزمونها میشود. این سیستم تضمین میکند مدلها بر اساس رعایت دستورالعملها سنجیده…