Kaggle: ۲۵۰۰ دلار جایزه برای ساخت محکهای ارزیابی هوش مصنوعی
پلتفرم Kaggle و جامعه DEV رقابتی را برای ساخت محکهای (Benchmarks) سفارشی آغاز کردند تا نقاط ضعف مدلهای AI در وظایف واقعی دنیای حرفهای شناسایی شود. پنج برنده برترین ارزیابیهای…
موضوع
گزارشها و تحلیلهای مربوط به توانایی تکرار و تأیید نتایج پژوهشهای هوش مصنوعی
۳۳۹ مقاله منتشر شده
پلتفرم Kaggle و جامعه DEV رقابتی را برای ساخت محکهای (Benchmarks) سفارشی آغاز کردند تا نقاط ضعف مدلهای AI در وظایف واقعی دنیای حرفهای شناسایی شود. پنج برنده برترین ارزیابیهای…
بسیاری از بنچمارکهای عاملهای هوش مصنوعی، خطاهای شبکه و تایماوتها را به اشتباه بهعنوان شکست مدل ثبت میکنند. یک متدولوژی جدید با جداسازی «لایه انتقال» از «لایه استدلال»، دقت…
تحلیلهای فنی نشان میدهد مدل Jev شرکت TypeSafe نمیتواند احتمالات کالیبرهشده را در توزیعهای مختلف دادههای کاربر حفظ کند. مهندسان باید امتیازات این مدل را بهجای احتمال مطلق،…
یک توسعهدهنده کشف کرد که تثبیت شناسهی مدل (Model ID) مانع از تغییر رفتار مدل در سمت سرور نمیشود. این یافته نشان میدهد که تأیید هویت مدل با تأیید صحت خروجی متفاوت است و…
یک توسعهدهنده با استفاده از یک تسک بلندمدت در Codex، چارچوبی ریاضی را به یک بسته آموزشی نسخهبندیشده تبدیل کرد. این پروژه با جایگزینی حافظهٔ چت با آرتیفکتهای نسخهبندیشده،…
انتقال مدلهای هوش مصنوعی به محیط عملیاتی اغلب خطاهای پیشبینینشدهای را آشکار میکند. این راهنما چارچوبی سیستماتیک برای بازتولید، مکانیابی و رفع خطاهای پرامپت با استفاده از…
محققان Jane Street دریافتند که تأثیر وزندهی دادهها بر یادگیری مدلها با تغییر مقیاس، تغییر میکند. در حالی که مدلهای متوسط به وزنها حساساند، مدلهای بسیار کوچک و بسیار بزرگ،…
مؤسسه ایمنی هوش مصنوعی بریتانیا (AISI) برای تبدیل نتایج ارزیابی مدلهای پیشرو به حقایق علمی قابل راستیآزمایی، زیرساخت باز EvalEval را پذیرفت. این اقدام دادههای سطح تراکنش را…
ارزیابیهای سنتی هوش مصنوعی بهدلیل تغییر همزمان وزنهای مدل، پرامپتها و منطق داور شکست میخورند. ذخیره خروجیهای خام در قالب Snapshotهای منجمد، امکان جداسازی دقیق عامل ایجاد…
محک جدید Glasshouse v0.1 با تمرکز بر حافظه بلندمدت، مدلهای هوش مصنوعی را بهجای بازیابی ساده، بر اساس صداقت در مواجهه با دادههای متناقض میسنجد. این ابزار توهمات با اعتمادبهنفس…
یک مؤسس انفرادی در شرکت Nautilus سیستمی از ۵ عامل تخصصی را برای مدیریت خط لوله دادهها راهاندازی کرده است. این مدل با جایگزینی نظارت انسانی با یک دفترچه ثبت وقایع (Ledger) دقیق،…
یک رویکرد معماری جدید با بهرهگیری از Docker Compose، نوسانات محیطی در تست عاملهای هوش مصنوعی را حذف میکند. این روش با تثبیت پاسخهای ابزارها و وضعیت سیستم، امکان تفکیک خطاهای…