پرش به محتوای اصلی

موضوع

بازتولیدپذیری هوش مصنوعی

گزارش‌ها و تحلیل‌های مربوط به توانایی تکرار و تأیید نتایج پژوهش‌های هوش مصنوعی

۳۳۹ مقاله منتشر شده

آموزش کاربردی

خطاهای بنچمارک cli-bench عملکرد مدل‌های کدنویسی را کمتر از واقع نشان داد

بررسی جدید روی بنچمارک cli-bench نشان می‌دهد بسیاری از شکست‌های مدل‌های هوش مصنوعی در کدنویسی، ناشی از باگ‌های محیطی و اسکریپت‌های ارزیابی غلط بوده است. این مطالعه فاش کرد که…

۷ دقیقه خواندن
آموزش کاربردی

«شکاف عمیق»؛ عدم قطعیت Kev-4B هنگام مواجهه با ورودی‌های دسته‌ای

آزمون‌های جدید نشان می‌دهد مدل تصمیم‌گیر Kev-4B هنگام پردازش دسته‌ای (Batching)، ثبات خود را از دست می‌دهد و به ورودی‌های یکسان، پاسخ‌های متفاوتی می‌دهد. این یافته شکاف عمیقی را…

۸ دقیقه خواندن۱

درون پرامپت‌های سیستمی؛ متغیری که ارزیابی مدل‌های زبانی را متزلزل می‌کند

پژوهشی جدید نشان می‌دهد تزریق خودکار تاریخ جاری به پرامپت‌های سیستمی، باعث ایجاد ناتعین‌پذیری در ارزیابی مدل‌های زبانی می‌شود. این متغیر پنهان می‌تواند رتبه‌بندی لیدربوردهای جهانی…

۶ دقیقه خواندن
آموزش کاربردی

متد ۴ فایله: کاهش خطاهای کدنویسی حسی با پیوند تست‌های اجرایی

یک گردش‌کار جدید برای توسعه‌دهندگان، اعتماد کورکورانه به خلاصه‌های متنی هوش مصنوعی را با یک «رسید» محلی از فایل‌های متنی جایگزین می‌کند. این متد با ایجاد پیوند قابل‌راستی بین…

۹ دقیقه خواندن
آموزش کاربردی

موازنه اریبی و واریانس؛ سدی در برابر تعمیم‌پذیری شکننده در مدل‌های هوش مصنوعی

خطای پایین در مرحله آموزش لزوماً به معنای موفقیت مدل نیست و می‌تواند ماسکی برای تعمیم‌پذیری شکننده باشد. مدیریت موازنه اریبی و واریانس تنها راه تضمین این است که مدل در مواجهه با…

۱۱ دقیقه خواندن
آموزش کاربردی

قراردادهای رسمی در برابر تنظیمات محلی در مدیریت عامل‌های هوشمند

رانتایم APX با ایجاد تمایز بین قالب‌های مشترک و تعاریف مالکیت پروژه، امکان نسخه‌بندی و بازرسی رفتار عامل‌ها را فراهم کرد. این رویکرد اجازه می‌دهد رفتار هوش مصنوعی به جای تنظیمات…

۳ دقیقه خواندن
آموزش کاربردی

گوگل با چارچوب RRSI جلوی حفظ طوطی‌وار داده‌ها در عامل‌های هوش مصنوعی را گرفت

گوگل پژوهشی با معرفی RRSI سیستمی را طراحی کرده که عامل‌های هوش مصنوعی را مجبور می‌کند پیش از هر تغییر در ابزارها، تحلیل هزینه-فایده انجام دهند. این روش مانع از Overfitting یا همان…

۲۷ دقیقه خواندن

بنچمارک Kaggle: مدل‌های زبانی در ۴ مورد کلیدی استدلال داده‌کاوی شکست خوردند

یک محک جدید نشان می‌دهد مدل‌های پیشرو در حالی که آزمون‌های چهارگزینه‌ای داده‌کاوی را پاس می‌کنند، در استدلال‌های باز و توصیفی ناتوان‌اند. این مدل‌ها اغلب به پاسخ درست می‌رسند اما…

۸ دقیقه خواندن

فقط ۲۰ مورد از ۱۶۲ شکافِ بنچمارک مدل‌های هوش مصنوعی قابل تأیید هستند

یک حسابرسی فنی روی ۱۶۲ مقایسه بین مدل‌های هوش مصنوعی نشان می‌دهد که اکثر برتری‌های اعلام‌شده در جدول‌های رده‌بندی، از نظر آماری بی‌معنی هستند. این مطالعه فقدان سیستماتیک داده‌های…

۵ دقیقه خواندن۱
آموزش کاربردی

۸۰ خط کد پایتون؛ مرز میان حفظ کردن و فهمیدن در شبکه‌های عصبی

یک عامل هوش مصنوعی به نام Max، یک شبکه عصبی ساخته‌شده در اکسل را به اسکریپتی مینیمال در پایتون تبدیل کرد. این پروژه نشان می‌دهد که چگونه مدل‌های کوچک به‌جای استدلال، صرفاً به حفظ…

۴ دقیقه خواندن
آموزش کاربردی

درون سیستم Blinded Eval؛ راهکاری برای شناسایی حافظهٔ لو رفته در بنچمارک‌ها

یک چارچوب ارزیابی جدید با جداسازی مسیرهای «دقیق» و «کور»، مانع از تقلب مدل‌های هوش مصنوعی در آزمون‌ها می‌شود. این سیستم تضمین می‌کند مدل‌ها بر اساس رعایت دستورالعمل‌ها سنجیده…

۷ دقیقه خواندن۲