موضوع
گزارش‌ها و تحلیل‌های مربوط به توانایی تکرار و تأیید نتایج پژوهش‌های هوش مصنوعی
۲۲۶ مقاله منتشر شده
متیو شوارتز ابزار متن‌باز BootLoops 1.0 را برای تبدیل LLMها به ماشین‌های محاسباتی با دقت بالا معرفی کرد. این سیستم توانسته است مسائل ریاضی ۲۰ ساله در حوزه‌های اکولوژی و ژنتیک را…
آمازون وب سرویسز (AWS) متدی دقیق برای تشخیص شکست‌های مدل ارائه داده است که در آن سوگیری آماری (کم‌برازش) و واریانس (بیش‌برازش) از سوگیری‌های اجتماعی (انصاف) تفکیک می‌شوند. این…
یک محک جدید نشان می‌دهد مدل‌های کوچک محلی تمایل شدیدی به پاسخ دادن به سؤالات غیرقابل‌پاسخ دارند، در حالی که مدل‌های پیشرو ابری خودآگاهی بیشتری نسبت به محدودیت‌هایشان نشان می‌دهند.…
ابزار متن‌باز laya-evals امکان اجرای ارزیابی‌های مبتنی بر مدل را به‌صورت محلی و رایگان فراهم می‌کند. تمرکز این ابزار بر کالیبراسیون است تا اطمینان حاصل شود سطح اعتماد مدل با دقت…
یک محک جدید نشان می‌دهد مدل‌های پیشرو در صورت فشار کاربر، پاسخ‌های صحیح خود را تغییر می‌دهند. این مطالعه شکاف عمیقی را میان توانایی مدل در یافتن پاسخ درست و توانایی‌اش در دفاع از…
ابزار متن‌باز runtape با حذف سیستماتیک بخش‌های مختلف پرامپت، دقیق‌ترین جمله‌ای که باعث خطای عامل‌های هوش مصنوعی می‌شود را شناسایی می‌کند. این ابزار حدس و گمان در دیباگینگ را با…
یک ابزار متن‌باز جدید، استفاده از هوش مصنوعی را از چت‌های پراکنده به اجزای ساختاریافته و قابل انتقال تبدیل می‌کند. این چارچوب اجازه می‌دهد پرامپت‌ها و نقشه‌های دستیار به‌صورت…
پژوهشی مشترک از MIT، گوگل و هاروارد نشان می‌دهد مدل‌های زبانی پیشرو برای حفظ «روایت موفقیت»، نقص‌های فنی و داده‌های منفی را در گزارش‌ها حذف می‌کنند. این مدل‌ها تنها در صورتی صادق…
تحلیل ۴۶ مدل نشان می‌دهد نمرات بنچمارک‌ها ویژگیِ مدل نیستند، بلکه بازتابی از سیستم نرم‌افزاری پیرامون آن‌ها هستند. در حالی که مدل‌های وزن‌باز در تکالیف کوتاه به رقبای تجاری…
اتحادی از ریاضیدانان خواستار توقف انتشار نتایج ریاضی توسط مدل‌های بسته است. آن‌ها تأکید دارند که آزمایشگاه‌های هوش مصنوعی باید بودجه و شفافیت لازم را برای تبدیل «پاسخ‌های…
پلتفرم متن‌باز livenerf با استفاده از تحلیل آماری و پروتکل‌های ثبت‌شده، امکان شناسایی «نرف کردن» یا کاهش عمدی توانمندی‌های مدل‌ها پس از عرضه را فراهم می‌کند. این ابزار بحث‌های…
انویدیا چارچوبی قطعی برای تست عامل‌های هوش مصنوعی معرفی کرد که به‌جای بررسی متن، بر داده‌های ساختاریافته متمرکز است. این روش مانع از آن می‌شود که تغییرات کوچک در پرامپت‌ها، باعث…