موضوع
گزارش‌ها و تحلیل‌های مربوط به توانایی تکرار و تأیید نتایج پژوهش‌های هوش مصنوعی
۲۲۶ مقاله منتشر شده
پروژه Glasshouse برای سنجش دقیق حافظه بلندمدت هوش مصنوعی طراحی شده، اما با وجود استقبال در گیت‌هاب، هیچ توسعه‌دهنده‌ای آن را اجرا نکرده است. این اتفاق شکاف عمیق میان علاقه به…
یک نقص امنیتی در متادیتای پاسخ‌های عامل‌های A2A کشف شد که با وجود پاس کردن ۵۸ تست داخلی، داده‌های جعلی ارسال می‌کردند. این یافته منجر به بازبینی جامع مشخصات فنی (نسخه ۱.۴) و ابداع…
استفاده از مدل‌های متفاوت برای ایندکس‌گذاری و پرس‌وجو، نتایج جست‌وجو را به نویز تبدیل می‌کند. این شکست بدون هیچ خطا یا هشدار سیستمی رخ می‌دهد و خطری جدی برای خط لوله‌های RAG است.
پژوهشی جدید نشان می‌دهد جملات سلب مسئولیت رایج در مدل‌های زبانی، نه حاصل وزن‌های داخلی مدل، بلکه نتیجه‌ی قالب‌های چت (Chat Templates) هستند. محققان با دست‌کاری بردارهای فعال‌سازی…
یک آزمایش کنترل‌شده روی کدهای واقعی نشان می‌دهد که ارسال کل سند به‌جای تکه‌های کوچک، دقت مدل‌های زبانی را در پرس‌وجوهای برنامه‌نویسی ۸۰۰٪ افزایش می‌دهد. این یافته ثابت می‌کند…
ابزار جدید Cascade با اجبار مدل‌ها به ساخت انیمیشن‌های خالص CSS و حذف کامل جاوااسکریپت، یک محک سخت‌گیرانه برای سنجش توانایی واقعی کدنویسی ایجاد کرده است. این سامانه مقایسه‌های…
ادغام داده‌های متیلاسیون DNA با SNPها و داده‌های چند-اومیک، پژوهشگران را از شناسایی تک‌ژن‌ها به مدل‌سازی کل سیستم‌های زیستی می‌رساند. هوش مصنوعی با اولویت‌بندی داده‌های ابعادی…
یک بنچمارک مینیمال به نام p28-zero-diff معرفی شده است که توانایی مدل‌های هوش مصنوعی در حل ساده‌ترین اثبات‌های ریاضی را می‌سنجد. این ابزار به جای چالش‌های سخت، به عنوان یک «تست…
تحلیلی جدید نشان می‌دهد نویزهای سیستمی مانند گرم شدن سخت‌افزار و زمان‌بندی سیستم‌عامل، نوسانات شدیدی در هزینه‌های استنتاج ایجاد می‌کنند. این یافته ثابت می‌کند مقایسه‌های ساده‌ی…
AugLy چارچوبی جامع برای ایجاد اختلالات عمدی در داده‌های تصویری، متنی و صوتی است تا نقاط ضعف مدل‌های هوش مصنوعی شناسایی شود. این ابزار با شبیه‌سازی نویزهای دنیای واقعی، به…
پژوهش‌های سری AIRA در متا نشان می‌دهد که عملکرد عامل‌های هوشمند بیش از آنکه به مدل وابسته باشد، به محیط تمرین و سیاست‌های جست‌وجو بستگی دارد. این رویکرد منجر به کسب رتبه هشتم در…
یک آزمایش روی عامل‌های هوش مصنوعی نشان می‌دهد که سیستم‌های دوتایی (قبول/رد) باعث ایجاد «تأییدهای کاذب» می‌شوند. افزودن وضعیت سوم یعنی «نامشخص»، شکست‌های پنهان در تطبیق الگوها و…