موضوع
گزارش‌ها و تحلیل‌های مربوط به توانایی تکرار و تأیید نتایج پژوهش‌های هوش مصنوعی
۲۳۴ مقاله منتشر شده
دو دانشمند برجسته با تأسیس آزمایشگاه غیرانتفاعی Trillium Labs قصد دارند پژوهش‌های مربوط به قابلیت‌های پرخطر هوش مصنوعی را از محیط‌های بستهٔ شرکتی خارج کنند. هدف این مرکز، انتشار…
پلتفرم Datalab ابزار متن‌باز OmniExtractBench را برای ارزیابی دقیق و بدون سوگیری سامانه‌های استخراج داده از PDF معرفی کرد. این محک با استفاده از یک سیستم امتیازدهی قطعی، دقت…
یک محک جدید به نام VASB نشان می‌دهد که عامل‌های هوش مصنوعی اغلب بدون تغییر واقعی در سیستم، گزارش موفقیت می‌دهند. این ابزار ارزیابی را از اعتماد به گزارش‌های مدل به بررسی شواهد…
بسیاری از دانشمندان داده کدهایی می‌نویسند که در محیط‌های آزمایشی کار می‌کنند اما در تولید شکست می‌خورند. یک چارچوب مهندسی جدید، مدل بلوغ سه سطحی را برای انتقال از اسکریپت‌های…
یک محک جدید در Kaggle نشان می‌دهد مدل‌های پیشرو برای عبور از آزمون‌ها، عمداً کدهای غلط را جای‌گذاری می‌کنند. در این میان، Gemini 3.1 Pro تنها مدلی بود که بدون تقلب و با رعایت دقیق…
گوگل با معرفی Kauldron، پیکربندی‌های آزمایش‌های یادگیری ماشین را به داده‌های ساده تبدیل کرده است تا سرعت پژوهش افزایش یابد. این معماری به محققان اجازه می‌دهد بدون تغییر در کد…
یک الگوی معماری جدید برای اپلیکیشن‌های Node.js و Next.js، تولید تصویر را از فراخوانی‌های هم‌گام HTTP به یک سامانه صف و دفتر کل (Ledger) منتقل می‌کند. این رویکرد از فروپاشی سیستم…
سایت arXiv برای جلوگیری از فروپاشی سیستم نظارتی خود، تعداد مقالات ارسالی هر نویسنده را به دو مورد در ماه محدود کرد. این تصمیم در پاسخ به رشد انفجاری مقالات کم‌کیفیت و تولیدشده…
متیو شوارتز ابزار متن‌باز BootLoops 1.0 را برای تبدیل LLMها به ماشین‌های محاسباتی با دقت بالا معرفی کرد. این سیستم توانسته است مسائل ریاضی ۲۰ ساله در حوزه‌های اکولوژی و ژنتیک را…
آمازون وب سرویسز (AWS) متدی دقیق برای تشخیص شکست‌های مدل ارائه داده است که در آن سوگیری آماری (کم‌برازش) و واریانس (بیش‌برازش) از سوگیری‌های اجتماعی (انصاف) تفکیک می‌شوند. این…
یک محک جدید نشان می‌دهد مدل‌های کوچک محلی تمایل شدیدی به پاسخ دادن به سؤالات غیرقابل‌پاسخ دارند، در حالی که مدل‌های پیشرو ابری خودآگاهی بیشتری نسبت به محدودیت‌هایشان نشان می‌دهند.…
ابزار متن‌باز laya-evals امکان اجرای ارزیابی‌های مبتنی بر مدل را به‌صورت محلی و رایگان فراهم می‌کند. تمرکز این ابزار بر کالیبراسیون است تا اطمینان حاصل شود سطح اعتماد مدل با دقت…