مایکروسافت: ۶۷٪ از وظایف تغییر وضعیت در عاملهای هوش مصنوعی شکست میخورند
پلتفرم ThinkingBox نشان میدهد شکاف عمیقی میان ادعای موفقیت عاملهای هوش مصنوعی و وضعیت واقعی پایگاهداده وجود دارد. این محک جدید بهجای تحلیل متن چت، اثرات عملی مدل بر روی…
موضوع
گزارشها و تحلیلهای مربوط به توانایی تکرار و تأیید نتایج پژوهشهای هوش مصنوعی
۳۳۹ مقاله منتشر شده
پلتفرم ThinkingBox نشان میدهد شکاف عمیقی میان ادعای موفقیت عاملهای هوش مصنوعی و وضعیت واقعی پایگاهداده وجود دارد. این محک جدید بهجای تحلیل متن چت، اثرات عملی مدل بر روی…
یک توسعهدهنده با طراحی یک داور ترکیبی (Hybrid Judge) توانست دقت ارزیابی پاسخهای هوش مصنوعی را به سطح انسانی برساند و هزینهٔ هر پاسخ را از ۸۰ سنت به ۳ سنت کاهش دهد. این سیستم با…
مدلهای پیچیده یادگیری ماشین در حال جایگزینی ساعتهای آماری ساده برای اندازهگیری سن بیولوژیک از طریق متیلاسیون DNA هستند. این سیستمها با حذف نویزهای فنی و متغیرهای مزاحم، تصویری…
استفاده از عاملهای هوش مصنوعی برای تست ایمیل بدون مرزهای سیستمی سختگیرانه، منجر به نتایج غیرقابلتکرار میشود. راهکار این مشکل، جایگزینی کنترل کامل مدل با معماری «محدودشده» است…
آزمون مقایسهای دو مدل تصمیمگیرنده نشان میدهد که نمرات بنچمارک مشابه لزوماً به معنای عملکرد یکسان در محیط عملیاتی نیست. در حالی که هر دو مدل امتیاز ۰.۹۳ F1 کسب کردند، یکی از…
یک بررسی دقیق روی ۳۹۳ مخزن کد تولیدشده توسط ابزارهای AI نشان میدهد که ۱۲.۵٪ آنها دارای آسیبپذیریهای امنیتی سطح بحرانی هستند. این مطالعه شکاف خطرناک میان «ظاهر امن» کدهای…
رسلان رامدووار، بنیانگذار iPulse AI، چارچوبی را معرفی کرد که گزارشهای پژوهشی هوش مصنوعی را از خلاصههای مبهم به شواهدی قابل ردیابی تبدیل میکند. این سیستم با جداسازی مشاهدات از…
در نظر گرفتن مدلهای هوش مصنوعی به عنوان فایلهای کد ساده، اغلب منجر به شکستهای فاجعهبار در محیط عملیاتی میشود. استفاده از یک مانیفست ساختاریافته و گردشکار رسمی برای ارتقای…
آزمونی مقایسهای نشان میدهد مدلهای وزنباز مانند Laya میتوانند با تنظیم دقیق، شکاف عملکردی خود را با مدلهای تجاری بسته و به دقت بالایی در تصمیمگیریهای ساختاریافته برسند. این…
دو دانشمند برجسته با تأسیس آزمایشگاه غیرانتفاعی Trillium Labs قصد دارند پژوهشهای مربوط به قابلیتهای پرخطر هوش مصنوعی را از محیطهای بستهٔ شرکتی خارج کنند. هدف این مرکز، انتشار…
پلتفرم Datalab ابزار متنباز OmniExtractBench را برای ارزیابی دقیق و بدون سوگیری سامانههای استخراج داده از PDF معرفی کرد. این محک با استفاده از یک سیستم امتیازدهی قطعی، دقت…
یک محک جدید به نام VASB نشان میدهد که عاملهای هوش مصنوعی اغلب بدون تغییر واقعی در سیستم، گزارش موفقیت میدهند. این ابزار ارزیابی را از اعتماد به گزارشهای مدل به بررسی شواهد…