پرش به محتوای اصلی

موضوع

بازتولیدپذیری هوش مصنوعی

گزارش‌ها و تحلیل‌های مربوط به توانایی تکرار و تأیید نتایج پژوهش‌های هوش مصنوعی

۳۳۹ مقاله منتشر شده

آموزش کاربردی

آیا مدل‌های هوش مصنوعی ساده‌ترین اثبات‌های ریاضی را پاس می‌کنند؟

یک بنچمارک مینیمال به نام p28-zero-diff معرفی شده است که توانایی مدل‌های هوش مصنوعی در حل ساده‌ترین اثبات‌های ریاضی را می‌سنجد. این ابزار به جای چالش‌های سخت، به عنوان یک «تست…

۲ دقیقه خواندن۱
آموزش کاربردی

درون نوسانات هزینه سرور؛ نقش گرمای سخت‌افزار و زمان‌بندی سیستم‌عامل

تحلیلی جدید نشان می‌دهد نویزهای سیستمی مانند گرم شدن سخت‌افزار و زمان‌بندی سیستم‌عامل، نوسانات شدیدی در هزینه‌های استنتاج ایجاد می‌کنند. این یافته ثابت می‌کند مقایسه‌های ساده‌ی…

۷ دقیقه خواندن
آموزش کاربردی

کتابخانه AugLy استواری مدل‌های چندوجهی را با داده‌های خصمانه می‌سنجد

AugLy چارچوبی جامع برای ایجاد اختلالات عمدی در داده‌های تصویری، متنی و صوتی است تا نقاط ضعف مدل‌های هوش مصنوعی شناسایی شود. این ابزار با شبیه‌سازی نویزهای دنیای واقعی، به…

۱۶ دقیقه خواندن۲

بهینه‌سازی محیط در برابر قدرت مدل؛ کلید موفقیت سری AIRA

پژوهش‌های سری AIRA در متا نشان می‌دهد که عملکرد عامل‌های هوشمند بیش از آنکه به مدل وابسته باشد، به محیط تمرین و سیاست‌های جست‌وجو بستگی دارد. این رویکرد منجر به کسب رتبه هشتم در…

۳ دقیقه خواندن۲
آموزش کاربردی

آزمایش عامل‌های AI: وضعیت «نامشخص» نرخ تأییدهای کاذب را کاهش داد

یک آزمایش روی عامل‌های هوش مصنوعی نشان می‌دهد که سیستم‌های دوتایی (قبول/رد) باعث ایجاد «تأییدهای کاذب» می‌شوند. افزودن وضعیت سوم یعنی «نامشخص»، شکست‌های پنهان در تطبیق الگوها و…

۷ دقیقه خواندن۱
آموزش کاربردی

بهینه‌سازی زمان خبرگان؛ راهکار جدید برای حل بحران برچسب‌گذاری در AI صنعتی

سیستم‌های هوش مصنوعی صنعتی با پارادوکس «داده‌های انبوه اما برچسب‌های اندک» برای خطاهای نادر دست‌وپنجه نرم می‌کنند. چارچوب جدیدی با اولویت‌بندی زمان خبرگان از طریق یادگیری فعال،…

۵ دقیقه خواندن۳
آموزش کاربردی

شکاف زبانی در مستندات AI؛ چرا کاربران نمی‌توانند راهکارهای فنی را پیدا کنند؟

یک تست کور روی کاتالوگ خطاهای هوش مصنوعی نشان داد که استفاده از زبان «تشخیصی» به‌جای زبان «شکایت»، دسترسی کاربران به پاسخ‌ها را مختل می‌کند. راهکار این مشکل، ایجاد یک لایه واسط…

۶ دقیقه خواندن۲
آموزش کاربردی

«پایان شانس در بنچ‌مارک»؛ متدولوژی جدید برای سنجش واقعی کیفیت مدل

یک چارچوب ارزیابی جدید، نوسانات سرور مانند تأخیر در صف‌ها را به‌جای یادداشت‌های حاشیه‌ای، به عنوان عوامل رد صلاحیت در نظر می‌گیرد. با استفاده از «پوشه‌های نشست»، مهندسان می‌توانند…

۷ دقیقه خواندن۳
آموزش کاربردی

یک پاسخ موفق هوش مصنوعی دلیل کافی برای تأیید یکپارچگی سیستم نیست

بسیاری از توسعه‌دهندگان یک پاسخ صحیح از مدل را به اشتباه به‌عنوان تأیید نهایی گردش‌کار می‌پذیرند. یک آزمون معتبر نیازمند ثبت هش پرامپت، لاگ دستورات و مستندسازی متغیرهای سخت‌افزاری…

۹ دقیقه خواندن

«خوش‌بینی بیش از حد»؛ ارزیابی‌های فعلی از توان کدنویسی عامل‌های AI

محک جدید SWE-Serve نشان می‌دهد ۳۳٪ از کدهایی که در آزمون‌های استاندارد پذیرفته شده‌اند، هنگام استقرار در محیط واقعی با خطا مواجه می‌شوند. این یافته نشان می‌دهد ارزیابی‌های فعلی از…

۱ دقیقه خواندن۱

مدل Prompt Guard 2 متا تنها ۱٪ از حملات تزریق پرامپت را شناسایی می‌کند

محک جدید AgentDojo نشان می‌دهد تشخیص‌دهنده‌های متن‌باز در برابر حملات تزریق پرامپت که در خروجی ابزارها پنهان شده‌اند، تقریباً ناتوان‌اند. مدل Prompt Guard 2 متا و فیلترهای مبتنی…

۷ دقیقه خواندن۳