موضوع
گزارش‌ها و تحلیل‌های مربوط به توانایی تکرار و تأیید نتایج پژوهش‌های هوش مصنوعی
۲۲۶ مقاله منتشر شده
محک جدید Terminal-Bench-Science نشان می‌دهد که حتی پیشرفته‌ترین مدل‌های هوش مصنوعی در مواجهه با پژوهش‌های واقعی علمی شکست می‌خورند. در حالی که Claude Opus 5 در صدر قرار دارد، نرخ…
سامانه Engrava با انتشار یک بنچمارک کاملاً بازتولیدپذیر، توانست امتیاز ۸۱.۶٪ را در مجموعه LongMemEval-S کسب کند. این سیستم برخلاف مدل‌های رایج، برای مدیریت حافظه از لایه‌های مولد…
پلتفرم Keenable با معرفی محک NEEDLE، مکانیسم حفظ داده‌های آزمون در حافظه مدل‌ها را هدف قرار داد. این ابزار نشان می‌دهد موتورهای جست‌وجوی سنتی در پاسخ به الگوهای پیچیده و…
یک آزمایش تزریق خطا نشان می‌دهد که چارچوب‌های عامل‌های هوش مصنوعی تأثیر شدیدی بر پایداری سیستم دارند. مدل‌های ضعیف‌تر حتی با وجود دستورات صریح ایمنی، در بسیاری از موارد وضعیت‌های…
پروژه LAION یک مجموعه داده باز به نام LAION-BVD شامل ۸۰ میلیون ویدیو و ۱.۳ میلیارد URL منتشر کرد. این اقدام با هدف شکستن انحصار غول‌های فناوری بر داده‌های آموزشی مقیاس‌بزرگ برای…
پروژه MyZubster با ایجاد یک اکوسیستم متن‌باز، هوش مصنوعی را از جایگاه «منبع حقیقت» به یک «ابزار تفسیر» تغییر می‌دهد. این سیستم با اتصال حسگرهای اینترنت اشیا و زنجیره بلوک‌چین،…
محک جدید Codex How To نشان می‌دهد افزودن عامل‌های بیشتر لزوماً کیفیت کد را بالا نمی‌برد، بلکه هزینه توکن و ریسک ادغام را افزایش می‌دهد. این مطالعه تأکید می‌کند ارکستراسیون تنها…
پژوهشگران متد جدیدی به نام PISA ابداع کردند که با تحلیل دقیق اثر هر باز DNA، نویزهای آزمایشگاهی را از پیش‌بینی‌های مدل‌های هوش مصنوعی جدا می‌کند. این ابزار به دانشمندان اجازه…
شرکت Liquid AI ابزار متن‌باز Pipette را برای اندازه‌گیری دقیق عملکرد مدل‌های هوش مصنوعی روی سخت‌افزارهای مختلف معرفی کرد. داده‌های اولیه نشان می‌دهد مدل‌هایی با تعداد پارامتر…
بازبین‌های کد مبتنی بر هوش مصنوعی دچار «رانش خاموش» می‌شوند؛ وضعیتی که در آن به‌روزرسانی‌های مدل، نرخ تشخیص خطا را بدون ایجاد هشدار کاهش می‌دهد. راهکار این مشکل، ایجاد یک مجموعه…
پژوهشگران اپل نخستین قوانین مقیاس‌پذیری پیش‌بینی‌پذیر برای تقطیر دانش را تدوین کردند. این دستاورد، آموزش مدل‌های کوچک را از یک فرآیند آزمون و خطا به یک مسئله بهینه‌سازی ریاضی دقیق…
آزمایش‌های جدید نشان می‌دهد شکاف عملکردی بین روش‌های پیچیده تنظیم مدل، اغلب کوچک‌تر از نویز ایجاد شده توسط بذرهای تصادفی است. این یافته یعنی بسیاری از ادعاهای برتری فنی در مقالات…