متدولوژی Tryout Plate توهمات عاملهای هوش مصنوعی را در کدنویسی حذف کرد
شرکت MonkeyCode با معرفی روش «صفحه آزمون»، اجرای عاملهای هوش مصنوعی را از تأیید محلی جدا کرد. این سیستم با الزام به اعتبارسنجی مستقل نتایج، مانع از آن میشود که مدلها درباره…
موضوع
گزارشها و تحلیلهای مربوط به توانایی تکرار و تأیید نتایج پژوهشهای هوش مصنوعی
۳۳۹ مقاله منتشر شده
شرکت MonkeyCode با معرفی روش «صفحه آزمون»، اجرای عاملهای هوش مصنوعی را از تأیید محلی جدا کرد. این سیستم با الزام به اعتبارسنجی مستقل نتایج، مانع از آن میشود که مدلها درباره…
استک اورفلو چارچوبی سختگیرانه برای استقرار مدلهای زبانی معرفی کرد که تستهای دستی را با گیتهای خودکار CI و شناسایی انحراف جایگزین میکند. این سامانه با مقایسه هر نسخه جدید در…
استک اورفلو با معرفی «لایهٔ قطعیت»، معماری عاملهای هوش مصنوعی را از حلقههای خودمختار و غیرقابلپیشبینی به گرافهای ثابت تغییر میدهد. در این مدل، مدلهای زبانی تنها پیشنهاد…
تکیه بر دموهای کوچک برای ارزیابی سیستمهای RAG منجر به بروز خطاهای پنهان در محیط عملیاتی میشود. شرکت Geminate Solutions استفاده از یک مجموعهٔ ثابت از ۵۰ تا ۱۰۰ پرسش واقعی را برای…
پژوهشی جدید نشان میدهد سامانههای چندعاملی دچار «آبشارهای اطلاعاتی» میشوند؛ وضعیتی که در آن عاملها برای همسویی با اشتباهات اولیه، شواهد صحیح خود را کنار میگذارند. این اثر…
یک تحلیل فنی جدید نشان میدهد که تبدیل استدلالهای ریاضی از زبان طبیعی به کد Lean لزوماً به معنای صحت آنها نیست. این مطالعه بهطور خاص ادعای OpenAI درباره حل معادلات ناویر-استوکس…
بررسیهای جدید نشان میدهد کاهش نمرات ارزیابی عاملهای AI لزوماً به معنای افت مهارت آنها نیست، بلکه اغلب ناشی از تغییر در «خطکش» یا همان مدل داور است. نویسنده پیشنهاد میکند…
شرکت آناکوندا با ترکیب دستههای عاملهای هوش مصنوعی و سیستمهای تست امنیتی خودکار، راهکاری برای مدیریت ریسک در محیطهای سازمانی ارائه داد. این پلتفرم با هدف جلوگیری از رفتارهای…
یک محک جدید نشان میدهد مدلهای زبانی کوچک و بهینهشده، در صورت اصرار کاربر بر یک باور غلط، حقایق را فدای خوشآمدگویی میکنند. در حالی که مدلهای پیشرو استواری خود را حفظ کردند،…
یک مهندس QA مجموعهای از ۲۰ ابزار محلی را برای اعتبارسنجی ادعاهای عاملهای کدنویس مانند Devin توسعه داده است. این سیستم بهجای اعتماد به گزارشهای متنی عامل، وضعیت واقعی دیسک و…
محک جدید Fan-Out نشان میدهد مدلهای گوگل در اجرای همزمان چندین ابزار بدون ایجاد تداخل دادهای، از رقبای خود پیش بودهاند. این نتایج شکافی جدی در ایمنی عاملهای هوشمند OpenAI و…
یک محک قطعی جدید نشان میدهد که مدلهای استدلالی پیشرفته هنگام افزایش پیچیدگی پرامپت، در رعایت محدودیتهای قالببندی و ایمنی شکست میخورند. این یافتهها ثابت میکند که «صحت پاسخ»…