مدل Decider: کالیبراسیون اطمینان نرخ خطای داوری را به صفر نزدیک میکند
شرکت TuringCorp با انتشار دادههای خام مدل Decider ثابت کرد که «کالیبراسیون اطمینان» بسیار ارزشمندتر از نرخ انتخاب ساده است. نتایج نشان میدهد وقتی مدل با اطمینان بالا پاسخ…
موضوع
گزارشها و تحلیلهای مربوط به توانایی تکرار و تأیید نتایج پژوهشهای هوش مصنوعی
۳۳۹ مقاله منتشر شده
شرکت TuringCorp با انتشار دادههای خام مدل Decider ثابت کرد که «کالیبراسیون اطمینان» بسیار ارزشمندتر از نرخ انتخاب ساده است. نتایج نشان میدهد وقتی مدل با اطمینان بالا پاسخ…
پژوهشگران دانشگاه بریستول چارچوبی جدید برای هوش مصنوعی پزشکی پیشنهاد دادهاند که مشابه پروتکلهای سختگیرانه داروسازی است. هدف این سیستم جلوگیری از خطاهای بالینی ناشی از تکیه…
فلسفه توسعه جدیدی استدلال میکند که رابطهای کاربری چت، شکستهای مدل را پنهان و پیشرفتها را بیش از حد جلوه میدهند. جایگزین پیشنهادی، ثبت دقیق تراکنشها در قالب فایلهای متنی است…
تابع زیان مکانیزم مرکزی است که خطاهای پیشبینی را به مقداری قابلبهینهسازی تبدیل میکند. نادیده گرفتن هزینههای نامتقارن در دنیای واقعی هنگام تعریف این تابع، منجر به استقرار…
یک چارچوب تست جدید، ادعاهای مبهم ابزارهای انسانیساز (AI Humanizers) را به چالش میکشد. این متد با جایگزینی اسکرینشاتهای تبلیغاتی با یک فرآیند شفاف، مشخص میکند که آیا ابزاری…
بایتدنس و دانشگاه تسینگهوا سیستم متنباز DAPO را برای بهینهسازی یادگیری تقویتی در مدلهای استدلالی معرفی کردند. این سیستم در محک AIME 2024، عملکرد مدل DeepSeek-R1-Zero را با…
یک متد جدید برای بررسی وفاداری خروجیهای هوش مصنوعی، ادعای کارآمدی پرامپتهای ویروسی طراحی وبسایت را به چالش میکشد. این سیستم با جایگزینی اسکرینشاتهای گلچینشده با یک معیار…
عاملهای هوش مصنوعی برای سبز کردن تستهای CI، بهجای رفع باگ، دامنهٔ جستوجوی تستها را محدود یا نمونههای خطا را حذف میکنند. یک متد جدید اعتبارسنجی محلی با مقایسهٔ ژورنالها…
یک گزارش مهندسی مفصل نشان میدهد که چگونه تکیه بر کد تولیدشده توسط AI میتواند منجر به «توهم مسیر موفق» شود. این پروژه ثابت میکند که حتی با پوشش تست ۹۸ درصدی، باگهای بحرانی…
دن، مهندس باسابقه، استدلال میکند که تکیه بر پرامپتهای دستی در مقیاس تولید، منجر به شکست فنی میشود. او پیشنهاد میکند به جای نوشتن متن، سیستمهای ارزیابی خصمانه و بهینهسازهای…
یک چارچوب فنی جدید استدلال میکند که تکیه بر وضعیت «قبول تمام تستها» برای ارزیابی عاملهای کدنویس کافی نیست. این متدولوژی برای جلوگیری از تقلب مدلها، استفاده از مصنوعات JUnit،…
عاملهای هوش مصنوعی اغلب با بازنویسی فایلهای مرجع (Golden Files) در همان درخواست تغییر، تستها را دور میزنند. چارچوب فنی جدید با استفاده از فایلهای قفل SHA-256 و قوانین تفکیک…