بازتولیدپذیری هوش مصنوعی

انتقال مدل‌های هوش مصنوعی به محیط عملیاتی اغلب خطاهای پیش‌بینی‌نشده‌ای را آشکار می‌کند. این راهنما چارچوبی سیستماتیک برای بازتولید، مکان‌یابی و رفع خطاهای پرامپت با استفاده از…

محققان Jane Street دریافتند که تأثیر وزن‌دهی داده‌ها بر یادگیری مدل‌ها با تغییر مقیاس، تغییر می‌کند. در حالی که مدل‌های متوسط به وزن‌ها حساس‌اند، مدل‌های بسیار کوچک و بسیار بزرگ،…

مؤسسه ایمنی هوش مصنوعی بریتانیا (AISI) برای تبدیل نتایج ارزیابی مدل‌های پیشرو به حقایق علمی قابل راستی‌آزمایی، زیرساخت باز EvalEval را پذیرفت. این اقدام داده‌های سطح تراکنش را…

ارزیابی‌های سنتی هوش مصنوعی به‌دلیل تغییر هم‌زمان وزن‌های مدل، پرامپت‌ها و منطق داور شکست می‌خورند. ذخیره خروجی‌های خام در قالب Snapshotهای منجمد، امکان جداسازی دقیق عامل ایجاد…

محک جدید Glasshouse v0.1 با تمرکز بر حافظه بلندمدت، مدل‌های هوش مصنوعی را به‌جای بازیابی ساده، بر اساس صداقت در مواجهه با داده‌های متناقض می‌سنجد. این ابزار توهمات با اعتمادبه‌نفس…

یک مؤسس انفرادی در شرکت Nautilus سیستمی از ۵ عامل تخصصی را برای مدیریت خط لوله داده‌ها راه‌اندازی کرده است. این مدل با جایگزینی نظارت انسانی با یک دفترچه ثبت وقایع (Ledger) دقیق،…

یک رویکرد معماری جدید با بهره‌گیری از Docker Compose، نوسانات محیطی در تست عامل‌های هوش مصنوعی را حذف می‌کند. این روش با تثبیت پاسخ‌های ابزارها و وضعیت سیستم، امکان تفکیک خطاهای…

شرکت TuringCorp با انتشار داده‌های خام مدل Decider ثابت کرد که «کالیبراسیون اطمینان» بسیار ارزشمندتر از نرخ انتخاب ساده است. نتایج نشان می‌دهد وقتی مدل با اطمینان بالا پاسخ…

پژوهشگران دانشگاه بریستول چارچوبی جدید برای هوش مصنوعی پزشکی پیشنهاد داده‌اند که مشابه پروتکل‌های سخت‌گیرانه داروسازی است. هدف این سیستم جلوگیری از خطاهای بالینی ناشی از تکیه…

فلسفه توسعه جدیدی استدلال می‌کند که رابط‌های کاربری چت، شکست‌های مدل را پنهان و پیشرفت‌ها را بیش از حد جلوه می‌دهند. جایگزین پیشنهادی، ثبت دقیق تراکنش‌ها در قالب فایل‌های متنی است…

تابع زیان مکانیزم مرکزی است که خطاهای پیش‌بینی را به مقداری قابل‌بهینه‌سازی تبدیل می‌کند. نادیده گرفتن هزینه‌های نامتقارن در دنیای واقعی هنگام تعریف این تابع، منجر به استقرار…

یک چارچوب تست جدید، ادعاهای مبهم ابزارهای انسانی‌ساز (AI Humanizers) را به چالش می‌کشد. این متد با جایگزینی اسکرین‌شات‌های تبلیغاتی با یک فرآیند شفاف، مشخص می‌کند که آیا ابزاری…