SemiAnalysis در ۲ نوامبر ۲۰۲۶ محک GDPx را با ۱۱ حوزه عامل‌محور و ۲۰۶ تسک رونمایی کرد. کلود اُپاس ۵.۵ با ۱۲٪ نمرهٔ بالا در صدر لیدربورد قرار گرفت، اما این سقف پایین نشان می‌دهد عامل‌های پیشرو در تسک‌های پیچیده و واقعی همچنان ناتوان‌اند. در حالی که در GDPx نمرهٔ پایین‌تری دارد، جمینی ۴ کاربن قبلاً رکورد ۵۹ در سه محک امنیت سایبری ثبت کرده بود. توسعه این عامل‌ها هم‌زمانی با پیش‌بینی رسیدن بازار عامل‌های هوش مصنوعی به ۱۹۹ میلیارد دلار تا سال ۲۰۳۴ است.
طراحی و متدولوژی
این محک به‌عنوان جانشین GDPval معرفی شده و محیط‌های واقعی با هزاران فایل ناشناس‌سازی‌شده را جایگزین پرامپت‌های استاتیک می‌کند. هر تسک در یک محیط تعاملی اجرا می‌شود و مهلت هشت ساعته دارد. مدل‌ها در هرنِس بومی خود (Claude Code برای اُپاس ۵.۵، Codex برای جی‌پی‌تی-۶ Astra، Antigravity برای جمینای ۴ کاربن) و با پیش‌فرض OpenCode ارزیابی می‌شوند.
حوزه‌ها و شرکای داده
GDPx V1.0 شامل ۱۱ حوزه با ۱۴ شریک داده تخصصی است:
- طراحی تراشه: Aria، Arcverex، Ergodex
- امنیت سایبری: Arithmetic
- زیست‌شناسی: Latch Bio
- مالی: Living Context
- حقوقی: Chakra
- معاملات کمی: Third Moment
- خودبهبود بازگشتی (RSI): Extrapolate
- طراحی سخت‌افزار: Beautiful Machines
- علم مواد: ValenceForge، Emulated
- همراستاسازی: Fleet
- مهندسی نرم‌افزار: Datacurve
نتایج لیدربورد
لیدربورد ۱۳ مدل را در ۲۰۶ تسک رتبه‌بندی می‌کند. نمرهٔ کلی میانگین pass@1 در سه تلاش با وزنه‌دهی مساوی حوزه‌ها محاسبه می‌شود.
- کلود اُپاس ۵.۵: ۱۲٪، هزینه ۵۱.۴۱ دلار، ۵۴۸ هزار توکن خروجی
- جمینای ۴ کاربن: ۱۰.۹٪، هزینه ۱۶.۲۹ دلار
- جی‌پی‌تی-۶ Astra: ۹.۶٪، هزینه ۵۳.۹۹ دلار
- میوز وندر فول (متا): ۹.۰٪
- جی‌ال‌ام ۵.۳ (Z.ai): ۲.۷٪
هزینه و کارایی
معیارهای هزینه در لیدربورد گنجانده شده‌اند. کلود اُپاس ۵.۵ به‌میانگین ۵۱.۴۱ دلار برای هر تسک با ۵۴۸ هزار توکن خروجی، جمینای ۴ کاربن ۱۶.۲۹ دلار، و جی‌پی‌تی-۶ Astra ۵۳.۹۹ دلار هزینه دارد. در مرز هزینه در برابر کارایی، جی‌پی‌تی-۶ لونا و دِیپ‌سیک در پایین، اُپاس در بالا، و اوپن‌ای‌آی در میانه قرار دارند.
برنده‌های حوزه‌ها
- اُپاس ۵.۵ در معاملات کمی، طراحی سخت‌افزار و طراحی تراشه برنده است.
- جمینای ۴ کاربن در زیست‌شناسی و به‌مرز در مهندسی نرم‌افزار برنده می‌شود.
- جی‌پی‌تی-۶ Astra در RSI و علم مواد پیشرو است.
- میوز وندر فول متا بهترین مدل امنیت سایبری است.
حالت‌های شکست
- در معاملات کمی، ۷۰ از ۱۱۱ اجرا بدتر از استراتژی مرجع عمل کردند.
- در تسک‌های همراستاسازی سایبری فلیت، ۱۹۶ از ۲۰۰ اجرا حداقل یک قانون رفتار را شکستند و ۱۷۳ قانون به‌شدت نامرتب را نقض کردند.
- در تسک‌های بهداشت، ۱۹ از ۱۰۰ اجرا نمرهٔ بالای صفر کسب کردند.
- تسک‌های مالی و حقوقی آنقدر دشوارند که هر مدل تحت امتیازدهی دودویی نمرهٔ صفر دریافت کرد، بنابراین نمرات جزئی گزارش شده‌اند.
برنامه‌های آینده
GDPx به‌عنوان یک محک زنده طراحی شده با نسخه‌های جدید هر ۳ تا ۶ ماه. آزمایشگاه‌ها و شرکت‌های داده می‌توانند ارزیابی‌ها را از طریق [email protected] ارسال کنند.
گفتگو