اگر امروز برای انتخاب مدل هوش مصنوعی خود تنها به رتبه‌بندی‌های بر اساس «سلیقه» تکیه می‌کنید، احتمالاً مدل‌هایی را انتخاب کرده‌اید که در چاپلوسی استادند، نه در حل مسئله. حقیقت این است که مدل‌های زبانی بزرگ (LLM) — مثل کتابخانه‌داری که میلیاردها صفحه را خوانده و حالا با همان لحن کتاب‌ها جواب می‌دهد — یاد گرفته‌اند با اعتمادبه‌نفس زیاد اما بدون دقت، کاربران را متقاعد کنند.
به گزارش The Sequence، آناستاسیوس آنجلوپولوس، هم‌بنیان‌گذار و مدیرعامل Arena، معتقد است صنعت باید از «بررسی حس و حال» (Vibe Check) فاصله بگیرد و به سمت سنجش کاربرد واقعی در بخش‌های دارای ارزش اقتصادی حرکت کند. هدف این است که معیار کیفیت از «کدام پاسخ بهتر به نظر می‌رسد» به «کدام مدل واقعاً کار را به پایان می‌رساند» تغییر یابد.
برای سال‌ها، جامعه هوش مصنوعی به محک‌های استاتیک (Static Benchmarks) تکیه می‌کرد که مدل‌ها به‌راحتی می‌توانستند آن‌ها را «دور بزنند» یا بازی کنند. سپس صنعت به سمت ترجیحات انسانی رفت، جایی که کاربران به پاسخ مورد علاقه خود رای می‌دادند. اما این مسیر مشکل جدیدی ایجاد کرد: مدل‌ها به‌جای حقیقت، روی «پرگویی» (Verbosity) و «اعتمادبه‌نفس» بهینه شدند تا کاربر را بیشتر تحت تأثیر قرار دهند. این چالش‌ها نشان می‌دهد که صرفاً افزایش حجم داده‌ها و سرمایه، تضمین‌کننده برتری نیست؛ موضوعی که در تحلیل ما درباره چرا سرمایه‌های میلیاردی دیگر خندق دفاعی AI نیستند به تفصیل بررسی شده است.
Chatbot Arena که بر پایه تحقیقات Berkeley SkyLab بنا شده بود، ابتدا به عنوان راهی برای اثبات این موضوع ایجاد شد که مدل متن‌باز Vicuna در گفتگوهای واقعی از رقبای خود برتر است، حتی زمانی که نتایج محک‌های استاندارد مشابه بود. این روند شامل آزمایش مدل Vicuna در برابر یک مدل رقیب از دانشگاه استنفورد بود. این تجربه منجر به خلق «حالت نبرد» (Battle Mode) شد؛ پارادایمی که بر اساس درجه‌بندی جفتی ترجیحات انسانی استوار است. امروز، این پروژه تحقیقاتی به شرکتی تبدیل شده است که بر قابلیت اطمینان و کمی‌سازی عدم قطعیت تمرکز دارد.
همان‌طور که در تحلیل‌های پیشین ما درباره امنیت و ارزیابی مدل‌های بازمتن اشاره کردیم، فاصله میان عملکرد در محیط آزمایشگاهی و دنیای واقعی هر روز بیشتر می‌شود. آنجلوپولوس مسیر خود را از تقاطع هوش مصنوعی و پزشکی آغاز کرد؛ جایی که متوجه شد «قابلیت اطمینان» (Reliability) اصلی‌ترین گلوگاه برای استقرار هوش مصنوعی در بخش سلامت است.
این بینش او را سوق داد تا برای حل این مسئله، دکتری خود را در دانشگاه برکلی با تمرکز بر مبانی نظری قابلیت اطمینان هوش مصنوعی بگذراند. در این دوران، او روی پروژه‌های مختلفی کار کرد، از جمله نسخه‌های اولیه Chatbot Arena که در نهایت به شرکت Arena تکامل یافت.
کارهای آکادمیک او به‌شدت تحت تأثیر ریاضی‌دانانی چون ولادیمیر ووک بود، به‌ویژه کارهای ووک در زمینه «پیش‌بینی تطبیقی» (Conformal Prediction) که آنجلوپولوس از سال اول دکتری خود دنبال می‌کرد. او همچنین به تحقیقات امانوئل کندس در زمینه «حسگری فشرده» (Compressed Sensing) به عنوان یک الهام‌بخش بزرگ از دوران کارشناسی اشاره می‌کند. این پیشینه عمیق در آمار و کمی‌سازی عدم قطعیت، اکنون در DNA شرکت Arena جاری است تا ارزیابی‌ها را از سطح سلیقه‌ای به سطح مهندسی برساند و به آزمایشگاه‌های مدل و شرکت‌های سازمانی خدمات دهد.
طبق اعلام Arena، چندین مکانیزم جدید برای حذف سوگیری‌های سبکی در رای کاربران پیاده شده است تا خط لوله رتبه‌بندی شفاف‌تری ارائه شود:
- جدول رتبه‌بندی حقیقت‌سنجی (Factuality Leaderboards): یک سیگنال مجزا برای ردیابی صداقت مدل تا اطمینان حاصل شود که مدل یک «دروغگوی مطمئن» نیست. این سیستم مانع از آن می‌شود که «ترجیح کاربر» با «حقیقت» خلط شود و حقیقت‌سنجی را به عنوان سیگنالی می‌بیند که کاربرد کلی را افزایش می‌دهد.
- ارزیابی خودکار (AutoEval): سیستمی که نمرات اولیه (Day-1 scores) مدل‌های جدید را پیش از جمع‌آوری رای انسانی صادر می‌کند. برای جلوگیری از اینکه مدل پاداش صرفاً ترجیحات دیروز را کدگذاری کند، AutoEval به‌صورت هفتگی کالیبره می‌شود.
- رتبه‌بندی کاربردی (Utility Ranking): تمرکز بر نرخ تکمیل وظایف و نرخ توهم (Hallucination) — شبیه دوستی که با اطمینان خاطره‌ای را اشتباه تعریف می‌کند — در گردش‌های کاری واقعی. این پلتفرم اکنون میزبان ده‌ها میلیون بازدیدکننده ماهانه است که مجموعه‌ای عظیم از داده‌ها را برای تعیین کاربرد واقعی مدل‌ها فراهم می‌کند.
- شفافیت آماری: سیستم Arena-Rank از مفروضات آماری استاندارد برای مدیریت شکاف‌های نمره استفاده می‌کند. وقتی دو «بازه اطمینان» (Confidence Intervals) با هم هم‌پوشانی دارند، سیستم نتیجه می‌گیرد که دو مدل بر اساس داده‌های موجود، از یکدیگر غیرقابل تشخیص هستند.
با تبدیل مدل‌ها به عامل (Agent) — موجوداتی که می‌توانند به‌طور مستقل ابزارها را اجرا کنند — هزینه هر توکن (Token) — تکه‌های کوچکی از متن شبیه برش‌های کیک — دیگر یک معیار ظاهری (Vanity Metric) است. در واقع، مدیریت بهینه این توکن‌ها در لایه‌های زیرین استنتاج، کلید بهره‌وری سیستم‌های مدرن است، همان‌طور که در بررسی مدیریت حافظه در سیستم‌های استنتاج مدرن تحلیل کردیم. Arena با معرفی Agent Arena بر «مرز عملکرد-هزینه» (Performance-Cost Frontier) تمرکز کرده است.
به باور آنجلوپولوس، «هزینه به ازای هر وظیفه موفق» واحد معنادارتری نسبت به «قیمت هر توکن» است. چون مدل‌های مختلف برای حل یک مسئله، تعداد توکن‌های متفاوتی مصرف می‌کنند، سنجش هزینه نهاییِ یک نتیجه موفق، مقایسه‌ای عادلانه‌تر است.
برای اطمینان از عدالت در وظایفی با دشواری‌های متفاوت، Arena از یک متدولوژی تصادفی استفاده می‌کند. این امر تضمین می‌کند که جدول رتبه‌بندی عادلانه باقی بماند، زیرا به هر مدل وظایفی با میانگین دشواری یکسان اختصاص می‌یابد.
در مورد ریسک بهینه‌سازی مدل‌ها صرفاً برای بالا رفتن در جدول رتبه‌بندی (پدیده‌ای که به قانون گودهارت معروف است)، آنجلوپولوس نگاهی متفاوت دارد و آن را یک «ویژگی» می‌بیند، نه یک «باگ».
او معتقد است اگر آزمایشگاه‌ها برای بالا رفتن در Arena تلاش کنند، در واقع دارند مدل‌هایی می‌سازند که برای میلیون‌ها کاربر متنوع در جهان مفیدتر است. از نظر او، اگر صعود در جدول رتبه‌بندی منجر به مدل‌هایی شود که برای جامعه کاربردی‌تر هستند، این یک برد کلی برای دنیاست.
آینده ارزیابی‌ها اکنون از خودِ مدل فراتر رفته و به سمت رتبه‌بندی «هارنس‌ها» (Harnesses) و ابزارهای اطراف مدل حرکت می‌کند. این یعنی ارزیابی کل «سیاست» (Policy) سیستم: اینکه سیستم چگونه مدل، ابزار و بودجه محاسباتی مناسب را برای یک وظیفه خاص انتخاب می‌کند.
آنجلوپولوس سخت‌ترین مسائل حل‌نشده را این‌ها می‌داند:
- چالش‌های علوم اجتماعی: تعریف دقیق اینکه «کاربردی بودن» (Utility) در بستر انسانی واقعاً به چه معناست.
- جزئیات فنی: ساخت ارزیابی‌های شخصی‌سازی شده که تخمین‌های عملکرد را تا سطح هر کاربر ارائه دهد.
- پیچیدگی عامل‌محور: سنجش عامل‌هایی با افق زمانی بلند (Long-horizon agents) و تفکیک هوش هسته مدل از زیرساخت‌های حمایتی (Scaffolding) آن.
در یک پیش‌بینی جسورانه، او احتمال می‌دهد که آزمایشگاه‌های چینی طی سال آینده از تمام رقبای آمریکایی پیشی بگیرند. او احتمال این اتفاق را بیش از ۵۰٪ می‌داند و دلیل آن را پیشرفت سریع و اخیر در عملکرد هوش مصنوعی چین می‌داند.
این تغییر نشان می‌دهد که «بهترین مدل» دیگر یک موجود واحد نیست، بلکه یک سیاست مسیریابی پویا است. برنده کسی خواهد بود که بتواند یک وظیفه پیچیده دنیای واقعی را به مقرون‌به‌صرف‌ترین مسیر اجرا متصل کند.
گام بعدی شما
- هنگام انتخاب مدل برای کسب‌وکار، به‌جای تکیه بر رتبه‌های کلی، نرخ تکمیل وظیفه (Task Completion Rate) را در محیط تست خودتان بسنجید.
- برای کاهش هزینه‌ها، از مدل‌های کوچک‌تر برای وظایف ساده و مدل‌های استدلالی برای مراحل پیچیده استفاده کنید (مسیریابی پویا).
- در پرامپت‌های خود، مدل را مجبور کنید مراحل تفکر را بنویسد تا احتمال توهم در خروجی‌های کاربردی کاهش یابد.
اما داستان سخت‌افزاری این تحول حتی شگفت‌انگیزتر است — به تحلیل ما درباره تراشه‌های Blackwell مراجعه کنید.
گفتگو