اگر حس می‌کنید مدل محبوبتان ناگهان «کودتر» یا محدودتر شده است، اشتباه نمی‌کنید. طبق داده‌های منتشر شده در ۱۴ مه ۲۰۲۶، سامانه ردیابی LMSYS Arena اکنون اجازه می‌دهد تاریخچه امتیازات (ELO) مدل‌های پرچم‌دار را بررسی کنید تا متوجه افت‌های پنهان کیفیت شوید؛ پدیده‌ای که در دنیای فناوری «نرفینگ» (Nerfing) نامیده می‌شود.
آزمایشگاه‌های هوش مصنوعی برای کاهش هزینه‌های استنتاج (Inference) — که شبیه خودِ آشپزی است، نه دوره‌ی آموزش آشپز — یا سخت‌گیرانه‌تر کردن فیلترهای ایمنی، مدل‌ها را به‌روز می‌کنند. این تغییرات به‌ندرت اعلام می‌شوند، اما باعث افت رفتار مدل می‌شوند. برای کاربر عادی، این اتفاق شبیه به‌روزرسانی نرم‌افزاری است که سرعت گوشی را می‌گیرد، اما شرکت ادعا می‌کند در حال «بهینه‌سازی» است.
همان‌طور که در تحلیل‌های قبلی ما درباره‌ی معیارهای سنجش مدل‌های زبانی اشاره کردیم، تکیه بر بنچمارک‌های رسمی همیشه دقیق نیست. به همین دلیل، سامانه‌ی ردیابی جدید در mayerwin.github.io داده‌های روزانه را از مجموعه داده‌های رسمی LM Arena در Hugging Face استخراج می‌کند. بر اساس مستندات این پروژه، سیستم برای حفظ دقت از هزاران ارزیابی انسانیِ کور (Blind Evaluation) استفاده می‌کند و منطق سخت‌گیرانه‌ای دارد:
- فقط رتبه‌ی بالاترین مدل پرچم‌دار هر آزمایشگاه را ردیابی می‌کند و مدل‌های میان‌رده را نادیده می‌گیرد.
- نسخه‌های مختلف استنتاج (مثل مدل‌های Reasoning) را در یک منحنی واحد ترکیب می‌کند تا نویز داده‌ای حذف شود.
- تفاوت بین عملکرد خام API و رابط‌های کاربری وب (Web UI) را تفکیک می‌کند؛ چراکه رابط‌های وب اغلب فیلترهایی دارند که توانایی واقعی مدل را می‌پوشانند.
این شفافیت، نگاه ما به ادعاهای «بهترین مدل جهان» را تغییر می‌دهد. کاربران اکنون می‌بینند که آیا یک شرکت، کارایی محاسباتی را از طریق کوانتایزیشن (Quantization) — که مثل تبدیل عکس باکیفیت به JPEG برای کاهش حجم است و جزئیات را می‌گیرد — به جای هوش خالص مدل ترجیح داده است یا خیر. برای کاربر عملی، این یعنی «بهترین» مدل امروز، ممکن است نسخه‌ای تضعیف‌شده از چیزی باشد که چند ماه پیش در دسترس بود.
گام بعدی شما
- منحنی‌های ELO را چک کنید تا بفهمید آیا مدل فعلی شما در حال افت کیفیت است یا خیر.
- اگر محدودیت‌های رابط وب (Web UI) را حس می‌کنید، برای دسترسی به توانایی خام مدل به سراغ API بروید.
- هنگام انتخاب ارائه‌دهنده، به ثبات امتیازات در طول زمان دقت کنید، نه فقط رتبه‌ی لحظه‌ای.
اما داستان سخت‌افزاری این تحول حتی شگفت‌انگیزتر است؛ برای درک اینکه چرا هزینه‌های استنتاج فشار ایجاد می‌کند، به تحلیل ما درباره‌ی تراشه‌های Blackwell مراجعه کنید.
گفتگو