خطای ابزار سنجش: تغییر روش تحلیل HTML نرخ موفقیت کد AI را دو برابر کرد

تصور کنید سه ساعت از زمان خود را صرف عیب‌یابی کدی کنید که در واقع هیچ مشکلی ندارد. این کابوس برای توسعه‌دهنده‌ای در ۲۸ ژوئن ۲۰۲۶ رخ داد؛ جایی که متوجه شد مشکل از کد نیست، بلکه «خط‌کش» اندازه‌گیری او خراب است.

سنجش کدهای تولیدشده توسط عامل‌های هوش مصنوعی (AI Agents) اغلب شبیه چک کردن وجود کلمات خاص در یک متن به نظر می‌رسد. اما در دنیای مدرن وب، فاصله میان پاسخ خام شبکه و صفحه‌ای که کاربر می‌بیند بسیار زیاد است؛ درست مثل این‌که بخواهید یک کتاب را به‌جای خواندن صفحات، با میکروسکوپ زدن به تک‌تک قطرات جوهر روی کاغذ بفهمید.

به نقل از گزارش سایت dev.to، این توسعه‌دهنده یک صفحه فرود (Landing Page) را با استفاده از Next.js 14 و shadcn/ui ساخته و روی Vercel مستقر کرده بود. او برای تأیید ۱۷ طرح تست مشخص، از ترکیب ابزارهای curl و grep استفاده می‌کرد. همان‌طور که در بحث‌های گذشته‌ی ما درباره‌ی دقت مدل‌های کدنویسی اشاره کردیم، ابزار تحلیل لایه‌ی نهایی تعیین‌کننده‌ی اعتبار نتیجه است.

نتایج اولیه راضی‌کننده نبود و تنها ۷ مورد از ۱۷ تست را پاس شده نشان داد. اما بررسی‌های دقیق‌تر ثابت کرد که grep به‌دلیل سه دلیل فنی شکست می‌خورد:

• Next.js 14 از خروجی‌های فشرده‌ی رندرینگ سمت سرور (SSR) استفاده می‌کند که نام‌های خوانای کامپوننت‌ها را حذف می‌کند.
• ویژگی‌های React (مثل dateTime) از حالت camelCase استفاده می‌کنند که با رشته‌های جست‌وجوی ساده متفاوت بود.
• محتوا در صفحات جزئیات قرار داشت، در حالی که ابزار تست فقط صفحه اصلی را بررسی می‌کرد.

بر اساس مستندات این پروژه، با تغییر روش و استفاده از یک پارسر HTML استاتیک که فایل‌های .next/server/app/match/*.html را از طریق readFileSync در Node.js می‌خواند، امتیاز موفقیت به ۱۵ از ۱۶ جهش کرد. این رویکرد دقیقاً مشابه عملکرد TestSprite در موتور امتیازدهی CoderCup است که به‌جای متن خام، از مرورگرهای بدون رابط گرافیکی (Headless Chromium) برای تعامل با DOM واقعی استفاده می‌کند.

این شکست نشان‌دهنده‌ی یک ریسک رو به رشد در عصر عامل‌محور است: «بدهی فنی در لایه‌ی ارزیابی». اگر ابزار تأیید شما با مکانیزم تحویل محیط عملیاتی هم‌سو نباشد، شما هوش مصنوعی را نمی‌سنجید، بلکه محدودیت‌های عبارت‌های منظم (Regex) خود را اندازه‌گیری می‌کنید.

گام بعدی شما

• اگر برای تست خروجی‌های AI از grep یا جست‌وجوی متنی ساده استفاده می‌کنید، فوراً به سراغ کتابخانه‌های پارس کردن HTML یا ابزارهای Headless Browser بروید.
• محیط تست (Test Environment) خود را با خروجی نهایی کاربر (Production Build) کاملاً یکسان‌سازی کنید.
• برای ارزیابی دقیق‌تر، از معیارهای مبتنی بر DOM به‌جای بررسی رشته‌های متنی استفاده کنید.

اما داستان سخت‌افزاری این تحولات حتی پیچیده‌تر است؛ برای درک هزینه‌های استنتاج در مقیاس بالا، تحلیل ما درباره‌ی تراشه‌های Blackwell را بخوانید.