اگر امروز برای ارزیابی کیفیت خروجیهای مدلهای خود از پرامپتهای توصیفی استفاده میکنید، احتمالاً با دادههای متناقض و هزینههای استنتاج بالا دستوپنجه نرم میکنید. مهندسان گوگل برای حل این مشکل، سیستمی را پیاده کردهاند که در آن ارزیابیها بهجای «احساسات»، بر اساس مشخصات فنی دقیق صورت میگیرد. این رویکرد باعث میشود بودجههای توکن هدر نرود و نتایج ارزیابیها تکرارپذیر باشد.
طبق مستندات فنی منتشر شده در ۲ سپتامبر ۲۰۲۶، گوگل از رویکرد مدل زبانی بهمثابه داور (LLM-as-a-judge) استفاده میکند. در این سیستم، روبریکهای نمرهدهی بهجای اینکه دستورالعملهای ذهنی و سلیقهای باشند، بهعنوان مشخصات فنی رسمی (Formal Specifications) در نظر گرفته میشوند. در این ساختار، یک مدل زبانی بزرگ (LLM) — مثل کتابخانهداری که میلیاردها صفحه را خوانده و حالا با همان لحن کتابها جواب میدهد — وظیفه دارد خروجیهای عاملهای دیگر را بر اساس یک روبریک (Rubric) یا همان جدول معیار سنجش، بررسی کند.
سنجش عملکرد هوش مصنوعی زاینده (Generative AI) بهشدت دشوار است؛ زیرا آزمونهای قطعی (Deterministic) — مثل بررسی اینکه آیا یک کد کامپایل میشود یا خیر — برای پاسخهای باز، پیچیده و متنی مقیاسپذیر نیستند. همانطور که در تحلیل قبلی ما دربارهی بهینهسازی استنتاج در مرورگرها اشاره کردیم و دیدیم که چگونه WebGPU از طریق WebLLM استنتاج با کارایی بالا را در مرورگرها ممکن میکند، چالش فعلی از «نحوه اجرای مدل» به «نحوه تأیید دقیق موفقیت عامل در انجام وظیفه» تغییر یافته است. این تغییر رویکرد در واقع پاسخی به این نیاز است که تست عاملهای هوش مصنوعی باید از اعتبارسنجی صرف کد به سمت ارزیابی رفتار تغییر کند تا دقت عملیاتی مدلها تضمین شود.
چالش ارزیابی خروجیهای مولد
تیمهای گوگل در حال انتشار مجموعهای از «مهارتهای عامل» (Agent Skills) برای محصولات و فناوریهای مختلف در گیتهاب هستند. هدف اصلی این است که عملکرد این عاملها اندازهگیری شود تا مشخص گردد آنها در محیط واقعی و در مواجهه با کاربران چگونه رفتار میکنند. اگرچه آزمونهای قطعی ایدهآل هستند، اما ایجاد آنها در مقیاس وسیع برای وظایفی مانند بازیابی اطلاعات (Information Retrieval) یا پاسخ به سؤالات باز، تقریباً غیرممکن است.
به گزارش dev.to، برای ارزیابی این خروجیهای پیچیده در مقیاس بالا، بهویژه زمانی که موضوعات حوزههای گستردهای را پوشش میدهند و دارای جزئیات ظریف هستند، استفاده از رویکرد «مدل زبانی بهمثابه داور» ضروری است. در این سیستم، پاسخها در برابر یک روبریک ساختاریافته و توسط یک نمرهدهنده مدلمحور سنجیده میشوند. داور هر پاسخ را با استفاده از مجموعهای از پرسشهای «درست/نادرست» (True/False) ارزیابی میکند. وقتی این پاسخهای تکبیت ارزیابی شوند و با هم جمع شوند، یک نمره صحت (Accuracy Score) عینی و ملموس برای هر پاسخ ایجاد میکنند.
گوگل پیشنهاد میکند برای رسیدن به اندازهگیریهای قابلاعتماد، مدل داور را محدود کنیم تا فقط حقیقتهای عینی، سختگیرانه و بولی (Boolean) را ارزیابی کند. این کار بار استدلالی (Reasoning Load) مدل داور را بهشدت کاهش میدهد و به تیمها اجازه میدهد بدون افت دقت، از مدلهای کوچکتر و سریعتر برای نمرهدهی استفاده کنند. این سختگیری در تعریف معیارها برای جلوگیری از مشکلاتی است که در آن داوران هوش مصنوعی با اطمینان زیاد نتایج را فریب میدهند و معیارهای کیفیت را به اشتباه تایید میکنند.
چهار ستون روبریکهای استوار
برای ساخت یک سیستم ارزیابی دقیق و قابل اعتماد، طبق گزارشهای فنی، چهار محدودیت کلیدی باید تعریف شود:
- پرسشهای اتمیک (Atomic Questions): از ترکیب خواستهها در یک سؤال بپرهیزید. ارزیابی چندین شرط در یک پرسش واحد — مثلاً «آیا پاسخ شامل یک ویژگی متادیتا است و خروجی را در قالب JSON فرمت کرده است؟» — مدل داور را مجبور میکند حدس بزند کدام بند مهمتر است. این امر منجر به نمرهدهیهای متناقض میشود. بهجای آن، این مورد را به دو بررسی مجزای درست/نادرست تقسیم کنید: ۱. آیا شامل ویژگی متادیتا است؟ ۲. آیا خروجی JSON است؟
- حقایق عینی (Objective Facts): کلمات مبهم و ذهنی مثل «جامع»، «کامل» یا «با کیفیت بالا» را حذف کنید. پرسیدن سؤالاتی مانند «چرا عامل این کار را کرد؟» باعث ایجاد ابهام شده و دادههای نویزی و غیرقابل تکرار تولید میکند. بهجای آن، از ترمینولوژی RFC 2119 (مانند MUST، MUST NOT، REQUIRED) استفاده کنید تا نتایج قابلمشاهده را تست کنید. داور هرگز نباید مجبور شود معنای یک الزام را حدس بزند.
- همراستایی با پرامپت (Prompt Alignment): فقط مواردی را نمره دهید که صراحتاً در پرامپت درخواست شدهاند. ارزیابی یک عامل بر اساس الزاماتی که هرگز در دستور اولیه ذکر نشدهاند، منجر به ایجاد «منفیهای کاذب» (False Negatives) میشود. برای مثال، اگر در پرامپت هرگز درخواست ذکر منابع نشده است، نباید مدل را بابت عدم ارائه ارجاعات جریمه کنید.
- تمرکز بر مقصد بهجای مسیر (Destination over Journey): خروجی نهایی را بسنجید، نه ابزار خاص یا توالی مراحلی را که عامل طی کرده است. مدلهای پیشآموزشدیده ممکن است اگر پاسخ را از قبل بدانند، بهطور کامل از ابزارهای سفارشی عبور کنند. اگر بررسی یک فرآیند گامبهگام ضروری است، از عامل بخواهید یک «طرح اجرا» (Execution Plan) ارائه دهد و سپس آن طرح را بهطور مشخص ارزیابی کنید.
بهینهسازی مکانیزم نمرهدهی
یک لایه حفاظتی حیاتی دیگر، تست برای «محدودیتهای منفی» است. بهجای اینکه بپرسیم آیا عامل «بهترین روشها» (Best Practices) را رعایت کرده است، روبریک باید صراحتاً تأیید کند که عامل یک ویژگی خاصِ منسوخشده (Deprecated) را پیشنهاد نداده باشد.
برای جلوگیری از «تقلب» (Cheating) — وضعیتی که در آن عاملها پاسخهای خود را بهگونهای تنظیم میکنند که صرفاً تست را دور بزنند و نمره بگیرند — گوگل توصیه میکند روبریکهای نمرهدهی را در یک سیستم مجزا و ایزوله نگه دارید. همچنین روبریکها باید بر نتایج عملکردی سختگیرانه یا موضوعات خاص تمرکز کنند، نه بر تطبیق کلمات کلیدی گسترده که بهراحتی قابل دستکاری هستند.
با حذف نیاز داور به وزندهی بین بندهای متضاد یا تفسیر قصد کاربر، بار استدلالی کاهش مییابد. وقتی هر سؤال دقیقاً یک حقیقت متمایز را میسنجد، نمرهدهی سازگار میشود و ریسک توهم (Hallucination) — وقتی مدل با اطمینان چیزی میگوید که اصلاً وجود ندارد، مثل دوستی که خاطرهای را اشتباه تعریف میکند — به حداقل میرسد.
فرآیند کالیبراسیون
حتی یک روبریک کامل هم ممکن است توسط مدل داور اشتباه تفسیر شود. گوگل این مشکل را با ایجاد یک «مجموعه طلایی» (Golden Set) حل میکند؛ یعنی مجموعهای از پاسخهای تست که توسط متخصصان موضوعی (Subject Matter Experts) نمرهگذاری شدهاند تا یک خط مبنای انسانی ایجاد شود.
سپس تیمها مدل «LLM-as-a-judge» را روی این مجموعه طلایی اجرا میکنند تا اختلاف (Delta) بین نمرات خودکار و نمرات انسانی شناسایی شود. اگر داور با متخصصان اختلاف نظر داشته باشد، این معمولاً نشانهای است که روبریک یا دستورالعملهای نمرهدهی بیش از حد مبهم هستند. این فرآیند مستلزم تکرار و اصلاح پرسشهای روبریک است تا زمانی که مدل داور بهطور مداوم با نظرات متخصصان انسانی همراستا شود.
این چرخش به سمت نمرهدهی مبتنی بر بولی، فرض بنیادی ارزیابی هوش مصنوعی را تغییر میدهد. این رویکرد صنعت را از نمرهدهی «حسمحور» (Vibes-based) به سمت یک دیسیپلین مهندسی قابل اندازهگیری سوق میدهد.
برای توسعهدهندگان، این به معنای کاهش هزینههای عملیاتی است. با کاهش پیچیدگی وظیفه نمرهدهی، شما میتوانید مصرف توکنها را بهینه کنید و در عین حال سیگنالی تکرارپذیر به دست آورید که ثابت کند آیا یک ابزار AI واقعاً در حال بهبود است یا خیر.
برای مشاهده این اندازهگیریها در عمل، میتوانید بررسی کنید که چگونه دادههای خام ارزیابی را با استفاده از نقشههای حرارتی (Heatmaps) برای ذینفعان بصریسازی کنید، همانطور که جو اسپیرو در مقاله «AI Evals at a Glance» توضیح داده است.
گام بعدی شما
- پرامپتهای ارزیابی خود را از حالت توصیفی («پاسخ خوب باشد») به حالت بولی («آیا X وجود دارد؟») تغییر دهید.
- یک مجموعه طلایی از ۵۰ پاسخ تأییدشده توسط انسان بسازید تا دقت داور خود را کالیبره کنید.
- برای کاهش هزینه، از مدلهای کوچکتر (SLM) بهعنوان داور برای روبریکهای اتمیک استفاده کنید.
گفتگو