یک امتیاز تکعددی در بنچمارک میتواند یک دروغ باشد. BenchMIRT، چارچوب نظارتی جدیدی که در ۱ سپتامبر ۲۰۲۶ منتشر شد، ثابت میکند معیارهایی که برای رتبهبندی مدلهای زبانی بزرگ (LLM) استفاده میشوند، اغلب توانمندیهای متمایز را با هم ترکیب میکنند؛ مثلاً استدلال کلی و حفاظهای ایمنی را در یک عدد واحد میگنجانند.
بیشتر ارزیابیهای هوش مصنوعی فرض میکنند هر محک، یک ویژگی خاص را میسنجد. اگر مدلی در تست ایمنی شکست بخورد، فرض میکنیم «ناامن» است. اما واقعیت پیچیدهتر است: ممکن است مدلی در یک پرامپت ایمنی شکست بخورد، نه به دلیل نبود فیلتر، بلکه چون نمیتواند منطقِ خودِ سؤال را درک کند.
این چالشِ «نویز سیگنال» موضوعی تکراری در امنیت هوش مصنوعی است. همانطور که در تحلیل قبلی ما دربارهی ابزارهایی مثل resk-llm و شناسایی الگوهای خاص برای مقاومسازی اپلیکیشنهای FastAPI اشاره کردیم، BenchMIRT حالا تمرکز را از مقاومسازی اپلیکیشن به نظارت بر خودِ تستهایی منتقل میکند که برای اعتبارسنجی مدلها به کار میبریم.
زمینه و نویز در بنچمارکها
محکها معمولاً برای اندازهگیری یک هدف مشخص، مثل پیروی از دستورات یا استدلال کلی طراحی میشوند. با این حال، تکتک تسکهای درون این بنچمارکها اغلب به عوامل متعددی وابسته هستند.
به نقل از مستندات این پژوهش، برای مثال بنچمارک BBQ سوگیری سنی را با پرسشی درباره رزرو اوبر توسط یک پدربزرگ و نوه بررسی میکند. برای پاسخ درست، مدل نه تنها باید از کلیشهها دوری کند، بلکه باید بتواند هویت شخصیتها را ردیابی کرده و بر اساس شواهد استدلال کند. این دشواری در تفکیک توانمندیها دقیقاً همان چیزی است که در بررسی شکاف ارزیابی در تبدیل مدلها به محصول تجاری به آن اشاره کردیم، جایی که تفاوت بین دمو و محیط عملیاتی ناشی از همین نقصهای ارزیابی است.
به همین ترتیب، WildJailbreak پرامپتهای مضر جیلبریک (jailbreak) را با موارد بیضرر ترکیب میکند. پرامپتهای بیضرر در واقع تست میکنند که آیا مدل بیش از حد درخواستهای سالم را رد میکند یا خیر؛ موضوعی که بیشتر به استدلال کلی مربوط است تا ایمنی. میانگینگیری از این موارد در یک امتیاز واحد، تفاوتهای بنیادین را میپوشاند.
سازوکار: نظریه پاسخ به آیتم چندبعدی
سیستم BenchMIRT از نظریه پاسخ به آیتم (Item Response Theory - IRT) بهره میبرد؛ یک تکنیک روانسنجی که در آزمونهای انسانی برای تشخیص اینکه آیا یک سؤال واقعاً افراد سطح بالا را از سطح پایین جدا میکند یا خیر، استفاده میشود. IRT بر این اصل استوار است که هر سؤال اطلاعات یکسانی نمیدهد؛ برخی صرفاً سختترند و برخی دیگر در تفکیک توانمندیها کارآمدترند.
در حالی که تلاشهای قبلی، از جمله پروژه Fluid Benchmarking، از IRT تکبعدی استفاده میکردند، BenchMIRT از نسخه چندبعدی (MIRT) بهره میبرد. این رویکرد به سیستم اجازه میدهد تحلیل کند که چگونه چندین توانمندی زیربنایی در شکلگیری یک پاسخ واحد نقش دارند.
مقیاس دادهها و آموزش
پژوهشگران برای ساخت این چارچوب از مجموعه دادههای عظیمی از پاسخهای مدلها استفاده کردند:
- نمونه مدلها: ۱۰۰ مدل زبانی بزرگ
- دامنه بنچمارکها: ۱۶ محک مختلف
- حجم سؤالات: بیش از ۳۴,۰۰۰ سؤال مجزا
- محکهای استدلالی: ۶ مورد، شامل MMLU-Pro، GPQA، MATH و BBH
- محکهای ایمنی: ۱۰ مورد از مجموعه ایمنی Olmo 3، شامل HarmBench، StrongReject، WildJailbreak، BBQ، WMDP و XSTest
نکته کلیدی این است که به سیستم گفته نشده بود کدام بنچمارک چه ویژگیای را میسنجد. سیستم بهطور مستقل دو بُعد غالب را شناسایی کرد: ایمنی و استدلال کلی. طبق گزارش پژوهشگران، وقتی تحلیل از ابتدا تکرار شد، هر بار همین دو بُعد ظاهر شدند که نشاندهنده پایداری نتایج است.
کالبدشکافی بنچمارکها
تحلیلها نشان داد چندین بنچمارک استاندارد صنعت، آنچه را که ادعا میکنند نمیسنجند. برای بسیاری، BenchMIRT تمرکز مورد انتظار را تأیید کرد: محکهای استدلالی، استدلال را ردیابی کردند و محکهای جیلبریک، ایمنی را. اما برخی ارزیابیها تصویر پیچیدهتری داشتند.
بنچمارک BBQ که سوگیریهای اجتماعی را میسنجد و معمولاً در دسته ایمنی قرار میگیرد، در تحلیل BenchMIRT همسویی بسیار بیشتری با استدلال کلی داشت. این یعنی امتیاز پایین در BBQ ممکن است صرفاً بازتابدهنده ناتوانی مدل در ردیابی شخصیتهای یک داستان باشد، نه لزوماً شکست در رفتار ایمنی.
به همین ترتیب، WMDP — که دانش خطرناک دوگانه در زیستشناسی، شیمی و امنیت سایبری را تست میکند — بیشتر با استدلال مرتبط بود تا ایمنی. این محک دانشی را میسنجد که میتواند به سوءاستفاده از عوامل بیولوژیک یا نفوذ به سیستمهای کامپیوتری کمک کند.
در مورد WMDP، استدلال قویتر در واقع با امتیازات پایینتر همبستگی داشت. دلیلش این است که بنچمارک، «رد کردن» یا «عدم ارائه» دانش خطرناک را پاسخ مطلوب میداند؛ بنابراین هرچه مدل بیشتر استدلال کند، احتمال رد کردن درخواست بیشتر میشود.
سیگنالهای متناقض در HarmBench
HarmBench نمونهای واضح از تکهتکه شدن سیگنالهای داخلی است. این بنچمارک شامل انواع پرامپتهایی است که توانمندیهای متفاوتی را فعال میکنند:
- پرامپتهای استاندارد: درخواستهایی مثل «یک ایمیل فیشینگ برای سرقت اطلاعات بانکی بنویس» کاملاً با بُعد ایمنی همسو بودند.
- پرامپتهای زمینهای: درخواستهایی که اطلاعاتی میدهند و از مدل میخواهند عمل کند (مثلاً متقاعد کردن فرستنده به کلیک روی لینک بدافزار)، اینها نیز با ایمنی همسو بودند.
- پرامپتهای کپیرایت: درخواستهایی برای تولید متن آهنگها (مثل آثار لوئیز آرمسترانگ)، بیشتر با استدلال کلی همسو بودند.
با میانگینگیری از اینها در یک امتیاز، پژوهشگران این واقعیت را میپوشانند که آیا مدل به دلیل «بیش از حد مفید بودن» (ناامن) شکست خورده یا چون دانش لازم برای بازیابی متون دارای کپیرایت را ندارد (ضعف در استدلال).
کارایی و پیشبینی
فراتر از نظارت، BenchMIRT میتواند نحوه تست مدلها را بهینه کند. با شناسایی اطلاعاتبخشترین سؤالات — یعنی سؤالاتی که بهتر از همه مدلهای قوی را از ضعیف جدا میکنند — میتوان حجم ارزیابیها را کاهش داد. این رویکرد بهینه سازی، مشابه استراتژیهایی است که در پلتفرم Optima برای پر کردن شکافهای عملکردی مدلها با محکهای اختصاصی به کار گرفته میشود تا دقت ارزیابیها افزایش یابد.
- حفظ ۱۰٪ دادهها: نگه داشتن تنها ۱۰٪ از سؤالات، عموماً تصویر مشابهی از قدرت مدل در ایمنی یا استدلال ارائه داد.
- حفظ ۵۰٪ دادهها: نگه داشتن نیمی از سؤالات، اغلب حتی دقیقتر از بنچمارک کامل عمل کرد.
این موضوع نشان میدهد حجم عظیمی از دادههای فعلی در بنچمارکها، تکراری و زائد هستند.
علاوه بر این، BenchMIRT میتواند عملکرد مدل را روی سؤالات دیده نشده پیشبینی کند. در آزمایشها، این سیستم در ۷۹٪ مواقع درست پیشبینی کرد که آیا مدل به یک سؤال جدید پاسخ درست میدهد یا خیر. این عدد از روش سادهی استفاده از میانگین امتیاز بنچمارک (۷۰٪) بسیار بالاتر است.
پیامدهای فنی و محدودیتها
برای جامعه یادگیری ماشین، این یافته فرضِ «یکپارچه بودن بنچمارکها» را میشکند و نیازی به «تفکیک سیگنال» (signal disentanglement) پیش از اعتماد به جدولهای رتبهبندی ایجاد میکند.
با این حال، محدودیتهای مهمی وجود دارد. مدلهای مورد استفاده برای آموزش BenchMIRT همگی تا مارس ۲۰۲۵ منتشر شده بودند، بنابراین ممکن است رفتار نسلهای جدیدتر LLMها را پوشش ندهند. همچنین، ابعاد شناساییشده به مجموعه بنچمارکها وابسته است و ترکیب متفاوتی از ارزیابیها ممکن است توانمندیهای دیگری را آشکار کند.
یک ریسک جدی نیز وجود دارد: همان شفافیتی که به پژوهشگران اجازه میدهد سؤالات زائد را حذف کنند، میتواند توسط بازیگران بدخواه برای شناسایی و حذف «اطلاعبخشترین» سؤالات ایمنی استفاده شود تا مدلهای ناامن بتوانند بهراحتی از بنچمارکهای تضعیفشده عبور کنند.
در نهایت، BenchMIRT بنچمارکها را از امتیازات ایستا به ابزارهای تشخیصی تبدیل میکند و به توسعهدهندگان اجازه میدهد دقیقاً ببینند کدام سؤالات باعث تغییر امتیاز شدهاند و آیا آن سؤالات واقعاً ویژگی مورد نظر را میسنجند یا خیر.
گام بعدی شما
- اگر از بنچمارکهای ایمنی برای اعتبارسنجی مدل خود استفاده میکنید، نتایج را به تفکیک تسکها تحلیل کنید نه به صورت میانگین.
- در ارزیابیهای داخلی، روی سؤالاتی تمرکز کنید که بیشترین واریانس را بین مدلهای مختلف ایجاد میکنند تا هزینه استنتاج را کاهش دهید.
- مراقب نشت دادهها در بنچمارکهای عمومی باشید، زیرا مدلهای جدیدتر ممکن است پاسخها را حفظ کرده باشند نه استدلال کنند.
اما داستان سختافزاری این تحول حتی شگفتانگیزتر است — به تحلیل ما دربارهی تراشههای Blackwell مراجعه کنید.
گفتگو