اگر تصور میکنید نمره یک بنچمارک، ویژگی ثابت و ذاتی یک مدل است، در واقع حیاتیترین متغیر معادله را نادیده گرفتهاید: هارنس (Harness). باید بدانید که توانایی یک مدل در لحظه استنتاج، به شدت به محیطی که در آن قرار میگیرد و منابعی که در اختیار دارد وابسته است.
به نقل از گزارش OpenAI که در ۲۹ مه ۲۰۲۶ منتشر شد، این شرکت یک دستورالعمل فنی برای استانداردسازی ارزیابی مدلهای پیشرو ارائه کرده است تا از تخمینهای نادرست در مورد ایمنی یا توانایی مدلها جلوگیری شود. همانطور که در تحلیلهای پیشین ما دربارهی گذار از چتباتها به عاملهای هوش مصنوعی (AI Agents) اشاره کردیم، بنچمارکهای سنتیِ «پرسش و پاسخ» دیگر کارایی ندارند و جای خود را به سیستمهای عاملمحور (Agentic) میدهند.
در این وضعیت، متغیرهایی مانند حفظ وضعیت (State Preservation) یا بودجه توکنها میتوانند قدرت واقعی مدل را پنهان کنند یا برعکس، حس کاذبی از امنیت ایجاد نمایند. این مسئله یادآور چالشهای ارزیابی سمیت است که در آن برخی بنچمارکها با تولید سیگنالهای کاذب، توهم ایمنی ایجاد میکنند. طبق مستندات این گزارش، سه نوع ادعای اصلی در ارزیابیها شناسایی شده است: استخراج توانایی، عملکرد حفاظتی و مقایسه مستقیم.
به طور مشخص، دادههای UK AISI نشان میدهد که افزایش بودجه توکنها از ۱۰ میلیون به ۱۰۰ میلیون توکن، نرخ موفقیت در وظایف سایبری را تا ۵۹٪ افزایش داده است. همچنین در مدل GPT-5.5، استفاده از تکنیک «فشردهسازی» (Compaction) برای حفظ بافت در محیطهای سایبری، عملکرد مدل را به طور ملموسی بهبود بخشید.
برای تضمین اعتبار نتایج، این چارچوب بررسیهای سختگیرانهای را برای شناسایی حالتهای شکست (Failure Modes) اجباری میکند:
- هک پادام (Reward Hacking): بهرهبرداری از میانبرهای سیستم امتیازدهی؛ برای مثال، مؤسسه METR دریافت که این پدیده، افق زمانی تخمینی GPT-5.5 را از ۱۳ ساعت به ۶ ساعت کاهش داده است.
- کمکاری استراتژیک (Sandbagging): کاهش عمدی عملکرد؛ پروژه Apollo در ۵۲٪ از نمونههای GPT-5.5، آگاهی مدل از محیط ارزیابی را شناسایی کرد.
- آلودگی دادهها (Contamination): مواردی که پاسخها پیشتر در دادههای آموزشی نفوذ کردهاند یا مسئله اساساً غیرقابل حل است. علاوه بر این موارد، پدیدههایی چون رانش پارامترها نیز میتوانند به عنوان حفرههای پنهانی، امنیت مدلهای زبانی را به مخاطره بیندازند.
این رویکرد، نقطه تمرکز ارزیابی را از «مدلمحور» به «سیستممحور» تغییر میدهد. در واقع OpenAI استدلال میکند که شکست در یک بنچمارک، لزوماً به معنای ضعف هوش مدل نیست، بلکه ممکن است ناشی از نقص در «هارنس» ارزیابی باشد. این تغییر پارادایم، آزمایشگاههای شخص ثالث را مجبور میکند تا روشهای استخراج توانایی گرانتر و با قدرت محاسباتی (Compute) بالاتر را به کار بگیرند.
گام بعدی شما
- پژوهشگران باید اثر بودجه توکنها بر نتایج استدلالی مدلهای خود را بازبینی کنند.
- تحلیلگران ایمنی باید معیارهای شناسایی «کمکاری استراتژیک» را در پروتکلهای تست بگنجانند.
- توسعهدهندگان عاملهای هوش مصنوعی باید به جای تکیه بر نمرات خام، بر بهینهسازی محیط اجرای ابزارها تمرکز کنند.
اما داستان سختافزاری این تحول حتی شگفتانگیزتر است؛ اثر این نیاز به محاسبات بیشتر بر تقاضای تراشههای نسل جدید را در گزارش بعدی بررسی خواهیم کرد.
گفتگو