تصور کنید یک برنامهنویس ارشد، مدلی را انتخاب میکند که در تمام آزمونهای جهانی رتبه اول را دارد، اما این مدل در اولین مواجهه با کد واقعی شرکت، بهطور کامل شکست میخورد. این شکاف میان «نمره بنچمارک» و «عملکرد واقعی»، نتیجه پدیدهای است که OpenAI در گزارش ۸ جولای ۲۰۲۶ خود، آن را «جدا کردن سیگنال از نویز در ارزیابیهای کدنویسی» نامیده است.
طبق اعلام OpenAI، بسیاری از جدولهای رتبهبندی (Leaderboards) فعلی، توهمی از توانمندی هستند. در واقع، مدلها در جریان آموزش، پاسخهای آزمونها را دیدهاند و حالا صرفاً آنها را بازخوانی میکنند. این وضعیت شبیه دانشآموزی است که قبل از امتحان، پاسخنامه را لو داده ببیند؛ در اینجا ما حافظه مدل را میسنجیم، نه قدرت استدلال او را. این تضاد میان رتبههای کاغذی و عملکرد عملی، دقیقاً همان نقطهای است که در بررسی موفقیت مدل Claude Opus 4.8 در بنچمارک SWE-Marathon مشاهده شد، جایی که حتی پیشروترین مدلها نیز نرخ موفقیت محدودی در حل مسائل پیچیده واقعی داشتند. همانطور که در تحلیلهای قبلی ما درباره امنیت مدلهای بازمتن اشاره کردیم، تکیه بر دادههای عمومی بدون پالایش، ریسکهای پیشبینیناپذیری ایجاد میکند.
برای شناسایی این مشکل، مهندسان از روش «بررسی همپوشانی لغت» استفاده میکنند. در این متد، توکن (Token) — که شبیه تکههای کوچکی از یک کیک بلند است که مدل تکهتکه میخورد — بین مجموعه آموزش و مجموعه ارزیابی مقایسه میشود. بر اساس مستندات این گزارش، اگر عبارات خاصی مثل "fix websocket reconnect timer in stream_client" در هر دو مجموعه دیده شود، نرخ همپوشانی بالا رفته و نشت داده اثبات میشود.
به گزارش وبسایت dev.to، صرفاً یافتن همپوشانی کافی نیست و باید تاریخچه مخازن کد و منشأ دادهها بررسی شود تا مشخص گردد آیا مدل واقعاً به جواب دسترسی داشته یا خیر.
این وضعیت یعنی صنعت باید از بنچمارکهای ایستا فاصله بگیرد. متخصصان باید بهجای تکیه بر نمرات شرکتهای سازنده، از تکالیف نسخهبندیشده در کدبیسهای خودشان استفاده کنند. ابزارهایی مانند MonkeyCode اجازه میدهند کاربر بهجای باور کردن نمودارها، منطق کد را در محیطهای شخصی و ایزوله بازبینی کند. دیگر نباید به جدولهای رتبهبندی بهعنوان حقیقت مطلق نگاه کرد، بلکه باید آنها را ورودیهایی برای آزمایشهای محلی دانست که تنها معیار موفقیت در آنها، اجرای صحیح کد در محیط عملیاتی واقعی است.
گام بعدی شما
- بنچمارکهای عمومی را بهعنوان «حد بالا» در نظر بگیرید، نه معیار انتخاب مدل.
- یک مجموعه تست خصوصی (Private Eval) از کدهای قدیمی شرکتتان بسازید تا دقت واقعی مدل را بسنجید.
- از ابزارهای بررسی همپوشانی لغوی برای شناسایی نشت داده در مجموعههای آموزشی استفاده کنید.
اما داستان سختافزاری این تحول حتی شگفتانگیزتر است — به تحلیل ما درباره تراشههای Blackwell مراجعه کنید.
گفتگو