موسسه ارزیابی هوش مصنوعی METR نسخه بهروزرسانیشده نمودار افق زمانی خود را منتشر کرد که نشان میدهد حداکثر طول وظایفی که مدلهای پیشرو برآورده میکنند همچنان هر چهار ماه دو برابر میشود. با این حال، دادههای جدید شکاف رو به گسترش بین وظایف قابل تأیید خودکار و وظایف نیازمند قضاوت انسانی را آشکار میسازد. این گزارش همزمان با یافتههای METR منتشر شده که نشان میدهد پیشرفت هوش مصنوعی آنتروپیک دو برابر شده است. تحلیلهای جداگانه نیز تأیید میکنند که شتاب پیشرفت آنتروپیک ۱.۹ برابر شده و هوش مصنوعی عامل اصلی آن است.
روند نمایی در افق زمانی METR تداوم دارد
نمودار اصلی METR که در اوایل سال جاری منتشر شده بود، یک روند نمایی نشان میداد: هر چهار ماه حداکثر طول وظیفهای که سیستمهای پیشرو میتوانستند مدیریت کنند، دو برابر میشد. در گزارش جدید، METR مجموعه وظایف را گسترش داده تا چالشهای باز را نیز در بر بگیرد که موفقیت در آنها بهصورت خودکار قابل تأیید نیست. متدولوژی اصلی تغییر نکرده است: شرکتکنندگان انسانی هر وظیفه را انجام میدهند و زمان لازم برای تکمیل، امتیاز سختی میشود. مدلها سپس روی همان وظایف ارزیابی میشوند و طولانیترین وظیفهای که بهصورت قابل اعتماد برآورده میکنند، موقعیت آنها روی منحنی افق زمانی را تعیین میکند. در نمودار بهروزرسانیشده، منحنی مسیر صعودی خود را تداوم میدهد و دوره دوبرابر شدن حدود چهار ماهه حتی با گسترش مجموعه وظایف نیز برقرار باقی مانده است.
شکاف بین وظایف قابل تأیید و قضاوتمحور
تحلیل نشان میدهد یک واگرایی فزاینده بین عملکرد در وظایف قابل تأیید و وظایف فاقد بازخورد خودکار شفاف وجود دارد.
کدنویسی و ریاضی: مقیاسپذیری نزدیک به کامل
بنچمارکهای کدنویسی مقیاسپذیری نزدیک به کامل را نشان میدهند چرا که کامپایلر یا مجموعه تست میتواند بلافاصله صحت راهحل را بسنجد. یادگیری تقویتی در نتیجه بهصورت کارا قابل اعمال است: سیستم کاندیداهای متعدد را امتحان میکند، پاداش دودویی دریافت میکند و پارامترها را به سمت موفقیت بهروزرسانی میکند. به همین دلیل مدلها در کدنویسی و ریاضی به سرعت پیشرفت کردهاند.
چالشهای باز: قضاوت، خلاقیت، برنامهریزی افقدور
در تضاد، وظایفی نظیر انتخاب جهت پژوهشی پرامید، نگارش مقاله قانعکننده، یا تشخیص پرونده پزشکی پیچیده، داده مرجع عینی و فوری ندارند. ارزیابی موفقیت در این حوزهها اغلب نیازمند قضاوت کارشناس انسانی است که پرهزینه، کند و متغیر است. METR در گزارش جدید وظایفی از این نوع را اضافه کرده، از جمله طراحی ارزیابیهای جدید هوش مصنوعی و امتیازدهی به استدلالهای فلسفی. حتی پیشرفتهترین مدلها در این وظایف از سطح انسانی عقبماندهاند: هیچکدام از ارزیابیهای طراحیشده توسط هوش مصنوعی برای پژوهش METR مفید تلقی نشدند، و در امتیازدهی استدلالهای فلسفی نیز مدلها از کارشناسان انسانی عقب ماندند.
چالشهای متدولوژی و کالیبراسیون
افزودن وظایفی که تکمیل آنها توسط انسانها ساعتها یا روزها طول میکشد، هزینه جمعآوری داده را بالا میبرد و اطمینان از امتیازدهی یکسانی سختی را دشوار میسازد. METR از ترکیب برآورد کارشناس و مطالعه پیشآزمونی برای کالیبراسیون وظایف جدید استفاده کرده، اما اعتراف میکند که نوارهای عدم قطعیت برای طولانیترین وظایف گستردهترند. برای کاهش سوگیری، از چندین ارزیاب مستقل استفاده شده و کپای کوهن ۰.۷۸ گزارش شده که نشاندهندهٔ توافق قابل توجه اما نه کامل است.
پیامدها برای صنعت و سیاستگذاری
محققان METR احتیاط میکنند که نمودار افق زمانی نباید بهعنوان معیار جهانی هوش تفسیر شود. این یک جایگزین (proxy) برای توانایی تکمیل وظایف با طول زمانی انسانی داده شده است، با فرض اینکه وظیفه بهوضوح قابل مشخصسازی و امتیازدهی خودکار باشد. دادههای جدید گویای آن است که روند نمایی برای وظایف باز در نهایت به سطح ثابت (plateau) میرسد، مگر اینکه پارادایمهای آموزشی نوین — نظیر یادگیری از بازخورد انسانی، تقلید از استدلال کارشناس، یا رویکردهای ترکیبی نمادین-عصبی — در مقیاس وسیع تدوین شوند.
از منظر سیاستگذاری، نمودار بهروزرسانیشده ضرورت گزارش شفاف شرایط ارزیابی را تقویت میکند. ذینفعانی که بر اعداد سرتیتر — مانند «هوش مصنوعی اکنون میتواند وظایف ۸ ساعته انسانی را انجام دهد» — تکیه دارند، باید توزیع وظیفههای زیرین، مکانیزم تأیید و فاصلههای اطمینان را درک کنند. گزارش توصیه میکند محکهای آتی یک تاکسونومی استاندارد بپذیرند که وظایف قابل تأیید را از غیرقابل تأیید جدا کند، و سازمانهای تأمین مالی اولویت را به تحقیق در ارزیابی قابل اعتماد قابلیتهای قضاوتمحور دهند.
شرکتهایی که سنگین بر روی دستیارهای کدنویسی، تست خودکار، یا ابزارهای استدلال ریاضی سرمایهگذاری کردهاند میتوانند پیشرفت سریع تداومیافته را انتظار داشته باشند، چرا که این بارهای کاری در رژیم قابل تأیید قرار دارند که یادگیری تقویتی در آن شکوفا است. با این حال، تیمهای محصولی که هدف استقرار هوش مصنوعی برای وظایفی نظیر مرور قرارداد حقوقی، پشتیبانی تصمیمگیری بالینی، یا تولید محتوای خلاقانه هستند، باید انتظارات را تعدیل کنند: قوانین مقیاسپذیری همانند هنوز اعمال نمیشوند و سطح خطا در این حوزهها به ناکافی نقشهبرداری شده است. سرمایهگذاران و اعضای هیئت مدیره باید پیش از تعهد سرمایه به پلتفرمهای هوش مصنوعی پهنهگسترده، معیارهای عملکرد تفکیکشده که محکهای قابل تأیید را از قضاوتمحورها جدا میکنند، درخواست کنند.
گام بعدی شما
- معیارهای ارزیابی داخلی خود را بازبینی کنید: آیا محکهای فعلیتان وظایف قابل تأیید و قضاوتمحور را تفکیک میکنند؟
- برای کاربردهای حساس (حقوقی، پزشکی، خلاقانه)، معیارهای خطا و نرخ شکست را روی وظایف باز واقعیمحور بسنجید، نه فقط روی محکهای عمومی.
- در تصمیمهای سرمایهگذاری، تقاضای گزارش عملکرد تفکیکشده بر اساس نوع وظیفه و مکانیزم تأیید کنید.




گفتگو