پرش به محتوای اصلی
پرش به محتوای مقاله

گزارش METR: مقیاس‌پذیری در محک‌های کد، توقف در وظایف قضاوت‌محور

·۲۹ آبان ۱۴۰۵۶ دقیقه مطالعه
نمودار نشان‌دهنده دوبرابر شدن افق زمانی انجام وظایف هوش مصنوعی هر چهار ماه از ۲۰۱۹ تا ۲۰۲۵
نمودار نشان‌دهنده دوبرابر شدن افق زمانی انجام وظایف هوش مصنوعی هر چهار ماه از ۲۰۱۹ تا ۲۰۲۵
اشتراک‌گذاری
واقعاً چه چیز جدید است؟

نخستین بسط محک افق زمانی METR که وظایف باز و قضاوت‌محور را شامل می‌شود و با کالیبراسیون کارشناسی و توافق بین ارزیاب‌ها (کپای کوهن ۰.۷۸) اثبات می‌کند روند نمایی ۴ ماهه تنها در حوزه‌های قابل تأیید تداوم دارد.

موسسه ارزیابی هوش مصنوعی METR نسخه به‌روزرسانی‌شده نمودار افق زمانی خود را منتشر کرد که نشان می‌دهد حداکثر طول وظایفی که مدل‌های پیشرو برآورده می‌کنند همچنان هر چهار ماه دو برابر می‌شود. با این حال، داده‌های جدید شکاف رو به گسترش بین وظایف قابل تأیید خودکار و وظایف نیازمند قضاوت انسانی را آشکار می‌سازد. این گزارش هم‌زمان با یافته‌های METR منتشر شده که نشان می‌دهد پیشرفت هوش مصنوعی آنتروپیک دو برابر شده است. تحلیل‌های جداگانه نیز تأیید می‌کنند که شتاب پیشرفت آنتروپیک ۱.۹ برابر شده و هوش مصنوعی عامل اصلی آن است.

روند نمایی در افق زمانی METR تداوم دارد

نمودار اصلی METR که در اوایل سال جاری منتشر شده بود، یک روند نمایی نشان می‌داد: هر چهار ماه حداکثر طول وظیفه‌ای که سیستم‌های پیشرو می‌توانستند مدیریت کنند، دو برابر می‌شد. در گزارش جدید، METR مجموعه وظایف را گسترش داده تا چالش‌های باز را نیز در بر بگیرد که موفقیت در آن‌ها به‌صورت خودکار قابل تأیید نیست. متدولوژی اصلی تغییر نکرده است: شرکت‌کنندگان انسانی هر وظیفه را انجام می‌دهند و زمان لازم برای تکمیل، امتیاز سختی می‌شود. مدل‌ها سپس روی همان وظایف ارزیابی می‌شوند و طولانی‌ترین وظیفه‌ای که به‌صورت قابل اعتماد برآورده می‌کنند، موقعیت آن‌ها روی منحنی افق زمانی را تعیین می‌کند. در نمودار به‌روزرسانی‌شده، منحنی مسیر صعودی خود را تداوم می‌دهد و دوره دوبرابر شدن حدود چهار ماهه حتی با گسترش مجموعه وظایف نیز برقرار باقی مانده است.

شکاف بین وظایف قابل تأیید و قضاوت‌محور

تحلیل نشان می‌دهد یک واگرایی فزاینده بین عملکرد در وظایف قابل تأیید و وظایف فاقد بازخورد خودکار شفاف وجود دارد.

کدنویسی و ریاضی: مقیاس‌پذیری نزدیک به کامل

بنچمارک‌های کدنویسی مقیاس‌پذیری نزدیک به کامل را نشان می‌دهند چرا که کامپایلر یا مجموعه تست می‌تواند بلافاصله صحت راه‌حل را بسنجد. یادگیری تقویتی در نتیجه به‌صورت کارا قابل اعمال است: سیستم کاندیداهای متعدد را امتحان می‌کند، پاداش دودویی دریافت می‌کند و پارامترها را به سمت موفقیت به‌روزرسانی می‌کند. به همین دلیل مدل‌ها در کدنویسی و ریاضی به سرعت پیشرفت کرده‌اند.

چالش‌های باز: قضاوت، خلاقیت، برنامه‌ریزی افق‌دور

در تضاد، وظایفی نظیر انتخاب جهت پژوهشی پرامید، نگارش مقاله قانع‌کننده، یا تشخیص پرونده پزشکی پیچیده، داده مرجع عینی و فوری ندارند. ارزیابی موفقیت در این حوزه‌ها اغلب نیازمند قضاوت کارشناس انسانی است که پرهزینه، کند و متغیر است. METR در گزارش جدید وظایفی از این نوع را اضافه کرده، از جمله طراحی ارزیابی‌های جدید هوش مصنوعی و امتیازدهی به استدلال‌های فلسفی. حتی پیشرفته‌ترین مدل‌ها در این وظایف از سطح انسانی عقب‌مانده‌اند: هیچ‌کدام از ارزیابی‌های طراحی‌شده توسط هوش مصنوعی برای پژوهش METR مفید تلقی نشدند، و در امتیازدهی استدلال‌های فلسفی نیز مدل‌ها از کارشناسان انسانی عقب ماندند.

چالش‌های متدولوژی و کالیبراسیون

افزودن وظایفی که تکمیل آن‌ها توسط انسان‌ها ساعت‌ها یا روز‌ها طول می‌کشد، هزینه جمع‌آوری داده را بالا می‌برد و اطمینان از امتیازدهی یکسانی سختی را دشوار می‌سازد. METR از ترکیب برآورد کارشناس و مطالعه پیش‌آزمونی برای کالیبراسیون وظایف جدید استفاده کرده، اما اعتراف می‌کند که نوارهای عدم قطعیت برای طولانی‌ترین وظایف گسترده‌ترند. برای کاهش سوگیری، از چندین ارزیاب مستقل استفاده شده و کپای کوهن ۰.۷۸ گزارش شده که نشان‌دهندهٔ توافق قابل توجه اما نه کامل است.

پیامدها برای صنعت و سیاست‌گذاری

محققان METR احتیاط می‌کنند که نمودار افق زمانی نباید به‌عنوان معیار جهانی هوش تفسیر شود. این یک جایگزین (proxy) برای توانایی تکمیل وظایف با طول زمانی انسانی داده شده است، با فرض اینکه وظیفه به‌وضوح قابل مشخص‌سازی و امتیازدهی خودکار باشد. داده‌های جدید گویای آن است که روند نمایی برای وظایف باز در نهایت به سطح ثابت (plateau) می‌رسد، مگر اینکه پارادایم‌های آموزشی نوین — نظیر یادگیری از بازخورد انسانی، تقلید از استدلال کارشناس، یا رویکردهای ترکیبی نمادین-عصبی — در مقیاس وسیع تدوین شوند.
از منظر سیاست‌گذاری، نمودار به‌روزرسانی‌شده ضرورت گزارش شفاف شرایط ارزیابی را تقویت می‌کند. ذی‌نفعانی که بر اعداد سرتیتر — مانند «هوش مصنوعی اکنون می‌تواند وظایف ۸ ساعته انسانی را انجام دهد» — تکیه دارند، باید توزیع وظیفه‌های زیرین، مکانیزم تأیید و فاصله‌های اطمینان را درک کنند. گزارش توصیه می‌کند محک‌های آتی یک تاکسونومی استاندارد بپذیرند که وظایف قابل تأیید را از غیرقابل تأیید جدا کند، و سازمان‌های تأمین مالی اولویت را به تحقیق در ارزیابی قابل اعتماد قابلیت‌های قضاوت‌محور دهند.
شرکت‌هایی که سنگین بر روی دستیارهای کدنویسی، تست خودکار، یا ابزارهای استدلال ریاضی سرمایه‌گذاری کرده‌اند می‌توانند پیشرفت سریع تداوم‌یافته را انتظار داشته باشند، چرا که این بارهای کاری در رژیم قابل تأیید قرار دارند که یادگیری تقویتی در آن شکوفا است. با این حال، تیم‌های محصولی که هدف استقرار هوش مصنوعی برای وظایفی نظیر مرور قرارداد حقوقی، پشتیبانی تصمیم‌گیری بالینی، یا تولید محتوای خلاقانه هستند، باید انتظارات را تعدیل کنند: قوانین مقیاس‌پذیری همانند هنوز اعمال نمی‌شوند و سطح خطا در این حوزه‌ها به ناکافی نقشه‌برداری شده است. سرمایه‌گذاران و اعضای هیئت مدیره باید پیش از تعهد سرمایه به پلتفرم‌های هوش مصنوعی پهنه‌گسترده، معیارهای عملکرد تفکیک‌شده که محک‌های قابل تأیید را از قضاوت‌محورها جدا می‌کنند، درخواست کنند.

گام بعدی شما

  • معیارهای ارزیابی داخلی خود را بازبینی کنید: آیا محک‌های فعلی‌تان وظایف قابل تأیید و قضاوت‌محور را تفکیک می‌کنند؟
  • برای کاربردهای حساس (حقوقی، پزشکی، خلاقانه)، معیارهای خطا و نرخ شکست را روی وظایف باز واقعی‌محور بسنجید، نه فقط روی محک‌های عمومی.
  • در تصمیم‌های سرمایه‌گذاری، تقاضای گزارش عملکرد تفکیک‌شده بر اساس نوع وظیفه و مکانیزم تأیید کنید.
چرا این موضوع مهم است؟

این گزارش مرز پیشرفت هوش مصنوعی را از «اندازه مدل» به «نوع بازخورد» منتقل می‌کند: شرکت‌ها و سیاست‌گذاران باید معیارهای ارزیابی را بر اساس مکانیزم تأیید تفکیک کنند، وگرنه سیستم‌ها در محک‌ها برتری یابند اما در استقرار واقعی شکست بخورند. شکاف بین مقیاس‌پذیری در حوزه‌های قابل تأیید و ناتوانی در حوزه‌های قضاوت‌محور، مرز واقعی پیشرفت فعلی هوش مصنوعی است.

تأثیر برای ایران

دسترسی ایرانیان به API مدل‌های پیشرو محدود است؛ این گزارش بیشتر برای پژوهشگران محک و تیم‌های ارزیابی داخلی مرتبط است تا توسعه‌دهندگان محصول در ایران.

·نگاه ما
تحریریه دات‌هوش

شکاف بین مقیاس‌پذیری در حوزه‌های قابل تأیید و ناتوانی در حوزه‌های قضاوت‌محور، مرز واقعی پیشرفت فعلی هوش مصنوعی است — نه پارامترها، نه محاسبات، بلکه نحوه بازخورد. تا زمانی که یادگیری تقویتی فقط روی سیگنال‌های دودویی کار می‌کند، مدل‌ها در «کار واقعی» که مبهم، پرازیا و با تأخیر است، پیشرفت نخواهد کرد. پارادایم بعدی باید بازخورد را به عنوان یک سیگنال پیوسته، ساختاری و انسانی-محور بازتعریف کند.

منابع

این گزارش با خط‌لولهٔ خودکار دات‌هوش از منابع معتبر جهانی تدوین و زیر نظر تحریریه منتشر شده است. روش کار ما

گفتگو

پنج‌شنبه‌های هوش‌محور

بسته‌ی هفتگی دات‌هوش

۵ خبر، ۲ ابزار، ۱ پرامپت در هر شماره. به‌زودی راه‌اندازی می‌شود — هر پنج‌شنبه صبح.

خبر کلیدی
ابزار کاربردی
پرامپت حرفه‌ای
تحلیل پژوهش
به‌زودی
زاویه‌ی ایرانی
به‌زودی
تمرین این هفته
به‌زودی

راهنماهای دات‌هوش

راهنماهای کاربردیِ دات‌هوش برای کار با هوش مصنوعی — از همین‌جا شروع کنید:

دات‌هوش

راهنمای فارسی هوش مصنوعی — با نگاه به ایران

اخبار روزانه، معرفی ابزارها و مدل‌ها، و آموزشِ کار با هوش مصنوعی؛ همیشه با این پرسش که از ایران چه چیزی کار می‌کند و چه چیزی نه.