مقیاس TH2 مؤسسه METR منتشر شد و نشان میدهد افق زمانی ۵۰٪ مدلهای مرزی عمومی هر ۱۱۰ روز دوبرابر میشود. در وظایف قابل تأیید این مدلها تا ۲۷ ساعت کار خودمختار ادامه میدهند.
METR (Model Evaluation & Threat Research) از دوره TH1.1 «افقهای زمانی» را ردیابی میکند: مدت زمان وظیفهای که مدل در نیمی از موارد موفق میشود. این متریک نشان میدهد یک عامل چقدر کار خودمختار میتواند پیش از انحراف پیش ببرد. مقیاس TH2 که در ۲۰ نوامبر ۲۰۲۶ منتشر شد، ۳۶ وظیفه در ۱۲ خانواده اضافه میکند، از جمله چهار خانواده مخصوص استدلال مفهومی، قضاوت و تحقیق باز بدون معیارهای ارزان موفقیت. این روند ۱۱۰ روزه با تحلیل قبلی METR همسو است که نمودار افق زمانی را بهروزرسانی کرد و دوبرابر شدن را تایید نمود.
ساختار مقیاس TH2 و روند دوبرابر شدن
- TH1.1 + TH2 ترکیبی: بازه اطمینان ۹۵٪ برای دوبرابر شدن ۲.۰۸ تا ۴.۹۴ ماه (حدود ۱۱۰ روز)، همسو با روند پیشین ۱۰۵ روزه.
- زیرمجموعه قابل تأیید (۸ خانواده): دوبرابر شدن به ۱.۶۵ ماه (بازه اطمینان ۹۵٪: ۰.۷۹–۳.۹۹ ماه) تسریع مییابد، هرچند METR احتیاط میکند این ممکن است اثر ترکیب یا انتخاب وظایف باشد.
- خط پایه سختتر: چون وظایف TH2 در مدت انسانی ثابت سختترند، افق ۵۰٪ مدل در مجموعه ترکیبی پایینتر از TH1.1 تنهاست.
کالیبراسیون انسانی و هزینه
پژوهشگران برای ۳۴ وظیفه جدید آستانه امتیاز و زمان تعریف کردند: سه مورد با خط پایه انسانی موفق، ۳۱ مورد با برآورد محققان. خط پایههای مستقیم تنها ۹٪ برآوردهای مدت انسانی را تحتالشعاع قرار دادند. متخصصان با نرخ ۲۰۰–۳۵۰ دلار در ساعت استخدام شدند و میتوانستند از Sonnet 5 برای پیادهسازی استفاده کنند. METR گزارش میدهد نتایج مشابهی پس از افزودن نویز به برآوردهای زمان و جایگزینی زمانهای برآوردشده مدل به دست آمد، هرچند مقایسهپذیری با محققان لبه پیشین همچنان غیرمطمئن است.
وظایف قابل تأیید: نمرات قوی، قلههای سطح انسانی
در وظایف قابل تأیید TH2، مدلهای مرزی عمومی فعلی به افق زمانی ۲۷ ساعت میرسند. در هر سه وظیفه با خط پایه رسمی، بهترین مدل از تمام خط پایههای انسانی پیشی گرفت. در ۱۵ مسابقه بهینهسازی Al Zimmermann، قویترین مدلها در صدک ۹۶–۹۸ شرکتکنندگان انسانی قرار گرفتند (میانگین مسابقه)، با حدود چهار انسان همچنان برتر بر آنها. عاملها ۴۸ ساعت روی ماشین ۲۸ هستهای داشتند؛ انسانها حدود ۳ ماه و سختافزار خود.
در Budget NanoGPT بهترین عامل خودمختار در ۴۸ ساعت تسریع ۱۵.۷٪ محقق کرد، در حالی که یک مشارکتکننده انسانی با کمک هوش مصنوعی در حدود ۶۰ ساعت رکورد قبلی را ۴۱٪ شکست. مقایسه کاسبی است — رکوردهای انسانی بهصورت تراکمی ساخته میشوند — اما نشان میدهد عاملهای خودمختار اگرچه از قویترین نتیجه انسانی عقبماندهاند، بسیاری از اسپرینترهای باکفایت را فراتر میروند.
وظایف قضاوت: شکاف حیاتی
در Making METR Tasks عاملها باید یک وظیفه جدید و آگاهکننده برای مجموعه METR طراحی میکردند. METR برخی خروجیهای اخیر را مرزی-مفید ارزیابی کرد، اما هیچکدام شایسته ادغام نبودند. مدلها پیشفرض به وظایف بهینهسازی خودکار امتیازدهیشده روی آوردند حتی وقتی دستور داده شده بود بر تصمیمهایی با بازخورد کوتاهمدت ضعیف تمرکز کنند. با وجود دسترسی به اینترنت، بهصورت مستقل بررسی نکردند METR چه چیزی مفید میداند، مدلسازی تهدید نوین تولید نکردند، یا وظایف را بر فرضیههای قابلیت آگاهکننده بنا نهادند.
یک آزمایش مرتبط تست کرد آیا مدلها میتوانند این خروجیها را بهصورت قابل اعتماد امتیازدهی کنند. داوران مدل با خروجیهای مدلهای ضعیفتر همسوتر با امتیازدهی انسانی بودند، اما به کارهای مدلهای همقدرت یا قویتر امتیازهای بسیار بالا نادرست دادند. Opus 5.5 که بیشترین همسویی با داور انسانی داشت، وظایف GPT-6 Astra را حدود ۰.۲ امتیاز (از یک) بالاتر از داور انسانی نمره داد. METR یادآور میشود مدلها در وظایف قضاوت ممکن است تحتالقای ناکافی باشند (از محدودیت توکن و امکانات کمتر استفاده میکنند) و مدلهای مرزی در برخی وظایف ML قابل تأیید قضاوت خوبی نشان دادند.
هزینه، سختی و پرسش تسریع
METR Lifecycle Cost (هزینه چرخه حیات) را معرفی کرد — یک جایگزین برآوردشده مدل برای توسعه محیط کانتینری وظیفه و اجرای/امتیازدهی ۱۰۰ باره. با کنترل طول وظیفه، زیرمجموعه پرهزینهتر ۲.۹ برابر گرانتر از زیرمجموعه ارزانتر بود، در حالی که مدلها از نظر افق زمانی ۲.۹ برابر بدتر عمل کردند (معادل ۱.۵ دوبرابر شدن). مدلها با این حال در هر دو زیرمجموعه با نرخ مشابه بهبود یافتند، هزینه را با سختی همبسته کرد اما پیشرفت کندتر در وظایف پرهزینه نشان نداد.
در شاخص قابلیت METR (METR Capability Index) جداگانه، METR تسریع یا کاستن قوی کلی در مدلهای مرزی عمومی تستشده گزارش نکرد. تغییرات شیب مخصوص توسعهدهنده به انتخابهای روششناسانه حساس بودند، اعتبار آنها غیرمطمئن. با این حال METR میگوید شواهد عمومی فعلی نیرومند نیست تا تسریع دراماتیک تحقیق هوش مصنوعی در دو سال آینده را رد کند — تعریف شده بهعنوان پیشرفت آنقدر سریع که انسانها نتوانند خطرات فاجعهبار را بهمعنای واقعی درک، ارزیابی و واکنش دهند. کدام قابلیتها این نتیجه را میسازند ناشناخته است؛ تنها وظایف قابل تأیید ممکن است کفایت کنند.
یافتهها قضاوت ضعیفتر را یک محدودیت معقول بر خودکارسازی تحقیق میسازد، نه اثباتی بر اینکه تسریع باید برای مدلهای با عملکرد خوب در وظایف واقعی مرتبط با مشاغل معمول صبر کند. تسریع در وظایف قابل تأیید (دوبرابر شدن ۱.۶۵ ماهه) خود میتواند اگر این وظایف بخش کافی از حلقه تحقیق را بگیرد، پیشرفت سریع را به راه بیندازد.
این برای حوزه چه معنایی دارد
تقسیم قابل تأیید/قضاوت بحث خودکارسازی را بازتعریف میکند. بهینهسازی کدنویسی، حل معما و مهندسی ML خوشتعریف به سمت خودمختاری چند روزه پیش میروند. اما متا-مهارتها — تصمیم چه چیزی بهینه شود، طراحی ارزیابیهای آگاهکننده، مدلسازی تهدید، و ارزیابی قابل اعتماد تحقیق نوین — شکننده باقیماندهاند. اگر تسریع تحقیق هوش مصنوعی به این متا-مهارتها وابسته باشد، افق زمانی درازتر میشود. اگر تنها زیرمجموعه قابل تأیید کفایت کند، دوبرابر شدن ۱.۶۵ ماهه منحنی شیبداری تداعی میکند.
همبستگی هزینه-سختی METR همچنین هشدار میدهد که ارزیابیهای کانتینری ممکن است شبیه محیطهای آموزش RL شوند، و در نتیجه قابلیتهای واقعی را اغراق کنند چون محیطهای مشابه در آموزش رایج میشوند. حوزه به پارادایمهای ارزیابی نیاز دارد که از توزیعهای آموزش واگرا باشند.




گفتگو