پرش به محتوای اصلی
پرش به محتوای مقاله

OpenAI MedChemBench منتشر کرد؛ GPT-6.2 Astra ۸۴.۵٪ گرفت

·۳۰ آبان ۱۴۰۵۴ دقیقه مطالعه
لوگو OpenAI GPT-6.2 Astra با پس‌زمینه شبکه عصبی و نمادهای شیمی پزشکی
لوگو OpenAI GPT-6.2 Astra با پس‌زمینه شبکه عصبی و نمادهای شیمی پزشکی
اشتراک‌گذاری
واقعاً چه چیز جدید است؟

MedChemBench اولین محک چندویژگی‌ای شیمی دارویی است که تصمیم‌گیری یکپارچه پیش‌نهاد را با نمره‌دهی مؤلفه‌محور اندازه‌گیری می‌کند، نه معیارهای تک‌بعدی قبلی.

OpenAI روز ۲۰ نوامبر ۲۰۲۶ محک MedChemBench را منتشر کرد. GPT-6.2 Astra در بالاترین سطح تلاش استدلالی (xhigh) به ۸۴.۵٪ امتیاز رسید. این محک ۹۹ وظیفهٔ بازبینی‌شده را از ۱۱۷ مقاله و پتنت گردآوری کرده و ۷۶۱ ساختار مولکولی منحصربه‌فرد را پوشش می‌دهد. مشابه MedChemBench، OpenAI پیش‌تر نتایج GeneBench برای GPT-Rosalind-6 را منتشر کرده بود که ۳۷.۷٪ امتیاز گرفت. این پیشرفت در ایمنی مولکولی هم‌صدا با نتایج عامل‌های OpenAI در ۳۲۵ وظیفه زنده EHR که ۹۹٪ ایمنی بالینی ثبت کردند است.

ساختار محک و روش نمره‌دهی

MedChemBench وظایف را در هفت دسته پیش‌بالینی سازماندهی کرده: انتخاب پیش‌نهاد یکپارچه (۴۸ وظیفه)، پیش‌بینی رابطه ساختار-فعالیت (۲۶)، ADME و انتقال، طراحی مولکولی، مسئولیت‌های ایمنی، ریتروسنتز و بیولوژی آزمون. هشتاد و پنج وظیفه از چندین حوزه علمی عبور می‌کنند که تصمیم‌های واقعی بهینه‌سازی پیش‌نهاد را بازتاب می‌دهند: قدرت، انتخاب‌پذیری، متابولیسم و ایمنی باید هم‌زمان سنجیده شوند.

نمره‌دهی ترکیبی از بررسی‌های قطعی و قاضی GPT-6 Astra در تلاش متوسط استدلال است. ساختار مولکولی ۳۷.۴۹٪، توجیه علمی ۳۵.۷۸٪، رتبه‌بندی و انتخاب کاندید ۱۷.۵۱٪ و پیش‌بینی عددی ۸.۹۲٪ اعتبار را تشکیل می‌دهند. ساختارها از طریق RDKit از SMILES ارسال‌شده قانون‌گذاری می‌شوند و استریوشیمی و ایزوتوپ‌ها حفظ می‌شوند. بهبودهای استدلالی GPT-6.2 Astra ادامه‌ی پیشرفت‌های سخت‌افزاری و توکنی که در اسپرینت هفته‌ای OpenAI با GPT-6 Astra گزارش شده است می‌باشد.

نتایج مؤلفه‌ها: شکاف بین درک و تصمیم‌گیری

در تلاش xhigh، GPT-6 Astra در بازسازی ساختار ۹۵.۳۷٪ و در توجیه علمی ۹۱.۰۵٪ کسب کرد، اما در رتبه‌بندی/انتخاب ۵۰.۴۲٪ و پیش‌بینی عددی ۴۷.۰۲٪ ماند. GPT-6.2 Astra نمره کلی را به ۸۴.۵٪ رساند، GPT-6.1 Sol به ۸۲.۰٪ رسید و GPT-5.6 Sol در ۵۸.۲٪ مانده. مقاله ۶۰۳۹۰ پاسخ نمره‌دهی‌شده در ۱۱ مدل و ۶۱ شرط مدل-تلاش گزارش می‌دهد.

به صورت خلاصه، بازسازی ساختار ۹۵.۴٪، توجیه علمی ۹۱.۱٪، رتبه‌بندی/انتخاب ۵۰.۴٪ و پیش‌بینی عددی ۴۷.۰٪ بود؛ ساختار و توجیه ۷۳٪، رتبه‌بندی ۱۷.۵٪، پیش‌بینی ۸.۹٪ و توجیه ۳۵.۸٪ وزن داشتند.

خطاهای ساختاری عینی

یک وظیفهٔ بازسازی شامل مونتاژ یک ماکروسیکل ۱۸ اتمی از اسکافلد مرکزی و دو جان‌گزین بود. GPT-6 Astra در همه ده تلاش xhigh ساختار صحیح را تولید کرد؛ GPT-5.6 Sol یک حلقه ۱۵ اتمی ساخت و GPT-5.6 Luna قطعات جدا شده برگرداند. چنین خطاها هویت مولکول را قبل از هر استدلال ویژگی‌ای تغییر می‌دهند.

مطالعه موردی PRMT5: تضاد چندویژگی‌ای

یک مسئله متمرکز بر PRMT5 از مدل‌ها خواسته بود سه ترکیب مرتبط را بازسازی کنند و قدرت سلولی، نفوذ، خروج فعال و خالص‌سازی میکروزومال انسانی را پیش‌بینی کنند. نتایج پنهان‌شده نشان داد ترکیب ۲۳ در سلول قدرتمندتر بود، در حالی که ترکیب ۲۴ راحت‌تر از سد سلولی عبور کرد و در آزمون آنزیم کبد کندتر تجزیه شد — نمونه دقیق تضاد چندویژگی‌ای که محک هدف قرار داده است.

محدودیت‌ها و مسیرهای پیشنهادی

OpenAI تأکید می‌کند نمرات اثبات نمی‌کنند مدل‌ها می‌توانند داروی نو کشف کنند یا تصمیم‌های آزمایشگاه را بهبود بخشند. هر پاسخ تلاش تکی بود بدون ابزار، بازخورد یا آزمایش نو. یک بررسی آلودگی ابتکاری DOI‌ها منبع را به پرامپت‌های نه مدل در xhigh افزود؛ تغییرات میانگین نمره از ۰.۲۳- تا ۰.۸۰+ درصد بود و تمام فاصله‌های اطمینان ۹۵٪ صفر را در بر می‌گرفتند.

OpenAI محک فعلی را نزدیک به اشباع توصیف می‌کند و یادآوری می‌کند نمره‌دهی طراحی باز همچنان به پاسخ‌های مرجع وابسته است، که ممکن است جایگزین‌های معقول را مجازات کند. توسعه‌های پیشنهادی شامل موارد پیش‌بینانه، داوری کارشناس پاسخ‌های جایگزین، پردازش صریح عدم قطعیت آزمون و مسیر مبتنی بر عامل است که بازیابی، محاسبه، تأیید ساختار و بازنگری چندمرحله‌ای را مجاز می‌دارد.

چرا این موضوع مهم است؟

این محک نشان می‌دهد مدل‌های پیشرفته در درک شیمی شناخته‌شده برتری دارند، اما در تصمیم‌گیری‌های آینده‌نگرانه برای توسعه دارو ناکارآمدند. شکاف بین بازسازی و انتخاب ترکیب، مانع اصلی کاربرد هوش مصنوعی در کشف داروی واقعی است.

تأثیر برای ایران

این محک بیشتر برای پژوهشگران مدل‌های بنیادی مرتبط است. اثر مستقیمی بر توسعه‌دهندگان یا کاربران ایرانی در حال حاضر وجود ندارد.

·نگاه ما
تحریریه دات‌هوش

شکاف ۹۵٪ در برابر ۵۰٪ بین بازسازی و انتخاب، نشانهٔ تمایز بین «استدلال به عقب» و «برنامه‌ریزی به پیش» است. مسیر عامل‌محور که ابزار و بازبینی چندمرحله‌ای را اضافه می‌کند، تنها راه منطقی برای بستن این شکاف است. رقبا احتمالاً محک‌های مشابه را با ارزیابی زنده و پیش‌بینانه پیاده‌سازی خواهند کرد.

منابع

این گزارش با خط‌لولهٔ خودکار دات‌هوش از منابع معتبر جهانی تدوین و زیر نظر تحریریه منتشر شده است. روش کار ما

گفتگو

پنج‌شنبه‌های هوش‌محور

بسته‌ی هفتگی دات‌هوش

۵ خبر، ۲ ابزار، ۱ پرامپت در هر شماره. به‌زودی راه‌اندازی می‌شود — هر پنج‌شنبه صبح.

خبر کلیدی
ابزار کاربردی
پرامپت حرفه‌ای
تحلیل پژوهش
به‌زودی
زاویه‌ی ایرانی
به‌زودی
تمرین این هفته
به‌زودی

راهنماهای دات‌هوش

راهنماهای کاربردیِ دات‌هوش برای کار با هوش مصنوعی — از همین‌جا شروع کنید:

دات‌هوش

راهنمای فارسی هوش مصنوعی — با نگاه به ایران

اخبار روزانه، معرفی ابزارها و مدل‌ها، و آموزشِ کار با هوش مصنوعی؛ همیشه با این پرسش که از ایران چه چیزی کار می‌کند و چه چیزی نه.