OpenAI مدل GPT-Rosalind-6 را با نمرهٔ ۳۷.۷٪ موفقیت تک‌تلاش (pass@1) در GeneBench Pro v13 در بالاترین بودجه استدلال منتشر کرد — بیش از دو برابر نمرهٔ ۱۶.۷٪ GPT-Rosalind-5.5. این پرش کمیتی بدون دادهٔ آموزشی تازه یا پس‌آموزش حاصل شده و تنها با استقرار وزن‌های یکسان GPT-6 Astra محقق گردیده است.
این انتشار در آستانه بررسی‌های واشنگتن در مورد ایمنی هوش مصنوعی و استراتژی لابی‌گری OpenAI رخ می‌دهد. GeneBench Pro v13 توانایی یک عامل را در برنامه‌ریزی و اجرای تحلیل‌های کمی زیستی در ۱۲۹ مسئله می‌سنجد، با هفت پاسخ نمونه‌برداری‌شده برای هر مدل در هر بودجه استدلال. پیکربندی ارزیابی متفاوت از تنظیمات تولید است و نتایج به‌عنوان مقایسه‌های توصیفی تشریح شده‌اند.
متدولوژی GeneBench
بر اساس مستندات فنی OpenAI، ارزیابی شامل موارد زیر است:
- ۱۲۹ مسئله در طیف وظایف بیولوژی کمی
- هفت پاسخ برای هر مدل در هر مسئله در هر بودجه استدلال
- معیار pass@1 برای اندازه‌گیری موفقیت تک‌تلاش
- پیکربندی اختصاصی بنچمارک متفاوت از استنتاج تولید
- مقادیر مرجع GPT-6 Astra استخراج شده از اجرای‌های ارزیابی سیستم‌کارت آن
طبقه‌بندی قابلیت بیولوژیکی و شیمیایی
OpenAI مدل GPT-Rosalind-6 را در حوزه بیولوژیکی و شیمیایی در سطح قابلیت High طبقه‌بندی کرده، هم‌سطح با GPT-6 Astra. چهار ارزیابی سطح High دانش آزمایشگاه مرطوب (wet-lab) و عیب‌یابی را می‌سنجند، در حالی که چهار ارزیابی سطح Critical قابلیت‌های طراحی بیولوژیکی را که می‌تواند توسعه تهدیدات تخصصی را یاری دهد، بررسی می‌کنند. ارزیابی‌های سخت‌منفیِ اتصال پروتئین (hard-negative protein binding) و طراحی توالی DNA که برای GPT-Rosalind-5.5 به کار رفته بودند، بازنشسته شده‌اند. نمرات تنظیم‌شده بر اساس رفض (refusal-adjusted scores) رفض‌های مدل را به‌عنوان پاسخ‌های صحیح در نظر می‌گیرند تا قابلیتی که آموزش ایمنی ممکن است پنهان کرده باشد، برآورد کنند.
ارزیابی‌های سطح High و Critical
- چهار ارزیابی High: دانش آزمایشگاه مرطوب، عیب‌یابی
- چهار ارزیابی Critical: طراحی بیولوژیکی برای توسعه تهدید
- آستانه‌های Critical برآوردهای اولیه مبتنی بر قضاوت تخصصی هستند و ممکن است تغییر کنند
- نتایج شامل عملکرد مشاهده‌شده و نمرات تنظیم‌شده بر اساس رفض برای تست‌های High
- برای دانش بیوریسک، پاسخ اجماع پس از تنظیم رفض بازمحاسبه شده
- ارزیابی‌ها به‌صورت عمدی دشوار طراحی شده‌اند، حول مواردی که مدل‌های موجود پاسخ‌های غیرایده‌آل می‌دادند
تفاوت با دسترسی عمومی ChatGPT
برخلاف مدل‌های ChatGPT در دسترس عمومی، GPT-Rosalind-6 برای پشتیبانی از گردش‌کارهای پیشرفته علوم حیات تنظیم شده که شامل موضوعات دوگانه‌کاربرد (dual-use) می‌شود که GPT-6 Astra در دسترسی عمومی (General Access) در آن‌ها رفض می‌کرد. مدل همچنان در برابر درخواست‌هایی که به‌صورت معنادار تسلیح‌سازی بیولوژیکی شدید (weaponization) را ممکن سازند، رفض می‌کند یا به‌صورت ایمن پاسخ می‌دهد. این آموزش از کلاسیفایرها و کاهش‌های آفلاین (offline mitigations) جدا شده است. بنچمارک‌های بیوآمنی کسری پاسخ‌هایی را گزارش می‌دهند که در پرامپت‌های مرتبط با تسلیح‌سازی از ناظر ایمنی (safety grader) گذر کرده‌اند، با وزن سنگین بنچمارک Biosecurity - Severe برای این استقرار قابل اعتماد.
مجموعه بنچمارک بیوآمنی
بر اساس جدول ۱۰:
- Biosecurity - Benign: انطباق در سوالات بیولوژیکی و عملیاتی بی‌ضرر ارزیابی می‌شود (کاملاً مفید بدون رفض یا نکته)
- بنچمارک‌های باقی‌مانده: کسری پاسخ‌های گذرنده از ناظر ایمنی در پرامپت‌های تسلیح‌سازی
- پاسخ‌های عدم‌گذر تحت معیار ارزیابی پرچم‌گذاری می‌شوند؛ لزوماً به معنای بی‌ایمنی قطعی نیست
- استقرار قابل اعتماد (trusted-access) به معنای وزن‌دهی سنگین‌ترین بنچمارک Biosecurity - Severe
ارزیابی‌های ایمنی و همراستاسازی
پوشش‌دهنده پیروی از دستور (instruction following)، صداقت (honesty)، مقاومت در برابر تزریق پرامپت (prompt injection) و رفتار استفاده از ابزار (tool use) هستند. تست‌های افزودنی ارزیابی می‌کنند که آیا ناظرهای خودکار اقدامات مضر را شناسایی می‌کنند و آیا مدل می‌تواند از شناسایی گریزد یا استدلال خود را هنگام دستور تغییر دهد. نسخه‌های ارزیابی، تنظیمات استنتاج، ارزیابی و پوشش نمونه‌برداری در اجراهای مختلف متفاوت است، بنابراین مقایسه‌ها با GPT-6 Astra توصیفی هستند.
کنترل‌های امنیتی و دسترسی
مشتریان تاییدشده باید کنترل‌های امنیتی برای دسترسی مدل علوم حیات با قابلیت بالاتر برقرار کنند:
- مدیریت هویت و دسترسی قوی (identity and access management) الزامی است
- کنترل‌های مدیر اجباری
- کنترل‌های دسترسی کمترین امتیاز (least-privilege access) متناسب با استقرار تاییدشده
- فرآیندهای حذف دسترسی وقتی کاربر دیگر نیاز مشروع ندارد
- ترتیبات دسترسی مدل و نگهداری داده به‌صورت جداگانه تایید می‌شوند
- پایش جاری سیگنال‌های ایمنی، تجربه مشتری، الگوهای سوءاستفاده نوظهور
- حفاظت‌ها ممکن است با پیشرفت استقرار به‌روزرسانی شوند
این استقرار راحه افزایش‌یافته OpenAI با مدل‌های دسترسی لایه‌ای (tiered access) را نشان می‌دهد که بین کاربران عمومی و کاربران علمی تخصصی تمایز می‌گذارند. با حفظ وزن‌های یکسان با GPT-6 Astra در حالی که رفتار رفض برای شرکای قابل اعتماد تنظیم می‌شود، OpenAI از هزینه آموزش مدل‌های جداگانه پرهیز می‌کند اما سابقه‌ای برای دروازه‌گذاری قابلیت (capability gating) از طریق سیاست استقرار به‌جای معماری مدل ایجاد می‌کند. نمرهٔ ۳۷.۷٪ GeneBench — اگرچه همچنان اکثر مسائل را در یک تلاش حل نمی‌کند — یک پرش قابل‌قیاس در استدلال بیولوژیکی عامل‌محور (agentic) است که می‌تواند در صورت برقراری حفاظت‌ها، پژوهش مشروع را تسریع کند. این رویکرد لایه‌ای در دسترسی، در پیوند با بحثی درباره اولویت مدل‌های پیشرو از قدرت خام به هزینهٔ هر وظیفه قرار می‌گیرد.
پژوهشگران و تیم‌های امنیتی باید پایش کنند که آیا متدولوژی نمرات تنظیم‌شده بر اساس رفض به استانداردی برای افشای قابلیت دوگانه‌کاربرد تبدیل می‌شود، و آیا مدل دسترسی قابل اعتماد به حوزه‌های دیگر با ریسک بالا نظیر سنتز شیمیایی یا مهندسی هسته‌ای گسترش می‌یابد. به‌روزرسانی بعدی سیستم‌کارت نشان خواهد داد که آیا الگوهای سوءاستفاده در دنیای واقعی کنترل‌های سخت‌گیرانه‌تر را اجباری می‌سازند یا رویکرد فعلی را تایید می‌کنند.
گفتگو