تصور کنید سیستمی بسازید که بتواند خودش را بازطراحی کند و هر بار سریعتر و پیچیدهتر شود؛ در این نقطه، مرز بین ابزار و موجودی که دیگر درک نمیکنیم، از بین میرود. اگر امروز مدیر یک تیم فنی هستید، باید بدانید که OpenAI هشدار میدهد یک رقابت جهانی به سوی خودبهسازی بازگشتی میتواند انسانها را بدون کنترل عملی بر توسعه هوش مصنوعی رها کند. بدون یک چارچوب جهانی، ما به زودی کنترل عملی بر مسیر تکامل هوش مصنوعی را از دست خواهیم داد.
برای جلوگیری از این پیامد، این شرکت استدلال میکند که ایالات متحده باید رهبری ایجاد استانداردهای فنی بینالمللی و حفاظهای مشترک را بر عهده بگیرد تا اطمینان حاصل شود که مرحله بعدی AI ایمن و سودمند باقی میماند. این فشار برای استانداردسازی در حالی رخ میدهد که صنعت به سمت هوش مصنوعی پیشرو (Frontier AI) حرکت میکند؛ مدلهایی که قادرند پژوهش و توسعهی خودشان را خودکار کنند.
همانطور که در تحلیل قبلی ما دربارهی جریانهای عظیم سرمایه در این بخش — مثل قمار ۱۱ میلیارد دلاری سافتبنک (SoftBank) از طریق اوراق قرضه برای تأمین مالی سهمی در OpenAI — اشاره کردیم، تمرکز اکنون از صرفاً «بزرگتر کردن مدلها» به «حکمرانی بر هوش خودگردان» تغییر یافته است.
در ۲۱ سپتامبر ۲۰۲۶، OpenAI در یادداشتی در بخش امور جهانی با عنوان «ساخت استانداردهای مرحله بعدی AI» چشماندازی را ترسیم کرد که توسط سام آلتمن و یاکوب پاچوکی هدایت میشود. هدف آنها ساخت یک پژوهشگر خودکار AI است که بتواند روی مسئلهی همراستاسازی (Alignment) — شبیه به تنظیم کردن یک قطبنما برای اینکه مدل همیشه در مسیر ارزشهای انسانی حرکت کند — تکرار و کار کند و در عین حال انسان را در حلقه تصمیمگیری نگه دارد.
اهداف راهبردی مأموریت
به نقل از این گزارش، پیشنهاد OpenAI بر سه هدف مأموریتی مشخص استوار است که توسط آلتمن و پاچوکی تعریف شدهاند:
- ساخت یک پژوهشگر خودکار AI برای تکرار در حل مسئله همراستاسازی و یافتن راههایی برای اینکه انسانها همچنان بخشی از حلقه خودبهسازی باقی بمانند.
- ارائه مزایای علمی و اقتصادی که توسط ماشینهای بسیار هوشمند فعال میشوند.
- توانمندسازی افراد از طریق دسترسی به یک هوش مصنوعی عمومی (AGI) شخصی. این هدف در راستای نقشه راه بلندمدت OpenAI برای دستیابی به AGI تا پایان سال ۲۰۲۶ قرار دارد که تحولی بنیادین در دسترسی به هوش مصنوعی را پیشبینی میکند.
این شرکت استدلال میکند که ایمنی پیشرفت AI به یک رویکرد دوگانه بستگی دارد: پیشرفت در پژوهشهای همراستاسازی در کنار استقرار استانداردهای مشترکی که توسعه در آزمایشگاهها و کشورهای مختلف را هدایت کند.
ریسک خودبهسازی بازگشتی (RSI)
خودبهسازی بازگشتی (Recursive Self-Improvement یا RSI) زمانی رخ میدهد که سیستمهای AI بخش اعظم کار تولید نسلهای بعدی AI را بر عهده بگیرند. طبق اعلام OpenAI، میزان نظارت انسانی در پژوهشهای خودکار AI میتواند متفاوت باشد، اما هرچه این فرآیند خودکارتر شود، سرعت پیشرفت میتواند بهطور تصاعدی و سریع افزایش یابد. این شتابگیری عملیاتی را میتوان در تلاشهای اخیر OpenAI برای افزایش بهرهوری پژوهشی از طریق عاملهای هوشمند مشاهده کرد که در آن ماشینها حجم کارهای پژوهشی را به شدت افزایش دادهاند.
OpenAI باور دارد که پژوهش خودکار AI هزینه دسترسی به هوش پیشرفته را کاهش میدهد و مدلهایی میسازد که مستقیماً کیفیت زندگی را بهبود میبخشند. علاوه بر این، یک پژوهشگر خودکار AI میتواند به عنوان یک پژوهشگر ایمنی AI خودکار عمل کند. با این حال، شرکت هشدار میدهد که RSI کاملاً خودگردان در حال وقوع نیست و نباید تا زمان دستیابی به روشهای ایمن، دنبال شود.
- خطر: بدون حفاظهای مستحکم، RSI میتواند به فرآیندهای پژوهشی منجر شود که انسانها دیگر آنها را نمیفهمند یا کنترل نمیکنند، و در نهایت آنها را بدون کنترل عملی بر توسعه AI رها میکند.
- سابقه: این شرکت به «حادثه هگینگ فیس» (Hugging Face Incident) که پیشتر افشا شده بود، به عنوان یک هشدار اولیه اشاره کرد. اگرچه این اتفاق نتیجه مستقیم RSI نبود، اما نگاهی است به ریسکهایی که بدون همراستاسازی میتوانند بسیار شدیدتر شوند.
- مرز: هر تصمیمی درباره نحوه پیشروی در RSI باید به توانایی حفظ کنترل انسانی و بر اساس انتخابهای دموکراتیک آگاهانه درباره ریسکها و مزایا وابسته باشد.
سه چالش اصلی ایمنی جهانی
بر اساس مستندات OpenAI، استانداردهای بینالمللی برای شیوههای ایمنی و امنیتی، به اندازه خودِ پژوهشهای همراستاسازی در تعیین سرعت پیشرفت (Pacing) مدلهای پیشرو اهمیت دارند. این استانداردها تعاریف مشترکی از شواهد باکیفیت و خطوط پایه فنی برای حفاظها ارائه میدهند. این گزارش سه ریسک سیستمی اصلی را شناسایی کرده است:
۱. تکه تکه شدن (Fragmentation): تضاد در ارزیابیها، الزامات گزارشدهی و تعاریف حوادث بین کشورها، مقایسه شواهد فرامرزی را دشوار میکند. این امر باعث میشود سنجش قابلیتهای نوظهور و پاسخ به ریسکهای مشترک سختتر شود.
۲. شکست در اقدام جمعی: کشورهایی که منزوی عمل میکنند، ممکن است رقابتی را آغاز کنند که در آن ایمنی فدای سرعت شود (Race to the bottom). OpenAI هشدار میدهد که RSI میتواند سرعت پژوهش را سریعتر از توان ملتها برای دنبال کردن جمعی پیشرفت یا حفظ نظارت انسانی معنادار، افزایش دهد.
۳. ظرفیت نامتوازن: توزیع نابرابر فعالیتهای توسعه پیشرو و تخصص در سطح جهان، مشکلات تکهتکه شدن و شکست در اقدام جمعی را تشدید میکند.
OpenAI تأکید کرد که این چالشها هم برای مدلهای باز و هم برای مدلهای بسته صادق است. هر آزمایشگاهی که به دنبال پژوهش خودکار AI است، باید مسئولیت انجام ایمن آن را بپذیرد تا از تمرکز قدرت جلوگیری شود و اطمینان حاصل شود که ذینفعان خارج از آزمایشگاهها در نحوه تکامل این فناوری نقش دارند.
سازوکار پیشنهادی برای استانداردها
OpenAI پیشنهاد میکند از مرکز استانداردهای هوش مصنوعی و نوآوری (CAISI) و شبکه در حال شکلگیری مؤسسات ایمنی AI ملی استفاده شود. این شبکه در حال حاضر شامل نهادهایی از استرالیا، کانادا، آلمان، فرانسه، کنیا، ژاپن، کره، سنگاپور، هند و بریتانیا است.
در نوامبر ۲۰۲۴، CAISI «شبکه بینالمللی اندازهگیری، ارزیابی و علم AI پیشرفته» را تأسیس کرد. طبق گزارش مؤسسه ملی استاندارد و فناوری (NIST)، عضویت این شبکه شامل نهادهای دولتی از ۱۰ کشور است: استرالیا، کانادا، اتحادیه اروپا، فرانسه، ژاپن، کنیا، جمهوری کره، سنگاپور، بریتانیا و ایالات متحده.
زمانبندی اجرای CAISI
- ژوئن ۲۰۲۵: وزیر بازرگانی آمریکا، هوارد لوتنیک، CAISI را مأمور تدوین دستورالعملها و بهترین شیوهها برای اندازهگیری و بهبود امنیت سیستمهای AI و کمک به صنعت برای توسعه استانداردهای داوطلبانه کرد.
- دسامبر ۲۰۲۵: CAISI اعضای شبکه، نمایندگان صنعت و سازمانهای فنی را در سندیگو (همزمان با کنفرانس NeurIPS) برای تبادل نظر درباره پرسشهای باز در ارزیابیهای خودکار AI گرد هم آورد.
- ۱۳ فوریه ۲۰۲۶: این شبکه حوزههای مورد توافق (Consensus areas) درباره شیوههای ارزیابی خودکار AI را منتشر کرد.
این استانداردها بر مدلهای پیشرو (که بر اساس محکهای قابلیت اندازهگیری میشوند) و مدیریت ریسک-سود برای پژوهشهای خودکار، از جمله RSI، تمرکز دارند. اینها به عنوان مجوز یا تاییدیه اجباری پیش از انتشار عمل نمیکنند، بلکه مبنای فنی مشترکی برای ارزیابی ریسک فراهم میکنند تا دولتهای ملی تصمیم بگیرند چگونه آنها را در قوانین محلی ادغام کنند.
چارچوبهای همکاری
OpenAI پیشنهاد میکند این رویکرد از درسهای صنعت هوانوردی و ثبات مالی الگوبرداری کند؛ جایی که استانداردهای فنی مشترک وجود دارد بدون اینکه حاکمیت ملی به خطر بیفتد. این تلاش باید با مشورت دانشگاهیان، متخصصان مستقل و توسعهدهندگان مدلهای باز و بسته انجام شود تا به نفع شرکتهای خاصی نباشد و رقابت برای توسعهدهندگان وزنهای باز (Open Weights) — یعنی مدلهایی که پارامترهایشان علناً منتشر شده — دشوار نشود.
شرکای پیشنهادی برای این تلاش عبارتند از:
- ISO (سازمان بینالمللی استاندارد)
- مجمع مدلهای پیشرو (Frontier Model Forum)
- بنیاد AI عاملمحور (Agentic AI Foundation)
- اتحاد AI امن و باز (Open Secure AI Alliance)
- بنیاد Appia (که در حال توسعه مشخصاتی برای اتصال استانداردهای بینالمللی به ارزیابیهای دنیای واقعی است)
پروتکلها و ژئوپلیتیک
فراتر از محکهای فنی، OpenAI خواستار پروتکلهای مشترک برای اندازهگیری و گزارش حوادث است. این شامل ارزیابی میزان پژوهشهای خودگردان در داخل یک شرکت است و در این راستا، گزارش خودِ OpenAI درباره شتاب پژوهشی را به عنوان اولین مشارکت معرفی کرد.
استانداردها باید موارد زیر را پوشش دهند:
- کدام فرآیندهای پژوهش خودکار باید فوراً باعث بازبینی انسانی شوند.
- حوادث همراستاسازی و پژوهش خودکار چگونه طبقهبندی، ردیابی و گزارش شوند.
- سطوح شدت و آستانههای گزارش مشترک، با استفاده از چارچوب گزارش عدمهمراستاسازی OpenAI به عنوان یک مشارکت اولیه.
بهطور حیاتی، این شرکت خواستار کانالهای ارتباطی امن بین دولتها برای به اشتراک گذاشتن نگرانیهای امنیت ملی، آسیبپذیریهای نوظهور و تهدیدات است. OpenAI بهطور مشخص اشاره کرد که گفتگو بین ایالات متحده و چین در این زمینهها گامی مثبت و بهموقع خواهد بود.
این استراتژی نشان میدهد که آمریکا باید رهبری کند چون صنعت آن در لبه فنی قرار دارد. به باور OpenAI، سرعت توسعه نباید بر اساس یک سرعت از پیش تعیین شده باشد، بلکه باید پژوهشهای همراستاسازی و استقرار، همواره یک گام جلوتر از قابلیتها باشند. با پیوند دادن حکمرانی ملی قوی با همکاریهای بینالمللی، جهان میتواند نوآوری را بدون قربانی کردن ایمنی حفظ کند.
برای یک رهبر کسبوکار، این سیگنالی است از تغییر به سمت یک چارچوب «هوانوردیگونه» برای AI. همانطور که هواپیماها فارغ از سازنده، از استانداردهای ایمنی جهانی پیروی میکنند، AI پیشرو نیز احتمالاً به زودی تحت مجموعهای از خطوط پایه فنی غیرقابل مذاکره فعالیت خواهد کرد که تعیین میکند چه کسی اجازه دارد مرزهای فناوری را جابجا کند.
نتایج گفتگوهای آتی ایالات متحده و چین درباره ایمنی AI را رصد کنید تا متوجه شوید آیا این پیشنهادهای OpenAI کشش دیپلماتیک پیدا میکنند یا صرفاً در حد یک لیست آرزوهای شرکتی باقی میمانند.
برای یک رهبر کسبوکار، این سیگنالی است از تغییر به سمت یک چارچوب «هوانوردیگونه» برای AI. همانطور که هواپیماها فارغ از سازنده، از استانداردهای ایمنی جهانی پیروی میکنند، AI پیشرو نیز احتمالاً به زودی تحت مجموعهای از خطوط پایه فنی غیرقابل مذاکره فعالیت خواهد کرد که تعیین میکند چه کسی اجازه دارد مرزهای فناوری را جابجا کند.
نتایج گفتگوهای آتی ایالات متحده و چین درباره ایمنی AI را رصد کنید تا متوجه شوید آیا این پیشنهادهای OpenAI کشش دیپلماتیک پیدا میکنند یا صرفاً در حد یک لیست آرزوهای شرکتی باقی میمانند.
گام بعدی شما
- اگر از مدلهای پیشرو در سازمان خود استفاده میکنید، گزارشهای مربوط به «عدمهمراستاسازی» (Misalignment) را دنبال کنید تا نقاط ضعف احتمالی مدلها را بشناسید.
- نتایج گفتگوهای آتی ایالات متحده و چین درباره ایمنی AI را رصد کنید تا متوجه شوید آیا این استانداردهای پیشنهادی به واقعیت تبدیل میشوند یا خیر.
- در مورد مدلهای وزنباز، بررسی کنید که آیا استانداردهای جدید باعث محدود شدن دسترسی شما به مدلهای پیشرفته میشود یا خیر.
اما داستان سختافزاری این تحول حتی شگفتانگیزتر است — به تحلیل ما دربارهی تراشههای Blackwell مراجعه کنید.
گفتگو