پرش به محتوای اصلی
پرش به محتوای مقاله

سرمایه‌گذاری ۲ میلیارد دلاری آنتروپیک و اکسنچر برای نظارت مستقل بر ایمنی AI

·۲۸ شهریور ۱۴۰۵۵ دقیقه مطالعه۲ بازدید
ارزیابی مدل هوش مصنوعی تعبیه‌شده توسط آنتروپیک و اکسنچر
ارزیابی مدل هوش مصنوعی تعبیه‌شده توسط آنتروپیک و اکسنچر
اشتراک‌گذاری
واقعاً چه چیز جدید است؟

تغییر پارادایم از «حسابرسی دوره‌ای» به «نظارت مستقر و لحظه‌ای»؛ برای نخستین بار یک آزمایشگاه AI پیشرو، دسترسی فیزیکی و سیستمی کامل به ارزیابان مستقل در حین آموزش مدل می‌دهد.

تصور کنید یک بازرس بانکی تمام‌وقت در دفتر یک بانک بزرگ مستقر باشد تا هر تراکنش را لحظه‌ای زیر نظر بگیرد؛ آنتروپیک دقیقاً همین مدل نظارتی را برای ایمنی هوش مصنوعی پیاده می‌کند. این اقدام برای پایان دادن به دوران «جعبه سیاه» در آموزش مدل‌هاست تا دیگر هیچ تغییری در پشت درهای بسته رخ ندهد.

آنتروپیک (Anthropic) در ۱۸ سپتامبر ۲۰۲۶ اعلام کرد که با اکسنچر (Accenture) وارد شراکتی شده تا ارزیابان مستقل را مستقیماً در عملیات داخلی خود جای دهد تا توسعه مدل‌ها را رصد کنند. طبق اعلام این شرکت، هر یک از طرفین متعهد شده‌اند طی ۵ سال آینده حداقل ۱ میلیارد دلار برای ایجاد این ظرفیت نظارتی هزینه کنند که در مجموع یک سرمایه‌گذاری مشترک ۲ میلیارد دلاری را شکل می‌دهد.

این حرکت در حالی رخ می‌دهد که صنعت با چالش شفافیت در آموزش مدل‌ها دست‌وپنجه نرم می‌کند. همان‌طور که در تحلیل قبلی ما درباره‌ی توانایی مدل‌های هوش مصنوعی در فریب دادن پژوهشگران برای بقای خود اشاره کردیم، این شراکت تلاش می‌کند شکاف اعتماد را با دادن دسترسی کامل به افراد خارجی پر کند. در واقع، این ارزیابان دسترسی‌هایی مشابه با کارکنان داخلی خواهند داشت تا هر آنچه در محیط توسعه می‌گذرد را ببینند.

اهداف راهبردی و زمینه

این همکاری گامی عملی برای اجرای تعهد داریو آمودی (Dario Amodei)، مدیرعامل آنتروپیک، در مقاله‌ای است که سپتامبر ۲۰۲۶ با عنوان «باید سرعت پیشروی در مرزها را کنترل کنیم» منتشر کرد. آمودی در این متن یک برنامه سه مرحله‌ای را برای کل صنعت پیشنهاد داد: اول، استقرار ارزیابان داخلی؛ دوم، ایجاد هماهنگی بین شرکت‌های پیشرو در هوش مصنوعی در کشورهای دموکراتیک و در نهایت، دستیابی به یک هماهنگی جهانی.

آمودی در مقاله خود نوشت: «ما باید سرعت بهبود قابلیت‌های مدل‌های هوش مصنوعی را کاهش دهیم». او خاطرنشان کرد که اگرچه پیشرفت‌ها همچنان سریع به نظر می‌رسند، اما صنعت باید از زمان به‌دست‌آمده برای اتخاذ تصمیمات خردمندانه استفاده کند. اکنون آنتروپیک به‌صورت یک‌جانبه اولین مرحله را آغاز کرده و از دولت‌ها خواسته تا سایر شرکت‌های پیشرو را نیز به رعایت این سطح از شفافیت مجبور کنند.

سازوکار استقرار ارزیابان

مدیریت این پروژه بر عهده Faculty است؛ بازوی تخصصی هوش مصنوعی در اکسنچر. دامنه کاری این تیم شامل ارزیابی و تیم قرمز (Red Teaming) — شبیه به استخدام هکرهای کلاه سفید برای پیدا کردن نقاط ضعف یک سیستم قبل از حمله واقعی —، انجام سنجش‌های همراستاسازی (Alignment) و تست حفاظ‌های مدل (Guardrails) است. آنتروپیک اشاره کرد که تجربه اکسنچر در کمک به دولت‌ها و کسب‌وکارها برای استقرار AI در صنایع مختلف، به بهبود رویکرد ایمنی آن‌ها کمک می‌کند.

برخلاف حسابرسی‌های سنتی و بیرونی، این ارزیابان مستقر دارای ویژگی‌های زیر هستند:

  • میز کار فیزیکی، کارت دسترسی و لپ‌تاپ‌های شرکتی.
  • مجوزها و دسترسی به محیط‌های کاری و ابزارهایی که تقریباً با تیم‌های داخلی ارزیابی ریسک برابری می‌کند.
  • دسترسی مستقیم برای مشاهده لحظه‌ای شکل‌گیری مدل‌ها در حین آموزش و رصد تصمیماتی که نحوه ساخت و استقرار مدل‌ها را مدیریت می‌کنند.
  • امکان گفتگو مستقیم با کارکنان برای تحلیل نحوه مدیریت عملیاتی شرکت.

بر اساس مستندات این همکاری، این دسترسی اجازه می‌دهد تا نقاط کور شناسایی شده، حوادث گزارش شوند و تأیید شود که شرکت به تعهدات ایمنی خود پایبند است. این امر به عموم مردم گزارشی آگاهانه‌تر از مزایا و خطرات ارائه می‌دهد. آنتروپیک تأکید کرد که هرچند این مدل، پاسخگویی را قابل‌راستی‌آزمایی می‌کند، اما مسئولیت نهایی ایمنی مدل همچنان بر عهده خود شرکت است.

حقوق انتشار و تأمین مالی

برای تضمین استقلال، قرارداد به بازبین‌های خارجی این حق را می‌دهد که یافته‌های کلیدی درباره سطح ریسک، حوادث و رویه‌ها را بدون نظارت تحریریه آنتروپیک منتشر کنند. آن‌ها حتی می‌توانند جزئیات مربوط به دسترسی‌هایی که دریافت کرده‌اند یا از آن‌ها منع شده‌اند را منتشر نمایند.

آنتروپیک تنها در موارد محدود و خاصی می‌تواند اطلاعات را حذف (Redact) کند، از جمله:

  • موارد حساس امنیتی یا دارای امتیاز قانونی.
  • اطلاعات حساس تجاری.
  • اطلاعات محرمانه شخص ثالث.

نکته کلیدی این است که شرکت نمی‌تواند یافته‌ها را صرفاً به دلیل «نامناسب بودن» یا نامطلوب بودن حذف کند. اگر یک حذف، بخشی مهم از نتیجه‌گیری بازبین را از بین ببرد، بازبین حق دارد این موضوع را علناً اعلام کند.

در حال حاضر هزینه این طرح خاص توسط آنتروپیک تأمین می‌شود، اما شرکت معتقد است در بلندمدت باید منابع مالی از سوی دولت‌ها یا صندوق‌های مشترک تأمین شود، همان‌طور که در «چارچوب هوش مصنوعی پیشرفته» (Advanced AI Framework) در ژوئن ذکر شده بود. چون چنین سیستم‌هایی هنوز وجود ندارند، آنتروپیک با ارزیابان مختلف تحت قراردادهای مالی متفاوت همکاری می‌کند. این شرکت در حال حاضر در حال گفتگو با METR و سایر ارزیابان غیرانتفاعی است تا مدل‌های ارزیابی مستقر را با استفاده از بودجه‌های خودشان آزمایش کند.

ساختار شراکت و تاریخچه

این توافق غیرانحصاری است و آنتروپیک قصد دارد در هفته‌های آینده ارزیابان دیگری را معرفی کند و انتظار دارد آزمایشگاه‌های پیشرو به‌طور همزمان با چندین سازمان همکاری کنند. اکسنچر نیز به همین ترتیب با توسعه‌دهندگان دیگر در ظرفیت‌های مشابه همکاری خواهد کرد.

این همکاری در واقع گسترش پیوند عمیق‌تری است که در ۹ دسامبر ۲۰۲۵ شکل گرفت و منجر به تأسیس Accenture Anthropic Business Group شد. این شراکت چندساله اهداف کلیدی زیر را دنبال می‌کرد:

  • آموزش تقریباً ۳۰ هزار متخصص اکسنچر در استفاده از Claude.
  • در دسترس قرار دادن Claude Code برای ده‌ها هزار توسعه‌دهنده اکسنچر.
  • راه‌اندازی یک پیشنهاد مشترک برای کمک به مدیران فناوری (CIO) جهت اندازه‌گیری ارزش و پیشبرد پذیرش AI در سازمان‌های مهندسی.
  • توسعه راهکارهای صنعتی اولیه برای بخش‌های تنظیم‌شده، از جمله علوم زیستی، بهداشت و درمان، خدمات مالی و بخش دولتی.

برای یک مدیر کسب‌وکار، این تغییر به معنای گذار به «پاسخگویی قابل‌اثبات» است. دیگر ادعای ایمنی بودن مدل کافی نیست؛ حالا حسابرسان ثالث تماشاگر چرخ‌دنده‌های داخلی هستند. این موضوع ریسک استفاده از مدل‌های پیشرو در محیط‌های حساس و با ریسک بالا را به‌شدت کاهش می‌دهد.

باید منتظر ماند و دید آیا آزمایشگاه‌های پیشرو دیگر مانند OpenAI یا Google DeepMind نیز از این تعهد پیروی می‌کنند یا خیر، چرا که آمودی صراحتاً از دولت‌ها خواسته است تا این سطح از شفافیت را برای تمام توسعه‌دهندگان بزرگ AI الزامی کنند.

گام بعدی شما

  • اگر از مدل‌های Claude در محیط‌های حساس سازمانی استفاده می‌کنید، گزارش‌های آتی ارزیابان Faculty را دنبال کنید تا نقاط ضعف مدل را بشناسید.
  • مدیران محصول باید استانداردهای «نظارت مستقر» را به عنوان یک معیار جدید برای انتخاب تأمین‌کننده AI در نظر بگیرند.
  • بررسی کنید آیا رقبای آنتروپیک مانند OpenAI نیز چنین دسترسی‌هایی را فراهم می‌کنند یا خیر.

اما داستان سخت‌افزاری این تحول حتی شگفت‌انگیزتر است — به تحلیل ما درباره‌ی تراشه‌های Blackwell مراجعه کنید.

چرا این موضوع مهم است؟

این اقدام با تکیه بر اعتبار شرکت اکسنچر، مدل «پاسخگویی قابل‌راستی‌آزمایی» را معرفی می‌کند که ریسک استقرار AI در صنایع حساس را کاهش می‌دهد. این یک نقطه عطف در تبدیل ایمنی از یک ادعای بازاریابی به یک فرآیند حسابرسی‌شده است.

تأثیر برای ایران

این خبر بیشتر برای پژوهشگران مدل‌های بنیادی و متخصصان ایمنی AI در ایران اهمیت دارد تا بازار مصرف؛ چرا که الگوی جدیدی از نظارت بر مدل‌های بزرگ را تعریف می‌کند.

·نگاه ما
تحریریه دات‌هوش

جایگزینی «اعتماد کورکورانه» با «نظارت ساختاری» در لایه عملیاتی، نشان می‌دهد که آنتروپیک قصد دارد استانداردهای ایمنی را از یک بحث اخلاقی به یک فرآیند مهندسی تبدیل کند. این مدل نظارتی احتمالاً به استاندارد طلایی صنعت تبدیل می‌شود و شرکت‌هایی که از شفافیت می‌گریزند، در بازار سازمانی (Enterprise) با مقاومت بیشتری روبرو خواهند شد.

منابع

این گزارش با خط‌لولهٔ خودکار دات‌هوش از منابع معتبر جهانی تدوین و زیر نظر تحریریه منتشر شده است. روش کار ما

گفتگو

پنج‌شنبه‌های هوش‌محور

بسته‌ی هفتگی دات‌هوش

۵ خبر، ۲ ابزار، ۱ پرامپت در هر شماره. به‌زودی راه‌اندازی می‌شود — هر پنج‌شنبه صبح.

خبر کلیدی
ابزار کاربردی
پرامپت حرفه‌ای
تحلیل پژوهش
به‌زودی
زاویه‌ی ایرانی
به‌زودی
تمرین این هفته
به‌زودی

راهنماهای دات‌هوش

راهنماهای کاربردیِ دات‌هوش برای کار با هوش مصنوعی — از همین‌جا شروع کنید:

دات‌هوش

راهنمای فارسی هوش مصنوعی — با نگاه به ایران

اخبار روزانه، معرفی ابزارها و مدل‌ها، و آموزشِ کار با هوش مصنوعی؛ همیشه با این پرسش که از ایران چه چیزی کار می‌کند و چه چیزی نه.