تصور کنید جهانی را که در آن یک مدل هوش مصنوعی بتواند پیش از آنکه برای عموم منتشر شود، بهطور خودکار به سیستمهای امن نفوذ کرده و آنها را هک کند. برای جلوگیری از چنین سناریویی، دولت ایالات متحده از رهبران تاثیرگذارترین آزمایشگاههای هوش مصنوعی جهان — شامل OpenAI، Anthropic، Meta و Google — دعوت کرده است تا دربارهی یک چارچوب تازه نهاییشده برای تستهای داوطلبانهی امنیت سایبری بحث و تبادل نظر کنند. این ابتکار عمل پس از مجموعهای از نقضهای امنیتی involving agentهای شرکتهای OpenAI و Anthropic صورت گرفته و هدف آن شناسایی و کاهش توانمندیهای خطرناک است. همانطور که کاخ سفید نقشی فعالتر در نظارت بر توسعه مدلهای پیشرو (frontier models) ایفا میکند، چشمانداز ایمنی هوش مصنوعی از بحثهای تئوریک به سمت پیادهسازی معیارهای تست عملیاتی و ملموس در حال تغییر است.
بر اساس مستندات دولت آمریکا، این چارچوب در راستای فرمان اجرایی شماره ۲ (صادر شده در ژوئن ۲۰۲۴) طراحی شده است که بر نیاز به ارزیابیهای ایمنی دقیق و سختگیرانه برای سیستمهای هوش مصنوعی با ظرفیت بالا تأکید میکند. طبق این دستورالعمل، شرکتهای هوش مصنوعی بهصورت داوطلبانه دسترسی به مدلهای پیشرو خود را تا ۳۰ روز پیش از عرضه عمومی در اختیار دولت قرار میدهند. این پنجره زمانی به متخصصان فدرال اجازه میدهد تا مجموعهای از محکهای (Benchmarks) طبقهبندیشده و تستهای استرس را اجرا کنند تا اطمینان حاصل شود که مدلها دارای تواناییهایی نیستند که بتوانند به سلاح تبدیل شوند یا منجر به شکستهای سیستماتیک در امنیت سایبری گردند. جلسه پیشرو قرار است به عنوان یک جلسه بازبینی عمل کند تا چهار آزمایشگاه بزرگ بتوانند چارچوب نهایی شده را بررسی کنند، معیارهای خاص محکهای طبقهبندیشده را درک نمایند و در مورد لجستیک پیادهسازی هماهنگ شوند.
در این جلسات، سه چالش کلیدی و سوالات محوری روی میز است. نخست، دولت باید تعریفی دقیق و صریح از آنچه «مدل پیشرو» نامیده میشود، ارائه دهد. با توجه به اینکه مرز بین هوش مصنوعی تخصصی و هوش مصنوعی با هدف عمومی در حال محو شدن است، تعیین آستانهی مقدار محاسبات (Compute) یا سطح توانمندی که باعث فعال شدن این بازبینیهای ایمنی میشود، ضروری است. دوم، بحثهای جاری در مورد مدلهای متنباز یا همان مدلهای با وزنهای باز (Open-weight) است. در حالی که مدلهای اختصاصی (Proprietary) راحتتر قابل کنترل و محدود هستند، مدلهای وزنباز چالشی منحصربهفرد ایجاد میکنند: این مدلها پس از انتشار، در صورتی که آسیبپذیری در آنها پیدا شود، دیگر نمیتوانند «پس گرفته» شوند. کاخ سفید باید تصمیم بگیرد که آیا این چارچوب داوطلبانه شامل مدلهای باز هم میشود یا خیر و چگونه بدون خفه کردن نوآوریهای ذاتی در جامعه متنباز، انگیزههایی برای شفافیت ایجاد کند.
این فشار برای نظارت داخلی در حالی رخ میدهد که ایالات متحده تحت فشارهای بینالمللی قابل توجهی قرار دارد. «قانون هوش مصنوعی» اتحادیه اروپا (EU AI Act) در حال اجرایی شدن است و یک رژیم قانونی را معرفی میکند که میتواند بازبینی مدلها را اجباری کرده و جریمههای سنگینی برای عدم رعایت قوانین اعمال کند. کاخ سفید با ایجاد یک چارچوب داوطلبانه در آمریکا، تلاش میکند جایگزینی منعطف و صنعت-محور برای رویکرد نظارتی سختگیرانهتر اتحادیه اروپا ایجاد کند. با این حال، فشار داخلی در صنعت هوش مصنوعی نیز در حال افزایش است. بیش از ۱۲۰۰ پژوهشگر و کارکن هوش مصنوعی نامههای سرگشادهای را امضا کردهاند و خواستار کاهش سرعت توسعه مدلهای پیشرو شدهاند؛ آنها استدلال میکنند که سرعت فعلی استقرار مدلها بسیار سریعتر از توسعهی حفاظها (Guardrails) و نردههای ایمنی پیش میرود.
فراتر از راهروهای دولتی، پیامدهای عملی امنیت هوش مصنوعی در حال تبدیل شدن به موضوعی ملموس و حیاتی است. افشاگریهای اخیر درباره نفوذهای امنیتی توسط عاملها (agents) ثابت کرده است که هوش مصنوعی دیگر تنها یک چتبات برای ارائه اطلاعات نیست؛ بلکه در حال تبدیل شدن به یک «عامل فعال» است که قادر به تعامل با محیطهای نرمافزاری است. وقتی یک عامل هوش مصنوعی بتواند در یک سیستم فایل جابهجا شود یا کد اجرا کند، ریسک یک نفوذ امنیتی تصادفی یا عمدی بهطور تصاعدی افزایش مییابد. تمرکز کاخ سفید بر «تواناییهای هک» پاسخی مستقیم به این تکامل است. اگر یک مدل بتواند با یک دستور (Prompt) تحریک شود تا آسیبپذیریهای «روز صفر» (Zero-day) را در زیرساختهای حیاتی پیدا کند، پتانسیل ناپایداری جهانی بسیار بالا خواهد بود.
همانطور که صنعت به سمت هوش مصنوعی عاملمحور (Agentic AI) حرکت میکند — سیستمهایی که میتوانند بهطور مستقل برای کارهای چندمرحلهای برنامهریزی کرده و آنها را اجرا کنند — نیاز به یک محک ایمنی استاندارد غیرقابل انکار میشود. پنجره ۳۰ روزه پیش از عرضه، مانند یک شیر اطمینان عمل میکند تا آخرین بررسیها در برابر ریسکهای فاجعهبار انجام شود. با این حال، منتقدان استدلال میکنند که پایبندی داوطلبانه ناکافی است و تنها حسابرسیهای اجباری میتوانند بهطور واقعی امنیت عمومی را تضمین کنند. جلسه بین غولهای هوش مصنوعی و مقامات دولت ترامپ احتمالاً یک آزمون واقعی (Litmus test) خواهد بود تا مشخص شود آیا این صنعت حاضر است بخشی از سرعت رقابتی خود را بهخاطر امنیت جمعی فدا کند یا خیر.
در نهایت، هدف ایجاد یک اکوسیستم پایدار است که در آن نوآوری ادامه یابد اما توسط درک مشترکی از ریسک محدود شود. همکاری بین بخش دولتی و آزمایشگاههای خصوصی هوش مصنوعی نشاندهنده یک آتشبسی شکننده اما ضروری است. با توافق بر سر اینکه چه چیزی «توانمندی خطرناک» محسوب میشود، دولت و آزمایشگاهها میتوانند به سمتی حرکت کنند که در آن عاملهای هوش مصنوعی بهرهوری را افزایش دهند بدون اینکه یکپارچگی زیرساختهای دیجیتال جهانی را به خطر بیندازند. نتیجه این بحثها احتمالاً الگویی برای نحوه حکمرانی هوش مصنوعی در دهه آینده خواهد بود و تعادلی میان پیشران رهبری تکنولوژیک آمریکا و ضرورت ایمنی جهانی برقرار خواهد کرد.
گام بعدی شما
- اگر مدیر محصول هستید، در استراتژی توسعه مدلهای خود، بازه زمانی برای «تیم قرمز» (Red Teaming) پیشبینی کنید.
- توسعهدهندگان باید روی پیادهسازی لایههای نظارتی برای عاملهایی که دسترسی به اجرای کد دارند، متمرکز شوند.
- پیگیر نتایج این جلسات باشید تا متوجه شوید کدام قابلیتها بهعنوان «خطرناک» طبقهبندی میشوند.
اما داستان سختافزاری این تحول حتی شگفتانگیزتر است — به تحلیل ما دربارهی تراشههای Blackwell مراجعه کنید.
گفتگو