قراردادهای خرید نرم‌افزار به ابزار نظارتی جدید برای مهار هوش مصنوعی تبدیل شدند

تصور کنید نرم‌افزار شما نه توسط یک قانون ملی، بلکه به‌دلیل ناتوانی در اثبات نحوه‌ی مدیریت سوگیری‌ها، برای خریداران دولتی «غیرقابل خرید» شود. این واقعیت جدیدی است که در ایالات متحده در حال شکل‌گیری است و نظارت بر فناوری را از سالن دادگاه‌ها به متن قراردادها منتقل می‌کند.

در حالی که قانون‌گذاران فدرال هنوز در حال بحث درباره قوانین کلی هستند، بخش‌های تدارکات (Procurement) در ایالت‌ها از همین حالا قوانین سخت‌گیرانه‌ای را برای هر فروشنده‌ای که خواهان قرارداد دولتی است، اجرا می‌کنند. برای کسب‌وکارها، توانایی اثبات ایمنی هوش مصنوعی دیگر یک مزیت قانونی نیست، بلکه به «بهای ورود» به بازار بخش عمومی تبدیل شده است.

بیشتر مقررات فعلی در نهادهای قانون‌گذاری پیش می‌روند که ذاتاً کند هستند. اما تدارکات متفاوت است چون مستقیماً روی چیزی دست می‌گذارد که فروشندگان بیشترین اهمیت را به آن می‌دهند: قرارداد مالی. خریداران با تعیین الزامات خاص برای خرید، بدون نیاز به تصویب لایحه در کنگره، قوانینی فوری و قابل اجرا ایجاد می‌کنند.

همان‌طور که در تحلیل‌های پیشین ما درباره‌ی استانداردهای ایمنی مدل‌های زبانی اشاره کردیم، شکاف میان سرعت توسعه فناوری و سرعت قانون‌گذاری هر روز عمیق‌تر می‌شود. در این فضای خالی، تدارکات ایالتی در آمریکا اغلب استانداردهای ملی را تعیین می‌کند. این رویکرد در حالی رخ می‌دهد که بحث‌های حقوقی پیچیده‌ای پیرامون مسئولیت محصول در صنعت AI و معافیت‌های ضد انحصار در جریان است تا مشخص شود چه کسی در برابر خطاهای مدل‌ها پاسخگو است.

الگوی کالیفرنیا

به نقل از گزارش unite.ai، ایالت کالیفرنیا الزامات مشخصی را برای هر محصول یا خدمتی که از هوش مصنوعی زاینده (Generative AI) — شبیه به نویسنده‌ای که میلیاردها متن را خوانده و حالا می‌تواند هر چیزی را شبیه‌سازی کند — استفاده می‌کند، اجرا کرده است. این فرآیند به‌گونه‌ای طراحی شده که سخت‌گیرانه و شفاف باشد:

• دسته‌بندی ریسک: نهادهای دولتی باید ریسک خریدهای هوش مصنوعی زاینده را ارزیابی کنند. استفاده‌های با ریسک متوسط و بالا، بررسی‌های تکمیلی توسط دپارتمان فناوری کالیفرنیا (CDT) را فعال می‌کند.
• افشای اجباری: درخواست‌های خرید اکنون شامل متون افشای مشخصی هستند. فروشندگان باید استفاده از هوش مصنوعی را حتی اگر این فناوری تنها بخشی کوچک از خدمت اصلی باشد، فاش کنند.
• نظارت بر چرخه حیات: نظارت با امضای قرارداد تمام نمی‌شود. مدیران قراردادها فناوری را در طول زمان رصد می‌کنند، زیرا به‌روزرسانی یک مدل می‌تواند منجر به یک ارزیابی ریسک کاملاً جدید شود.

تدارکات به‌مثابه حاکمیت

دپارتمان‌های تدارکات به دلیل انعطاف‌پذیری بیشتر نسبت به نهادهای قانون‌گذاری، به مرکز فرماندهی حاکمیت هوش مصنوعی تبدیل شده‌اند. آن‌ها مخاطب مستقیمی دارند: هر کسی که خواهان قرارداد است. در نبود قوانین جامع فدرال، خریداران از تدارکات برای تعیین انتظارات خود استفاده می‌کنند.

آن‌ها تصمیم می‌گیرند چه شواهدی را ببینند و چه سطحی از ریسک را قبل از امضا بپذیرند. برای دولت‌های بزرگ و سازمان‌های عظیم، این الزامات وزن بسیار زیادی دارند.

تیم‌های تدارکات در بخش خصوصی نیز همین مسیر را دنبال می‌کنند. آن‌ها می‌پرسند هوش مصنوعی کجا استفاده شده و چه کنترل‌هایی برقرار است. سازمان‌ها پیش از این امنیت و حریم خصوصی را بررسی می‌کردند؛ اکنون هوش مصنوعی ریسک‌های جدیدی اضافه کرده که باید پیش از اجازه دسترسی فروشنده به داده‌های حساس یا تصمیم‌گیری درباره کارکنان، درک شوند. این نیاز به کنترل دقیق، سازمان‌ها را به سمت ابزارهای جدیدی سوق داده است، مشابه آنچه در سرمایه‌گذاری Reco برای مهار گسترش کنترل‌نشده‌ی عامل‌های هوش در محیط‌های سازمانی مشاهده می‌کنیم.

چرخش به سمت ریسک شخص ثالث

رویکرد کالیفرنیا تشخیص می‌دهد که هوش مصنوعی به‌ندرت یک محصول مستقل است. این فناوری اغلب در خدمات مشاوره یا زیرساخت‌های ابری جاسازی شده و یک زنجیره تأمین پیچیده از ریسک ایجاد می‌کند.

فرآیند کالیفرنیا به‌طور خاص هر دو خرید IT و غیر IT را که شامل هوش مصنوعی زاینده است، پوشش می‌دهد. این شامل مشاورانی می‌شود که از این فناوری برای ارائه خدمات استفاده می‌کنند. هر زمان که در مرحله تدارکات، هوش مصنوعی شناسایی شود، ارزیابی ریسک فعال می‌شود.

این روند دقیقاً مشابه تکامل امنیت سایبری است. سال‌ها پیش شرکت‌ها دریافتند که ایمن کردن محیط داخلی بی‌فایده است اگر تأمین‌کننده کنترل‌های ضعیفی داشته باشد. حاکمیت هوش مصنوعی نیز همین مسیر را می‌رود و ریسک فروشنده را به عنوان یک آسیب‌پذیری اصلی می‌بیند.

این وضعیت یک چالش سازمانی بزرگ ایجاد می‌کند. اکثر شرکت‌ها بخش‌های مجزایی برای امنیت، حریم خصوصی و حاکمیت هوش مصنوعی دارند. با این حال، یک اپلیکیشن واحد می‌تواند هم‌زمان باعث نشت حریم خصوصی، نقض امنیتی و تخلف مقرراتی شود. ساختن یک سیلو یا بخش مجزای دیگر برای مدیریت هوش مصنوعی، فقط جای بیشتری برای خطاهای احتمالی ایجاد می‌کند.

مشکل انطباق ایستا

انطباق (Compliance) سنتی یک رویداد «در یک لحظه» است؛ یک حسابرسی انجام می‌شود، پرسشنامه‌ای پر می‌شود و شرکت نفس راحتی می‌کشد. اما هوش مصنوعی این مدل را منسوخ می‌کند زیرا مدل‌ها دچار رانش (Drift) می‌شوند و ویژگی‌ها به‌صورت هفتگی تغییر می‌کنند.

هوش مصنوعی سیال است. مدل‌ها به‌روز می‌شوند، فروشندگان ویژگی‌های جدیدی عرضه می‌کنند و کارکنان کاربردهایی برای ابزارها پیدا می‌کنند که در زمان خرید پیش‌بینی نشده بود. داده‌ها نیز تغییر می‌کنند. این یعنی مقررات باید به اندازه خود فناوری پویا باشند.

راهنمای کالیفرنیا با الزام به ارزیابی مستمر خروجی‌ها، به این سیالیت پاسخ می‌دهد. این نظارت شامل موارد زیر است:

• محتوای نادرست یا ساختگی (توهم یا Hallucination) — مثل دوستی که با اطمینان خاطره‌ای را اشتباه تعریف می‌کند.
• سوگیری‌های نهفته در خروجی‌های مدل.
• کاربردهای پیش‌بینی‌نشده توسط کارکنان که پس از خرید ظاهر می‌شوند.

تغییرات یا اضافات در فناوری هوش مصنوعی زاینده در قراردادهایی که قبلاً نیاز به مشاوره CDT داشتند، می‌تواند منجر به ارزیابی مجدد اجباری شود. این رویکرد با چارچوب مدیریت ریسک هوش مصنوعی NIST همسو است که ریسک را نه یک خط پایان، بلکه یک حلقه مستمر در طول چرخه حیات هوش مصنوعی می‌بیند. در این میان، تکیه صرف بر معیارهای آماری می‌تواند گمراه‌کننده باشد، همان‌طور که در تحلیل ما درباره شکست نظارت انسانی به دلیل تله‌ی امتیاز اطمینان بررسی شده است.

از چک‌لیست‌ها به شواهد

بسیاری از شرکت‌ها سعی می‌کنند این مشکل را با گردش‌کارهای خودکار انطباق حل کنند. اما پر کردن یک چک‌لیست دیجیتال با حاکمیت واقعی متفاوت است. نباید کارایی را با مدیریت واقعی ریسک اشتباه گرفت.

تکمیل یک گردش‌کار نشان نمی‌دهد که آیا ریسک زیربنایی تغییر کرده است یا خیر. برای مثال، فروشنده‌ای که شش ماه پیش برای یک خدمت خاص «بدون هوش مصنوعی» بود، ممکن است اکنون از آن استفاده کند. انطباق باید مانند یک حلقه عمل کند: سازمان‌ها باید بدانند چه چیزی را مدیریت می‌کنند، تأیید کنند که کنترل‌ها کار می‌کنند و ریسک‌های جدید را به محض ظهور جذب کنند.

حاکمیت واقعی نیازمند مجموعه‌ای زنده از شواهد است. وقتی یک تیم تدارکات می‌پرسد یک مدل چگونه مدیریت می‌شود، پاسخ نمی‌تواند سندی از سال گذشته باشد. پاسخ باید نمایش لحظه‌ای از کنترل‌های فعال باشد. این مجموعه شواهد در حال تبدیل شدن به یک ارزش تجاری است.

برای بخش خصوصی نیز انگیزه مشابه است. سازمان‌های بزرگ به‌طور فزاینده‌ای از سپردن داده‌های حساس به فروشندگانی که شواهدی از کنترل‌های مناسب ندارند، واهمه دارند. دپارتمان تدارکات در واقع در حال تبدیل شدن به «مدیر ارشد ریسک» جدید است.

شرکت‌ها در نهایت متوجه می‌شوند که حاکمیت هوش مصنوعی کاری نیست که صرفاً چون رگولاتور می‌خواهد انجام دهند. آن‌ها هوش مصنوعی را مدیریت می‌کنند چون یک تیم تدارکات از آن‌ها خواسته است آن را اثبات کنند و آن‌ها برای بردن قرارداد، با خوشحالی این کار را می‌کنند. کسانی که حاکمیت هوش مصنوعی را یک مانع اداری می‌بینند، از قراردادهای بزرگ حذف می‌شوند و کسانی که آن را در دی‌ان‌ای عملیاتی خود می‌گنجانند، از آن به عنوان یک مزیت رقابتی استفاده خواهند کرد.

گام بعدی شما

• اگر فروشنده خدمات نرم‌افزاری هستید، از همین حالا یک «پوشه شواهد زنده» برای کنترل‌های ایمنی مدل‌هایتان ایجاد کنید.
• در قراردادهای خرید خود، بندهای «ارزیابی ریسک مستمر» را جایگزین چک‌لیست‌های تک‌مرحله‌ای کنید.
• مدل‌های حاکمیتی خود را با چارچوب NIST همسو کنید تا در برابر استانداردهای سخت‌گیرانه تدارکات آماده باشید.

اما داستان سخت‌افزاری این تحول حتی شگفت‌انگیزتر است — به تحلیل ما درباره‌ی تراشه‌های Blackwell مراجعه کنید.