تصور کنید یک مدل هوش مصنوعی، درخواست وام شما را صرفاً به‌دلیل محل سکونت یا پیشینه قومی رد کند، بدون اینکه هیچ انسانی بداند چرا این اتفاق افتاده است. برای جلوگیری از چنین سناریوهایی، بانک مرکزی برزیل (BCB) اکنون تمامی مؤسسات مالی مجاز را موظف کرده است تا پیش از به‌کارگیری هوش مصنوعی در عملیات حساس، حفاظ‌ها (Guardrails) — شبیه به نرده‌های ایمنی در لبهٔ یک پل که مانع سقوط کاربر می‌شود — را به‌صورت اجباری پیاده‌سازی کنند.
این اقدام برای مدیریت ریسک‌های سیستماتیک در حوزه‌هایی مثل امتیازدهی اعتباری، تشخیص کلاهبرداری و فرآیندهای «شناسایی مشتری» (KYC) صورت گرفته است. طبق اعلام این نهاد، هدف اصلی حذف سوگیری‌های پنهان، جلوگیری از شکست‌های عملیاتی در سیستم‌های خودکار و پیشگیری از نقص‌های انطباقی در این حوزه‌های پرریسک است.
همان‌طور که در تحلیل‌های پیشین ما درباره‌ی امنیت مدل‌های زبانی اشاره کردیم، نبودِ لایه‌های نظارتی در مدل‌های مولد می‌تواند منجر به تصمیمات غیرقابل‌توضیح شود. در برزیل، این فشار رگولاتوری در حالی رخ می‌دهد که بانک‌ها به‌طور فزاینده‌ای در حال خودکارسازی تصمیم‌گیری‌ها هستند. زیربنای قانونی این سخت‌گیری‌ها به «قانون تکمیلی ۱۰۵/۲۰۰۱» بازمی‌گردد که در ۱۰ ژانویه تصویب و در ۱۱ ژانویه ۲۰۰۱ منتشر شد. این قانون صراحتاً حفاظت از اسرار بانکی و یکپارچگی داده‌ها را الزامی می‌کند.
اگرچه قانون سال ۲۰۰۱ در زمان تدوین اشاره‌ای به هوش مصنوعی نکرده بود، اما BCB با استناد به ماده ۱ این قانون که مؤسسات را موظف به حفظ قابلیت اطمینان و امنیت داده‌ها می‌کند، بانک‌ها را مجبور به کاهش ریسک‌های ناشی از الگوریتم‌های «مبهم یا سوگیرانه» کرده است. همچنین ماده ۶ همین قانون (LC 105/2001)، اختیار قانونی لازم برای تحمیل شرایط عملیاتی اضافی را به بانک مرکزی داده است که مبنای مستقیم بخشنامه‌های فعلی در مورد هوش مصنوعی است.
بر اساس مستندات بانک مرکزی برزیل، این حفاظ‌ها ابزارهای کلی نیستند، بلکه مجموعه‌ای از اقدامات فنی، رویه‌ای و اخلاقی زمینه‌مند شامل موارد زیر هستند:
- اعتبارسنجی ورودی: فیلتر کردن داده‌ها پیش از رسیدن به مدل برای تضمین کیفیت و امنیت.
- تشخیص سوگیری: نظارت دقیق بر امتیازدهی اعتباری برای جلوگیری از تبعیض بر اساس داده‌های ممنوعه مانند نژاد، مذهب یا گرایش جنسی (جلوگیری از سوگیری الگوریتمی یا Algorithmic Bias).
- فیلتر خروجی: مسدود کردن استنتاج‌هایی که بر اساس دسته‌های داده ممنوعه تولید شده‌اند و تضمین اعتبار پاسخ‌ها.
- پایش رانش: ردیابی مداوم عملکرد مدل در طول زمان برای جلوگیری از افت کیفیت (Drift Monitoring).
- قابلیت ردیابی: مستندسازی تمام تصمیمات خودکار که بر حقوق مشتری اثر می‌گذارد تا قابل حسابرسی باشند، طبق الزامات ماده ۷ قطعنامه CMN 4.946/۲۰۲۱.
سخت‌گیری‌های فنی در ۱ جولای ۲۰۲۴ با اجرایی شدن «بخشنامه ۴۱۸۷/۲۰۲۴» افزایش یافت. این بخشنامه به‌طور مشخص الزام می‌کند که مدل‌های زبانی بزرگ (LLM) — مثل کتابخانه‌داری که میلیاردها صفحه را خوانده و حالا با همان لحن جواب می‌دهد — در بخش خدمات مشتری باید خروجی‌های اعتبارسنج‌شده داشته باشند، فیلترینگ سخت‌گیرانه‌ای برای اطلاعات حساس اعمال کنند و در صورت پردازش داده‌های شخصی، سوابق کامل تعاملات را ذخیره نمایند.
علاوه بر این، قطعنامه CMN 4.946/۲۰۲۱ که در ۲۲ سپتامبر ۲۰۲۱ منتشر شد، «مداخله انسانی قابل‌توجه» را برای تصمیمات پرریسک و با تأثیر بالا الزامی می‌کند. این یعنی حفاظ‌ها نمی‌توانند به‌طور کامل جایگزین بررسی انسانی در تایید وام‌ها شوند. تمام این حفاظ‌ها باید طبق الزامات ردیابی در ماده ۱۲ همین قطعنامه مستند شوند. این رویکرد تأکید می‌کند که در سیستم‌های حساس، مسئولیت نهایی نمی‌تواند به ماشین واگذار شود؛ مشابه آنچه در حوزه سلامت نیز شاهد آن هستیم که پزشکان مسئولیت قانونی تمام تصمیمات بالینی اتخاذ شده توسط AI را بر عهده دارند.
به نقل از بخشنامه ۴۱۲۶/۲۰۲۳، مسئولیت نهایی این سیستم‌ها صرفاً بر عهده هیئت مدیره و مدیریت ارشد مؤسسه است. نکته کلیدی این است که BCB گواهینامه‌های خصوصی «هوش مصنوعی اخلاقی» را جایگزین چارچوب قانونی خود نمی‌داند. در عوض، این نهاد انطباق را از طریق بازرسی‌های میدانی، ارزیابی سطح بلوغ حاکمیت هوش مصنوعی و تحلیل گزارش‌های حوادث تحت بخشنامه ۴۱۸۷/۲۰۲۴ نظارت می‌کند.
برای یک مشتری عادی، این یعنی تضمین قانونی که هوش مصنوعی نمی‌تواند وام او را بر اساس ویژگی‌های شخصی ممنوعه رد کند. برای فین‌تک‌ها، تعاونی‌های اعتباری و بانک‌های چندمنظوره، این تغییر به معنای پایان دوران «سریع حرکت کن و چیزها را بشکن» و تبدیل هوش مصنوعی از یک آزمایش به یک تابع شرکتی است که به‌شدت حسابرسی می‌شود.
هزینه شکست در این مسیر زیاد است: بانک مرکزی می‌تواند بر اساس قانون ۶۰۲۴/۱۹۷۴ جریمه‌های اداری صادر کند، قابلیت‌های خودکار را تعلیق نماید یا در موارد شدید، مجوز فعالیت مؤسسه را لغو کند.
گام بعدی شما
- مدیران مالی باید خط لوله‌های هوش مصنوعی خود را با «دفترچه راهنمای ریسک عملیاتی» (نسخه ۳.۰، ۲۰۲۴) تطبیق دهند.
- اگرچه گواهینامه‌های شخص ثالث اجباری نیست، اما BCB انجام حسابرسی‌های مستقل را به عنوان مدرکی برای اثبات انطباق توصیه می‌کند (بخش ۵.۳.۲ دفترچه راهنمای ۲۰۲۴).
- استانداردهای فنی «هوش مصنوعی قابل‌اعتماد» که در حال حاضر توسط BCB و وزارت علوم، فناوری و نوآوری (MCTI) به‌طور مشترک تدوین می‌شود را دنبال کنید.
اما این تنها بخشی از نبرد رگولاتورها با مدل‌های سیاه است؛ اثر این قوانین بر استانداردهای جهانی نظارت بانکی را در گزارش بعدی بررسی خواهیم کرد.
گفتگو