یکی در هر پنج حقوق آمریکا خطایی دارد که قبل از دعوا به طور متوسط ۲۹۱ دلار هزینه دارد. قانون هوش مصنوعی اتحادیه اروپا، هوش مصنوعی‌های مرتبط با پذیرش و اشتغال را در سطح بالای ریسک قرار داده است. بنابراین، Square63 بنیان‌گذار بابر جاوید استوضح کرده است که مدل‌های زبانی باید قوانین را تفسیر کنند، اما هرگز مالک آن نباشند در حوزه‌هایی که اشتباهات پیامدهای حقوقی و مالی دارند.
فشارها ناشی از مقررات و مالی هستند. خطاهای حقوقی منجر به جریمه‌ها، دعاوی و از دست دادن اعتماد کارمندان می‌شوند. اشتباهات در پذیرش دانشجویی یک مسیر چهارساله زندگی را شکل می‌دهد. تیم جاوید با همان سؤال معماری در هر دو محصول روبرو شد: تا چه حد مدل باید پیش برود قبل از اینکه منطق قطعی حاکم شود؟ پاسخش یک خط مشی‌دار است — قوانین مالک اعداد هستند، مدل مالک توضیح است.
در پلتفرم حقوق، کارشناسان حقوق ابتدا قوانین حقوقی را در قالبی ساختاریافته کدنویسی می‌کنند. سپس سیستم تمام سناریوهای ممکن را از این قوانین تولید می‌کند. این مجموعه کامل سناریوها منبع حقیقت تنها مدل می‌شود. مدل نمی‌تواند قوانین ایجاد کند، آنها را تغییر دهد یا منبع را انتخاب کند. فقط قانون مرتبط را بازیابی می‌کند، جدول نرخ‌ها را جستجو می‌کند و سناریوی استفاده شده را استناد می‌کند. ایجاد قانون، تولید سناریو و انتخاب منبع خارج از لایه هوش مصنوعی کاملاً باقی می‌مانند.
محصول پذیرش همان منطق را اعمال می‌کند. الزامات مکانی، محدودیت‌های بودجه، وضعیت نهاد و آستانه‌های شایستگی به عنوان فیلترهای قطعی قبل از اینکه مدل بر هیچ رتبه‌ای تأثیر بگذارد، اجرا می‌شوند. اگر یک دانشجو نیاز به مدرسه‌ای در کالیفرنیا داشته باشد، گزینه‌ای خارج از ایالت نمی‌تواند این محدودیت را زیر سؤال ببرد، حتی اگر مدل آن را مناسب بداند. مدل با ترجیحات نرم و توضیحات روایی سرو و کار دارد؛ منطق قطعی هر مرز سخت را نگهبانی می‌کند.
تولید بازیابی‌افزا کمک می‌کند اما کافی نیست. آزمایشگاه تحقیقاتی استنفورد (RegLab) یافته است که ابزارهای حقوقی تجاری RAG هنوز ۱۷ تا ۳۳ درصد توهم دارند. جاوید این را مستقیماً دیده است: سیستم حقوق یک بار قاندن استخدامی صحیح را بازیابی کرد، اما مدل قوانین اضافه‌کاری را اشتباه تفسیر کرد. منبع درست بود؛ جواب همچنان غلط بود. راه‌حل مرزهای سفت‌تر بود — قوانین بحرانی به منطق تجاری صریح منتقل شدند، هر پاسخی نیازمند استناد به منبع بود و تست‌های رگرسیونی حول مورد شکست ساخته شد.
قابلیت ردیابی غیرقابل‌انتقال نیست. قبل از تولید پاسخ، سیستم نسخه دقیق کتابچه قوانین، نسخه مدل و زمینه درخواست را ضبط می‌کند. هر فراخوان مدل و ابزار لاگ می‌شود: پرسش کاربر، بخش‌های بازیابی شده، اجرای ابزار، خروجی مدل و خطاها. وقتی بلیط پشتیبانی می‌رسد، مهندسان می‌توانند شکست را دقیقاً محل یابند. حکم دادگاهی ۲۰۲۴ درباره ایرلاینز هواپیمایی — که یک دادگاه تصمیم گرفت هواپیمایی باید تخفیفی را که ربات چت آن را اختراع کرده بود، اجرا کند — هزینه خروجی‌های شفاف نبودن را نشان می‌دهد.
بررسی انسانی در مرز پیامدها می‌نشیند. پروفایل هوش مصنوعی تولیدی NIST خط خودکارسازی در برابر انسان را به عنوان یک تصمیم حاکمیتی می‌بیند. Square63 مواردی را به یک انسان ارجاع می‌دهد وقتی سیستم مطمئن نیست، اطلاعات در تعارض هستند یا تصمیم تأثیر معنی‌داری بر کاربر دارد. در پذیرش، پروفایل‌های غیرعادی یا توصیه‌هایی که یک محدودیت سخت را از دست می‌دهند، برای مرور مشاوران علامت‌گذاری می‌شوند. این مرحله توصیه‌های به‌نظر منطقی ولی نقض‌کننده یک محدودیت پنهان را گرفته است. هیچ یک از محصولات به‌صورت خودکار نهایی نمی‌شوند: تأیید مشاور در هر توصیه پذیرش؛ تأیید حقوق در هر فیش حقوقی.
جاوید یک تست عملی برای هر گردش کار ارائه می‌دهد. اگر خروجی اشتباهی قبل از رسیدن به یک انسان قابل شناسایی و اصلاح باشد، مدل می‌تواند مالک آن مرحله باشد. اگر جوابی بتوان آن را علیه یک قانون بررسی کرد، قانون مالک آن است و مدل آن را توضیح می‌دهد. اگر خروجی اشتباهی قبل از اینکه چشم انسانی ببیند، به یک حقوق یا تصمیم درخواست برسد، آن مرحله آماده مالکیت مدل نیست.
این الگو قابل حمل است. هر حوزه‌ای با نتایج مقرراتی — بیمه، پشتیبانی تصمیم بالینی، انطباق مالی — می‌تواند همان محافظ‌ها را اتخاذ کند. طبقه‌های بالای ریسک قانون هوش مصنوعی اتحادیه اروپا احتمالاً گسترش خواهند یافت، که این معماری را از یک مزیت رقابتی به یک پایه انطباق تبدیل می‌کند.
به دنبال اقدامات اجرایی تحت قانون هوش مصنوعی اتحادیه اروپا و قوانین مشابه ایالات متحده باشید. اموار خواهر که ابزارهای هوش مصنوعی سازمانی بعدی موتورهای قانونی قطعی، فروشگاه‌های سیاست نسخه‌دار و نقاط بررسی انسانی الزامی را در لایه پلتفرم نه در لایه برنامه ببینند.
همان‌طور که در تحلیل قبلی ما درباره امنیت مدل‌های بازمتن اشاره کردیم، جداسازی منطق قطعی از لایه مدل یک الگوی تکراری در معماری‌های با ریسک بالا است.
گام بعدی شما
- اگر در حوزه‌های مالی یا قانونی فعالیت می‌کنید، قوانین بحرانی را خارج از لایه مدل بکشید و هر خروجی را با استناد به منبع همراه کنید.
- قبل از استقرار هر مدل، یک تست رگرسیونی بسازید که حول یک مورد شکست واقعی باشد.
- در هر تصمیم با پیامد بالا، یک نقطه بررسی انسانی الزامی قرار دهید — هیچ محصولی نباید به‌صورت خودکار نهایی شود.
اما داستان سخت‌افزاری این تحول حتی شگفت‌انگیزتر است — به تحلیل ما درباره تراشه‌های Blackwell مراجعه کنید.
گفتگو