اگر در حال ساخت یک محصول SaaS با هوش مصنوعی هستید، یک اشتباه ساده در طبقهبندی ریسک میتواند شرکت شما را با جریمهای ۱۵ میلیون یورویی روبرو کند. این واقعیت سختِ قانون هوش مصنوعی اتحادیه اروپا (EU AI Act) است؛ جایی که مرز بین یک ابزار «کمخطر» و یک سیستم «پرخطر»، تفاوت بین چند ساعت مستندسازی ساده یا شش هفته ارزیابی تطبیق پیچیده است.
چشمانداز نظارتی در ژوئن ۲۰۲۶ تغییر کرد. طبق اعلام مقامات، «AI Omnibus» تاریخ اجرای ضمیمه ۳ (Annex III) را از ۲ اوت ۲۰۲۶ به ۲ دسامبر ۲۰۲۷ منتقل کرد. این تغییر، یک پنجره هجدهماهه برای آمادهسازی توسعهدهندگان ایجاد میکند. با این حال، ماهیت رژیم پرخطر تغییری نکرد. تعهدات همچنان سنگین هستند: هشت دستهبندی خاص، رعایت کامل مفاد مواد ۹ تا ۱۵، ارزیابیهای تطبیق و ثبت در پایگاه داده اتحادیه اروپا. برای اکثر بنیانگذاران SaaS، چالش اصلی نه تاریخ ضربالاجل، بلکه ابهام در دستهبندیها است. این «تأخیر» را به معنای «کاهش اولویت» نگیرید.
همانطور که در تحلیلهای قبلی ما دربارهی استانداردهای نظارتی مدلهای زاینده اشاره کردیم، تفاوت در کاربرد است، نه لزوماً در تکنولوژی. تصور کنید توسعهدهندهای یک ابزار غلطگیر دستوری میسازد. در اکثر موارد، این یک ابزار کمخطر است. اما اگر همین ابزار برای امتیازدهی به کیفیت نوشتار متقاضیان شغلی استفاده شود و این امتیاز در تصمیم استخدام اثر بگذارد، ناگهان به یک سیستم پرخطر تبدیل میشود. این تفاوتهای ظریف همان جایی است که اکثر تیمها در زمان بازرسی شکست میخورند.
دستهبندیهای پرخطر
بر اساس مستندات قانون هوش مصنوعی اتحادیه اروپا، ضمیمه ۳ هشت حوزه پرخطر را تعریف میکند. اگر ویژگی هوش مصنوعی شما در یکی از این موارد باشد، تعهداتی بسیار سنگینتر از وظایف شفافیت ماده ۵۰ خواهید داشت. برای یک شرکت SaaS معمولی، چهار دسته بیشترین تکرار را دارند:
- شناسایی و دستهبندی بیومتریک: شامل تشخیص چهره، تشخیص صدا برای شناسایی و تشخیص مدل راه رفتن (Gait recognition). توجه کنید که این مورد شامل تأیید بیومتریک (Biometric verification)، مانند تطبیق یکبهیک برای باز کردن قفل با اثر انگشت، نمیشود.
- آموزش و یادگیری حرفهای: سیستمهایی که برای پذیرش، نمرهدهی، نظارت بر دانشجویان در امتحانات یا پیشبینی نتایج تحصیلی استفاده میشوند.
- اشتغال و مدیریت کارکنان: غربالگری رزومهها (CV screening)، ارزیابی عملکرد، تخصیص وظایف، تصمیمات مربوط به اخراج و نظارت بر کارکنان.
- خدمات ضروری عمومی و خصوصی: امتیازدهی اعتبار بانکی (Creditworthiness scoring)، صلاحیت برای دریافت مزایای عمومی، اعزام خدمات اضطراری و تصمیمات مربوط به قیمتگذاری یا پوشش بیمه عمر و سلامت.
حوزههای دیگر بهندرت برای SaaSهای عمومی کاربرد دارند، مگر اینکه شرکت در بخشهای دولتی یا صنعتی خاص فعالیت کند:
- زیرساختهای حیاتی: مدیریت آب، گاز، برق و ترافیک.
- اجرای قانون: ارزیابی ریسک افراد، سیستمهای شبیه دروغسنج (Polygraph-style) و ارزیابی اعتبار شواهد.
- مهاجرت، پناهندگی و کنترل مرزی: ارزیابی ریسک، تأیید مدارک و پردازش ویزا.
- مدیریت عدالت و فرآیندهای دموکراتیک: تحقیق درباره حقایق، تفسیر قوانین و اثرگذاری بر رأیدهندگان.
درخت تصمیم سه-سوالی
برای جلوگیری از «اشتباهات هزینهبر» در طبقهبندی، بازرسان از یک درخت تصمیم خاص استفاده میکنند. گرانترین اشتباه این است که یک ویژگی پرخطر را «کمخطر» بنامید تا از ارزیابی تطبیق فرار کنید. دومین اشتباه، پرخطر دانستن همه چیز به دلیل ترس از قوانین است که تیم شما را در کاغذبازیهای بیپایان غرق میکند.
سوال ۱: آیا این ویژگی درباره یک شخص تصمیم میگیرد یا فقط ابزاری است که شخص از آن استفاده میکند؟
اگر ویژگی شما شخصی را رتبهبندی، امتیازدهی یا دستهبندی میکند، احتمالاً در محدوده ضمیمه ۳ هستید. اگر ابزار فقط به کاربر کمک میکند متنی را بنویسد، خلاصهای تهیه کند یا تصویری بسازد، احتمالاً پرخطر نیست.
سوال ۲: آیا این تصمیم بر دسترسی شخص به چیزی حیاتی اثر میگذارد؟
«حیاتی» یعنی شغل، مزایا، صندلی تحصیلی، اعتبار بانکی، بیمه یا مراقبتهای بهداشتی. اگر هوش مصنوعی کمک کند کاربر تصمیم بگیرد در کدام رستوران غذا بخورد، پرخطر نیست. اگر پاسخ بله است، شما در وضعیت پرخطر هستید.
سوال ۳: آیا شخص میداند این تصمیم در حال اتخاذ است و میتواند به آن اعتراض کند؟
اگر پاسخ به هر یک از اینها «نه» باشد، شما عمیقتر در قلمرو پرخطر هستید. در این حالت ممکن است حتی وارد محدوده ممنوعه ماده ۵ (هوش مصنوعی دستکاریکننده یا Manipulative AI) شده باشید. اگرچه ریسک ماده ۵ با ضمیمه ۳ متفاوت است، اما باید در طول یک بازرسی واحد علامتگذاری شود.
مثالهای واقعی در دنیای SaaS
گزارشهای اخیر از شرکت Disclos نشان میدهد این قوانین در عمل چگونه اعمال میشوند. این هشت مورد، نمونههای واقعی و بینامشده از شش ماه گذشته هستند:
- SaaS استخدام با غربالگری رزومه: طبقهبندی شده به عنوان پرخطر تحت ضمیمه ۳(۴) اشتغال. نیاز به ارزیابی تطبیق، پرونده فنی، سیاست نظارت انسانی و ثبت در پایگاه داده اتحادیه اروپا.
- SaaS منابع انسانی با تولید شرح شغلی: هوش مصنوعی به استخدامکننده کمک میکند شرح شغلی (JD) را بنویسد. هیچ تصمیمی درباره متقاضیان گرفته نمیشود. طبقهبندی شده به عنوان کمخطر تحت ماده ۵۰(۲) (افشای محتوای مصنوعی).
- SaaS پشتیبانی با پیشنهاد پاسخ خودکار: هوش مصنوعی پاسخها را پیشنهاد میدهد و یک اپراتور انسانی یکی را انتخاب میکند. هیچ تصمیم خودکاری درباره مشتری گرفته نمیشود. اگر به عنوان محتوای AI ارسال شود، طبق ماده ۵۰(۱) کمخطر است، در غیر این صورت «حداقل ریسک» (Minimal-risk) محسوب میشود.
- پلتفرم وام با امتیازدهی اعتباری: طبقهبندی شده به عنوان پرخطر تحت ضمیمه ۳(۵) اعتبار. این مورد صریح است و ارزیابی تطبیق کامل الزامی است.
- EdTech با تدریس خصوصی (بدون نمرهدهی): هوش مصنوعی مفاهیم را توضیح میدهد. هیچ نمرهدهی، تصمیم پذیرش یا نظارت بر امتحان صورت نمیگیرد. کمخطر تحت ماده ۵۰(۱)؛ صرفاً باید استفاده از AI افشا شود.
- EdTech با نمرهدهی مقالهها: طبقهبندی شده به عنوان پرخطر تحت ضمیمه ۳(۳) آموزش. حتی اگر معلم نمره را قبل از ارسال بازبینی کند، چون AI کار substantive (اساسی) را انجام داده، ضمیمه ۳ فعال میشود.
- HealthTech برای پیشنویس یادداشتهای بیمار: پزشک هر یادداشت را بازبینی و امضا میکند. AI تشخیص نمیدهد و درمان توصیه نمیکند. کمخطر تحت ماده ۵۰(۲) برای محتوای مصنوعی.
- HealthTech برای تریاژ و اولویتبندی: مرزی. اگر توصیه غیرالزامبند باشد و بالینگر تصمیم نهایی را بگیرد، میتواند کمخطر باشد. اما اگر توصیه تعیین کند چه کسی و با چه ترتیبی دیده شود، تحت ضمیمه ۳(۵) دسترسی به خدمات ضروری، پرخطر است. Disclos این مورد را پرخطر طبقهبندی کرد و توصیه کرد پیش از عرضه، یک سیستم «انسان در حلقه» (Human-in-the-loop) مناسب پیاده شود.
هزینه اشتباه
شناسایی درست یک ویژگی به عنوان «کمخطر»، حدود نصف روز کاری زمان میبرد تا افشای لازم انجام و تصمیم مستند شود. اما شناسایی درست یک ویژگی «پرخطر»، برای یک تیم کوچک ۶ تا ۱۲ هفته زمان مهندسی میطلبد تا سیستم مدیریت ریسک، پرونده فنی تحت ماده ۱۱، سیاست نظارت انسانی، تستهای دقت و پایداری (Accuracy and Robustness)، نظارت پس از عرضه (Post-market monitoring) و ثبت در پایگاه داده اتحادیه اروپا را پیاده کند.
نادیده گرفتن ریسک یک قمار حقوقی است. طبق ماده ۹۹(۳)، جریمه عدم رعایت تعهدات پرخطر تا ۱۵ میلیون یورو یا ۳٪ از گردش سالانه جهانی است. در مقابل، طبقهبندی بیش از حد، باعث اتلاف منابع مهندسی روی کاغذبازیهای بیمورد میشود. مرحله طبقهبندی، بیشترین اهرم اثرگذاری در کل فرآیند تطبیق است.
اتوماسیون و بازرسی
برای سادهسازی این مسیر، گاتیس اوزولز (Gatis Ozols) یک اسکریپت پایتون متنباز به نام classify.py در مخزن eu-ai-act-checklist منتشر کرده است. این ابزار دقیقاً همان درخت تصمیم بازرسان حرفهای را اجرا میکند و ۵ سوال کلیدی میپرسد:
۱. آیا ویژگی از دادههای بیومتریک شخص واقعی برای شناسایی استفاده میکند؟
۲. آیا ویژگی تصمیمی درباره شخص میگیرد یا بهطور اساسی بر آن اثر میگذارد؟
۳. آیا تصمیم در حوزههای اشتغال، آموزش، اعتبار، بیمه، سلامت، مزایا، قانون، مهاجرت یا عدالت است؟
۴. آیا شخص از تصمیم آگاه است و میتواند اعتراض کند؟
۵. آیا AI محتوای مصنوعی تولید میکند که با محتوای انسانی اشتباه شود؟
این اسکریپت دستهبندی ریسک (ممنوعه، پرخطر، کمخطر یا حداقلریسک) و بند دقیق ضمیمه ۳ یا ماده ۵۰ را برمیگرداند. برای استفاده:git clone https://github.com/GatisOzols/eu-ai-act-checklistcd eu-ai-act-checklistpython3 classify.py
این ابزار را برای هر ویژگی AI یک بار اجرا کنید. خروجی آن، در کنار یک پاراگراف استدلال (Rationale)، شروع مسیر «ردپای خود-بازرسی» (Self-audit trail) شما را میسازد. این ابزار با لایسنس MIT است و در محصولات تجاری قابل استفاده است.
محدوده و اجرا
باید توجه داشت که این فرآیند، خودِ کاغذبازیهای ارزیابی تطبیق برای سیستمهای پرخطر را پوشش نمیدهد، زیرا آن یک فرآیند مجزا و طولانیتر است. همچنین تعهدات مدلهای هوش مصنوعی با هدف عمومی (General-purpose AI) تحت فصل ۵ را شامل نمیشود، زیرا آن تعهدات بر عهده ارائهدهندگان مدلهای بنیادی (Foundation models) است، نه شرکتهای SaaS که از آنها استفاده میکنند. در نهایت، این فرآیند شامل پیادهسازیهای سطح ملی نمیشود، جایی که کشورهای عضو ممکن است قوانینی اضافی بر روی این قانون وضع کنند.
برای کسانی که نمیتوانند بازرسی داخلی انجام دهند، مجموعههای تخصصی مانند Disclos در ریگا، بازرسیهای پنجروزه را با هزینه ۹۹۷ یورو ارائه میدهند. موج شفافیت ماده ۵۰ در ۲ اوت ۲۰۲۶ شروع میشود، اما موج ضمیمه ۳ در ۲ دسامبر ۲۰۲۷ بار سنگینتری دارد. طبقهبندی باید قبل از هر کار دیگری در مسیر تطبیق انجام شود.
گام بعدی شما
- تمام ویژگیهای AI محصول خود را لیست کنید و برای هر کدام اسکریپت
classify.pyرا اجرا کنید. - برای ویژگیهای «پرخطر»، یک تقویم مهندسی ۶ تا ۱۲ هفتهای برای پیادهسازی سیستم مدیریت ریسک در نظر بگیرید.
- اگر محصول شما در حوزههای حساس (مثل استخدام یا سلامت) است، مستندات ضمیمه ۳ را از همین امروز مطالعه کنید.
اما این قوانین تنها بخشی از چالش است؛ برای درک اینکه چگونه مدلهای بازمتن میتوانند این هزینههای تطبیق را کاهش دهند، تحلیل ما درباره استراتژیهای Open Weights را بخوانید.
گفتگو