پرش به محتوای اصلی
پرش به محتوای مقاله

خطای ۲۷ میلیون دلاری استونی منجر به ساخت «یافتار اشتباهات» با هوش مصنوعی شد

·۱۸ تیر ۱۴۰۵۵ دقیقه مطالعه
لوگوی استارتاپ استونیایی با عنوان «پیدا کننده اشتباه هوش مصنوعی» و عدد ۲۸ میلیون دلار
لوگوی استارتاپ استونیایی با عنوان «پیدا کننده اشتباه هوش مصنوعی» و عدد ۲۸ میلیون دلار
اشتراک‌گذاری
واقعاً چه چیز جدید است؟

استقرار عملیاتی یک ابزار AI برای بازرسی پیش‌نویس قوانین پارلمانی پیش از تصویب — گذار از استفاده تفننی از LLM به یک سیستم نظارتی رسمی برای جلوگیری از ضررهای مالی ملی.

تصور کنید یک کلمه اشتباه در یک متن قانونی، حفره‌ای ایجاد کند که میلیون‌ها دلار از بودجه ملی به راحتی از آن خارج شود. این دقیقاً همان اتفاقی است که در استونی افتاد و حالا این کشور در حال تبدیل این شکست مالی به یک برتری تکنولوژیک است.

به گزارش Wired، دولت استونی به دلیل یک عبارت نادرست در قانون مالیات قمار، ۲۴ میلیون یورو (۲۷.۴ میلیون دلار) از درآمدهای احتمالی خود را از دست داد. در دسامبر ۲۰۲۳ مشخص شد که کازینوهای آنلاین به مدت یک سال به‌طور تصادفی خارج از شبکه مالیاتی قرار گرفته بودند. پارلمان استونی (Riigikogu) تغییراتی را برای کاهش نرخ مالیات قمار از راه دور تصویب کرده بود، اما متن قانون تنها به «بازی‌های مهارتی» اشاره می‌کرد و «بازی‌های شانسی» و قمار آنلاین را نادیده گرفته بود.

استونی سال‌هاست پیشگام مدل دولت دیجیتال است و ۹۹ درصد خدمات عمومی آن آنلاین است. با این حال، این خطا نشان داد که بازبینی انسانی چقدر آسیب‌پذیر است. ریسک‌ها در اینجا بسیار بالا بود: ارزش کل صنعت قمار در استونی حدود ۳۰۰ میلیون یورو (۳۴۳ میلیون دلار) است و بازار آنلاین آن یکی از سریع‌ترین رشدها را در اتحادیه اروپا دارد. جالب اینجاست که این خطا را ابتدا مشاور حقوقی یکی از اپراتورهای قمار شناسایی کرد.

همان‌طور که در تحلیل‌های قبلی ما درباره‌ی امنیت زیرساخت‌های دیجیتال اشاره کردیم، اتکای مطلق به نظارت انسانی در حجم بالای داده‌ها ریسک‌پذیر است. لوکاس ایلوس (Luukas Ilves)، معاون سابق تحول دیجیتال، وقتی متن ناقص قانون را در Claude و Gemini قرار داد، هر دو مدل زبانی بزرگ (LLM) — مثل کتابخانه‌داری که میلیاردها صفحه را خوانده و حالا با همان لحن کتاب‌ها جواب می‌دهد — بلافاصله تناقضات را شناس کردند. این تجربه باعث شد ایلوس ابزاری به نام Apsakaleidja یا «یافتار اشتباهات» (Fuckup Finder) را بسازد. او حتی عملکرد این ابزار را در تلویزیون ملی نمایش داد و واکنش مجری برنامه را به حیرت و شگفتی تبدیل کرد. این بهره‌گیری از مدل‌های زبانی پیشرفته در استونی اتفاق جدیدی نیست؛ برای مثال، مطالعات اخیر در این کشور نشان داده است که مدل Claude Fable 5 در شناسایی دقیق محتواهای پیچیده و پروپاگاندای روسیه عملکرد خیره‌کننده‌ای دارد.

بر اساس مستندات این پروژه و گزارش Wired، ابزار Apsakaleidja پیش‌نویس لایح‌ها را مستقیماً از وب‌سایت پارلمان (Riigikogu) استخراج می‌کند. این ابزار به‌گونه‌ای طراحی شده است که چهار نوع خطای اصلی را هدف بگیرد:

  • ارجاعات شکسته و عبارات متناقض (که در یک مثال خاص توسط ابزار برجسته شده بود).
  • اشتباهات محاسباتی در بندهای مالی.
  • تاریخ‌های ناممکن.
  • حفره‌های قانونی و عدم سازگاری متنی.

نمونه اولیه این ابزار، ریسک‌ها را به سه دسته «بالا»، «متوسط» و «پایین» تقسیم می‌کند. نتایج تکان‌دهنده است و نشان‌دهنده مشکلات سیستماتیک در تدوین قوانین است؛ چرا که از ۱۱۲ لایحه موجود در سامانه، ۱۰۲ مورد در سطح «ریسک بالا» قرار دارند.

نخست‌وزیر استونی، کریستن میچال (Kristen Michal)، از این حادثه برای تسریع پذیرش هوش مصنوعی استفاده کرد. او به Wired گفت که این وضعیت نشان داد هوش مصنوعی می‌تواند یک «دستیار باورنکردنی» باشد. او معتقد است ابزارهای عامل‌محور (Agentic) — سیستم‌هایی که نه‌فقط پاسخ می‌دهند، بلکه می‌توانند برای رسیدن به هدف، مراحل مختلف را خودکار اجرا کنند — می‌توانند شهروندان و جامعه مدنی را توانمند کنند. او این پلتفرم را یک سیستم «Vibe-coded» (بر پایه شهود و تجربه) نامید. در ژانویه ۲۰۲۴، او پیشنهاد داد از ابزاری مثل «یافتار اشتباهات» برای شناسایی و بستن حفره‌های قانونی، پیش از آنکه قوانین رسماً تصویب شوند، استفاده شود.

در همین راستا، برنامه Eesti.ai با هدف دو برابر کردن بهره‌وری ملی تا سال ۲۰۳۵ راه‌اندازی شد. ایلوس و مارکوس ویلیگ (Markus Villig)، بنیان‌گذار Bolt، در جمع مشاوران این طرح حضور دارند. در آوریل ۲۰۲۴، دولت لایحه‌ای را به پارلمان ارائه داد تا به مقامات ایالتی و محلی اجازه دهد از راهکارهای دیجیتال و هوش مصنوعی برای اتوماسیون فرآیندهای اداری استفاده کنند. این لایحه در حال حاضر در پارلمان در حال بحث است تا به قانون تبدیل شود.

میچال در ژوئن ۲۰۲۴ در یک جلسه مربوط به Eesti.ai اشاره کرد که هدف بلندمدت استونی این است که به اولین کشور جهان در ایجاد «شناسنامه‌های دیجیتال رسمی برای عامل‌های هوش مصنوعی» تبدیل شود. او توضیح داد که زیرساخت‌های فعلی هویت دیجیتال استونی، بستر لازم برای این جهش را فراهم کرده است. او خاطراند: «آن سرمایه‌گذاری‌ها اکنون به ما اجازه می‌دهد سریع‌تر و با اطمینان بیشتر وارد عصر هوش مصنوعی شویم.» او تأکید کرد که بخش عمومی باید همگام با تغییرات تکنولوژی، چابک باقی بماند.

با این حال، کاترین فلیک (Catherine Flick)، پژوهشگر اخلاق فناوری در دانشگاه استافوردشایر، این رویکرد را به چالش می‌کشد. او می‌پرسد چرا انسان‌ها در مرحله تدوین اولیه این بازبینی را انجام ندادند و استدلال می‌کند که برای «درست» (Decent) بودن یک قانون، انسان باید کل متن را با درک کامل از بستر اجتماعی و معنایی بخواند.

کیرکه مار (Kirke Maar)، مدیر تیم Eesti.ai، برای مدیریت این تضاد و پیمودن مسیر بین اتوماسیون و نظارت، تصمیمات دولتی را به دو دسته تقسیم کرده است:

۱. تصمیمات قاعده‌مند: جایی که قانون بر اساس حقایق قابل تأیید نتیجه می‌دهد (مثلاً اگر X شرایط را داشتید، Y کمک‌هزینه می‌گیرید). در این موارد، اتوماسیون کاملاً مناسب است.
۲. تصمیمات صلاحدیدی: مواردی که نیاز به سنجش واقعی منافع متضاد یا قضاوت درباره شرایط خاص و شخصی فرد دارند. در این دسته‌ها، انسان باید از ابتدا تا انتها در چرخه تصمیم‌گیری باقی بماند.

مار و ایلوس معتقدند اتوماسیون باید بار شهروندان را کم کند. برای مثال در حوزه کمک‌هزینه‌ها، اگر دولت داده‌های لازم برای تایید صلاحیت یک فرد را در اختیار دارد، نباید از او بخواهد فرم پر کند، بلکه باید مستقیماً به او خبر دهد که واجد شرایط است. در مورد مالیات نیز، اظهارنامه‌های مالیاتی که در حال حاضر در استونی پیش‌پرورده هستند، می‌توانند تکامل یابند. به جای اینکه شهروندان دستی یک فرم را تأیید کنند، یک «عامل هوشمند» می‌تواند اظهارنامه‌های پیچیده را به‌طور کامل (End-to-End) آماده و ارسال کند و شهروند تنها در مرحله نهایی برای نظارت یا تایید دخالت کند.

برای حفظ پاسخ‌گویی، هر شهروند می‌تواند در هر نقطه از فرآیند تصمیم‌گیری هوش مصنوعی، حق «شنیده شدن» خود را درخواست کند. این اقدام بلافاصله روند خودکار را متوقف کرده و یک مقام انسانی را برای به‌عهده گرفتن پرونده جایگزین می‌کند. علاوه بر این، اگر شهروندی تصمیم اتخاذ شده توسط سیستم را به چالش بکشد، تصمیمات خودکار به‌طور قطعی کنار گذاشته می‌شوند.

هر تصمیم اداری خودکار باید یک ردپای حسابرسی (Audit Trail) دقیق داشته باشد که مشخص کند:

  • چه داده‌هایی استفاده شده است.
  • کدام قانون یا قاعده اعمال شده است.
  • چه زمانی تصمیم گرفته شده است.
  • شهروند چگونه می‌تواند آن را به چالش بکشد یا اصلاح کند.

لیینا واهتراس (Liina Vahtras)، مدیر عامل e-residency، هشدار می‌دهد که ریسک اصلی، فعالیت سیستم‌های هوش مصنوعی در مقیاس وسیع بدون پاسخ‌گویی است؛ جایی که مجوزها مبهم باشند یا سوءاستفاده‌ها شناسایی نشوند. «کد عامل» (Agent Code) پیشنهادی قصد دارد زنجیره مسئولیت را شفاف کند تا مشخص باشد هر عامل متعلق به کیست، تحت اجازه چه کسی عمل می‌کند و چه کسی در نهایت مسئول اقدامات آن است.

مار تأکید می‌کند که هدف دولت دیجیتال هرگز حذف انسان‌ها از حکومت نبوده، بلکه سریع‌تر کردن خدمات و کاهش زحمات اداری است. میچال نیز با تکرار این نکته می‌گوید هوش مصنوعی یک دستیار است، نه یک مقام ارشد. او تصریح می‌کند که هوش مصنوعی جایگزین قانون اساسی، نهادهای دموکراتیک یا اراده رای‌دهندگان نمی‌شود. اگر هوش مصنوعی اشتباهی را بیابد، دقیقاً مانند این است که یک انسان آن را دیده باشد؛ در نتیجه، مسئولیت قانونی اصلاح آن همچنان بر عهده مدیریت دولتی، دادگاه‌ها یا پارلمان است.

گام بعدی شما

  • اگر در سازمان خود با متون قانونی یا قراردادهای طولانی سروکار دارید، از مدل‌های استدلالی برای شناسایی «تناقضات درونی» (Internal Inconsistencies) استفاده کنید.
  • بررسی کنید که آیا فرآیندهای اداری شما «قاعده‌مند» هستند یا «صلاحدیدی» تا نقاط مناسب برای اتوماسیون را بشناسید.
  • درباره مفهوم «ردپای حسابرسی» در سیستم‌های خودکار مطالعه کنید تا شفافیت تصمیمات را تضمین کنید.

اما داستان سخت‌افزاری این تحول حتی شگفت‌انگیزتر است — به تحلیل ما درباره‌ی تراشه‌های Blackwell مراجعه کنید.

چرا این موضوع مهم است؟

این اقدام استونی به دلیل تکیه بر تخصص در زیرساخت‌های دولت دیجیتال، الگویی برای تبدیل AI به ابزار نظارتی (Audit) در سطح ملی ارائه می‌دهد. این تحول اعتبار مدل‌های زبانی را از «تولید محتوا» به «تأیید صحت قانونی» ارتقا می‌دهد.

تأثیر برای ایران

این مدل اتوماسیون اداری برای سازمان‌های ایرانی که در حال دیجیتالی شدن هستند درس‌های مهمی در تفکیک تصمیمات «قاعده‌مند» از «صلاحدیدی» دارد تا ریسک جایگزینی کامل انسان با AI کاهش یابد.

·نگاه ما
تحریریه دات‌هوش

استونی با تبدیل یک خطای انسانی به یک ابزار نظارتی، در واقع مدل «پاسخ‌گویی الگوریتمیک» را آزمایش می‌کند. نکته کلیدی این است که آن‌ها به جای جایگزینی حقوق‌دانان، لایه‌ای از «فیلترهای منطقی» را قبل از تصویب قانون اضافه کرده‌اند. این رویکرد نشان می‌دهد که آینده حاکمیت دیجیتال نه در حذف انسان، بلکه در استفاده از هوش مصنوعی برای کاهش «هزینه خطای انسانی» در مقیاس کلان است.

منابع

این گزارش با خط‌لولهٔ خودکار دات‌هوش از منابع معتبر جهانی تدوین و زیر نظر تحریریه منتشر شده است. روش کار ما

گفتگو

پنج‌شنبه‌های هوش‌محور

بسته‌ی هفتگی دات‌هوش

۵ خبر، ۲ ابزار، ۱ پرامپت در هر شماره. به‌زودی راه‌اندازی می‌شود — هر پنج‌شنبه صبح.

خبر کلیدی
ابزار کاربردی
پرامپت حرفه‌ای
تحلیل پژوهش
به‌زودی
زاویه‌ی ایرانی
به‌زودی
تمرین این هفته
به‌زودی

راهنماهای دات‌هوش

راهنماهای کاربردیِ دات‌هوش برای کار با هوش مصنوعی — از همین‌جا شروع کنید:

دات‌هوش

راهنمای فارسی هوش مصنوعی — با نگاه به ایران

اخبار روزانه، معرفی ابزارها و مدل‌ها، و آموزشِ کار با هوش مصنوعی؛ همیشه با این پرسش که از ایران چه چیزی کار می‌کند و چه چیزی نه.