تصور کنید یک مدیر عملیات، خروجیِ بسیار متقاعدکننده و صیقلخوردهی یک مدل هوش مصنوعی را بدون بازبینی نهایی تأیید میکند و همین تصمیم، منجر به یک فاجعهی انسانی میشود. این کابوس، دیگر یک احتمال نیست، بلکه نتیجهی مستقیمِ اشتباه گرفتن «روانیِ متن» با «صحتِ محتوا» است.
به نقل از گزارشی در dev.to که در ۲۴ سپتامبر ۲۰۲۶ منتشر شد، بررسی یک حادثهی مرگبار نشان میدهد که مشکل، نقصِ یک مدل خاص نیست، بلکه یک شکاف سیستمی در فرآیندهای کاری اکثر تیمهای هوش مصنوعی است. این تراژدی زمانی رخ داد که یک اپراتور انسانی، خروجیِ مطمئنِ سیستم را به جای حقیقت پذیرفت و هیچ نقطهی بازرسی (Checkpoint) پیش از اجرای یک اقدام جبرانناپذیر وجود نداشت.
توهم کفایت
مدلهای زبانی بزرگ (LLM) — مثل کتابخانهداری که میلیاردها صفحه را خوانده و حالا با همان لحن کتابها جواب میدهد — بهگونهای طراحی شدهاند که «درست به نظر برسند»، نه اینکه لزوماً «درست باشند». در واقع، این مدلها روی روانیِ متن (Fluency) بهینه شدهاند، نه بر روی قطعیتِ واقعیتها. همانطور که در تحلیلهای قبلی ما دربارهی توهمات مدلهای زبانی اشاره کردیم، تفاوت بنیادین انسان و ماشین در «تردید» است؛ یک متخصص انسانی ادعاهای خود را با عباراتی مثل «فکر میکنم»، «این مورد را چک کنید» یا «دربارهی موارد خاص (Edge Case) مطمئن نیستم» تعدیل میکند، اما هوش مصنوعی پاسخ خود را با قاطعیت مطلق بیان میکند. این چالشِ دقت در وظایف پیچیده، با یافتههای پژوهش دانشگاه برکلی همسو است که نشان میدهد نرخ موفقیت عاملهای هوش مصنوعی در وظایف تخصصی بهطور غافلگیرکنندهای پایین است.
این تسلط زبانی، توهمی از کفایت ایجاد میکند که باعث میشود انسانها خروجیهای تمیز و بدون غلطِ نگارشی را بدون تأیید، عبور دهند. برای بستن این شکاف، گزارش مذکور پیشنهاد میکند که یک تغییر ذهنی ایجاد شود: با هر خروجی مدل، مانند یک پیشنویس با «حاشیه خطای نامعلوم» برخورد شود.
چارچوب سه پرسشی
برای عملیاتی کردن این دیدگاه، تیمها باید سه پرسش کلیدی را در هر مرحله از گردشِ کار اعمال کنند تا مشخص شود آیا هوش مصنوعی مجاز به نهایی کردن اقدام است یا خیر:
- آیا این اقدام بازگشتپذیر است؟ تولید یک پیشنویس مجدد، یک خلاصهسازی یا یک برچسبگذاری اولیه، ارزان و قابل تغییر است و اتوماسیون آن بلامانع است. اما ثبت یک عدد مالیاتی، انتشار یک قیمت، ارسال یک قرارداد یا طبقهبندی یک محموله، دیگر پیشنویس نیستند، بلکه «تصمیم» هستند.
- هزینهی اشتباه چقدر است و چه زمانی اثر میکند؟ پیشنهادی بد که در ۵ ثانیه با خطایی بلند مواجه شود، بیضرر است. اما پیشنهادی بد که سه هفته بعد بهصورت خاموش شکست بخورد، همان مسیری است که منجر به جریمههای سنگین، توقف محمولهها یا از دست دادن مشتری میشود.
- در صورت بروز خطا، چه کسی مسئول است؟ اگر پاسخ صادقانه این باشد که «مدل مسئول است»، فرآیند باید فوراً متوقف شود. مسئولیتپذیری یک ویژگی انسانی است و باید پیش از اجرای هر اقدام، به نام یک شخص متصل شود.
حفاظهای عینی
از آنجا که فلسفه بهتنهایی در برابر فشار ددلاینهای تولید دوام نمیآورد، بر اساس مستندات این گزارش، پیادهسازی حفاظها (Guardrails) — شبیه به نردههای ایمنی در لبهی یک پل — ضروری است. کنترلهای فنی پیشنهادی عبارتاند از:
- اقدامات دو-کلیدی: هر اقدام جبرانناپذیر باید نیاز به تأیید دوم توسط یک شخص نامبرده در خودِ ابزار داشته باشد. اگر دکمهای وجود داشته باشد که بتوان آن را به تنهایی فشار داد، قطعاً فشار داده خواهد شد؛ بنابراین، کنترل باید در ساختار ابزار تعبیه شود، نه اینکه صرفاً یک قرارداد اخلاقی یا عرف باشد.
- خروجیهای مبتنی بر شواهد: سیستم باید مدل را مجبور کند ذکر کند که خروجی خود را بر چه اساسی بنا کرده است. پاسخهای لخت، اعتماد کورکورانه میآورند، اما پاسخهای مستند، کاربر را به بازبینی وا میدارند و این امر بخش بزرگی از خطاهای خاموش را از بین میبرد. برای مقابله با این خطاهای خاموش، میتوان از سیستمهای امتیازدهی اعتماد به دادهها استفاده کرد تا ریسکها پیش از مرحلهی استنتاج شناسایی شوند.
- لاگهای استدلالی: ثبت اینکه چه چیزی پیشنهاد شد، چه کسی آن را پذیرفت و در چه زمانی. این کار به تیمها اجازه میدهد تا سه هفته بعد، به جای حدس زدن، بازسازی کنند که چرا یک تصمیم اشتباه بوده است. در واقع، این نوع مستندسازی در کنار متدهای مدرن نظارت بر ریسکهای عملیاتی میتواند نقاط کور مدلهای هوش مصنوعی را برای تیمهای عملیاتی آشکار کند.
- اصطکاک استراتژیک: مسیرهای کمریسک را کاملاً خودکار کنید، اما برای مسیرهای پرهزینه و حساس که خطای آنها خاموش است، صف بازبینی انسانی ایجاد کنید.
تیمها همچنین باید برنامهای برای بازآزمایی دورهای گردشهای کاری داشته باشند. مدلها تغییر میکنند، پرامپتها دچار رانش (Drift) میشوند و ارائهدهندگان بهروزرسانیهای خاموش ارسال میکنند؛ بنابراین فرآیندی که در ماه مارس ایمن بود، ممکن است در سپتامبر بدون هیچ تغییر عمدی در کد، ناایمن شود.
این رویکرد یک موازنه ایجاد میکند: حفاظها سرعت را کم میکنند. اما هدف این است که در مورد محل اعمال این اصطکاک، بیرحم باشیم. با قرار دادن صفهای بازبینی فقط برای تصمیمات جبرانناپذیر و پرمخاطره، تیمها میتوانند اجازه دهند اتوماسیونهای کمریسک با حداکثر سرعت اجرا شوند.
در نهایت، هوش مصنوعی مسئولیت را حذف نمیکند، بلکه جای آن را تغییر میدهد. موفقترین تیمها کسانی هستند که پیش از وقوع حادثه، بهطور هدفمند تصمیم میگیرند چه کسی مالک حکم نهایی است. قانون ساده است: مدلها پیشنویس میزنند و انسانها اقدامات جبرانناپذیر را امضا میکنند.
گام بعدی شما
- تمام نقاط تماسِ خروجی هوش مصنوعی با اقدامات اجرایی (مانند ارسال ایمیل یا ثبت داده) را شناسایی و دستهبندی کنید.
- برای هر اقدام «جبرانناپذیر»، یک لایه تأیید انسانی (Human-in-the-loop) اجباری تعریف کنید.
- مدلهای خود را مجبور کنید برای هر ادعای حساس، منبع یا استدلال (Reasoning) ارائه دهند.
اما داستان سختافزاریِ مدیریت این خطاها حتی پیچیدهتر است — به تحلیل ما دربارهی تراشههای NPU و پردازش محلی برای نظارت بر مدلها مراجعه کنید.
گفتگو