تصور کنید یک اشتباه کوچک در انتخاب نرخ خشک‌شدن چوب، ۵۲۰۰ دلار از جیب شما کم کند. این اتفاق دقیقاً در ۴ اکتبر ۲۰۲۶ برای یک کارگاه چوب رخ داد، جایی که یک چت‌بات در تفکیک نرخ‌های مربوط به چوب کاج و بلوط شکست خورد. در حالی که وظیفه این هوش مصنوعی صرفاً مرتب‌سازی فایل‌های Word به‌هم‌ریخته برای پیش‌فاکتورهای مشتریان بود، تقریباً ساختار پاداش‌های مالی کارگاه را فلج کرد.
به گزارش منابع صنعتی، این خطا زمانی رخ داد که کارمندی به نام ری، وظیفه مرتب‌سازی فایل‌ها را به یک مدل زبانی بزرگ (LLM) — شبیه کتابخانه‌داری که میلیاردها صفحه را خوانده و حالا با همان لحن کتاب‌ها جواب می‌دهد — سپرد. مدل زبانی در حالی که باید برای ۴۰ هزار فوت مکعب چوب بلوط سفید قیمت‌گذاری می‌کرد، به اشتباه نرخ مربوط به چوب کاج را اعمال کرد. این تفاوت نرخ (۱۸ سنت در برابر ۳۱ سنت) منجر به ایجاد یک شکاف مالی ۵۲۰۰ دلاری در سیستم پرداخت شد.
در محیط‌های صنعتی، خطاهای کوچک داده‌ای به نشت‌های مالی عظیم تبدیل می‌شوند. برای این کارگاه، تفاوت بین نرخ کاج و بلوط در هر فوت مکعب، یک کسری خاموش ایجاد کرد. همان‌طور که در تحلیل‌های قبلی ما درباره‌ی توهمات مدل‌های زبانی اشاره کردیم، شکاف عمیقی میان تسلط زبانی این مدل‌ها و قابلیت اطمینان ریاضی آن‌ها وجود دارد.
بستر عملیاتی
ری مسئولیت‌های گسترده‌ای در کارگاه بر عهده دارد؛ از مدیریت ساعت حضور و غیاب و رادیوهای لیفتراک گرفته تا نگهداری از تنها کامپیوتری در کارگاه که هنوز بوت می‌شود. او چون هیچ بعدازظهر آزادی برای مرتب‌سازی دستی فایل‌ها نداشت، این وظیفه را به یک چت‌بات هوش مصنوعی برون‌سپاری کرد.
چت‌بات در ابتدا یک هشدار مشخص داد: «من در کلمات مهارت دارم اما در محاسبات اشتباه می‌کنم». برای کاهش این ریسک، هوش مصنوعی پیشنهاد کرد که ری ابزار VisiMark را نصب کند. VisiMark یک ابزار متن‌باز با مجوز MIT است که برای تأیید محاسبات در فایل‌های Markdown طراحی شده است. ری ابزار را نصب کرد اما دستورالعمل‌های تکمیلی را نخواند.
کالبدشکافی شکست فنی
بر اساس مستندات این حادثه، جزئیات فنی خطا به شرح زیر است:
- ورودی: ۴۰ هزار فوت مکعب چوب بلوط سفید، خشک‌شده در کوره.
- خطای مدل: چت‌بات نرخ خشک‌شدن (۰.۱۸) را از یک خط مشابه مربوط به چوب کاج برداشت کرد که در ماه ژانویه در یک چرخه کوتاه خشک شده بود. در حالی که بلوط سنگین‌تر است و به زمان بیشتری در کوره نیاز دارد.
- نتیجه: صدور پیش‌فاکتوری به مبلغ ۷۲۰۰ دلار به جای مبلغ مورد نیاز ۱۲۴۰۰ دلار.
- تشخیص: ابزار VisiMark در ابتدا یک هشدار صادر کرد:
WARN rates.oak_dry defined and never read — did you mean pine_dry?(هشدار: متغیر نرخ بلوط تعریف شده اما خوانده نشده است؛ آیا منظورتان نرخ کاج بود؟). با این حال، کاربر این هشدار را نادیده گرفت زیرا ابزار در نهایت گزارش داد: «۰ مشکل (۰ قدیمی، ۰ خطا)».
این خطا تنها زمانی فاش شد که رویارویی تندی بین هنک و ارل رخ داد. ارل به «کارت کوره» فیزیکی که روی در میخ شده بود اشاره کرد؛ این کارت منبع مرجع دستی بود که نرخ صحیح بلوط را لیست کرده بود. این منبع فیزیکی مستقیماً با خروجی صیقل‌خورده و شیک کامپیوتر در تضاد بود.
به محض اینکه متغیر به oak_dry اصلاح شد، VisiMark بلافاصله یک خطای STALE (منقضی شده) صادر کرد. ابزار تفاوت دقیق را نمایش داد: STALE rates.dry_cost 7200 ≠ 12400.00. این هشدار نشان داد که متن نوشته شده (۷۲۰۰) دیگر با مقدار محاسبه شده (۱۲۴۰۰) مطابقت ندارد. این اتفاق باعث شد اصلاحات پیش از آنکه والت با سازنده تماس بگیرد تا قیمت را نهایی کند، انجام شود.
این حادثه «توهم صحت» را برملا می‌کند. چون خروجی مدل ظاهری حرفه‌ای داشت و جمع اعداد در انتهای سند از نظر ریاضی درست بود، کاربر به آن اعتماد کرد. شکست در اینجا نه در ریاضیات، بلکه در «انتخاب داده» بود؛ نکته‌ای ظریف که مدل‌های زبانی استاندارد هنگام کپی کردن الگوها از متن‌های مجاور، اغلب آن را نادیده می‌گیرند.
برای صاحبان کسب‌وکار، این یعنی گزارش‌های تولید شده توسط هوش مصنوعی را نباید بر اساس ظاهرشان پذیرفت. تنها راه تضمین دقت، استفاده از ابزارهای تأیید خارجی یا حسابرسی سخت‌گیرانه انسانی در برابر منابع مرجع، مانند کارت‌های فیزیکی کوره در این کارگاه است.
کاربران اکنون می‌توانند مخازن گیت‌هاب خود را برای خطاهای محاسباتی مشابه در فایل‌های Markdown با استفاده از محیط آزمایشی (Playground) VisiMark اسکن کنند. چه در حال مدیریت چوب باشید و چه بودجه‌های نرم‌افزاری، درس روشن است: متغیرها را تأیید کنید، نه فقط جمع نهایی را.
گام بعدی شما
- اگر از فایل‌های Markdown برای بودجه یا پیش‌فاکتور استفاده می‌کنید، ابزار VisiMark را برای بررسی تطابق اعداد و متن نصب کنید.
- هرگز خروجی‌های عددی مدل‌های زبانی را بدون داشتن یک «منبع مرجع فیزیکی یا دیتابیس» تأیید نکنید.
- در پرامپت‌های خود، مدل را مجبور کنید متغیرهای مورد استفاده در محاسبات را به صورت جداگانه لیست کند تا بررسی آن‌ها ساده‌تر شود.
اما داستان سخت‌افزاری این تحول حتی شگفت‌انگیزتر است — به تحلیل ما درباره‌ی تراشه‌های Blackwell مراجعه کنید.
گفتگو