تصور کنید یک خطای کوچک در کدنویسی یا یک توهم زبانی، مستقیماً به یک پرونده‌ی حقوقی تبدیل شود؛ برای ایرکانادا این ریسک اکنون به واقعیتی هزینه‌بر تبدیل شده است. در حکمی که هشداری جدی برای تمام شرکت‌های فعال در حوزه‌ی خدمات مشتریان است، دادگاهی ایرکانادا را مجبور کرد تا خسارت مسافری را بپردازد که چت‌بات شرکت، یک سیاست استرداد وجه خیالی را برای او ساخته بود.
این اتفاق در حالی رخ می‌دهد که سازمان‌ها با شتاب در حال جایگزینی پشتیبانی انسانی با عامل‌های (Agents) خودکار هستند. در حالی که پیش‌تر بررسی کردیم چگونه برندهایی مانند RAXXO Studios برای گسترش حضور خود به سمت سفیران هوش مصنوعی حرکت می‌کنند، حکم دادگاه ایرکانادا ثابت می‌کند که گسترش حضور دیجیتال، ریسک‌های حقوقی را نیز به همان نسبت گسترش می‌دهد. در اینجا خطر تنها پاک شدن یک پایگاه‌داده یا خطای سیستمی نیست، بلکه دادن وعده‌ای است که هیچ جایگاهی در قوانین تایید شده‌ی شرکت ندارد.
جزئیات حادثه
به نقل از مستندات پرونده، در نوامبر ۲۰۲۲، مسافری به نام جیک مافیت پس از فوت مادربزرگش، عجله داشت تا بلیطی از ونکوور به تورنتو رزرو کند. او از چت‌بات ایرکانادا (Air Canada) درباره‌ی نرخ‌های تخفیفی مربوط به فوت بستگان (Bereavement Fares) پرسید. چت‌بات به او پاسخ داد که او می‌تواند بلافاصله یک بلیط با قیمت کامل رزرو کند و سپس ظرف ۹۰ روز پس از تاریخ صدور بلیط، برای دریافت استرداد وجه بر اساس نرخ تخفیفی درخواست دهد.
این اطلاعات کاملاً غلط بود. سیاست واقعی شرکت در مورد فوت بستگان با آنچه بات ادعا کرده بود تفاوت داشت. مافیت با اعتماد به این پاسخ، مبلغ ۱۶۳۰.۳۶ دلار کانادا برای پروازهای خود پرداخت کرد. اما وقتی در ۱۷ نوامبر مدارک لازم و گواهی فوت را ارسال کرد، شرکت درخواست او را رد کرد؛ زیرا توصیه‌ی بات با سیاست‌های واقعی شرکت در تضاد بود.
نبرد حقوقی
مافیت این پرونده را به دادگاه حل اختلاف مدنی بریتیش کلمبیا در پرونده‌ای با عنوان Moffatt v. Air Canada (2024 BCCRT 149) برد.
در ۱۴ فوریه ۲۰۲۴، کریستوفر ریورز، عضو دادگاه، به نفع مسافر رای داد. دادگاه ایرکانادا را به «ارائه‌ی اطلاعات نادرست از روی سهل‌انگاری» (Negligent Misrepresentation) متهم کرد. ایرکانادا در دفاع از خود استدلال کرد که یک چت‌بات «شخصیت حقوقی» ندارد و نمی‌تواند قراردادی ببندد. ریورز این ادعا را «ارائه‌ی مطلبی عجیب» (Remarkable Submission) دانست و تأکید کرد که بات صرفاً بخشی از وب‌سایت شرکت است و شرکت مسئول محتوای آن است.
در نتیجه، ایرکانادا مجبور شد مبلغ ۸۱۲.۰۲ دلار کانادا بپردازد. این مبلغ شامل موارد زیر بود:
- ۶۵۰.۸۸ دلار برای تفاوت قیمت بلیط‌ها
- ۳۶.۱۴ دلار بهره پیش از صدور حکم
- ۱۲۵ دلار هزینه‌های دادگاه
اگرچه مبلغ پرداختی کم بود، اما پیش‌بینی حقوقی ایجاد شده بسیار عظیم است. اکثر ترس‌ها مربوط به عامل‌هایی است که اقدامات پر سر و صدایی انجام می‌دهند — مانند استقرار کدهای غلط یا ارسال ایمیل به ۴۰ هزار نفر — زیرا این اشتباهات به راحتی قابل شناسایی و جبران هستند. این خطرات در مقیاس وسیع‌تر پیش‌تر در پرونده‌هایی مانند سقوط Knight Capital مشاهده شده بود که نشان داد فقدان نظارت بر سیستم‌های خودکار چه خسارات میلیاردی به بار می‌آورد. اما یک وعده‌ی توهمی متفاوت است؛ این خطا شبیه به یک کمک دوستانه به نظر می‌رسد تا زمانی که مشتری شما را به دادگاه بکشاند.
کالبدشکافی فنی
از نظر فنی، این یک شکست در تولید بازیابی‌افزا (RAG) — شبیه دانش‌آموزی که کتاب را باز می‌کند اما هنگام جواب دادن، جملات را با خودش تغییر می‌دهد و اشتباه می‌نویسد — بود. این خطا از طریق «انحراف زمینه» (Context Drift) رخ داد و مکانیسم در این مراحل شکست خورد:
- بات سند سیاست درست را بازیابی کرد.
- اما در مرحله‌ی ترکیب و تولید متن خروجی، محتوا را تحریف کرد.
- خروجی با اعتمادبه‌نفس و بسیار دقیق به نظر می‌رسید.
- حفاظ‌ها (Guardrails) شکست خوردند چون خروجی یک جمله‌ی خوش‌ساخت و روان بود، نه یک خطای فنی یا کد خراب.
این نوع توهمات تنها محدود به یک شرکت نیست و نتایج ارزیابی‌های گسترده‌ای مانند گزارش BotCritic نشان می‌دهد که حتی پیشرفته‌ترین مدل‌های زبانی نیز در آزمون‌های توهم، امتیازات متوسطی کسب می‌کنند و هنوز کاملاً قابل اعتماد نیستند.
برای صاحبان کسب‌وکار، این یعنی چت‌بات را نه به عنوان یک نوار جست‌وجو، بلکه به عنوان کارمندی با قدرت امضای قرارداد ببینید. همان‌طور که سورش کومار آریا گودر در یادداشتی در Medium اشاره کرده است، این یک «مشکل وعده» است، نه یک «باگ نرم‌افزاری». این موضوع زمانی بحرانی‌تر می‌شود که توهمات بات منجر به تخفیف‌های غیرمجاز و ضررهای مالی مستقیم شود، همان‌طور که در برخی پرونده‌های تجارت الکترونیک رخ داده است.
برای کاهش این ریسک، شرکت‌ها باید استراتژی‌های زیر را اتخاذ کنند:
- برای هرگونه بیانیه‌ی مربوط به مبالغ مالی، استرداد وجه یا استحقاقات، از قالب‌های سخت‌افزاری (Hard-coded) استفاده کنید، نه متن‌های تولیدی توسط مدل.
- تمام وعده‌هایی که بات به مشتری می‌دهد را ثبت (Log) کنید؛ زیرا این‌ها اصلی‌ترین نقاط مسئولیت حقوقی شما هستند.
- یک مرحله‌ی تأیید بین «بازیابی سند» و «پاسخ به مشتری» اضافه کنید تا شکاف انحراف زمینه بسته شود.
- پرامپت‌ها را به گونه‌ای بنویسید که فرض کنید مشتری در نهایت از آن‌ها در یک پرونده‌ی حقوقی نقل‌قول می‌کند.
همیشه فرض کنید هر جمله‌ی با اعتمادبه‌نفسِ بات شما، روزی در یک دادگاه نقل‌قول می‌شود. روانیِ کلام برای کاربران یک ویژگی مثبت است، اما در دادگاه، همین روانی دلیلی است که یک توهم را شبیه به یک وعده‌ی رسمی جلوه می‌دهد. چه بات شما استرداد بلیط را مدیریت کند و چه تاریخ‌های ارسال کالا را، این سوال باقی می‌ماند: آیا پیش از مشتری‌تان متوجه می‌شوید که بات در حال دادن یک وعده‌ی دروغین است؟
گفتگو