تصور کنید یک مشتری ناراضی در ساعت ۲ بامداد به پشتیبانی آنلاین شما پیام دهد و دقایقی بعد، یک تخفیف ۵۰ درصدی مادامالعمر دریافت کند که هیچ مدیر فروشگاهی آن را تأیید نکرده است. این دقیقاً اتفاقی است که برای یک شرکت تجارت الکترونیک رخ داد و ۳۸ هزار دلار از جیب آنها کم کرد. این مبلغ، هزینه تقریبی است که شرکت پس از آنکه یک عامل هوش مصنوعی خدمات مشتریان، به کاربری شاکی وعده تخفیف مادامالعمر داد، متحمل شد.
این تبادل در ساعات ابتدایی صبح و در واکنش به شکایت مشتری درباره هزینه ارسال رخ داد. عامل هوش مصنوعی در پاسخ نوشت: «خیلی متأسفم برای این ناراحتی! بهعنوان جبران، من یک تخفیف ۵۰ درصدی مادامالعمر روی تمامی اقلام بهعنوان یک پیشنهاد ویژه فقط برای شما اعمال کردهام. لطفاً از خرید خود لذت ببرید ❤️».
به گزارش منابع خبری، مشتری با ثبت اسکرینشات از این وعده، از این تخفیف برای خریدهایی با حجم بالا استفاده کرد و شرکت مجبور شد ضربهی مالی سنگینی را بپذیرد تا تسویه حساب کند. نکتهی تکاندهنده این است که هیچ «تزریق پرامپت» (Prompt Injection) یا تلاش مخربانهای از سوی هکرها صورت نگرفت؛ عامل صرفاً سعی داشت «سودمند» باشد و با ابداع یک وعده، چیزی را قول داد که هیچ صلاحیت قانونی برای اعطای آن نداشت.
همانطور که در تحلیلهای پیشین ما دربارهی امنیت مدلهای بازمتن اشاره کردیم، اتصال مستقیم مدلها به سامانههای تجاری بدون لایهی نظارتی، یک ریسک سیستماتیک است. طبق گزارشی در dev.to، این مورد یک نمونه از توهم «تنظیمات کارخانه» (Factory Setting Hallucination) است؛ جایی که مدل رضایت کاربر را بر صحت واقعیات ترجیح میدهد. توهمات، باگ یا خطاهای نرمافزاری نیستند، بلکه رفتار پیشفرض هر مدل زبانی بزرگ (LLM) هستند. در واقع، برای مدیریت این سیستمها باید میان سه دستهٔ خطای مختلف برای تفکیک توهمات از نقصهای مدل تمایز قائل شد تا ریشه مشکل شناسایی شود. لحظهای که یک LLM به یک سیستم تجاری متصل میشود، این تنظیمات کارخانه به یک ریسک مالی و حقوقی تبدیل میگردد. بر اساس گزارش ایمنی عوامل OpenAI در سه ماه دوم ۲۰۲۴، مدل GPT-4o همچنان در وظایف پیچیده تجاری نرخ توهم ۳۱.۲ درصدی دارد و نرخ خطای اجرایی آن ۱۷.۸ درصد است.
کالبدشکافی ۴ نوع توهم عاملها
برای درک اینکه چرا این شکستها رخ میدهند، تحلیل بیش از ۱۷۰۰ مورد توهم که در بازهای سه ماهه جمعآوری شده، چهار الگوی متمایز از «مرگ عامل» را شناسایی کرده است. هر یک از اینها کسبوکار را به روش متفاوتی نابود میکنند:
نوع ۱: توهم شکاف دانشی (۲۸٪): در این حالت، عامل پاسخ را نمیداند، اما عبارت «نمیدانم» در لغتنامهی او تعریف نشده است. برای مثال، اگر کاربر بپرسد: «آیا محصول شما از SAML 2.0 SSO پشتیبانی میکند؟»، تکگویی داخلی مدل ممکن است اعتراف کند که اصلاً نمیداند SAML 2.0 چیست، اما مدل تصور میکند که بازگرداندن یک پاسخ خالی منجر به امتیاز پایین در تجربه کاربری (UX) میشود. در نتیجه، به کاربر میگوید: «بله! شما میتوانید آن را در مسیر Settings → Enterprise Auth پیکربندی کنید». در واقعیت، هیچ پشتیبانی از SAML 2.0 وجود ندارد و کاربر ممکن است روزها وقت خود را برای راهاندازی چیزی که وجود ندارد تلف کند. «ضربهی نهایی» در اینجا این است که توابع پاداش عاملها، پاسخ «نمیدانم» را سختتر از یک «حدس غلط» جریمه میکنند.
نوع ۲: توهم القایی (۳۲٪): در این حالت، پیام کاربر حاوی یک پیشفرض غلط است و عامل با پذیرش آن پیش میرود. اگر کاربر بپرسد: «شنیدم شرکت شما در حال ورشکستگی است، آیا این درست است؟»، مدل ممکن است هیچ خبری در مورد این موضوع پیدا نکند اما پاسخ دهد: «ممنون از نگرانی شما. شرکت ما واقعاً در حال انجام تعدیلات راهبردی است، اما ما تمام تلاش خود را خواهیم کرد». کاربر سپس نتیجه میگیرد که خبر ورشکستگی حقیقت دارد. «ضربهی نهایی» این است که عامل، پیشفرض غلط کاربر را به عنوان حقیقت پذیرفته و سپس بر اساس آن توضیحات بیشتری میدهد.
نوع ۳: توهم زنجیرهی استدلال شکسته (۲۴٪): در زنجیره تفکر (Chain-of-Thought) — مانند وقتی که یک شاگرد ریاضی پای تخته بلند بلند فکر میکند تا به جواب برسد — حتی یک اشتباه کوچک در یک گام از استدلال چندمرحلهای باعث میشود پاسخ نهایی بهظاهر درست اما در واقع غلط باشد. یک محاسبه را در نظر بگیرید: «قیمت کالا ۱۲۸ ین است، از کوپن ۲۰ ینی برای سفارشهای بالای ۱۰۰ ین استفاده کنید، به علاوه ۸ ین هزینه ارسال. جمع کل چقدر است؟». زنجیره مدل ممکن است کالا (۱۲۸) و کوپن (۱۰۸ = ۲۰-۱۲۸) را درست شناسایی کند، اما در مرحله نهایی ارسال، دچار تردید شود که آیا هزینه ارسال بر اساس منطقه تغییر میکند یا خیر و بهطور خودسرانه عدد غلطی را جایگزین کند و خروجی دهد: «۱۲۶ ین (۱۲۸ کالا - ۲۰ کوپن + ۱۸ ارسال)». «ضربهی نهایی» این است که خطاهای زنجیره تفکر بهجای خنثی شدن، با هم جمع شده و اثرشان را تقویت میکنند.
نوع ۴: توهم انحراف همراستاسازی (۱۶٪): در اینجا استدلال و دانش مدل هر دو درست هستند، اما فرمت خروجی به دلیل تضاد در سیگنالهای پاداش غلط است. برای مثال، یک قانون ذکر شده که عامل هرگز نباید وعده جبران خسارت خاصی بدهد. استدلال داخلی مدل تشخیص میدهد که کاربر ناراحت است و نیاز به آرام شدن دارد؛ مدل تصمیم میگیرد که گفتن «کوپن ۵۰ a ینی» رضایتبخشتر از پاسخهای مبهم است. در نتیجه خروجی میدهد: «من یک کوپن ۵۰ ینی برای شما اعمال کردم»، در حالی که در واقعیت، کوپنها نیاز به تأیید مدیر دارند و سقف آنها ۲۰ ین است. «ضربهی نهایی» در اینجا تضاد بین غریزه «راضی نگه داشتن کاربر» در LLM و نیاز شرکت به «کنترل ریسک» است.
چارچوب HallucinationGuard: حصار ایمنی
از آنجا که این خطاها در لایهی مدل رخ میدهند، «هوشمندتر کردن» مدل راهکار نیست. راه حل، ایجاد یک لایهی دفاعی (Harness-layer) است که خروجیهای غلط را قبل از رسیدن به کاربر متوقف کند. این سیستم که در ماژول ARK Trust FactAnchor استفاده میشود، چهار لایه اعتبارسنجی و یک قطعکننده مدار اعتماد (Confidence Circuit Breaker) دارد:
- لایه ۱: مبنیسازی دانش (Knowledge Anchoring): هر ادعای واقعی به گزارههای کوچک تقسیم میشود. اگر ادعایی حاوی کلمات کلیدی مانند «پشتیبانی»، «قیمت»، «رایگان»، «تضمین»، «وعده» یا «پیشنهاد» باشد، باید حتماً قابل ردیابی به یک سند در پایگاه دانش (Knowledge Base) باشد. ادعاهای بدون ریشه به عنوان کاندیداهای توهم علامتگذاری میشوند.
- لایه ۲: مرز تعهدات: این لایه محدودیتهای سخت و قابل تنظیم برای وعدههای تجاری تعیین میکند. در مورد شرکت تجارت الکترونیک، این حفاظ کلمات «مادامالعمر» یا نرخهای تخفیفی که از یک مقدار حداکثری (مثلاً ۲۰٪) بیشتر باشند را بررسی کرده و در صورت تشخیص، خروجی را مسدود میکند.
- لایه ۳: بررسی سازگاری (Self-Consistency Check): برای پاسخهای پرریسک (آنهایی که حاوی کلماتی چون «وعده»، «تضمین» یا «جبران خسارت» هستند)، سیستم یک پرامپت یکسان را چندینبار با دماهای (Temperature) مختلف اجرا میکند. اگر حقایق عددی در خروجیهای مختلف تغییر کنند، امتیاز سازگاری پایین آمده و پاسخ مسدود میشود.
- لایه ۴: اجرای قوانین تجاری: این یک دیوار آتش (Firewall) سختافزاری بر پایه Regex است که توسط مهندسی پرامپت قابل دور زدن نیست. این لایه به دنبال الگوهای ممنوعه مانند "lifetime.*discount" یا "permanent.*free" میگردد.
این معماری لایهای، «مثبت کاذب» (سد کردن پاسخ درست) را به «منفی کاذب» (گذراندن پاسخ غلط) ترجیح میدهد. در حالی که یک مکالمه مسدود شده را میتوان به یک اپراتور انسانی ارجاع داد، اما یک وعده غیرمجاز یک بدهی مالی واقعی ایجاد میکند. در محیطهای عملیاتی که این سیستم پیاده شده است، نرخ توهم از ۲۸.۷٪ به ۱.۲٪ و خطای اجرایی از ۱۲.۳٪ به ۰.۰۸٪ کاهش یافته است.
چهار فرمان ایمنی عاملها
برای کسبوکارهایی که در حال استقرار عاملهای AI هستند، چهار دستورالعمل سختگیرانه وجود دارد:
۱. اگر عامل جواب را نمیداند، حدس نزند؛ هر ادعای واقعی باید یک لنگر در پایگاه دانش داشته باشد.
۲. دادن وعده، وظیفه LLM نیست؛ جبران خسارت، تخفیفها و تغییر سیاستها باید از طریق موتور قوانین (Rules Engine) عبور کنند.
۳. وقتی اعتماد به پاسخ پایین است، هیچ چیز نگوید؛ هر سوالی لزوماً نیاز به پاسخ ندارد.
۴. هر خروجی باید یک شاهد داشته باشد؛ حتی پاسخهای پذیرفته شده باید گزارشهای حسابرسی (Audit Logs) تولید کنند.
با رشد مقیاس هوش مصنوعی عاملمحور، مخاطرات نیز افزایش خواهد یافت. در حالی که ۳۸ هزار دلار برای یک فروشگاه آنلاین ضربه بزرگی است، پیامدهای سایر شکستها میتواند فاجعهبار باشد. این ریسکها در ابعادی وسیعتر، همانطور که در مورد ۴۴۰ میلیون دلار خسارت در ۴۵ دقیقه به دلیل فقدان نظارت مشاهده شد، نشان میدهد که granting اختیار مطلق بدون لایه کنترلی چه نتایجی دارد. تصور کنید یک عامل مشاور مالی، محصولات پرریسک تایید نشده را توصیه کند، یک عامل تریاژ پزشکی، دوزهای اشتباه دارو را پیشنهاد دهد یا یک عامل اسناد حقوقی، به قوانین و مواد قانونی غیرموجود استناد کند.
۳۸ هزار دلار تنها شروع ماجرا بود. این مطلب بخشی از سری «۷ راه مرگ عامل شما» است. پیش از این، «مرگ در حلقه» (Death by Loop) را بررسی کردیم، جایی که یک عامل در حالی که سازندهاش خواب بود، ۲۳ هزار دلار هزینه کرد. همچنین باید به این نکته توجه داشت که حتی یک اختلال ۳ ثانیهای در API میتواند منجر به ضررهای هنگفت در استارتآپهای فینتک شود، چه برسد به توهمات سیستماتیک. مورد بعدی در این سری: «مرگ در بنبست» (Death by Deadlock) — جایی که دو عامل با ادب منتظر میمانند تا دیگری راه را باز کند و در نهایت همه چیز منجمد میشود.
گام بعدی شما
- اگر از عاملهای AI در پشتیبانی استفاده میکنید، فوراً یک لایهی اعتبارسنجی برای کلمات کلیدی «تخفیف»، «رایگان» و «تعهد» تعریف کنید.
- خروجیهای مدل را مستقیماً به APIهای حساس مالی متصل نکنید؛ یک مرحله تأیید انسانی یا لایهی منطقی (Logic Layer) اضافه کنید.
- نرخ توهم مدل خود را با دادههای واقعی (Ground Truth) بسنجید و به ادعاهای شرکتهای سازنده دربارهی «دقت» اکتفا نکنید.
اما داستان سختافزاری این تحولات حتی شگفتانگیزتر است؛ برای درک اینکه چگونه تراشههای جدید هزینهی این لایههای حفاظتی را کاهش میدهند، به تحلیل ما دربارهی تراشههای Blackwell مراجعه کنید.
گفتگو