تصور کنید سیستمی دارید که تمام تست‌های پیش از انتشار را با موفقیت گذرانده، اما به‌محض ورود به دنیای واقعی، شروع به تخریب آرشیو داده‌های شما می‌کند. این دقیقاً همان اتفاقی است که برای Agent Enterprise افتاد؛ جایی که موفقیت در دموها، تضمینی برای بقا در محیط عملیاتی نبود.
بر اساس گزارش منتشرشده در ۵ جولای ۲۰۲۶، یک عامل (Agent) — شبیه دستیاری که قرار است کارهای اداری را خودکار کند — شروع به ثبت رکوردهایی با تاریخ‌های سال ۱۹۷۰ در پایگاه داده کرد. نکته تکان‌دهنده این بود که سیستم نه متوقف شد و نه خطایی داد؛ مدل صرفاً معنای یک رشته متنیe ناقص را حدس زد و با اطمینان کامل، مقدار غلط را جایگزین کرد.
همان‌طور که در تحلیل‌های پیشین ما درباره‌ی توهمات مدل‌های زبانی اشاره کردیم، شکاف میان «نمایش» و «واقعیت» در استقرار هوش مصنوعی بسیار عمیق است. در محیط دمو، ورودی‌ها معمولاً پاکیزه و استاندارد هستند، اما در دنیای واقعی، سامانه‌های بالادستی داده‌های نامنسجم می‌فرستند. در حالی که نرم‌افزارهای سنتی با چک کردن سخت‌گیرانه نوع داده (Type-checking) جلوی خطا را می‌گیرند، بسیاری از پیاده‌سازی‌های فعلی به «هوش» مدل برای تفسیر درست ورودی اعتماد می‌کنند.
به نقل از مستندات dev.to، شرکت Agent Enterprise برای توقف این فساد خاموش داده‌ها، یک منطق «پوشش‌دهنده با اعتبارسنج دوگانه» را پیاده کرد:
- اعتبارسنج ورودی: بررسی فیلدهای ضروری، طول رشته‌ها و فرمت‌های خاص تاریخ پیش از آنکه داده به عامل برسد. موارد ناموفق مستقیماً به صف بررسی دستی منتقل می‌شوند.
- اعتبارسنج خروجی: تأیید اینکه پاسخ عامل با طرح‌واره (Schema) مورد نیاز، نوع داده‌های صحیح و بازه مقادیر مورد انتظار مطابقت دارد؛ پیش از آنکه هرگونه عملیات نوشتن در دیتابیس رخ دهد.
طبق گزارش این منبع، نوشتن این کد فنی تنها یک ساعت زمان برد. جالب اینجاست که خودِ مدل هیچ تغییری نکرد؛ پایداری سیستم زمانی به دست آمد که توانایی عامل در تصمیم‌گیری درباره «صحیح بودن خروجی» سلب شد. با قرار دادن یک اعتبارسنج قطعی (Deterministic) بین مدل و سیستم ذخیره‌سازی، شرکت توانست «خطای آرام» ناشی از توهم (Hallucination) — یعنی وقتی مدل با اطمینان چیزی می‌گوید که وجود ندارد، شبیه دوستی که خاطره‌ای را اشتباه تعریف می‌کند — را حذف کند.
این تغییر مسیر نشان می‌دهد که قابلیت اطمینان در هوش مصنوعی دیگر یک مسئله مربوط به مهندسی پرامپت (Prompt Engineering) — یا همان هنر سؤال درست پرسیدن — نیست، بلکه یک مسئله مهندسی نرم‌افزار سنتی است. برای متخصصان، این بدان معناست که قلمرو عامل هوشمند باید دقیقاً جایی تمام شود که مرز داده‌ها آغاز می‌شود.
گام بعدی شما
- تمام نقاط تماس مستقیم خروجی‌های مدل با پایگاه‌داده‌های حساس خود را شناسایی و فهرست کنید.
- یک لایه اعتبارسنج طرح‌واره (Schema Validation) اضافه کنید که هر مقدار تولیدشده توسط AI را تا زمان اثبات صحت، «ناپایدار» تلقی کند.
- مسیرهای جایگزین (Fall-back) برای داده‌های نامعتبر تعریف کنید تا به جای حدس زدن، خطا به کاربر یا ناظر انسانی گزارش شود.
اما تأثیر این رویکرد بر هزینه‌های استنتاج در مقیاس بالا متفاوت است — به بررسی ما درباره بهینه‌سازی هزینه‌های GPU مراجعه کنید.
گفتگو