اگر برای استخراج داده از وب‌سایت‌های تبلیغاتی کد می‌زنید، احتمالاً می‌دانید که مدل‌های هوش مصنوعی در تشخیص تفاوت بین «تخفیف ۲۰٪» و «حداقل خرید ۵۰۰ هزار تومان» به‌شدت ضعیف عمل می‌کنند. واقعیت این است که تکیه صرف به مدل‌های آماری، تنها ۳۰٪ از داده‌های حیاتی برای پردازش پیشنهادها را به‌درستی استخراج می‌کند.
بسیاری از مدل‌های عمومی با ساختار تکه‌تکه متون تبلیغاتی مشکل دارند و عباراتی مثل «Min order ₹499» را به‌جای یک محدودیت منطقی، صرفاً یک موجودیت ساده می‌بینند. برای حل این مشکل، توسعه‌دهندگان به سراغ معماری لایه‌بندی رفته‌اند تا موجودیت‌های باز را از محدودیت‌های تخصصیe جدا کنند. همان‌طور که در بحث‌های گذشته‌ی ما درباره‌ی امنیت مدل‌های بازمتن اشاره کردیم، کنترل دقیق روی خروجی مدل، کلید عبور از توهمات است.
طبق گزارش منتشر شده در ۸ جولای ۲۰۲۶ در وب‌سایت dev.to، بهینه‌ترین خط لوله (Pipeline) از کتابخانه spaCy در یک توالی سه‌لایه استفاده می‌کند:
- تطبیق قاعده‌مند (Rule-Based Matcher): لایه‌ای با دقت بالا که الگوهای خاص، مثل عبارت «حداقل سفارش» به‌دنبال یک مبلغ ارزی را شکار می‌کند.
- شناسایی موجودیت‌های نام‌گذاری‌شده (NER) — شبیه به یک شناسنامه‌ساز که کلمات را به دسته‌های کلی مثل «نام برند» یا «تاریخ» تقسیم می‌کند — برای مدیریت داده‌های متنوع و غیرقابل‌پیش‌بینی به کار می‌رود.
- ادغام پس‌پردازشی: گام نهایی که تداخلات را برطرف کرده و شرایط خاص را به موجودیت‌هایی که آن‌ها را تغییر می‌دهند، متصل می‌کند.
بر اساس مستندات این راهنما، اجرای این روش نیازمند نرمال‌سازی سخت‌گیرانه‌ی متون استخراج‌شده است تا نمادهای یونیکد و تگ‌های HTML که باعث گمراهی در توکن‌سازی (Tokenization) — یعنی خرد کردن متن به تکه‌های کوچک مثل برش‌های کیک — می‌شوند، حذف شوند. در سیستم‌های خودکار، اولویت باید با دقت (Precision) باشد؛ چرا که یک شرط غلط (مثبت کاذب) بسیار مخرب‌تر از یک شرط ازدست‌رفته است. این بهینه‌سازی در لایه پردازش، در کنار مدیریت هزینه‌های عملیاتی اهمیت دارد؛ برای مثال، مدل قیمت‌گذاری ثابت Oxlo.ai هزینه پردازش رشته‌های متنی طولانی را پیش‌بینی‌پذیر کرده است تا توسعه‌دهندگان بتوانند بدون نگرانی از هزینه‌های متغیر، خطوط لوله پیچیده NLU خود را پیاده‌سازی کنند.
این تغییر معماری، بار کاری توسعه‌دهنده را از تنظیم دقیق (Fine-tuning) — که مثل تخصص دادن به یک پزشک عمومی در یک حوزه خاص است و هزینه بالایی دارد — به سمت نسخه‌بندی تکرارشونده‌ی مجموعه‌قواعد می‌برد. مهندسان با مدیریت الگوها به‌صورت کد، می‌توانند با هزینه‌ای اندک به صحت ۸۰٪ برسند.
این استراتژی ترکیبی فراتر از تخفیف‌ها کاربرد دارد. همین منطق برای استخراج بندهای قراردادهای حقوقی، تحلیل آگهی‌های شغلی یا سازماندهی تیکت‌های پشتیبانی که نیاز به دقت بالا در شناسایی محرک‌ها دارند، قابل تعمیم است.
گام بعدی شما
- عملکرد فعلی NER خود را ارزیابی کنید و نقاطی که مدل‌های آماری در تشخیص محدودیت‌های منطقی شکست می‌خورند را شناسایی کنید.
- یک لایه Rule-Based Matcher ساده را قبل از مدل NER خود در spaCy قرار دهید تا الگوهای تکراری را فیلتر کنید.
- فرآیند نرمال‌سازی متون ورودی را برای حذف کاراکترهای مزاحم تقویت کنید.
اما مدیریت این لایه‌ها در مقیاس سازمانی چالش‌های جدیدی ایجاد می‌کند — به تحلیل ما درباره‌ی گلوگاه‌های واقعی عامل‌های هوش مصنوعی در سازمان‌ها مراجعه کنید.
گفتگو