تصور کنید میخواهید هزاران عکس محصول را به یک جدول منظم از مشخصات فنی تبدیل کنید؛ اگر فکر میکنید یک پرامپت ساده در ChatGPT برای این کار کافی است، سخت در اشتباهید. آیا یک پرامپت واحد میتواند بهطور قابلاعتمادی یک عکس محصول را به یک ورودی حرفهای در پایگاهداده تبدیل کند؟ پاسخ خیر است. برای حل این چالش، یک توسعهدهنده در ۲۱ اوت ۲۰۲۶ در وبسایت dev.to چارچوبی معماری جدید را معرفی کرد که رویکرد «یک مدل بزرگ» را با یک خط لولهی (Pipeline) ماژولار از عاملهای تخصصی جایگزین میکند.
بسیاری از سامانههای تجارت الکترونیک با دادههای بصری بدون ساختار دستوپنجه نرم میکنند. در حالی که انسان فوراً برند یا مدل یک کالا را از روی عکس تشخیص میدهد، هوش مصنوعی اغلب دچار توهم (Hallucination) — شبیه دوستی که خاطرهای را اشتباه تعریف میکند — شده یا جزئیات حیاتی را نادیده میگیرد. این شکاف، گلوگاه بزرگی برای بهروزرسانی موجودی کالا و خودکارسازی کاتالوگها ایجاد کرده است. در همین راستا، ابزارهایی مانند افزونه Sohay با متصل کردن دادههای زنده ووکامرس به چتباتها، تلاش کردهاند تا دسترسی به اطلاعات دقیق موجودی را در محیطهای تجاری تسهیل کنند.
شکاف دادهها در تجارت الکترونیک
سامانههای تجارت الکترونیک و مدیریت موجودی بهشدت به اطلاعات ساختاریافتهی محصول وابسته هستند. یک رکورد حرفهای و استاندارد برای هر محصول، نیازمند چندین فیلد مشخص است:
- برند (Brand)
- نام محصول (Product name)
- مدل (Model)
- دستهبندی (Category)
- توصیفات محصول (Product descriptors)
- خلاصهی محصول (Product summary)
- اطلاعات زمینهای تکمیلی (Additional contextual information)
وقتی ورودی سیستم یک تصویر محصول است، اکثر این اطلاعات بهصورت دادههای ساختاریافته در دسترس نیستند. نویسهخوانی نوری یا OCR (Optical Character Recognition) میتواند متن را استخراج کند، اما استخراج متن بهتنهایی به شما نمیگوید که محصول دقیقاً چیست. جستوجو در وب میتواند اطلاعات مرتبط را بیابد، اما نتایج اغلب شامل صفحات نامرتبط، اطلاعات تکراری، تبلیغات و توصیفات متناقض است. تکیه بر یک مدل زبانی بزرگ (LLM) — مثل کتابخانهداری که میلیاردها صفحه را خوانده و حالا با همان لحن جواب میدهد — برای «حدس زدن» این موارد از روی یک فایل JPEG، معمولاً به نتایج ناقص یا بدون پشتوانه منجر میشود.
خط لولهی استخراج پنج مرحلهای
برای تضمین دقت، این سیستم فرآیند را به پنج مسئولیت مجزا تقسیم کرده است. جریان داده از تصویر محصول به ترتیب به این ترتیب حرکت میکند: Google Vision $ \rightarrow $ Gemini $ \rightarrow $ Google Search $ \rightarrow $ Crawl4AI $ \rightarrow $ GPT-4.
- استخراج بصری: ابزار Google Vision نویسهخوانی اولیه و تشخیص سیگنالهای بصری را انجام میدهد. این ابزار متنهای خام را استخراج میکند؛ برای مثال، عبارت «SONY WH-1000XM5 Wireless Headphones» را از روی تصویر میخواند. از آنجایی که متنها ممکن است تکراری باشند، کاراکترها اشتباه خوانده شوند یا ترتیب کلمات غیرمنتظره باشد، سیستم با این خروجی به عنوان یک «سیگنال» برخورد میکند، نه پاسخ نهایی.
- درک محصول: مدل Gemini این سیگنالهای خام را تفسیر میکند تا یک هویت معنادار بسازد. در اینجا یک تمایز حیاتی بین متن استخراجشدهی خام (مثلاً "WH-1000XM5") و محصولی با معنا (مثلاً "هدفون بیسیم حذف نویز سونی مدل WH-1000XM5") ایجاد میشود.
- غنیسازی زمینه: سیستم از Google Search برای یافتن صفحات سازنده، بررسیهای کاربران و مشخصات فنی استفاده میکند. این مرحله حیاتی است چون تصاویر بهندرت تمام جزئیات فنی مورد نیاز برای یک پایگاهداده را در خود دارند. با این حال، جستوجو باعث ورود «نویز» میشود، مانند لیستهای فروشگاهی یا صفحاتی که صرفاً برای سئو (SEO) تولید شدهاند.
- بازیابی محتوا: ابزار Crawl4AI متن واقعی را از نتایج جستوجو استخراج میکند. این کار مانع از آن میشود که سیستم به تکههای کوتاه و احتمالاً گمراهکنندهی نتایج جستوجو (Snippets) تکیه کند و در واقع به عنوان پلی بین نتیجه جستوجو، وبسایت مرتبط و محتوای قابل استفاده عمل میکند.
- قالببندی ساختاریافته: در نهایت GPT-4 بهعنوان لایهی استدلالی نهایی عمل میکند. این مدل تمام دادههای OCR، شناسایی محصول، زمینهی جستوجو و محتوای خزششده را ترکیب کرده و یک شیء JSON تمیز تولید میکند. برای مثال، رکوردی ساختاریافته شامل برند، مدل، دستهبندی و توصیفاتی مانند «روی-گوش» (over-ear) یا «حذف نویز» تولید میکند.
مهندسی فراتر از «مسیر ایدهآل»
ساخت این سیستم نشان داد که چالش اصلی نه در جریان موفقیتآمیز دادهها، بلکه در مدیریت شکستهاست. توسعهدهنده چندین نقطه اصطکاک کلیدی را شناسایی کرد:
- نقصهای OCR: تصاویر همیشه حاوی متنهای خوانا نیستند. تفاوت فونتها، زوایای مختلف عکس، نورپردازی، انعکاس نور و کیفیت کلی تصویر همگی بر نتایج OCR اثر میگذارند. خط لوله بهگونهای طراحی شده که این نویزها را تحمل کند و با استفاده از جستوجوی پاییندستی، خطاهای بصری اولیه را اصلاح نماید.
- نویز جستوجو: وجود نام یک محصول تضمین نمیکند که هر نتیجه جستوجو دقیقاً به همان کالا اشاره کند. این موضوع بهویژه زمانی مشکلساز میشود که نسخههای مختلف یا محصولات مشابه وجود داشته باشند. بنابراین، جستوجو به عنوان یک مکانیسم غنیسازی دیده میشود، نه حقیقت مطلق و بدون چون و چرا.
- افزونگی اطلاعات: اطلاعات یک محصول اغلب در چندین صفحه تکرار میشود. ارسال تمام این محتوا به مدل نهایی، بدون بهبود پاسخ، تنها باعث افزایش نویز میشود؛ به همین دلیل انتخاب و پردازش محتوا حیاتی است.
- ثبات پرامپت: اگر فرمت خروجی محدود نشود، نتایج بین درخواستهای مختلف بهشدت تغییر میکنند. پرامپتهای ساختاریافته به بخش اصلی خط لوله تبدیل شدند تا تضمین شود مدل نهایی دقیقاً میداند چه اطلاعاتی را باید برگرداند.
برای حفظ یکپارچگی پایگاهداده، سیستم از اعتماد کورکورانه به LLM اجتناب میکند. از آنجایی که هوش مصنوعی غیرقطعی (Non-deterministic) است، این معماری نیازمند اعتبارسنجی سختگیرانه روی طرحواره (Schema) خروجی است تا اطمینان حاصل شود JSON تولید شده توسط سامانههای موجودی کالا قابل مصرف است. در مدیریت چنین سیستمهای پیچیدهای، بهینهسازی هزینهها نیز اهمیت دارد؛ برای مثال، استفاده از الگوهای تولید در برابر فراخوانی مستقیم API میتواند در کنترل بودجهی عملیاتی سامانههای SaaS مبتنی بر هوش مصنوعی موثر باشد.
چرا معماری ماژولار برنده میشود؟
این جداسازی مسئولیتها باعث میشود عیبیابی بهطور قابلتوجهی سادهتر شود. بهجای یک جعبه سیاه (تصویر $ \rightarrow $ هوش مصنوعی $ \rightarrow $ پاسخ)، ما یک زنجیره شفاف داریم. اگر رکوردی غلط باشد، مهندس میتواند دقیقاً بفهمد شکست در کجا رخ داده است: آیا OCR اشتباه بوده؟ آیا محصول بهدرستی شناسایی نشده؟ آیا جستوجو نتایج ضعیفی برگردانده؟ آیا خزشگر محتوای غلطی استخراج کرده یا پرامپت نهایی دادهها را بد تفسیر کرده است؟
این رویکرد، چالش مهندسی را از «مهندسی پرامپت» به «مهندسی سیستم» تغییر میدهد. ارزش واقعی در ساخت زیرساخت پیرامون مدل — یعنی بینایی، بازیابی و اعتبارسنجی — است، نه امید به یک پاسخ کامل از یک مدل واحد.
برای توسعهدهندگان، این بدان معناست که برنامههای هوش مصنوعی باید به عنوان مجموعهای از اجزای بهخوبی تعریفشده دیده شوند. همین منطق را میتوان در موارد دیگر نیز به کار برد:
- خودکارسازی کاتالوگ محصولات
- ورود دادههای موجودی کالا (Inventory onboarding)
- غنیسازی دادههای تجارت الکترونیک
- پایگاهدادههای داخلی محصولات
- جریانهای کاری خودکار برای لیست کردن محصولات
برای بهبود بیشتر سیستم، گامهای بعدی شامل پیادهسازی اعتبارسنجیهای قویتر بین مراحل، بهبود تطبیق محصولات برای مدلهای مختلف (Variants) و معرفی سیستمهای بهتر برای حذف تکرار و رتبهبندی منابع خزششده است تا نویز در مرحله نهایی پردازش GPT-4 کاهش یابد.
منتظر ظهور «سیستمهای هوش مصنوعی ترکیبی» (Compound AI Systems) باشید؛ جایی که هماهنگی چندین مدل کوچک در محیطهای عملیاتی، عملکرد بهتری نسبت به یک مدل پیشرو (Frontier Model) واحد دارد.
گام بعدی شما
- اگر از مدلهای تکمرحلهای برای استخراج داده استفاده میکنید، خروجیها را با یک لایه جستوجوی وب (RAG) اعتبارسنجی کنید.
- برای پروژههای تجاری، بهجای یک مدل غولپیکر، از زنجیرهای از مدلهای کوچکتر و تخصصی (Compound AI Systems) استفاده کنید.
- فرمت خروجی مدلهای خود را با استفاده از JSON Schema محدود کنید تا دادهها مستقیماً در پایگاهداده قابل ذخیره باشند.
اما داستان سختافزاری این تحول حتی شگفتانگیزتر است — به تحلیل ما دربارهی تراشههای Blackwell مراجعه کنید.
گفتگو