پرش به محتوای اصلی
پرش به محتوای مقاله

Apify: یک سرور MCP برای تبدیل وب‌سایت‌های تجاری به منبع داده‌های ساختاریافته

·۲۰ شهریور ۱۴۰۵۵ دقیقه مطالعه
راهنما
راهنمای کامل اتصال Claude و ChatGPT به داده‌های لحظه‌ای محصولات با سرور Apify MCP
راهنمای کامل اتصال Claude و ChatGPT به داده‌های لحظه‌ای محصولات با سرور Apify MCP
اشتراک‌گذاری
واقعاً چه چیز جدید است؟

تبدیل ۷۰ هزار ابزار استخراج داده به توابع قابل فراخوانی (Callable Tools) از طریق پروتکل MCP؛ این یعنی مدل‌ها دیگر نیازی به مرور وب ندارند و مستقیماً با APIهای استخراج داده صحبت می‌کنند.

یک اتصال ساده به سرور جدید Apify می‌تواند یک چت‌بات مستعد توهم (Hallucination) — شبیه دوستی که خاطره‌ای را با اطمینان اما اشتباه تعریف می‌کند — را به یک عامل خرید دقیق تبدیل کند. در حالی که مدل‌های استاندارد معمولاً قیمت‌ها را از داده‌های قدیمی آموزش‌دیده حدس می‌زنند یا در پیمایش سایت‌های پیچیده خرده‌فروشی شکست می‌خورند، این یکپارچگی به Claude و ChatGPT اجازه می‌دهد داده‌های ساختاریافته و زنده محصولات را در لحظه و بر اساس درخواست دریافت کنند.

این تحول در زمانی رخ می‌دهد که صنعت به سمت گردش‌کارهای عامل‌محور (Agentic) حرکت می‌کند. همان‌طور که در تحلیل قبلی ما درباره‌ی اهمیت خروجی‌های ساختاریافته در اتوماسیون کسب‌وکار اشاره کردیم، گلوگاه اصلی برای عامل‌ها (Agents) هرگز قدرت استدلال نبوده است؛ بلکه مشکل اصلی، نبود راهی قابل‌اعتماد برای خواندن یک صفحه محصول بدون گم شدن عامل در چیدمان‌های نامنظم و کدهای پیچیده HTML بود.

نقش پروتکل MCP

پروتکل زمینهٔ مدل (MCP) — شبیه یک استاندارد مشترک برای پریزهای برق که اجازه می‌دهد هر دستگاهی به هر منبعی وصل شود — استانداردی است که به مدل هوش مصنوعی اجازه می‌دهد در میانه گفتگو، ابزارهای خارجی را فراخوانی کند. به جای تولید متن ساده، مدل می‌تواند داده‌های زنده را بازیابی کند یا اقدامات خاصی را انجام دهد. این رویکرد یادآور تلاش‌های مشابه برای حذف موانع دسترسی به داده است، همان‌طور که در اکوسیستم DeepSeek Harness نیز قابلیت‌های جدیدی برای دسترسی به داده‌های لحظه‌ای بدون نیاز به ثبت‌نام معرفی شد.

به نقل از راهنمای منتشر شده در ۱۱ سپتامبر ۲۰۲۶، سرور MCP شرکت Apify کل فروشگاه خود را که شامل بیش از ۷۰ هزار «اکتور» (Actor) از جمله اسکرپرها، استخراج‌کننده‌ها و ابزارهای اتوماسیون است، به عنوان ابزارهای قابل فراخوانی ارائه می‌دهد. این یعنی هوش مصنوعی می‌تواند یک اسکرپر خاص را جست‌وجو کند، آن را اجرا نماید و پاسخ JSON تمیز و ساختاریافته‌ای را در میانه گفتگو دریافت کند.

راهنمای کامل اتصال Claude و ChatGPT به داده‌های لحظه‌ای محصولات با سرور MCP Apify

پیاده‌سازی فنی

کاربران می‌توانند Claude Desktop را از طریق فایل claude_desktop_config.json به سه روش مختلف متصل کنند:

  • OAuth: روش پیشنهادی که نیاز به مدیریت توکن ندارد. در اولین اتصال، یک مرورگر برای ورود به حساب Apify و تایید دسترسی باز می‌شود.
  • Remote Token: استفاده از یک توکن Bearer که از کنسول Apify (بخش Settings $\rightarrow$ API & Integrations) دریافت می‌شود.
  • Local (stdio): اجرای سرور روی ماشین محلی از طریق دستور npx @apify/actors-mcp-server به همراه یک متغیر محیطی به نام APIFY_TOKEN.

پس از راه‌اندازی مجدد، Claude Desktop دسترسی به چندین ابزار کلیدی را فراهم می‌کند: search-actors برای یافتن ابزار مناسب، call-actor برای اجرای عملیات و get-dataset-items برای دریافت نتایج.

برای کاربران ChatGPT، اتصال به جای استفاده از فایل پیکربندی، از طریق Developer Mode انجام می‌شود. دسترسی کامل خواندن و نوشتن (Read/Write) — که برای عملکرد call-actor ضروری است زیرا اجرای یک اکتور اقدامی از نوع «نوشتن» محسوب می‌شود — در حال حاضر تنها برای طرح‌های Business، Enterprise و Edu محدود شده است. کاربران Pro در حالت Developer Mode تنها دسترسی Read-only یا Fetch-only دارند. همچنین، سطوح Plus و Free هنوز از این رابط‌های متصل‌کننده سفارشی پشتیبانی نمی‌کنند. این تفاوت در دسترسی‌ها و نحوه تعامل با داده‌ها، بازتابی از استراتژی‌های متفاوت مدل‌های پیشرو است؛ موضوعی که در بررسی تفاوت دیدگاه ChatGPT و گوگل در معرفی برندها و پایان استراتژی تک‌مدلی به آن پرداختیم.

برای راه‌اندازی این قابلیت در ChatGPT، کاربران باید به مسیر Settings $\rightarrow$ Apps $\rightarrow$ Advanced Settings رفته و Developer Mode را فعال کنند، سپس یک کانکتور جدید با استفاده از URL سرور https://mcp.apify.com ایجاد نمایند. پس از اسکن ابزارها، می‌توان در میانه گفتگو با استفاده از @، این کانکتور را فراخوانی کرد.

مزیت داده‌های ساختاریافته

تست‌های انجام شده توسط Apify تضاد شدیدی را در عملکرد نشان داد. وقتی Claude سعی کرد مستقیماً ۵ خرده‌فروش بزرگ را بررسی کند، ۰ محصول از ۱۰۰ مورد را استخراج کرد. اما با حضور سرور MCP در چرخه عملیاتی، این نرخ موفقیت به ۱۰۰ از ۱۰۰ رسید.

این موفقیت به دلیل نحوه عملکرد اکتور "Product Data for AI Shopping Agents" است. این ابزار به جای تجزیه و تحلیل HTMLهای غیرقابل پیش‌بینی، اولیت را به نشانه‌گذاری schema.org/JSON-LD می‌دهد؛ یعنی همان داده‌های ماشین‌خوان که وب‌سایت‌ها برای خزنده‌های گوگل منتشر می‌کنند. اگر JSON-LD موجود نباشد، سیستم به تگ‌های Open Graph روی می‌آورد. این مکانیسم مانع از آن می‌شود که هر بار یک خرده‌فروش چیدمان وب‌سایت خود را تغییر داد، عامل هوش مصنوعی دچار شکست شود.

جزئیات فرآیند استخراج

هنگام فراخوانی اکتوری مانند dynamict3ch/product-data-for-ai-shopping-agents، هوش مصنوعی لیستی از URLهای شروع (startUrls) و محدودیتی برای تعداد درخواست‌ها در هر خزش (maxRequestsPerCrawl) ارائه می‌دهد. خروجی نهایی، صرف‌نظر از نوع فروشگاه، یک شیء JSON ثابت و یکپارچه است.

نقاط داده کلیدی بازگردانده شده عبارتند از:

  • هویت محصول: نام، برند و یک شناسه (ID) منحصربه‌فرد.
  • جزئیات مالی: قیمت و واحد پولی (به عنوان مثال: ۱۶۸ دلار کانادا).
  • وضعیت موجودی: وضعیت انبار (به عنوان مثال: "InStock").
  • اعتبار اجتماعی: امتیاز (به عنوان مثال: ۴.۶) و تعداد نظرات (به عنوان مثال: ۲۹ مورد).
  • متاداده: URL منبع، URL تصویر و برچسب زمانی دقیق لحظه استخراج داده‌ها.

هزینه و مقیاس‌پذیری

این سیستم بر اساس مدل پرداخت به ازای هر رویداد (Pay-per-event) کار می‌کند. کاربران به جای پرداخت هزینه برای هر صفحه خزیده شده، بر اساس هر رکورد محصول بازگردانده شده هزینه پرداخت می‌کنند. هزینه هر محصول تقریباً ۰.۰۱ دلار است؛ به این معنی که استخراج یک دسته ۱۰۰ تایی از محصولات، تقریباً یک دلار هزینه دارد.

این تغییر به این معناست که کاربر اکنون می‌تواند از یک عامل بخواهد سه URL مختلف برای یک انگشتر را مقایسه کرده و بر اساس اعداد واقعی، بهترین نسبت امتیاز به قیمت را محاسبه کند. هوش مصنوعی دیگر بر اساس توصیفاتی که نیمه‌کاره به یاد می‌آورد حدس نمی‌زند، بلکه روی یک رکورد ساختاریافته شامل برند، قیمت، واحد پولی و وضعیت موجودی استدلال می‌کند.

برای یک کاربر عملی، این تحول هوش مصنوعی را از یک هم‌صحبت ساده به یک ابزار تدارکات (Procurement Tool) تبدیل می‌کند. این سیستم مرحله دستی کپی و پیست داده‌ها از مرورگر به پنجره چت را حذف کرده و به مدل اجازه می‌دهد استخراج و تحلیل را در یک حرکت روان و یکپارچه انجام دهد.

برای شروع استفاده از این قابلیت، می‌توانید اکتور "Product Data for AI Shopping Agents" را در فروشگاه Apify بررسی کرده و آن را به رابط LLM مورد علاقه خود متصل کنید.

گام بعدی شما

  • اکتور "Product Data for AI Shopping Agents" را در فروشگاه Apify بررسی کنید.
  • اگر از Claude Desktop استفاده می‌کنید، اتصال MCP را برای اتوماسیون قیمت‌ها تست کنید.
  • برای کاربران تجاری ChatGPT، دسترسی Developer Mode را برای اتصال به https://mcp.apify.com فعال کنید.

اما داستان سخت‌افزاری این تحول حتی شگفت‌انگیزتر است — به تحلیل ما درباره‌ی تراشه‌های Blackwell مراجعه کنید.

چرا این موضوع مهم است؟

این یکپارچگی با تکیه بر اعتبار زیرساخت‌های Apify، نرخ خطای استخراج داده را در مدل‌های زبانی به صفر نزدیک می‌کند. این موضوع باعث می‌شود عامل‌های خرید از حالت آزمایشی خارج شده و در مقیاس تجاری قابل اعتماد شوند.

تأثیر برای ایران

به‌دلیل محدودیت‌های پرداخت ارزی و تحریم‌های API، دسترسی به این ابزار برای توسعه‌دهندگان ایرانی دشوار است، اما می‌توان از مدل‌های مشابه متن‌باز برای پیاده‌سازی MCP در محیط‌های محلی استفاده کرد.

·نگاه ما
تحریریه دات‌هوش

جایگزینی پارسینگ HTML با استانداردهای JSON-LD نشان می‌دهد که آینده عامل‌های هوش مصنوعی نه در بهبود توانایی خواندن وب، بلکه در اجبار وب به ارائه داده‌های ساختاریافته است. این رویکرد ریسک شکست عامل‌ها در محیط‌های پویا را به شدت کاهش می‌دهد و استنتاج را از حالت احتمالی به حالت قطعی تبدیل می‌کند.

منابع

این گزارش با خط‌لولهٔ خودکار دات‌هوش از منابع معتبر جهانی تدوین و زیر نظر تحریریه منتشر شده است. روش کار ما

گفتگو

پنج‌شنبه‌های هوش‌محور

بسته‌ی هفتگی دات‌هوش

۵ خبر، ۲ ابزار، ۱ پرامپت در هر شماره. به‌زودی راه‌اندازی می‌شود — هر پنج‌شنبه صبح.

خبر کلیدی
ابزار کاربردی
پرامپت حرفه‌ای
تحلیل پژوهش
به‌زودی
زاویه‌ی ایرانی
به‌زودی
تمرین این هفته
به‌زودی

راهنماهای دات‌هوش

راهنماهای کاربردیِ دات‌هوش برای کار با هوش مصنوعی — از همین‌جا شروع کنید:

دات‌هوش

راهنمای فارسی هوش مصنوعی — با نگاه به ایران

اخبار روزانه، معرفی ابزارها و مدل‌ها، و آموزشِ کار با هوش مصنوعی؛ همیشه با این پرسش که از ایران چه چیزی کار می‌کند و چه چیزی نه.