تصور کنید وب‌سایت رستوران شما طراحی خیره‌کننده‌ای دارد، اما دکمهٔ رزرو آن برای یک عامل هوش مصنوعی که سعی دارد میزی رزرو کند، عملاً نامرئی است. در حالی که انسان‌ها می‌توانند از پسِ یک چیدمان به‌هم‌ریخته برآیند، سامانه‌های خودمختار برای اقدام به جای کاربر، به قراردادهای سخت‌گیرانهٔ استاندارد HTML Living Standard وابسته هستند. یک تگ <button type="button">Reserve</button> قصد کاربر را از طریق ساختار سند منتقل می‌کند؛ اما یک تگ <div class="btn" onclick="openReservation()">Reserve</div> هیچ معنایی برای ماشین ندارد و برای آشکار کردن هدف خود، کاملاً به اجرای جاوااسکریپت متکی است.
این تغییر در حالی رخ می‌دهد که موتورهای جست‌وجو از بازیابی سادهٔ اسناد به سمت استدلال‌های میانجی‌گری‌شده توسط ماشین حرکت می‌کنند. برای ۲۵ سال، سئو بر کاربردی کردن صفحات برای انسان‌ها متمرکز بود، با این فرض که موتورهای جست‌وجو این کاربرد را پاداش می‌دهند. این فرض بر الگوریتم PageRank (برین و پیج، ۱۹۹۸) استوار بود که وب را گراف‌هایی از اسناد می‌دید که لینک‌ها در آن‌ها حکم رأی به اعتبار را داشتند. امروز، مصرف‌کنندهٔ اصلی محتوای وب به مدل‌های زبانی بزرگ (LLM) — مثل کتابخانه‌داری که میلیاردها صفحه را خوانده و حالا با همان لحن کتاب‌ها جواب می‌دهد — و عامل‌های خودمختاری گسترش یافته است که صفحات را نمی‌خوانند، بلکه از آن‌ها به عنوان رابط (Interface) استفاده می‌کنند.
به نقل از گزارشی که در ۲۷ اوت ۲۰۲۶ منتشر شد، مدل سنتی «سند-محور» وب در حال فروپاشی است. ظهور AI Overviews گوگل که ماهانه به ۱.۵ میلیارد کاربر می‌رسد و چارچوب‌های استفاده از ابزار (Tool Use) در OpenAI (مشخصات function calling) و Anthropic (چارچوب tool use)، نتیجهٔ جست‌وجو را از یک مقصد به یک گام میانی تبدیل کرده است. همان‌طور که در تحلیل‌های پیشین ما درباره‌ی امنیت مدل‌های بازمتن اشاره کردیم، لایه‌های میانجی اکنون تعیین می‌کنند چه داده‌ای به مدل برسد. خط لوله اکنون این‌گونه است: پرسش کاربر $\rightarrow$ استدلال ماشین $\rightarrow$ جمع‌آوری شواهد $\rightarrow$ تطبیق واقعیت‌ها $\rightarrow$ سنتز پاسخ یا اجرای تکلیف.
شکاف تعامل عامل‌ها
پژوهش‌های اخیر شکاف عظیمی را بین توانمندی انسان و ماشین در وب نشان می‌دهند. محک WebArena که در NeurIPS ۲۰۲۴ به عنوان یک ارائه شفاهی (Oral) پذیرفته شد، دریافت که موفق‌ترین عامل‌های هوش مصنوعی تنها در ۱۴٪ از تکالیف پیچیده و چندمرحله‌ای موفق بوده‌اند، در حالی که این نرخ برای انسان‌ها ۷۵٪ است. این پژوهش در خانواده WebArena-x گسترش یافته و شامل VisualWebArena (ACL ۲۰۲۴) برای عامل‌های چندوجهی و TheAgentCompany (ICML ۲۰۲۵) است که عامل‌ها را در تکالیف اداری واقعی و اثرگذار درون یک شرکت شبیه‌سازی‌شده می‌سنجد.
بر اساس این داده‌ها، شکست عامل‌ها ناشی از کمبود هوش نبود، بلکه به دلیل خطاهای تعاملی رخ داد. عامل‌ها در انتخاب درست المان‌ها، درک ساختار DOM (مدل شیء‌گراى سند) — شبیه به نقشه‌ای از ساختمان وب‌سایت که هر اتاق و در را مشخص می‌کند — و مدیریت محتوای پویا دچار مشکل شدند. این چالش‌ها با برخی باگ‌های بحرانی در اتصال به API هم‌سو است که نشان می‌دهد حتی در لایه‌های زیرساختی نیز تعامل عامل‌ها با سیستم‌ها با موانع جدی روبروست. مطالعه Mind2Web (NeurIPS ۲۰۲۳ Spotlight) با تحلیل ۲,۳۵۰ تکلیف باز در ۱۳۷ وب‌سایت واقعی، دریافت که عملکرد عامل‌ها همبستگی شدیدی با کیفیت معنایی DOM دارد. المان‌های HTML معنایی مثل <button>، <input> و <nav> بسیار بیشتر از تگ‌های عمومی مثل <div> و <span> شناسایی شدند.
شواهد تکمیلی از پژوهش SeeAct (ICML ۲۰۲۴) به دست می‌آید که از زمینه‌سازی بصری برای تعامل از طریق اسکرین‌شات‌ها و تحلیل DOM استفاده می‌کند. این تحقیق نشان داد دقت عامل‌ها در صفحاتی که به مؤلفه‌های UI غیر استاندارد متکی بودند، ۳۰ تا ۴۰٪ کاهش یافت. صفحاتی که از استانداردهای وب و ویژگی‌های WAI-ARIA پیروی می‌کردند، نرخ موفقیت به‌مراتب بالاتری داشتند، در حالی که محتوای پویای رندر شده توسط جاوااسکریپت همچنان منبع اصلی خطاها باقی ماند. نتیجهٔ هم‌گرای این پروژه‌ها روشن است: کیفیت معنایی DOM یک وب‌سایت مستقیماً بر توانایی عامل‌های ماشینی در استفاده از آن اثر می‌گذارد.
مسئلهٔ تطبیق واقعیت‌ها
ماشین‌ها با مسئلهٔ «حقیقت توزیع‌شده» روبرو هستند که انسان‌ها به‌طور غریزی آن را حل می‌کنند. یک شرکت B2B SaaS را در نظر بگیرید: صفحه اصلی می‌گوید قیمت‌ها از ۲۹ دلار شروع می‌شود، اما در Schema محصول ۴۹ دلار ذکر شده، در FAQ برای تیم‌های کوچک ۲۹ دلار است، در مستندات API قیمت ۳۹ دلار آمده است و در صفحه پرداخت ۴۹ دلار نمایش داده می‌شود. انسان فرض می‌کند یکی از صفحات قدیمی است، اما یک عامل هوش مصنوعی ۶ سیگنال متناقض می‌بیند و اعتمادش را به همهٔ آن‌ها از دست می‌دهد.
پژوهش Knowledge Vault گوگل (دونگ و همکاران، ۲۰۱۴) این وضعیت را یک فرآیند ادغام احتمالی توصیف می‌کند. وقتی منابع در تضاد باشند، امتیاز اعتماد سیستم به آن حقیقت کاهش می‌یابد. این موضوع یک شکست جدید در سئو ایجاد می‌کند: شناسایی عدم تطابق در بازنمایی‌ها. این یک مسئلهٔ مهندسی داده است که مشابه اصول سیستم‌های توزیع‌شده (لامپورت، ۱۹۷۸)، نیازمند ثبات نهایی (Eventual Consistency)، حل تعارض و تعریف منابع حقیقت در CMS، پاسخ‌های API و لیست‌های شخص ثالث است.
چارچوب هوشمندی وب‌سایت
برای بقا در این گذار، صنعت به سمت چارچوب «هوشمندی وب‌سایت» بر اساس ۶ بُعد حرکت می‌کند. این‌ها فاکتورهای رتبه‌بندی نیستند، بلکه قابلیت‌هایی هستند که ماشین برای استفاده مؤثر از سایت به آن‌ها نیاز دارد. این رویکرد در واقع تکامل‌یافتهٔ معماری ۷ لایه‌ای وب‌سایت است که برای دیده شدن در جست‌وجوی هوش مصنوعی و سئو محلی ضروری است:
- کشف‌پذیری (Discoverability): آیا ماشین می‌تواند به آن برسد؟ این نیازمند صفحات قابل خزش، قوانین robots.txt دقیق، نقشه‌های XML معتبر، URLهای کانونی (Canonical) درست و حداقل زنجیره‌های تغییر مسیر (Redirect) است. گری ایلیز از گوگل اشاره کرده که بودجهٔ خزش (Crawl Budget) واقعی است و باید مدیریت شود تا بخش‌هایی از سایت برای سیستم‌های AI نامرئی نشوند.
- درک (Understanding): ماشین به چه چیزی نگاه می‌کند؟ این بخش نیازمند HTML معنایی، سلسله‌مراتب منطقی تیترها و داده‌های ساختاریافته معتبر است. این بُعد شکاف بین HTML خام و DOM رندر شده توسط نمونه‌های Headless Chromium را پر می‌کند. هر اطلاعاتی که در مشخصات WHATWG DOM نباشد، عملاً نامرئی است.
- تأیید (Verification): آیا ماشین می‌تواند به آن اعتماد کند؟ این یعنی داده‌های ساختاریافته باید با محتوای مرئی مطابقت داشته باشند. تضاد بین قیمت ۳۹ دلاری در Schema و قیمت ۴۹ دلاری در صفحه، اعتماد ماشین را کاهش می‌دهد. داده‌های ساختاریافته باید معنا را تقویت کنند، نه اینکه یک واقعیت جایگزین بسازند.
- قابلیت اقدام (Actionability): آیا ماشین می‌تواند کاری انجام دهد؟ این نیازمند کنترل‌های فرم معنایی، ورودی‌های برچسب‌دار (Labeled) و نتایج پیش‌بینی‌پذیر است. مشخصات Web of Things سازمان W3C تأکید می‌کند که رابط‌ها باید ماشین‌خوان باشند، نه فقط انسان‌خوان. این شامل اعتبارسنجی‌های دقیق ورودی (مثل انتخاب‌گر تاریخ یا تعداد نفرات) و وضعیت‌های موفقیت/شکست است.
- قابلیت اطمینان (Reliability): آیا ماشین می‌تواند روی آن حساب کند؟ این یعنی سایت به عنوان یک سیستم نرم‌افزاری دیده شود. به‌روزرسانی‌های قالب یا مهاجرت‌ها نباید به‌طور تصادفی Schema را حذف کنند یا URLهای کانونی را تغییر دهند تا از پس‌روی‌هایی که در آن قیمت در سایت تغییر می‌کند اما در Schema نه، جلوگیری شود.
- مشاهده‌پذیری (Observability): آیا ماشین می‌تواند تغییر را تشخیص دهد؟ این شامل ایجاد خطوط پایه و نظارت بر پس‌روی‌ها (Regressions) است، مشابه متدهای SRE در کتاب SRE گوگل (بایر و همکاران، ۲۰۱۶) که خودِ تغییر را به عنوان یک سیگنال در نظر می‌گیرد.
بحران سلامت ساختاری
وضعیت فعلی وب برای آمادگی ماشینی بسیار ضعیف است. گزارش WebAIM Million ۲۰۲۶ با تحلیل یک میلیون وب‌سایت برتر دریافت که ۹۵.۹٪ صفحات اصلی دارای خطاهای قابل تشخیص WCAG 2 هستند. به‌طور متوسط، هر صفحه ۵۶.۱ خطای دسترسی متمایز دارد. این خطاها — مثل نبود متن جایگزین (۵۳.۱٪)، لینک‌های خالی (۴۶.۳٪) و کنتراست پایین (۸۳.۹٪) — در واقع مشکلات آمادگی ماشینی هستند. ماشینی که نتواند ساختار محتوا را تجزیه کند، نمی‌تواند محتوا را بفهمد. این گزارش اشاره کرد که صفحات اصلی به‌طور متوسط شامل ۱,۴۳۷ المان صفحه هستند.
جالب است که انتخاب فریم‌ورک بر این سلامت اثر می‌گذارد. سایت‌های Next.js به‌طور متوسط ۴۰.۹ خطا در هر صفحه داشتند که ۲۷٪ کمتر از میانگین کلی است، در حالی که صفحات مبتنی بر jQuery و صفحاتی که سرشار از تبلیغات بودند، عملکرد بسیار بدتری داشتند. این ثابت می‌کند که پشتهٔ مهندسی (Engineering Stack) مستقیماً شکل‌دهندهٔ نحوهٔ خواندن سایت توسط ماشین است.
از ممیزی به تأیید مستمر
ممیزی‌های سنتی سئو، عکس‌برداری‌های لحظه‌ای هستند که با اولین استقرار نسخهٔ جدید سایت منقضی می‌شوند. چرخهٔ سنتی — اجرای ممیزی، دریافت گزارش، رفع مشکلات — شکست می‌خورد زیرا پس‌روی‌ها تا ممیزی بعدی شناسایی نمی‌شوند. هیچ حلقهٔ بازخورتی بین «رفع شد» و «تأیید شد که رفع شده است» وجود ندارد.
استاندارد جدید، «تأیید مستمر» است که از متدهای SRE وام گرفته شده است. این یعنی ایجاد یک خط پایه، نظارت بر تغییرات و شناسایی خودکار پس‌روی‌ها در Schema یا ساختار DOM. این یک تغییر رویکرد از «رتبه‌بندی این صفحه» به «در دسترس قرار دادن اطلاعات این وب‌سایت برای سیستم‌های استدلال AI» است.
ابزارهایی مثل AuditMe در حال عملیاتی کردن این موضوع از طریق ردیابی تفاوت‌های سطح فیلد در Schema، اسنپ‌شات‌های خط پایه و ثبات بین منابع مختلف هستند. این کار تضمین می‌کند که داده‌های ساختاریافته — که طبق سیاست‌های گوگل فقط باید محتوای مرئی را توصیف کنند — یک «واقعیت جایگزین» ایجاد نکنند که با محتوای صفحه در تضاد باشد. افزودن Schema بیشتر به صفحه‌ای با اطلاعات متناقض، فقط تضادهای بیشتری ایجاد می‌کند.
چرخش مهندسی
سئو در حال ادغام با مهندسی وب و مهندسی داده است. «پشتهٔ هوشمندی» جدید نیازمند تسلط بر HTML Living Standard، DOM Living Standard، WAI-ARIA و طراحی API است. این مسیر از متا-تگ‌ها فراتر رفته و شامل مهندسی عملکرد (Core Web Vitals)، دسترسی‌پذیری (انطباق با WCAG 2.2) و شناسایی مستمر پس‌روی‌ها می‌شود.
با تبدیل شدن سیستم‌هایی مثل Perplexity AI (با ۱۰۰ میلیون پرس‌وجو در هفته) و ابزارهای مرورگر ChatGPT (که در اولین سه ماهه خود بیش از ۱۰۰ میلیون بار استفاده شدند) به دروازه‌های اصلی وب، ذکر شدن توسط یک AI به اندازهٔ رتبه در نتایج ارگانیک حیاتی شده است. در همین راستا، قابلیت‌هایی مانند جست‌وجوی وب داخلی در سرویس بدراک امکان دسترسی مستقیم‌تر مدل‌ها به داده‌های وب را فراهم کرده و اهمیت ساختار ماشین‌خوان را دوچندان می‌کند. پژوهش BrightEdge نشان داد که AI Overviews نرخ کلیک (CTR) ارگانیک را برای پرس‌وجوهای اطلاعاتی ۱۸ تا ۲۵٪ کاهش داده، اما نرخ کلیک به منابع ذکرشده را افزایش داده است.
دیگر بحث روی کلمات کلیدی نیست؛ بحث بر سر ساخت سیستمی است که ماشین‌ها بتوانند به آن اعتماد کنند. اگر وب‌سایتی ماشین‌خوان نباشد، فقط رتبهٔ کمتری نمی‌گیرد، بلکه توسط عامل‌هایی که اکنون رابط بین کسب‌وکارها و مشتریان هستند، نادیده گرفته می‌شود. پنجرهٔ ساخت برای مصرف‌کنندهٔ ماشینی اکنون باز است و شکاف معمولاً در بخش‌های تأیید، قابلیت اقدام و مشاهده‌پذیری قرار دارد.
گام بعدی شما
- ساختار HTML صفحات کلیدی خود را با تمرکز بر تگ‌های معنایی (Semantic HTML) بازبینی کنید و تگ‌های
<div>اضافی را حذف کنید. - تطبیق داده‌های Schema با محتوای مرئی صفحه را بررسی کنید تا تضادهای اطلاعاتی (Conflict) ایجاد نشود.
- از ابزارهای بررسی دسترسی (Accessibility) برای شناسایی خطاهای ساختاری استفاده کنید؛ هر خطای دسترسی، یک مانع برای عامل‌های AI است.
اما داستان سخت‌افزاری این تحول حتی شگفت‌انگیزتر است — به تحلیل ما درباره‌ی تراشه‌های Blackwell مراجعه کنید.
گفتگو