شبکه‌های توزیع محتوا دسترسی عامل‌های هوش مصنوعی به وب‌سایت‌ها را مسدود می‌کنند

تصور کنید برای جذب مشتری، تابلوی «خوش آمدید» را جلوی در مغازه گذاشته‌اید، اما نگهبان ورودی محله اجازه نمی‌دهد کسی به خیابان شما وارد شود. این دقیقاً همان اتفاقی است که امروز برای بسیاری از وب‌سایت‌ها می‌افتد: فایل robots.txt شما درهای سایت را باز می‌گذارد، اما شبکه توزیع محتوا (CDN) — که مثل یک لایه حفاظتی سریع در لبه شبکه عمل می‌کند — دسترسی را می‌بندد.

طبق گزارش منتشر شده در ۱۵ سپتامبر ۲۰۲۶، ابزار تشخیصی جدیدی به نام AgentReady این تضاد سیستمی را افشا کرد. بر اساس مستندات این ابزار، بسیاری از مالکان سایت‌ها در فایل‌های متنی خود به خزنده‌های هوش مصنوعی اجازه ورود می‌دهند، اما سیستم‌های امنیتی لبه (Edge Security) پیش از آنکه ربات به محتوا برسد، خطای ۴۰۳ (Forbidden) صادر می‌کنند. این چالش‌های دسترسی به زیرساخت‌ها، یادآور باگ‌های بحرانی در اتصال به API است که پیش‌تر دلیل شکست بسیاری از عامل‌های هوش مصنوعی در تعامل با وب را فاش کرد.

این شکاف به این دلیل رخ می‌دهد که اکثر توسعه‌دهندگان برای بررسی دسترسی، فقط فایل‌های متنی را می‌خوانند و به‌ندرت درخواست‌های واقعی HTTP را با استفاده از عامل‌های کاربر (User-agents) واقعی ربات‌ها تست می‌کنند. همان‌طور که در تحلیل‌های قبلی ما درباره امنیت مدل‌های بازمتن اشاره کردیم، لایه‌های امنیتی اغلب رفتارهای غیرانسانی را به‌طور پیش‌فرض مسدود می‌کنند. برای مقابله با این محدودیت‌های CDN، راهکارهایی مانند استفاده از Messora API معرفی شده‌اند تا حجم داده‌های ورودی کاهش یافته و مسدود شدن توسط سرویس‌هایی مثل کلودفلر برطرف شود.

AgentReady برای حل این مشکل، ۶ درخواست واقعی را شبیه‌سازی می‌کند. این ابزار یک مرورگر استاندارد را در برابر شناسه‌های شناخته‌شده ClaudeBot، GPTBot، OAI-SearchBot، PerplexityBot و Google-Extended می‌سنجد. معیارهای ارزیابی این ابزار شامل موارد زیر است:

• برابری عامل کاربر: مقایسه کدهای وضعیت و طول محتوا بین ربات‌ها و مرورگرها.
• فایل‌های شناسایی: بررسی وجود فایل‌های llms.txt ،llms-full.txt ،sitemap.xml و security.txt. در این میان، فایل llms.txt به عنوان یک نقشه‌ی راه عمل می‌کند تا اتلاف توکن‌ها در هنگام پردازش توسط عامل‌های AI به حداقل برسد.
• ساختار معنایی: اندازه‌گیری نسبت توکن (Token) — تکه‌های کوچکی از متن که مدل تکه‌تکه می‌خورد — محتوا به کل توکن‌های موجود در تگ <main>.
• دقت نشانه‌گذاری: تأیید JSON-LD و اعلام قیمت‌ها در کدها به‌جای لایه بصری.

به نقل از نتایج اولیه، تفاوت‌ها تکان‌دهنده است. وب‌سایت nytimes.com نمره ۵۸ (رتبه D) گرفت، زیرا ۴ مورد از ۵ خزنده هوش مصنوعی توسط لایه لبه مسدود شده بودند. در مقابل، stripe.com با نمره ۹۳ (رتبه A+) آمادگی تقریباً کاملی برای پذیرش عامل‌ها (Agents) نشان داد.

برای توسعه‌دهندگان، این یعنی «آمادگی برای هوش مصنوعی» دیگر فقط یک فایل متنی ساده نیست، بلکه یک مسئله پیکربندی شبکه و امنیت است. اگر CDN شما یک ربات را با کپچا یا خطای ۴۰۳ به چالش بکشد، محتوای شما عملاً در وبِ عامل‌محور وجود ندارد.

این پروژه اکنون در حال گسترش به Agent Web Index است تا اندازه‌گیری عمومی و مستمری از دسترسی وب برای هوش مصنوعی ارائه دهد. شما می‌توانید همین حالا دامنه خود را به‌صورت رایگان تست کنید تا ببینید کدام ربات‌ها توسط زیرساخت شما مسدود شده‌اند.

گام بعدی شما

• دامنه خود را در AgentReady تست کنید تا از عدم مسدود شدن ربات‌های اصلی مطمئن شوید.
• تنظیمات WAF و CDN خود را بررسی کنید تا User-agentهای معتبر هوش مصنوعی در لیست سفید باشند.
• فایل llms.txt را برای راهنمایی بهتر مدل‌های زبانی در ریشه سایت خود ایجاد کنید.

اما داستان سخت‌افزاری این تحول حتی شگفت‌انگیزتر است — به تحلیل ما درباره تراشه‌های Blackwell مراجعه کنید.