۱۴٪ از سایت‌های برتر جهان دسترسی ربات‌های هوش مصنوعی را به‌طور پنهانی مسدود

اگر صاحب وب‌سایت هستید و فکر می‌کنید با یک فایل متنی ساده کنترل می‌کنید چه کسی داده‌های شما را می‌خواند، احتمالاً در اشتباهید. طبق گزارشی که در ۱۱ اکتبر ۲۰۲۶ منتشر شد، ۱۴.۲٪ از ۱۰۰۰ وب‌سایت برتر جهان، دسترسی حداقل یکی از ربات‌های اصلی هوش مصنوعی — از جمله GPTBot، ClaudeBot، OAI-SearchBot یا PerplexityBot — را مسدود کرده‌اند، در حالی که در فایل robots.txt آن‌ها صراحتاً اجازه دسترسی داده شده است. این یافته‌ها نشان‌دهنده یک شکاف عمیق بین آنچه یک وب‌سایت از خزنده (Crawler) هوش مصنوعی درخواست می‌کند و آنچه در عمل اجازه می‌دهد.

این یافته‌ها بر پایه پوشش‌های قبلی ما درباره نحوه عملکرد شبکه‌های توزیع محتوا (CDN) است که می‌توانند به‌طور بی‌صدا خزنده های هوش مصنوعی را مسدود کنند. بسیاری از مدیران سایت تصور می‌کنند فایل robots.txt مانند یک قفل دیجیتال عمل می‌کند، اما در واقع این فایل تنها یک «درخواست» است. تصمیم نهایی درباره اینکه یک خزنده در نهایت به چه محتوایی دسترسی پیدا کند، توسط سرور، CDN و لایه مدیریت ربات (Bot-management layer) گرفته می‌شود. تا پیش از این، هیچ‌کس این بخش خاص از زنجیره دسترسی را اندازه‌گیری نکرده بود.

شکاف تطبیق

به نقل از گزارش crawlreadiness.com، پژوهشگران برای این مطالعه از فهرست Tranco (لیست 8PXYV، تولید شده در ۱۰ اکتبر ۲۰۲۶) استفاده کردند تا اطمینان حاصل کنند که نمونه آماری محدود به دیدگاه یک فروشنده یا شرکت خاص نباشد. از ۱۰۰۰ سایت مورد بررسی، ۶۸۸ سایت اصلاً پاسخ دادند و از این تعداد، ۵۴۹ سایت در پاسخ به یک User-Agent مرورگر، کد وضعیت 2xx (موفق) را برگرداندند. این ۵۴۹ سایت به عنوان پایه و اساس برای محاسبه اعداد تطبیق قرار گرفتند.

تیم تحقیق یک تست تطبیق (Parity Test) را با فراخوانی صفحه اصلی هر سایت ۵ بار انجام داد: یک بار در نقش یک مرورگر و چهار بار در نقش ربات‌های GPTBot، OAI-SearchBot، ClaudeBot و PerplexityBot با استفاده از رشته‌های User-Agent منتشر شده توسط هر شرکت. هرگاه مرورگر پاسخ ۲۰۰ (موفق) دریافت می‌کرد اما ربات با پاسخ‌های ۴۰۱، ۴۰۳، ۴۲۹ یا ۵۰۳ مواجه می‌شد، این مورد به عنوان «امتناع» (Refusal) ثبت می‌شد.

یافته‌ها نشان داد ۷۸ سایت با وجود داشتن سیاست‌های دسترسی باز در robots.txt، ربات‌های هوش مصنوعی را مسدود کرده‌اند. حتی با حذف ۱۴ سایتی که فقط خطای ۴۲۹ (محدودیت نرخ درخواست یا Rate-limit) صادر کرده بودند، ۶۴ سایت (۱۱.۷٪) همچنان این تضاد را حفظ کرده بودند. محققان خاطرنشان می‌کنند که اگرچه خطای ۴۲۹ از نظر فنی به معنای «کمی کندتر عمل کن» است و نه «برو بیرون»، اما رباتی که در اولین درخواست به صفحه اصلی از یک IP واحد در آمریکای شمالی با محدودیت نرخ مواجه شود، در عمل مسدود شده است.

نرخ امتناع هر ربات به‌طور تفکیکی (بدون احتساب خطاهای ۴۲۹) به شرح زیر است:

• GPTBot: ۱۰.۰٪ (۱۴.۴٪ با احتساب ۴۲۹)
• ClaudeBot: ۹.۱٪ (۱۴.۸٪ با احتساب ۴۲۹)
• PerplexityBot: ۷.۳٪ (۱۱.۳٪ با احتساب ۴۲۹)
• OAI-SearchBot: ۷.۳٪ (۹.۸٪ با احتساب ۴۲۹)

تضاد در OAI-SearchBot

یک یافته حیاتی مربوط به OAI-SearchBot است؛ خزنده‌ای که تعیین می‌کند آیا قابلیت جست‌وجوی ChatGPT می‌تواند به یک وب‌سایت ارجاع دهد یا خیر. حدود ۸٪ از سایت‌هایی که صراحتاً به این ربات اجازه دسترسی داده‌اند، در سطح سرور آن را مسدود کرده‌اند. این اتفاق معمولاً زمانی رخ می‌دهد که مالکان سایت یک کلید کلی «مسدود کردن ربات‌های هوش مصنوعی» (Block AI bots) را در تنظیمات CDN خود فعال می‌کنند و به‌طور تصادفی دری را می‌بندند که قصد داشتند باز نگه دارند. این چالش دقیقاً به تفاوت‌های ساختاری میان تفکیک ترافیک جست‌وجو از داده‌های آموزشی بازمی‌گردد که در تحلیل‌های پیشین ما بررسی شده است.

اثر آینه‌ای

این مطالعه مشکل معکوس را نیز شناسایی کرد: برخی سایت‌ها ربات‌هایی را می‌پذیرند که ادعا می‌کنند مسدود کرده‌اند. برای GPTBot، ۵۳ سایت صراحتاً در فایل robots.txt دسترسی این خزنده را ممنوع کرده بودند، اما وقتی ربات درخواست می‌داد، محتوا را تحویل می‌دادند. این موضوع ثابت می‌کند که فایل robots.txt در هر دو جهت (اجازه یا ممنوعیت) صرفاً جنبه توصیه‌ای دارد و ضمانت اجرایی ندارد. در همین راستا، بررسی دقت مدل‌های زبانی در تدوین این سیاست‌ها نشان داد که تنها مدل Claude Sonnet 5.5 توانست در نوشتن فایل‌های robots.txt موفق عمل کند.

روندهای سیاست‌گذاری robots.txt

این مطالعه همچنین تحلیل کرد که فایل‌های robots.txt در نمونه‌های در دسترس عملاً چه می‌گویند:

• ۸۲.۷٪ از سایت‌های در دسترس دارای فایل robots.txt هستند.
• ۲۵.۱٪ حداقل یک خزنده جست‌وجو یا پاسخ‌دهنده (آن‌هایی که صفحات را برای ارجاع می‌خوانند) را مسدود کرده‌اند.
• ۱۰.۲٪ اکثریت این خزنده‌ها را مسدود می‌کنند.
• ۲۶.۰٪ حداقل یک خزنده آموزشی (Training Crawler) را مسدود کرده‌اند.
• ۶۲.۴٪ یک نقشه سایت (Sitemap) را لیست کرده‌اند.
• ۲.۵٪ دارای دستورالعمل Content-Signal هستند.

پذیرش استانداردهای جدید AI

پژوهشگران پذیرش استانداردهای جدیدی مانند llms.txt را نیز رصد کردند. در حالی که برخی گزارش‌ها ادعای پذیرش بالا را دارند، این مطالعه دریافت که بسیاری از این موارد «خطای ۴۰۴ نرم» (Soft 404) هستند؛ یعنی سایت‌هایی که پاسخ 200 OK می‌دهند اما یک صفحه HTML «یافت نشد» را برای هر مسیری نمایش می‌دهند. برای رسیدن به یک شمارش صادقانه، محققان تنها فایل‌هایی را نگه داشتند که واقعاً فایل متنی بودند و با یک عنوان Markdown شروع می‌شدند.

اعداد واقعی پذیرش برای ۱۰۰۰ سایت برتر به این صورت است:

• llms.txt: ۱۵.۱٪ (در حالی که اگر تمام پاسخ‌های 2xx شمرده می‌شدند، این عدد ۳۴.۳٪ بود).
• agents.json: ۰.۳٪.
• نسخه‌های Markdown: ۳.۵٪ ارائه شده و ۱.۵٪ لینک شده بودند (از طریق Accept: text/markdown یا پسوند .md).
• حاشیه‌نویسی‌های فرم WebMCP: تنها ۱ سایت از ۲۵۴ سایت دارای فرم.

آمادگی کلی برای هوش مصنوعی

با استفاده از یک ابزار بررسی تخصصی (نسخه v2)، این مطالعه میانگین امتیاز آمادگی ۸۴.۵ و میانه ۹۰ را ثبت کرد. این نسخه از ابزار، مسدود کردن عمدی را به عنوان یک «انتخاب معتبر» در نظر می‌گیرد و نه یک شکست، و تمرکز خود را بر خزنده‌هایی می‌گذارد که صفحات را برای جست‌وجو و پاسخ‌های هوش مصنوعی فراخوانی می‌کنند.

تفکیک وضعیت سایت‌های برتر به شرح زیر است:

• ۳۵۵ سایت «آماده برای هوش مصنوعی» (AI Ready) هستند.
• ۱۰۶ سایت «به‌صورت عمدی محدود» (Restricted by Design) شده‌اند.
• ۸۸ سایت «وابسته به جاوااسکریپت» (JavaScript-Dependent) هستند؛ به این معنی که خزنده‌ها می‌توانند وارد شوند اما نمی‌توانند محتوا را رندر کنند زیرا رندرینگ در سمت کلاینت انجام می‌شود.
• ۱۲۶ سایت به‌طور کامل ابزار بررسی را مسدود کردند و از انجام بررسی کامل جلوگیری کردند.

گام بعدی شما برای تأیید سایت

برای مالکان سایت، این مطالعه یک تست ساده در ترمینال با استفاده از curl را پیشنهاد می‌کند. با مقایسه یک درخواست با User-Agent مرورگر استاندارد در برابر درخواستی که از رشته OAI-SearchBot استفاده می‌کند، مالکان می‌توانند ببینند آیا CDN آن‌ها دستورات robots.txt را نادیده می‌گیرد یا خیر:

curl -sI -A "Mozilla/5.0" https://example.com/ | head -1
curl -sI -A "OAI-SearchBot/1.0; +https://openai.com/searchbot" https://example.com/ | head -1

اگر مرورگر پاسخ 200 OK دریافت کند اما ربات با پاسخ 403 Forbidden مواجه شود، مسدودسازی در لایه مدیریت ربات رخ می‌دهد. در Cloudflare، این تنظیمات معمولاً در مسیر Security $\rightarrow$ Bots یافت می‌شود، جایی که گزینه «Block AI bots» هم خزنده‌های جست‌وجو و پاسخ‌دهنده و هم خزنده‌های آموزشی را مسدود می‌کند.

این تضاد به این معناست که بسیاری از ناشران به‌طور تصادفی در حال تخریب دیده شدن خود در موتورهای جست‌وجوی هوش مصنوعی هستند. با تکیه بر یک کلید واحد «مسدود کردن همه»، آن‌ها توانایی تشخیص بین ربات‌های آموزشی (که از داده‌ها برای مدل‌ها استفاده می‌کنند) و ربات‌های جست‌وجو (که از طریق ارجاعات، ترافیک ایجاد می‌کنند) را از دست می‌دهند. برای رفع این مشکل، می‌توان از ۹ گام فنی برای تضمین حضور وب‌سایت‌ها در نتایج جست‌وجوی هوش مصنوعی که پیش‌تر منتشر کردیم، بهره برد.

برای کسانی که می‌خواهند بهینه‌سازی کنند، این مطالعه توصیه می‌کند دسترسی را بر اساس «هدف» تعیین کنید، نه بر اساس «نام شرکت سازنده». در حال حاضر تنها ۲.۶٪ از ۱۰۰۰ سایت برتر از این روش بهینه پیروی می‌کنند: مسدود کردن خزنده‌های آموزشی در حالی که خزنده‌های جست‌وجو و پاسخ‌دهنده باز می‌مانند.

مالکان سایت اکنون می‌توانند از ابزارهای رایگان در crawlreadiness.com برای اجرای همان اسکریپت‌های تطبیقی استفاده کنند. اسکریپت تطبیق این مطالعه یک فایل Node بدون وابستگی است که در آدرس https://www.crawlreadiness.com/research/ai-crawler-access-2026-10/parity.mjs در دسترس است. علاوه بر این، این سایت یک صفحه مرجع برای ۵۱ خزنده فراهم کرده که جزئیات User-Agentها، اهداف آن‌ها و خطوط دقیق robots.txt مورد نیاز برای اجازه یا مسدود کردن آن‌ها را شرح می‌دهد.

این تضادها نشان می‌دهد بسیاری از ناشران به‌طور ناخواسته دیده شدن خود را در موتورهای جست‌وجوی هوش مصنوعی تخریب می‌کنند؛ اما داستان سخت‌افزاری این تحول حتی شگفت‌انگیزتر است — به تحلیل ما درباره‌ی تراشه‌های Blackwell مراجعه کنید.