اگر امروز صاحب وب‌سایت هستید، دیگر مجبور نیستید بین «دسترسی کامل ربات‌ها» یا «بلاک کردن همه» یکی را انتخاب کنید. کلاودفلر (Cloudflare) استراتژی خود را تغییر داد تا مالکان وب‌سایت‌ها بتوانند دقیقاً تعیین کنند کدام ربات اجازه ورود به صفحات آن‌ها دارد.
طبق گزارش the-decoder.com، این تغییر در حالی رخ می‌دهد که ترافیک ربات‌ها رسماً از ترافیک انسانی در اینترنت پیشی گرفته است. متیو پرینس (Matthew Prince)، مدیرعامل کلاودفلر، در ژوئن ۲۰۲۶ اشاره کرد که این نقطه عطف زودتر از پیش‌بینی قبلی او (اواخر ۲۰۲۷) رخ داد. همان‌طور که در تحلیل‌های پیشین ما درباره‌ی امنیت مدل‌های بازمتن اشاره کردیم، مدیریت ترافیک در عصر هوش مصنوعی از یک قابلیت فنی به یک ضرورت تجاری تبدیل شده است. این تغییر روند، در واقع ادامه همان چرخش بنیادین در ترافیک وب است که در آن سئو از جذب انسان به سمت اقدام عامل‌ها تغییر مسیر می‌دهد.
این سرویس مانند یک نگهبان هوشمند در ورودی ساختمان است که به‌جای رد کردن همه، کارت شناسایی هرe شخص را چک می‌کند تا ببیند برای تحویل بسته آمده یا برای بازاریابی.
بر اساس مستندات کلاودفلر، دسترسی‌ها اکنون در سه دسته‌بندی مجزا مدیریت می‌شوند:
- جست‌وجو (Search): کنترل ایندکس شدن صفحات توسط موتورهای جست‌وجو.
- آموزش (Training): مدیریت جمع‌آوری داده‌ها برای آموزش هوش مصنوعی زاینده (Generative AI) — یعنی همان فرآیند یادگیری مدل از متن‌های وب.
- عامل (Agent): تنظیم دسترسی ربات‌هایی که به‌جای شرکت، برای کاربر عمل می‌کنند (مانند ChatGPT).
- منطق ترکیبی: اگر رباتی کاربردهای چندگانه داشته باشد (مثل Googlebot)، سخت‌گیرانه‌ترین قانون اعمال می‌شود.
از ۱۵ سپتامبر ۲۰۲۶، کلاودفلر ربات‌های «آموزش» و «عامل» را در صفحاتی که حاوی تبلیغات هستند به‌صورت پیش‌فرض مسدود می‌کند؛ زیرا وجود تبلیغات نشان می‌دهد اولویت سایت، بازدیدکننده انسانی است. همچنین برای کاربران سازمانی، دیتاباس BotBase عرضه شده است تا مشخص شود هر ربات محتوا را چگونه طبقه‌بندی می‌کند و آیا لینک می‌دهد یا متن را به‌طور کامل کپی می‌کند.
این اقدام عملاً شرکت‌های اپراتور ربات را مجبور می‌کند درباره هدف خود صادق باشند. متیو پرینس با حذف دسترسی خودکار «تأییدشده»، مستقیماً گوگل را برای ادغام ربات‌های جست‌وجو و آموزش به چالش کشیده است.
گام بعدی شما
- پیش از ضرب‌الاجل ۱۵ سپتامبر، فایل robots.txt و داشبورد کلاودفلر خود را بررسی کنید.
- دسترسی‌های ربات‌های Agent را برای جلوگیری از کاهش نرخ تبدیل در صفحات فروش مسدود کنید.
- اگر محتوای تخصصی دارید، دسترسی Training را ببندید تا داده‌های شما بدون پرداخت هزینه، مدل‌های دیگر را آموزش ندهد.
اما داستان سخت‌افزاری این تحول حتی شگفت‌انگیزتر است — به تحلیل ما درباره‌ی تراشه‌های Blackwell مراجعه کنید.
گفتگو