کلودفلر دسترسی خزنده‌های چندمنظوره هوش مصنوعی به صفحات تبلیغاتی را می‌بندد

اگر صاحب وب‌سایتی هستید که از تبلیغات برای درآمدزایی استفاده می‌کند، از تاریخ ۱۵ سپتامبر ۲۰۲۶ دیگر نمی‌توانید اجازه دهید مدل‌های هوش مصنوعی به‌طور رایگان از محتوای شما برای آموزش استفاده کنند. کلودفلر تصمیم گرفته است دسترسی خزنده‌های «چندمنظوره» (Mixed-use) را از هر صفحه‌ای که میزبان تبلیغات است به‌طور پیش‌فرض مسدود کند تا تعادل قدرت میان تولیدکنندگان محتوا و آزمایشگاه‌های AI بازگردد. این اقدام شرکت‌های هوش مصنوعی را مجبور می‌کند تا اگر می‌خواهند دسترسی خود به بخش‌های وسیعی از وب را حفظ کنند، نمایه‌سازی برای جست‌وجو را از آموزش مدل‌ها تفکیک کنند.

زمینه و تأثیرات

این تغییر در حالی رخ می‌دهد که ترافیک ربات‌ها برای نخستین بار در تاریخ وب رسماً از ترافیک انسانی پیشی گرفته است. متیو پرینس (Matthew Prince)، مدیرعامل کلودفلر، خاطرنشان کرد که این نقطه عطف زودتر از حد انتظار رخ داد، زیرا پیش‌بینی می‌شد این اتفاق تا سال آینده بیفتد. او صراحتاً بیان کرد: «اکنون که اکثریت ترافیک اینترنت غیرانسانی است، ما باید فراتر برویم و سریع‌تر عمل کنیم تا یک اکوسیستم پایدار شکل بگیرد.»

در حالی که اکثر ناشران مایل هستند از طریق موتورهای جست‌وجوe قابل کشف باشند، اما به‌طور فزاینده‌ای تمایلی ندارند که مالکیت معنوی خود را به‌صورت رایگان برای آموزش مدل‌های زبانی بزرگ (LLM) ارائه دهند. این تنش باعث ایجاد یک شکاف دیجیتال شده است؛ جایی که غول‌های جست‌وجو برتری داده‌ای عظیمی نسبت به آزمایشگاه‌های کوچک‌تر AI دارند. این وضعیت را می‌توان در گزارش بروکینگز درباره سقوط نرخ ارجاع مشاهده کرد که هشدار می‌دهد وابستگی رسانه‌ها به مدل‌های توزیع محتوای AI می‌تواند بقای آن‌ها را به خطر اندازد.

بر اساس گزارشی از تک‌کرانچ (TechCrunch)، متیو پرینس اشاره کرد که «بزرگ‌ترین موتور جست‌وجوی جهان» (گوگل) به اطلاعاتی تقریباً ۲ برابر بیشتر از سایر شرکت‌های AI دسترسی دارد. دلیل این امر آن است که گوگل شرایط را به‌گونه‌ای دشوار کرده که ناشران نمی‌توانند بدون تغذیه داده‌های آموزشی برای محصولات AI گوگل، در نتایج جست‌وجوی این شرکت دیده شوند.

جزئیات اجرای سیاست جدید

برای رسیدگی به این مشکل، کلودفلر تغییرات زیر را پیاده‌سازی می‌کند:

• مسدودسازی پیش‌فرض: از ۱۵ سپتامبر ۲۰۲۶، تمامی مشتریان جدید، سایت‌های تازه‌ ایجادشده توسط مشتریان فعلی و تمامی کاربران طرح‌های رایگان، به‌طور خودکار خزنده‌هایی را که قصد ترکیبی از جست‌وجو، استفاده از عامل (Agent) و آموزش مدل را دارند، مسدود خواهند کرد.
• تغییر مدل پرداخت (Pay Per Use): مدل پیشین «پرداخت به‌ازای هر خزش» (Pay Per Crawl) در حال تکامل به مدل «پرداخت به‌ازای استفاده» است. این مدل به ناشران اجازه می‌دهد تا بر اساس ارزشی که محتوا ایجاد می‌کند هزینه دریافت کنند، نه صرفاً بر اساس زمانی که محتوا فراخوانی (Fetch) می‌شود.
• بهبود بهره‌وری و کاهش هزینه‌ها: داده‌های کلودفلر نشان می‌دهد بیش از ۵۰٪ ترافیک خزنده‌های AI به‌طور بیهوده صرف بازخوانی صفحاتی می‌شود که هیچ تغییری نکرده‌اند. ابزارهای جدید با هدف حفظ پهنای باند و منابع پردازشی ناشران طراحی شده‌اند.
• شفافیت در هدف: پرینس تأکید کرد که این تغییرات به نفع شرکت‌های AI خواهد بود که از ربات‌هایی با «هدف شفاف و مشخص» استفاده می‌کنند.

کلودفلر در ابتدا این مدل جدید پولی و دسترسی را از طریق مشارکت با سرامیک (Ceramic.ai) و یو دات کام (You.com) اجرا می‌کند. زمانی که یک ناشر در این سیستم عضو شود، در صورتی که محتوایش در نتایج جست‌وجوی AI سرامیک ظاهر شود یا You.com به محتوای ممتاز (Premium) او دسترسی یابد، مبلغی دریافت می‌کند. سایر شرکت‌های AI نیز می‌توانند این مدل را متناسب با نحوه عملکرد خود شخصی‌سازی کنند.

این سیاست عملاً به عصر ربات‌های «همه-در-یک» پایان می‌دهد. با اجبار شرکت‌های AI به تفکیک فنی میان ربات نمایه‌ساز (Search Indexer) و ربات جمع‌آوری داده (Scraper)، کنترل دوباره به دست تولیدکنندگان محتوا می‌افتد. برای مالکان کسب‌وکار، این بدان معناست که وب‌سایت آن‌ها دیگر یک «بوفه رایگان» برای آزمایشگاه‌های AI نیست. اگر یک شرکت AI داده‌های شما را برای آموزش بخواهد، اکنون باید از رباتی شفاف استفاده کند و احتمالاً از طریق چارچوب «پرداخت به‌ازای استفاده»، هزینه این امتیاز را بپردازد.

گوگل پیش از این با معرفی «Google Extended» از اکوسیستم خود دفاع کرده بود؛ ابزاری که به مالکان اجازه می‌دهد از آموزش خدماتی مانند Gemini Apps و Vertex API خارج شوند در حالی که همچنان در نتایج جست‌وجو باقی بمانند. با این حال، اقدام کلودفلر نشان می‌دهد که اکنون برای اجرای این مرزها در مقیاس وسیع، به یک لایه زیرساختی شخص ثالث نیاز است، به‌ویژه در حالی که Googlebot همچنان برای هر دو هدفِ جست‌وجو و AI Overviews در حال خزش است.

باید منتظر ماند و دید سایر ارائه‌دهندگان CDN و زیرساختی چگونه به این مدل پاسخ می‌دهند، زیرا این حرکت می‌تواند استاندارد جدید صنعت را برای نحوه «اجاره» وب آزاد توسط آزمایشگاه‌های AI تعیین کند.

گام بعدی شما

• اگر مدیر وب‌سایت هستید، تنظیمات Bot Management خود را در پنل کلودفلر بررسی کنید تا از عدم مسدودسازی اشتباه موتورهای جست‌وجوی معتبر مطمئن شوید.
• مدل‌های درآمدزایی جدید (Pay Per Use) را برای تبدیل ترافیک AI به جریان درآمدی بررسی کنید.
• استراتژی robots.txt خود را برای تفکیک صریح اجازه دسترسی به Search و Training به‌روزرسانی کنید.

اما داستان سخت‌افزاری این تحول و فشار روی پهنای باند مراکز داده حتی شگفت‌انگیزتر است — به تحلیل ما درباره‌ی بهینه‌سازی ترافیک لبه مراجعه کنید.