تصور کنید ویترینی دارید که آن‌قدر دقیق است که مشتریان هر چه می‌خواهند را می‌بینند و دیگر هیچ‌کس وارد فروشگاه شما نمی‌شود. این دقیقاً وضعیتی است که ناشران محتوا در عصر جدید گوگل تجربه می‌کنند.
طبق داده‌های Semrush که توسط وال استریت ژورنال منتشر شده، ترافیک برخی نشریات بین ژوئن ۲۰۲۵ و ژوئن ۲۰۲۶ تقریباً ۴۰٪ سقوط کرده است. این ریزش شدید و ناگهانی باعث شده تا رسانه‌های بزرگی که پیش از این هرگز به چنین تصمیمی فکر نمی‌کردند، گزینه حذف کامل خود از فهرست گوگل (Indexing) را بررسی کنند. هدف آن‌ها محافظت از محتوایشان در برابر ربات‌های آموزش هوش مصنوعی است که داده‌های آن‌ها را می‌بلعند اما ترافیکی بازنمی‌گردانند.
این تنش در حالی رخ می‌دهد که گوگل هر روز بیشتر هوش مصنوعی زاینده (Generative AI) — مثل دستیاری که به جای معرفی کتاب‌ها، خودش خلاصه و نتیجه‌گیری را به شما می‌گوید — را در نتایج جست‌وجو ادغام می‌کند. این روند باعث می‌شود پاسخ‌ها مستقیماً در صفحه نتایج نمایش داده شوند و کاربر دیگر نیازی به کلیک بر روی سایت‌های شخص ثالث نداشته باشد. این تغییرات در نحوه نمایش نتایج، حتی بخش‌های بصری را نیز تحت تأثیر قرار داده است، به‌طوری که گوگل اکنون در برخی موارد تصاویر جست‌وجو را با مدل‌های جدید هوش مصنوعی بازسازی می‌کند تا تجربه کاربر را تغییر دهد. همان‌طور که در تحلیل قبلی ما درباره جریمه ۸۹۰ میلیون یورویی گوگل در اتحادیه اروپا به دلیل نقض قوانین رقابتی دیدیم، این بحران ریشه در شکست عمیق اعتماد میان غول جست‌وجو و تولیدکنندگان محتوا دارد. همچنین باید توجه داشت که فشارها بر گوگل تنها محدود به ناشران نیست و کمیسیون اروپا پیش‌تر دستور داده بود که داده‌های اندروید و جست‌وجوی گوگل باید برای رقبا باز شود تا انحصار این شرکت شکسته شود.
عصر «گوگل صفر»
نیلای پاتل، سردبیر The Verge، در سال ۲۰۲۴ اصطلاحی به نام «گوگل صفر» را معرفی کرد. او این وضعیت را لحظه‌ای تعریف کرد که موتور جست‌وجو گوگل دیگر ترافیکی به وب‌سایت‌های خارجی نمی‌فرستد و کاربر پاسخ خود را در همان صفحه اول دریافت می‌کند. سال‌ها ناشران با قوانین سخت‌گیرانه بهینه‌سازی موتورهای جست‌وجو (SEO) تلاش کردند تا دسترسی و دیده‌شدن خود را به حداکثر برسانند، اما حالا ارزش این پیشنهاد تغییر کرده است. اکنون هزینه این دیده‌شدن بیش از حد گران شده است؛ یعنی دادن رایگان داده‌ها به هوش مصنوعی برای آموزش مدلی که در نهایت جایگزین ترافیک آن‌ها می‌شود.
نبرد ربات‌ها
گوگل از خزنده‌های (Crawlers) یکسانی برای فهرست کردن سایت‌ها در جست‌وجو و آموزش مدل‌های هوش مصنوعی‌اش استفاده می‌کند. در حال حاضر، ناشران با یک تنگنای فنی روبره‌اند: آن‌ها یا باید هر دو دسترسی را مسدود کنند یا هر دو را بپذیرند و راهی برای تفکیک این دو وجود ندارد. بر اساس گزارش کلادفلر (Cloudflare)، ربات‌ها اکنون بیش از نیمی از کل ترافیک وب را تشکیل می‌دهند.
برای مقابله با این وضعیت، کلادفلر اعلام کرده است که از ۱۵ سپتامبر سال جاری مسدودسازی خزنده‌های چندمنظوره را آغاز می‌کند؛ یعنی همان ربات‌هایی که هم برای فهرست‌بندی جست‌وجو و هم برای آموزش هوش مصنوعی داده‌ها را استخراج (Scrape) می‌کنند. این اقدام برای تمام سایت‌ها اعمال می‌شود مگر اینکه مالکان سایت صریحاً بخواهند از این قابلیت استفاده نکنند. در همین راستا، کلادفلر دسترسی خزنده‌های چندمنظوره هوش مصنوعی به صفحات تبلیغاتی را نیز مسدود کرده است تا از سوءاستفاده‌های گسترده‌تر جلوگیری کند. استفانی کوهن، مدیر استراتژی کلادفلر، به Adweek گفت هدف آن‌ها ایجاد راهکاری فنی است که سایت‌ها همچنان قابلیت کشف شدن (Discoverability) در جست‌وجو را داشته باشند اما محتوایشان رایگان برای آموزش مدل‌ها برده نشود.
قیام ناشران
برخی از غول‌های رسانه‌ای اکنون در حال بررسی قطع کامل دسترسی یا محدود کردن شدید آن هستند:
- USA Today: مایک رید، مدیرعامل این نشریه، به وال استریت ژورنال گفت زمان آن رسیده که بگوییم «دیگر کافی است». او تأکید کرد اگر روند کاهش ترافیک ادامه یابد، مسدود کردن گوگل «۱۰۰٪ روی میز است» و اشاره کرد که در حال حاضر کسانی که قراردادهای لایسنسینگ ندارند، مسدود شده‌اند.
- Reddit: این پلتفرم پس از مشاهده کاهش ترافیک، گزارش شده است که در حال بازنگری در قرارداد سالانه ۶۰ میلیون دلاری خود با گوگل است.
- Politico و Reuters: هر دو رسانه در حال بررسی محدود کردن دسترسی ربات‌های گوگل و اجرای دیوارهای ثبت‌نام (Registration Walls) هستند تا محتوا را از دسترس عمومی ربات‌ها خارج کنند.
- Penske Media: این شرکت پیش از این از گوگل به دلیل ارائه خلاصه‌های هوش مصنوعی شکایت کرده است. نیل ووگل، مدیرعامل People Inc، تأیید کرد که مسدودسازی کامل گوگل یک احتمال واقعی است.
با این حال، همه آماده این جهش نیستند. معاون هوش مصنوعی زاینده در The Economist معتقد است هرچند ترافیک نوسانی و ناپایدار است، اما «ترافیک هنوز هم ترافیک است» و قطع دسترسی به غول جست‌وجو برای آن‌ها فعلاً غیرممکن است. در مقابل، مجله Time استراتژی «اسب تروجان» را پیش گرفته است؛ آن‌ها تبلیغات متنی خاصی قرار می‌دهند که فقط ربات‌های هوش مصنوعی می‌توانند آن‌ها را ببینند.e امید آن‌ها این است که چت‌بات‌های هوش مصنوعی ناخودآگاه در پاسخ به کاربران، از این محتوای اسپانسرشده نقل قول کنند.
این تغییر، دینامیک قدرت در اینترنت را به‌طور بنیادی عوض می‌کند. اگر توده بزرگی از ناشران باکیفیت سیستم را ترک کنند، گوگل آنچه را که موتور جست‌وجو را ارزشمند می‌کند (یعنی محتوای غنی و به‌روز)، از دست می‌دهد. در حالی که ناشران می‌توانند از طریق خبرنامه‌ها و اپلیکیشن‌های مستقیم زنده بمانند، مارک استنبرگ در Adweek نوشت که گوگل «هیچ طرح جایگزینی برای این فقدان ندارد».
اکنون همه چشم‌ها به نتایج حکم دادگاه تنظیم‌گر بریتانیاست. این دادگاه حکم داده است که گوگل باید به ناشران اجازه دهد بدون اینکه نتایج جست‌وجوی سنتی آن‌ها آسیب ببیند، دسترسی به ویژگی‌های هوش مصنوعی را محدود (Opt-out) کنند. گوگل در حال حاضر این قابلیت را در بریتانیا آزمایش می‌کند و ۹ ماه فرصت دارد تا آن را به‌طور کامل اجرا کند، اما هنوز این ویژگی را در سطح جهانی عرضه نکرده است. گسترش جهانی این قابلیت تعیین می‌کند که آیا عصر «گوگل صفر» به یک واقعیت دائمی تبدیل می‌شود یا خیر.
گام بعدی شما
- اگر تولیدکننده محتوا هستید، تنظیمات
robots.txtخود را بررسی کنید تا متوجه شوید کدام ربات‌ها به سایت شما دسترسی دارند. - بررسی کنید آیا مدل‌های هوش مصنوعی زاینده در پاسخ‌های خود به کاربران، محتوای شما را بدون لینک ارجاع می‌دهند یا خیر.
- استراتژی‌های جایگزین برای جذب مخاطب مستقیم (مانند خبرنامه‌های ایمیلی) را تقویت کنید تا وابستگی به گوگل کاهش یابد.
اما داستان سخت‌افزاری این تحول حتی شگفت‌انگیزتر است — به تحلیل ما درباره تراشه‌های Blackwell مراجعه کنید.
گفتگو