تصور کنید کلید ورود به کتابخانهای که تمام دانش جهان در آن است، حالا در دست یک نگهبان قرار گرفته که برای هر بار باز کردن در، پول میگیرد. دسترسی به وب عمومی دیگر یک حق رایگان نیست، بلکه به یک دارایی قابل مجوزدهی تبدیل شده است. با این تغییر رویکرد، «اجازه برای خواندن وب عمومی» اکنون به یک دارایی است که میتوان برای آن مجوز گرفت.
طبق گزارشهای منتشر شده، کلودفلر (Cloudflare) در ۱ ژوئیه ۲۰۲۶ چرخش راهبردی در مدیریت رباتهای خود ایجاد کرد. این شرکت مدل سادهی «پرداخت بهازای خزش» را کنار گذاشت و یک بازار پیچیده برای «پرداخت بهازای استفاده» راه انداخت تا اساساً نحوهی دسترسی مدلهای هوش مصنوعی به دادههای وب را تغییر دهد. همانطور که در تحلیلهای قبلی ما دربارهی اقتصاد دادههای متنی اشاره کردیم، کنترل بر لایه توزیع داده، قدرت بیشتری از خودِ دادهها دارد. این رویکرد تجاری شباهت زیادی به مدلهای جدید مدیریت دسترسی دارد؛ برای مثال، Global API تنها درگاه دسترسی به مدلهای AI است که مدل پرداخت کمیسیون مستمر را پیاده کرده تا جریان درآمدی پایدارتری ایجاد کند.
سالها بود که میلیونها مالک وبسایت، تنظیمات DNS خود را به کلودفلر میسپردند چون این شرکت لایهی رایگان سخاوتمندانهای داشت. پهنای باند رایگان بود و خدمات واقعاً باکیفیت؛ اما این در واقع هزینهی جذب کاربر بود. حالا کلودفلر از این جایگاه عظیم استفاده میکند تا تصمیم بگیرد چه کسی با چه قیمتی به وب دسترسی داشته باشد. این شرکت دیگر صرفاً یک ارائهدهنده خدمات نیست، بلکه به دروازهبانی عصر هوش مصنوعی تبدیل شده است.
به نقل از وبسایت dev.to، سامانه جدید کلودفلر خزندههای هوش مصنوعی را به سه دستهبندی مجزا تقسیم میکند: جستوجو (Search)، عامل (Agent) — شبیه دستیاری که فقط برای خواندن نمیرود، بلکه برای انجام کارها در وب میچرخد — و آموزش (Training).
چارچوب جدید دسترسی
- تغییر مدل پرداخت: در مدل قدیمی، ربات برای دریافت یک صفحه مبلغی میپرداخت و حداقل هزینه هر بار بازیابی یک سنت بود. حالا ناشران تنها زمانی پول میگیرند که محتوایشان واقعاً در پاسخ یک هوش مصنوعی ظاهر شود. محتوای پذیرفته شده در مدل Opt-in در مراحل بعدی استفاده میشود و پول به سمت مالکان سایتها جریان مییابد.
- مسدودسازی پیشفرض: از ۱۵ سپتامبر ۲۰۲۶، خزندههای چندمنظوره در هر صفحهای که تبلیغات داشته باشد، بهطور پیشفرض مسدود میشوند. این یک حرکت تجاری برای ایجاد کمبود است؛ زیرا یک بازار برای دسترسی نمیتواند فعال شود مگر اینکه دسترسیها محدود باشند.
- دسترسی گزینشی: این برنامه تنها با دو شریک تجاری آغاز شده است. این یعنی یک شرکت تصمیم میگیرد چه چیزی «خواننده» محسوب میشود و چه چیزی «سارق»، و اینکه کدام خریداران اجازه دارند از این خط عبور کنند.
- ریسک توسعهدهندگان: اگر ابزاری میسازید و در لیست شرکای کلودفلر نیستید، گزینههای شما این است که یا هر قیمتی را که تعیین شود بپذیرید یا دسترسی به بخش بزرگی از وب عمومی را از دست بدهید.
سازوکار ایجاد کمبود
این چرخش، یک کمبود مصنوعی تولید میکند. کلودفلر با تغییر وضعیت به مسدود کردن پیشفرض رباتها برای سایتهای دارای تبلیغات، دقیقاً همان تقاضایی را میسازد که بازار مجوزدهیاش برای عملکرد به آن نیاز دارد. این شرکت به بازار پاسخ نمیدهد، بلکه خودش بازار را خلق میکند. شرکتی که بازار را اداره میکند، همزمان مالک کلیدی است که کمبود را ایجاد میکند.
برای یک مالک معمولی وبسایت، این یک معاملهی «پول در برابر اعتبار» است. در حالی که برخی ناشران برای نخستین بار دستمزد واقعی دریافت میکنند، اما هیچ حق رأیی ندارند. آنها در مورد دستهبندیها، نرخ پرداخت یا اینکه چه کسی به برنامه پذیرفته شود، تصمیم نمیگیرند. آنها حتی تصمیم نگرفتند که آیا حالت پیشفرض باید «مسدود کردن» باشد یا خیر. آنها چکی دریافت میکنند، اما رأی ندارند.
توسعهدهندگان AI در وضعیت خطرناکتری هستند. تعاریف این «دستهها» توسط یک شرکت در یک سند مشخصات محصول (Product Spec) تعیین شده است، نه توسط سیاستهای جامع وب. این موضوع سوالات حیاتی میسازد: آیا یک خزندهی پژوهشی، «عامل» است یا «آموزشی»؟ آیا یک ربات آرشیوی در دسته «جستوجو» قرار میگیرد؟ یک تیم کوچک که در حال ساخت یک ابزار است، ممکن است اکنون بهعنوان «خوانندهی بدون مجوز» طبقهبندی شود و عملاً از نظر هزینه از وب عمومی ساقط شود. در این فضای رقابتی، ابزارهایی که با رویکردهای غیرمتعارف به وب مینگرند موفقتر بودهاند؛ مانند BrowserAct که با مدل «شکست هدفمند» توانست رتبه اول محصول روز Product Hunt شود و مسیر متفاوتی را برای تعامل با وب طی کرد.
مسدودسازی بهعنوان یک محصول
این یک بهروزرسانی امنیتی نیست؛ بلکه گسترش مدل کسبوکار است. استخراجکنندگان داده (Scrapers) سالها میدانستند که مسدود کردن رباتها هرگز هدف نهایی نبوده است. شرکتی که واقعاً بتواند دسترسیهای خودکار را متوقف کند، این کار را یک بار انجام میداد و تمام میشد. انجام چنین کاری، جریان درآمدی را که کلودفلر اکنون در حال ساختن آن است، نابود میکند.
آنچه ساخته شده یک دیوار نیست، بلکه یک کنتوریست که روی جلوی آن نقاشی دیوار کشیدهاند. مسدودسازی فقط یک نمایش است، اما صورتحساب واقعی محصول اصلی است. شواهد این موضوع زمانی ظاهر میشود که یک صفحهٔ چالش (Challenge page) دقیقاً در همان لحظهای که یک API پولی عرضه میشود، بهطور ناگهانی سادهتر قابل دور زدن میشود.
باید دید سایر ارائهدهندگان CDN به این سابقه واکنش میدهند. بحث اصلی نه روی پول، بلکه روی «قدرت» و «مرجعیت» است. اگر صنعت به سمت مجوزدهی متمرکز وب برود، ماهیت باز اینترنت جای خود را به مجموعهای از لیستهای انتظار خصوصی میدهد که توسط شرکتهایی اداره میشوند که به هیچکس پاسخگو نیستند.
گام بعدی شما
- اگر توسعهدهنده ابزارهای AI هستید، بلافاصله وضعیت دسترسی رباتهای خود را در سایتهای تحت شبکه کلودفلر بررسی کنید.
- ناشران محتوا باید بررسی کنند که آیا در دستههای درآمدی جدید کلودفلر قرار میگیرند یا خیر.
- رصد کنید که آیا ارائهدهندگان دیگر مثل Akamai یا Fastly مدلهای مشابهی را پیاده میکنند یا خیر.
اما اثر این تمرکز قدرت بر پروتکلهای جدید دسترسی به وب حتی پیچیدهتر است — برای بررسی تاثیر این روند بر استانداردهای وب، تحلیل ما دربارهی پروتکل MCP را بخوانید.
گفتگو