Cloudflare declara la guerra a los rastreadores de IA y bloquea por defecto el acceso web

El gigante de infraestructura de internet pone fin al saqueo masivo de contenido web por parte de las empresas de inteligencia artificial

Cloudflare, uno de los proveedores de infraestructura de internet más grandes del mundo, ha tomado una decisión que podría cambiar para siempre la relación entre las empresas de IA y los propietarios de sitios web. A partir del 1 de julio de 2025, la compañía bloquea por defecto todos los crawlers de IA que intentan acceder al contenido de los sitios web sin permiso explícito o compensación económica.

El problema que nadie quería admitir

Esta medida responde a un problema real que ha estado afectando a propietarios de sitios web durante meses. Los crawlers de IA, como GPTBot de OpenAI y ClaudeBot de Anthropic, han estado generando volúmenes masivos de solicitudes automatizadas que colapsan los sitios web, volviéndolos tan lentos como si estuvieran bajo ataque.

Steven Vaughan-Nichols, editor senior contribuyente, experimentó este problema directamente en su propio sitio Practical Technology, donde los crawlers de IA habían ralentizado dramáticamente el rendimiento en varias ocasiones. No es un caso aislado: GoogleBot reporta que el servicio de hosting Vercel recibe más de 4.5 mil millones de solicitudes mensuales, mientras que algunos bots llegan a realizar cientos de solicitudes por segundo al mismo sitio.

Un cambio de paradigma radical

De opt-out a opt-in

La nueva política de Cloudflare invierte completamente el status quo anterior. Mientras que antes los propietarios de sitios web tenían que excluirse manualmente del rastreo de IA, ahora el bloqueo es automático por defecto. Las empresas de IA deben solicitar acceso explícitamente y aclarar sus intenciones antes de obtener permiso para rastrear contenido.

Detección de «crawlers sombra»

Cloudflare promete detectar «scrapers sombra» – bots que intentan evadir la detección – utilizando análisis comportamental y aprendizaje automático. Como dice el refrán: lo que es bueno para el ganso de la IA, es bueno para el gander.

El nuevo modelo económico: «Pay Per Crawl»

Para complementar esta medida, Cloudflare ha lanzado su programa «Pay Per Crawl», actualmente en beta privada. Esta iniciativa permite a los editores establecer sus propias tarifas para las empresas de IA que deseen rastrear su contenido.

Técnicamente, el sistema utiliza una respuesta de servidor web casi olvidada: HTTP 402 («Payment Required»), lo que significa que es simple de implementar y compatible con la infraestructura web existente.

Las consecuencias económicas devastadoras

El colapso del tráfico web

Los datos son alarmantes. Desde el auge de la IA, el tráfico hacia sitios de noticias se ha desplomado:

• Business Insider perdió más del 55% de su tráfico entre abril de 2022 y abril de 2025
• The Atlantic predice que su tráfico desde Google podría llegar a cero debido a la IA

La resistencia de las empresas de IA

Las empresas de IA han mostrado una resistencia férrea a pagar por contenido. Sir Nick Clegg, ex viceprimer ministro del Reino Unido y ejecutivo de Meta, declaró recientemente que simplemente pedir permiso a los artistas antes de rastrear contenido con derechos de autor «básicamente mataría a la industria de la IA».

El panorama legal en constante cambio

Batallas judiciales en curso

Casos judiciales recientes han fallado a favor de Meta y Anthropic, determinando que su uso de obras con derechos de autor era legal bajo la doctrina del uso justo. Sin embargo, escritores, artistas y editores no están nada contentos con estas decisiones.

Cambios en la administración

La situación se complicó cuando la Oficina de Derechos de Autor publicó un informe de 108 páginas que adoptaba una posición intermedia, sugiriendo que mientras alguna IA generativa podría constituir un uso «transformativo», el rastreo masivo de todos los datos no calificaba como uso justo.

Al día siguiente, la administración Trump despidió al director de la Oficina de Derechos de Autor y lo reemplazó con un abogado sin experiencia previa en derecho de autor.

El impacto masivo de Cloudflare

Con más de dos millones de clientes que representan el 20% de la web, la decisión de Cloudflare tiene un alcance enorme. Como señaló Matthew Prince, CEO de Cloudflare, esta nueva política busca «dar a los editores el control que merecen y construir un nuevo modelo económico que funcione para todos: creadores, consumidores, futuros fundadores de IA y el futuro de la web misma».

Nicholas Thompson, CEO de The Atlantic, comentó: «Hasta ahora, las empresas de IA no necesitaban pagar por licencias de contenido porque simplemente podían tomarlo sin repercusiones. Ahora tendrán que negociar».

¿Qué viene después?

La gran pregunta es si otros CDN importantes, como Akamai, seguirán el ejemplo de Cloudflare. Por ahora, la era del rastreo ilimitado de IA parece estar llegando a su fin, al menos para la quinta parte de internet que fluye a través de los sistemas de Cloudflare.

Esta decisión marca un momento histórico en la evolución de internet y la inteligencia artificial, estableciendo un precedente que podría definir cómo las empresas de IA acceden al contenido web en el futuro. La batalla entre el «saqueo» de contenido y la compensación justa apenas comienza.