El Googlebot se ha convertido en el crawler de IA más activo del año, según los datos del informe anual de Cloudflare. La compañía analizó el tráfico de internet en 2025 y destaca cómo este bot de Google supera con creces a otros como los de OpenAI o Anthropic. Esto plantea dilemas para los editores web que buscan equilibrar visibilidad en búsquedas y control sobre su contenido.
Googlebot lidera el tráfico de crawlers de IA
De acuerdo con el informe de Cloudflare, el Googlebot accedió al 11,6% de las páginas web únicas analizadas en octubre y noviembre de 2025. Esto representa más del triple del tráfico de GPTBot de OpenAI, que se quedó en un 3,6%. La fuente explica que Google utiliza este bot tanto para indexación de búsquedas como para entrenar sus modelos de IA.
En tercer lugar aparece Bingbot con un 2,6%, seguido de Meta-ExternalAgent y ClaudeBot, ambos con 2,4%, según los datos facilitados por Cloudflare. PerplexityBot, por su parte, solo alcanzó el 0,06%, casi 200 veces menos que Googlebot. Esta dominancia complica las decisiones de los propietarios de sitios web.
El auge de los bots de IA en las peticiones HTML
Los bots de IA, excluyendo Googlebot, representaron un promedio del 4,2% de las peticiones HTML en 2025, de acuerdo con Cloudflare. Este porcentaje varió entre el 2,4% en abril y el 6,4% en junio. Googlebot por sí solo generó el 4,5%, superando ligeramente a todos los demás bots de IA juntos.
El tráfico humano de HTML comenzó el año por debajo de los bots no IA, pero para septiembre ya lo superaba en algunos días, según la fuente. Al 2 de diciembre, los humanos generaban el 47% de las peticiones, mientras que los bots no IA llegaban al 44%. Esto refleja un cambio en la dinámica del tráfico web.
Relaciones crawl-to-refer revelan desequilibrios
Cloudflare midió las ratios de crawl-to-refer, que indican cuánto crawlean los bots en comparación con el tráfico que envían de vuelta. Anthropic mostró las cifras más altas, entre 25.000:1 y 100.000:1 en la segunda mitad del año. OpenAI alcanzó hasta 3.700:1 en marzo, mientras Perplexity mantuvo ratios bajas, por debajo de 400:1.
- Anthropic: ratios extremadamente altos, señal de mucho crawling sin referrals.
- OpenAI: picos elevados, pero en descenso con el uso de búsqueda en ChatGPT.
- Google: ratios mucho más bajos, entre 3:1 y 30:1 durante todo el año.
Estas diferencias, según la compañía, ayudan a entender por qué los editores sospechan que las plataformas de IA crawlean intensamente pero devuelven poco tráfico. Es un dato clave para estrategias de SEO en 2026.
El crecimiento explosivo del crawling por acciones de usuario
El crawling por acciones de usuario, cuando los bots visitan sitios en respuesta a preguntas en chatbots, creció más de 15 veces en 2025, afirma Cloudflare. Este aumento coincide con el patrón de ChatGPT-User de OpenAI. Desde febrero mostró un uso semanal, típico de entornos educativos y laborales.
La actividad bajó en verano, durante vacaciones y periodos sin clases, según los datos. Este tipo de crawling no es solo para entrenamiento de modelos, sino reactivo a consultas reales de usuarios. Representa un desafío nuevo para la capacidad de servidores web.
Los bots de IA, los más bloqueados en robots.txt
Analizando casi 3.900 robots.txt de los top 10.000 dominios, Cloudflare encontró que los crawlers de IA son los más bloqueados. GPTBot, ClaudeBot y CCBot lideran en directivas de disallow totales. Googlebot y Bingbot reciben más bloqueos parciales, enfocados en áreas no públicas como logins.
Esta tendencia, de acuerdo con la fuente, muestra que los editores optan por bloquear completamente bots IA puros, pero mantienen acceso parcial a los de búsqueda. Proporciona una línea base para monitorear cambios en políticas durante 2026.
Otras tendencias destacadas en el informe anual
El tráfico global de internet creció un 19% interanual en 2025, acelerando desde agosto, según Cloudflare. La encriptación post-cuántica protegió el 52% del tráfico humano, casi el doble que al inicio del año. ChatGPT sigue como el servicio de IA generativa líder, con nuevos como Google Gemini y Grok/xAI en el top 10.
El sector de «Personas y Sociedad» fue el más atacado por primera vez, recibiendo el 4,4% del tráfico mitigado, muchos protegidos por Project Galileo. España lidera en calidad de internet con velocidades medias superiores a 300 Mbps. Starlink duplicó su tráfico con lanzamientos en más de 20 países nuevos.
El informe subraya implicaciones para editores: bloquear otros bots IA es viable, pero Googlebot ofrece una ventaja competitiva al unir búsqueda e IA. Las ratios crawl-to-refer varían ampliamente, y el aumento de ataques a organizaciones civiles es relevante para nonprofits. Cloudflare anticipa evoluciones en métricas IA para el próximo año.
Fuente: https://www.searchenginejournal.com/cloudflare-report-googlebot-tops-ai-crawler-traffic/563303/