John Mueller, responsable de Search Relations de Google, ha explicado que algunos crawlers utilizados por sistemas de inteligencia artificial acceden a sitemaps XML y feeds RSS, según ha podido comprobar en los registros de sus propios servidores. El comentario aporta una pista relevante para los propietarios de sitios web que quieren facilitar el descubrimiento de sus contenidos por parte de sistemas de IA. :chatgpt-content-reference{index=»3″}
Mueller realizó estas declaraciones junto a Martin Splitt durante un episodio del podcast Search Off the Record publicado el 1 de octubre y dedicado a analizar si los sitemaps siguen teniendo utilidad. La conversación abordó tanto el funcionamiento tradicional de los sitemaps como la forma en que los crawlers orientados al entrenamiento de sistemas de IA pueden descubrir contenidos.
Uno de los puntos destacados es que muchos de estos crawlers no ofrecen una consola equivalente a Google Search Console donde un webmaster pueda enviar directamente un sitemap. Por ese motivo, Mueller recomienda mantener mecanismos de descubrimiento convencionales cuando el objetivo sea facilitar el acceso de estos sistemas al contenido.
Los registros del servidor muestran accesos de crawlers de IA
Mueller explicó que ha observado personalmente en los logs de sus sitios web peticiones de crawlers de IA dirigidas a archivos sitemap y RSS. No identificó qué bots concretos estaban realizando esas solicitudes y tampoco afirmó saber qué uso posterior hacen las empresas de los datos que encuentran.
Este matiz es importante porque una petición a un archivo no demuestra por sí misma que el contenido vaya a utilizarse para entrenamiento, recuperación de información o generación de respuestas. Lo que muestran los registros es que determinados sistemas automatizados están llegando hasta esos recursos.
La observación también ayuda a entender por qué la forma en que se publica un sitemap puede influir en su descubrimiento. Cuando un sitio utiliza un nombre estándar y accesible, otros sistemas pueden encontrarlo sin necesidad de disponer de una herramienta específica para enviar la URL.
Según Mueller, los propietarios que quieran mantener un sitemap privado pueden utilizar un nombre de archivo poco habitual, evitar incluirlo en robots.txt y enviarlo directamente a Google. El inconveniente es que esa decisión dificulta que otros sistemas encuentren el archivo por su cuenta.
Sitemap.xml y RSS siguen siendo mecanismos de descubrimiento útiles
Para los sitios interesados en aparecer en sistemas de IA, Mueller plantea una recomendación sencilla: utilizar el nombre estándar sitemap.xml o recurrir a los feeds RSS. La razón es que muchos crawlers no disponen de un procedimiento específico para que los propietarios les indiquen dónde está su sitemap.
Los feeds RSS pueden resultar especialmente fáciles de descubrir porque normalmente se encuentran enlazados desde el HTML de la cabecera de las páginas. De esta forma, un crawler que visite el sitio puede localizar el feed sin necesidad de que exista un sistema específico de envío.
La recomendación no implica que un sitemap sea una garantía de aparición en una herramienta de IA. Se trata principalmente de una cuestión de descubrimiento técnico del contenido. Que un crawler pueda localizar un recurso no significa necesariamente que vaya a utilizarlo ni que el contenido vaya a aparecer posteriormente en una respuesta generada.
La conversación también pone de relieve que los mecanismos diseñados originalmente para buscadores tradicionales pueden seguir teniendo utilidad en un ecosistema donde cada vez participan más agentes automatizados.
Mueller descarta que llms.txt sustituya al sitemap XML
Durante el podcast también se abordó una de las propuestas que ha ganado atención en el entorno del SEO y la búsqueda basada en IA: llms.txt. Preguntado sobre si este archivo podría sustituir a un sitemap XML, Mueller estableció una diferencia clara entre ambos formatos.
Según explicó, los sistemas de Google no pueden utilizar actualmente llms.txt como sustituto de un sitemap porque el archivo Markdown no utiliza el formato estructurado que requiere el protocolo de sitemaps. El planteamiento puede cambiar en el futuro, pero no forma parte del funcionamiento actual de Google.
Mueller comparó la idea con la diferencia entre un sitemap HTML y un sitemap XML. Aunque un documento en Markdown puede contener información útil, no cumple el mismo papel técnico que un sitemap XML diseñado específicamente para ayudar a los motores de búsqueda a descubrir URLs.
El responsable de Google ya había comentado anteriormente que los sistemas de la compañía no utilizaban llms.txt para estas funciones. En este contexto, su recomendación es trabajar con mecanismos que actualmente están documentados y funcionan, en lugar de basar una estrategia de rastreo en tecnologías cuyo uso todavía no está consolidado.
Por qué Search Console puede mostrar un sitemap como no recuperable
La conversación también abordó otro problema habitual entre propietarios de sitios web: el mensaje “Couldn’t fetch” que puede aparecer en Search Console aunque el sitemap sea válido y esté publicado correctamente.
Mueller explicó que una de las posibles causas está relacionada con la carga del servidor. En determinados momentos, los sistemas de Google pueden tener dificultades para recuperar el archivo y Search Console puede reflejarlo como un problema de obtención aunque el sitemap no tenga un error estructural.
Otra posibilidad está relacionada con la demanda de rastreo. Google no rastrea necesariamente todas las URLs de un sitio con la misma frecuencia. Cuando sus sistemas consideran que existe poca necesidad de buscar contenido adicional, pueden reducir el nivel de rastreo y eso también puede afectar a la recuperación del sitemap.
Mueller relacionó esa demanda de rastreo con la percepción que Google tiene sobre la calidad y la necesidad de descubrir contenido nuevo. Por tanto, un error de recuperación no siempre es exclusivamente un problema técnico que pueda solucionarse modificando el XML.
Los logs pueden ayudar a entender qué crawlers visitan un sitio
La principal conclusión práctica para los propietarios de páginas web es que los logs del servidor ofrecen información directa sobre las peticiones que reciben los archivos. En ellos es posible comprobar si existen solicitudes dirigidas al sitemap, al RSS u otros recursos.
En el caso de los crawlers de IA, estos registros pueden resultar especialmente útiles porque no existe un sistema universal equivalente a Search Console para enviar un sitemap a todas las plataformas. Revisar qué agentes visitan el sitio puede ayudar a entender cómo está siendo descubierto el contenido.
La recomendación de Mueller no supone abandonar los sitemaps tradicionales. Al contrario, su planteamiento apunta a mantener una estructura sencilla y accesible, con nombres estándar y feeds correctamente enlazados, si el objetivo es facilitar el descubrimiento del contenido tanto por buscadores como por otros sistemas automatizados.
En un escenario donde los sistemas de IA rastrean cada vez más información publicada en la web, la conversación de Google devuelve protagonismo a herramientas que ya forman parte de la infraestructura SEO. Sitemap.xml, RSS, robots.txt y los registros del servidor siguen siendo elementos relevantes para entender cómo se encuentra y se rastrea un sitio.