Google ha realizado cambios importantes en su documentación sobre los rastreadores y fetchers activados por los usuarios. Ahora, toda esta información está distribuida en varias páginas, lo que facilita la navegación y comprensión de estos contenidos. Según la fuente, los cambios incluyen detalles sobre los productos que afectan cada rastreador, además de añadir ejemplos de robots.txt para demostrar cómo utilizar los tokens de los agentes de usuario.
Una reorganización completa de la documentación de rastreadores
Google ha explicado que su documentación se estaba volviendo demasiado extensa, lo que limitaba su capacidad para expandir el contenido sobre sus rastreadores. Por eso, decidieron reorganizarla en varias páginas. Aunque gran parte del contenido se movió sin modificaciones, se han añadido nuevas secciones que especifican los productos afectados por cada rastreador y ejemplos claros de cómo usar el robots.txt con cada uno.
Ahora, al explorar la documentación de un rastreador, como Googlebot, podrás encontrar dos nuevas secciones: productos afectados y un grupo de ejemplo de robots.txt. Esta estructura hará que sea más fácil para los webmasters entender cómo optimizar sus sitios para los diferentes rastreadores de Google.
¿Qué productos afectan los principales rastreadores de Google?
Cada rastreador tiene un impacto en distintos productos de Google. Por ejemplo, las preferencias de rastreo dirigidas al agente de usuario Googlebot afectan a Google Search (incluyendo Discover y todas sus funciones), así como a Google Imágenes, Google Videos, Google Noticias y Discover.
Por otro lado, Googlebot-Image influye en Google Imágenes, Discover, Google Video y cualquier funcionalidad de Google Search donde se presenten imágenes, logotipos o favicons. Mientras tanto, Googlebot-Video se enfoca en funciones de Google relacionadas con videos.
Rastreadores más especializados en productos específicos
Algunos rastreadores tienen un enfoque más especializado. Por ejemplo, el Googlebot-News está dirigido específicamente a todas las superficies de Google Noticias, como la pestaña de Noticias en Google Search y la aplicación Google News.
Otro ejemplo es el Storebot-Google, que afecta todas las superficies de Google Shopping, incluyendo la pestaña de Shopping en Google Search. Google también ha añadido el Google-InspectionTool, que está enfocado en las herramientas de prueba de Google, como el Rich Results Test y la inspección de URL en Search Console.
Nuevos rastreadores y su propósito
Además de los rastreadores conocidos, Google ha añadido información sobre rastreadores menos comunes, como el Google-CloudVertexBot, que es usado por los propietarios de sitios para crear agentes de IA en Vertex AI, o el Google-Extended, un token que los editores pueden usar para gestionar si su contenido ayuda a mejorar Gemini Apps y APIs generativas de Vertex AI.
En cuanto al rastreador GoogleOther, este es un rastreador genérico utilizado por equipos de productos de Google para realizar rastreos ocasionales en investigaciones internas. No afecta directamente a Google Search ni a otros productos principales.
Actualizaciones técnicas en la documentación de rastreadores
Google también ha añadido información sobre las codificaciones de contenido (compresiones) que soportan sus rastreadores y fetchers activados por los usuarios. Esta actualización es meramente documental y no implica ningún cambio en el comportamiento de los rastreadores.
Otro cambio en la documentación incluye la actualización del URL en el agente de usuario GoogleProducer HTTP en los fetchers activados por los usuarios, para que coincida con el valor utilizado por el fetcher real.
Conclusión
Esta reorganización de la documentación de rastreadores y fetchers de Google no solo simplifica el acceso a la información, sino que también ofrece ejemplos más claros de cómo los sitios web pueden adaptarse mejor a los rastreadores de Google. Esto permitirá a los administradores de sitios optimizar sus configuraciones de robots.txt y gestionar mejor la interacción con los diversos productos de Google.
Fuente: https://www.seroundtable.com/google-updates-its-google-crawlers-and-fetchers-documentation-38073.html