Recientemente, Google ha lanzado de manera discreta un nuevo bot diseñado específicamente para sus clientes comerciales de Vertex AI. Este nuevo rastreador, conocido como Google-CloudVertexBot, tiene la capacidad de rastrear contenido de sitios web, pero a diferencia de otros bots de Google, lo hace bajo solicitud expresa de los propietarios de los sitios web.
Google introduce un nuevo bot para clientes de Vertex AI
Google ha añadido a su documentación un nuevo bot que trabaja en nombre de los clientes comerciales de Vertex AI. Según la fuente, este bot rastrea sitios web cuando los propietarios solicitan este servicio, lo que lo diferencia de otros rastreadores vinculados a la búsqueda de Google o a la publicidad.
Este bot, llamado Google-CloudVertexBot, forma parte de una nueva funcionalidad en la plataforma Vertex AI, diseñada para ayudar a los clientes a aprovechar los datos disponibles en la web pública, siempre y cuando sea solicitado por el dueño del sitio web.
Vertex AI Agents y su relación con el nuevo bot
El nuevo rastreador de Google trabaja dentro del entorno de Vertex AI Agent Builder, donde se manejan diferentes tipos de datos. Según la documentación oficial de Google Cloud, uno de estos tipos de datos es la información de sitios web públicos, que puede ser utilizada para crear motores de búsqueda o recomendaciones personalizadas.
La documentación menciona dos tipos de indexación de sitios web: indexación básica y indexación avanzada. Mientras que la primera se basa en datos ya indexados por Google, la segunda utiliza el nuevo bot Google-CloudVertexBot y requiere la verificación del dominio por parte del propietario del sitio.
Detalles sobre la indexación avanzada
La indexación avanzada, que involucra al nuevo bot, requiere que los dueños de los sitios verifiquen sus dominios y establece ciertas cuotas de indexación. Según la fuente, esto sugiere que el bot no rastrea sitios web públicos de forma automática, sino que lo hace bajo la solicitud de los propietarios del sitio, lo que podría evitar que este bot acceda a sitios que no han sido autorizados explícitamente.
En resumen, Google-CloudVertexBot es un rastreador especializado que se activa únicamente cuando el propietario de un sitio lo solicita para construir agentes de Vertex AI, evitando así el rastreo indiscriminado de sitios web.
¿Debes bloquear el nuevo rastreador?
Con la introducción de este nuevo bot, algunos administradores de sitios web podrían preguntarse si deberían bloquearlo en su robots.txt. Sin embargo, según la fuente, no parece necesario añadir este bot a las reglas de exclusión, ya que solo rastrea sitios bajo solicitud del propietario.
El objetivo principal de la inclusión de este nuevo rastreador en la lista de Google es permitir a los propietarios de sitios web identificar correctamente el tráfico proveniente de Google-CloudVertexBot, garantizando que solo se active cuando sea necesario y solicitado.
Conclusión sobre el lanzamiento del Google-CloudVertexBot
El lanzamiento de Google-CloudVertexBot marca un paso significativo en cómo Google gestiona el rastreo de sitios web para sus clientes comerciales de Vertex AI. Al permitir que los propietarios de sitios soliciten explícitamente este rastreo, Google ofrece una solución personalizada y controlada para el acceso a datos, manteniendo al mismo tiempo la privacidad y seguridad de los sitios web públicos.
Este nuevo bot es parte de un enfoque más dirigido y bajo demanda, lo que sugiere un cambio en la estrategia de Google hacia una mayor colaboración con los propietarios de sitios web en el manejo de datos y el rastreo de contenido.
Fuente: https://www.searchenginejournal.com/google-vertex-ai-crawler/524956