¿Te has preguntado alguna vez por qué Google deja de rastrear tus sitios web de la nada? Pues bien, según fuentes cercanas, puede que la respuesta esté en la infraestructura compartida.
Google y los problemas de rastreo multi-dominio
El Search Advocate de Google, John Mueller, ha compartido algunos detalles interesantes sobre cómo diagnosticar problemas de rastreo que afectan a múltiples dominios. Todo surgió a raíz de una interrupción que reportó Adrian Schmidt en LinkedIn.
Schmidt notó que el rastreador de Google dejó de acceder a varios de sus dominios al mismo tiempo. Sin embargo, los test en vivo a través de Search Console seguían funcionando sin mostrar mensajes de error.
Las investigaciones iniciales no mostraron un aumento en errores 5xx ni problemas con las solicitudes de robots.txt. Entonces, ¿qué podría estar causando este problema?
La respuesta de John Mueller
Ante esta situación, Mueller señaló que la causa más probable es un problema con la infraestructura compartida: «Si se comparte entre varios dominios y se centra en algo como el rastreo, probablemente sea un problema con una pieza compartida de infraestructura.»
Agregó que si el problema ya está recuperándose, al menos no es urgente y hay tiempo para revisar los cambios recientes y los registros de infraestructura.
Investigando la infraestructura
Resulta que todos los sitios afectados utilizaban Cloudflare como su CDN, lo que levantó algunas sospechas. Cuando se le preguntó sobre cómo depurar el problema, Mueller recomendó revisar los datos de Search Console.
Según Mueller: «Las estadísticas de rastreo en Search Console también mostrarán un poco más, quizás ayudarán a decidir entre problemas de DNS o solicitudes fallidas.»
El factor tiempo como pista clave
Mueller también destacó que el momento exacto en que ocurre el problema es una pista importante: «Si es todo exactamente al mismo tiempo, no sería robots.txt, y probablemente no sea DNS.»
Esto sugiere que si varios sitios experimentan problemas de rastreo al mismo tiempo, es más probable que se deba a un componente compartido en la infraestructura.
Impacto en los resultados de búsqueda
En cuanto a la visibilidad en las búsquedas, Mueller tranquilizó diciendo que este tipo de interrupción no causaría problemas: «Si esto es de hoy, y solo duró unas pocas horas, no esperaría ningún problema visible en la búsqueda.»
Esto es un alivio para quienes dependen del tráfico orgánico y temen que una interrupción afecte su posicionamiento.
¿Por qué es importante?
Cuando Googlebot deja de rastrear varios sitios a la vez, identificar la causa raíz puede ser todo un desafío. Aunque las pausas temporales en el rastreo no impacten inmediatamente en los rankings, pueden afectar la capacidad de Google para descubrir e indexar nuevo contenido.
Este incidente pone en evidencia una vulnerabilidad que las organizaciones podrían enfrentar sin darse cuenta, especialmente aquellas que dependen de infraestructura compartida.
Consejos prácticos
Si alguna vez notas que Googlebot deja de rastrear tus sitios, aquí tienes algunos consejos:
- Verifica si el problema afecta a múltiples sitios al mismo tiempo.
- Revisa primero tu infraestructura compartida.
- Utiliza los datos de Search Console para acotar la causa.
- No descartes problemas de DNS solo porque el tráfico regular parece normal.
- Mantén un ojo en tus registros y logs.
Para quienes manejan múltiples sitios detrás de un CDN, asegúrate de:
- Tener una buena configuración de registros y logs.
- Vigilar tus tasas de rastreo.
- Saber a quién llamar cuando las cosas se ponen difíciles.
- Estar al tanto de tu proveedor de infraestructura.
Reflexiones finales
En el mundo digital, los imprevistos pueden ocurrir en cualquier momento. Sin embargo, con una buena preparación y las herramientas adecuadas, es posible minimizar el impacto y resolver los problemas de manera eficiente.
Como siempre, mantenerse informado y en contacto con la comunidad puede ser de gran ayuda para enfrentar estos desafíos.
Fuente: https://www.searchenginejournal.com/google-on-diagnosing-multi-domain-crawling-issues/530826/