¿Alguna vez te has preguntado cómo decide Google qué páginas rastrea y cuántas veces lo hace? Bueno, parece que no somos los únicos. Recientemente, en un hilo de Reddit dedicado al SEO, surgió una pregunta interesante sobre el «presupuesto de rastreo» y cómo los redireccionamientos 301 a respuestas de error 410 podrían estar afectándolo. John Mueller de Google no tardó en ofrecer una explicación.
El enigma del presupuesto de rastreo
La idea de que Google tiene un presupuesto de rastreo es algo que la comunidad SEO ha propuesto para explicar por qué algunos sitios no se rastrean lo suficiente. Según la fuente, este concepto sugiere que cada sitio tiene asignado un número limitado de rastreos.
Es crucial entender el trasfondo de esta idea, ya que Google ha insistido durante mucho tiempo en que no existe algo en la empresa que se pueda llamar presupuesto de rastreo, aunque la forma en que Google rastrea un sitio puede dar esa impresión.
En una entrevista de 2010, Matt Cutts, un importante ingeniero de Google en ese momento, mencionó que no hay un límite fijo en el rastreo, desmintiendo la idea de que exista un «presupuesto de rastreo» como lo conciben los SEOs.
Google publicó en 2017 un documento explicativo sobre el presupuesto de rastreo, que reúne numerosos hechos relacionados con el rastreo que juntos se asemejan a lo que la comunidad SEO llamaba presupuesto de rastreo. Esta explicación es más precisa que la frase vaga «presupuesto de rastreo».
Principales puntos sobre el presupuesto de rastreo
- La tasa de rastreo es el número de URLs que Google puede rastrear basado en la capacidad del servidor para suministrar las URLs solicitadas.
- Los servidores compartidos, por ejemplo, pueden albergar miles de sitios web, lo que resulta en cientos de miles, si no millones, de URLs. Así que Google tiene que rastrear los servidores basándose en la capacidad para cumplir con las solicitudes de páginas.
- Las páginas que son esencialmente duplicados de otras y otras páginas de bajo valor pueden desperdiciar recursos del servidor, limitando la cantidad de páginas que un servidor puede ofrecer a Googlebot para rastrear.
- Las páginas ligeras son más fáciles de rastrear más a fondo.
- Las páginas de error suave (Soft 404) pueden hacer que Google se enfoque en esas páginas de bajo valor en lugar de en las páginas que importan.
- Los patrones de enlaces internos y entrantes pueden ayudar a influir en qué páginas se rastrean.
Pregunta en Reddit sobre la tasa de rastreo
El usuario de Reddit quería saber si las páginas de bajo valor percibido que estaban creando influían en el presupuesto de rastreo de Google. La pregunta era legítima.
John Mueller de Google respondió que el presupuesto de rastreo realmente solo es un problema para sitios masivos. Si se están experimentando problemas y el sitio no es masivo, entonces probablemente Google simplemente no ve mucho valor en rastrear más. No se trata de un problema técnico.
Razones para no ser rastreado suficientemente
Mueller sugirió que Google «probablemente» no ve el valor en rastrear más páginas web, lo que significa que estas páginas podrían necesitar una revisión para identificar por qué Google podría determinar que no valen la pena rastrear.
Ciertas tácticas populares de SEO tienden a crear páginas web de bajo valor que carecen de originalidad. Por ejemplo, una práctica común es revisar las páginas mejor posicionadas para entender qué factores explican su ranking, y luego usar esa información para mejorar sus propias páginas replicando lo que funciona en los resultados de búsqueda. Esto no está creando algo de valor.
Claramente hay problemas técnicos que pueden afectar la tasa de rastreo, como la salud del servidor y otros factores. Pero, en términos de lo que se entiende como un presupuesto de rastreo, eso es algo que Google ha mantenido durante mucho tiempo que es una consideración para sitios masivos y no para sitios más pequeños o de tamaño mediano.
Fuente:https://www.searchenginejournal.com/google-answers-a-crawl-budget-issue-question/509449/