¿Sabías que Google ha actualizado su política de robots.txt? Según la fuente, el gigante de las búsquedas ha aclarado su postura sobre los campos no soportados en los archivos robots.txt.
Google limita el soporte a cuatro campos en robots.txt
En una reciente actualización de su documentación de Search Central, Google ha especificado que solo admite cuatro campos específicos en los archivos robots.txt. Esto significa que cualquier directiva no mencionada en su documentación será ignorada por sus rastreadores.
Esta aclaración forma parte de los esfuerzos de Google por proporcionar orientación clara y sin ambigüedades a los propietarios y desarrolladores de sitios web. La compañía afirma que a veces recibe preguntas sobre campos que no están explícitamente listados como soportados, y quiere dejar claro que no lo están.
¿Qué implica esta actualización?
Según la fuente, esta actualización debería eliminar la confusión y evitar que los sitios web dependan de directivas no soportadas. Es importante que los webmasters se adhieran a los campos soportados y revisen sus archivos robots.txt para asegurarse de que no contienen directivas no reconocidas por Google.
Google recomienda que los propietarios de sitios web entiendan las limitaciones y tengan en cuenta que sus rastreadores pueden no reconocer ciertas directivas de terceros o personalizadas. Esto es crucial para garantizar que el sitio se rastree e indexe correctamente.
Los campos soportados por Google
De acuerdo con la documentación actualizada, Google oficialmente soporta los siguientes campos en los archivos robots.txt:
- user-agent
- allow
- disallow
- sitemap
Es fundamental que los sitios web utilicen solo estos campos para asegurarse de que Google interprete correctamente sus instrucciones de rastreo. Cualquier otro campo no será considerado por los rastreadores de Google.
Directivas no soportadas: omisiones notables
Aunque no se menciona explícitamente, esta aclaración implica que Google no soporta directivas comúnmente usadas como «crawl-delay». Aunque otros motores de búsqueda pueden reconocer estas directivas, Google las ignorará.
Esto es especialmente relevante para aquellos que han estado utilizando estas directivas pensando que afectaban el comportamiento de rastreo de Google. Ahora, es evidente que deben ajustarse a las directivas soportadas para una gestión efectiva.
¿Qué deben hacer los webmasters?
Según la fuente, es recomendable que los propietarios de sitios web auditen sus archivos robots.txt a la luz de esta actualización. Deben eliminar cualquier directiva no soportada y asegurarse de que solo utilizan los campos reconocidos por Google.
Además, es importante mantenerse informado sobre las actualizaciones de Google y revisar regularmente la documentación oficial. Esto garantizará que el sitio web cumpla con las mejores prácticas y evite problemas de rastreo o indexación.
Conclusión
Google ha tomado medidas para clarificar su postura sobre los campos no soportados en robots.txt, limitando su soporte a solo cuatro campos. Esta actualización busca eliminar confusiones y ayudar a los webmasters a gestionar mejor el rastreo de sus sitios.
Es esencial que los propietarios de sitios web revisen sus archivos robots.txt y se adhieran a las directivas soportadas. De esta manera, podrán garantizar que su sitio sea rastreado e indexado de manera óptima por Google.
Fuente: https://www.searchenginejournal.com/google-updates-robots-txt-policy-unsupported-fields-are-ignored/529400/