En una publicación reciente en LinkedIn, el analista de Google, Gary Illyes, desafió una creencia de larga data sobre la ubicación de los archivos robots.txt.
No necesitas robots.txt en el dominio raíz, dice Google
Durante años, la sabiduría convencional ha sido que el archivo robots.txt de un sitio web debe residir en el dominio raíz (por ejemplo, example.com/robots.txt).
Sin embargo, Illyes ha aclarado que esto no es un requisito absoluto y ha revelado un aspecto menos conocido del Protocolo de Exclusión de Robots (REP).
Flexibilidad del archivo robots.txt
El archivo robots.txt no tiene que estar ubicado en el dominio raíz (example.com/robots.txt).
Según Illyes, tener dos archivos robots.txt separados en diferentes dominios es permisible: uno en el sitio web principal y otro en una red de entrega de contenido (CDN).
Illyes explica que los sitios web pueden centralizar su archivo robots.txt en la CDN mientras controlan el rastreo para su sitio principal.
Por ejemplo, un sitio web podría tener dos archivos robots.txt: uno en https://cdn.example.com/robots.txt y otro en https://www.example.com/robots.txt.
Este enfoque permite mantener un archivo robots.txt único y completo en su CDN y redirigir las solicitudes desde su dominio principal a este archivo centralizado.
Mirando hacia atrás a 30 años de robots.txt
Mientras el Protocolo de Exclusión de Robots celebra su 30º aniversario este año, la revelación de Illyes destaca cómo los estándares web continúan evolucionando.
Incluso especula si el archivo necesita llamarse “robots.txt”, insinuando posibles cambios en la gestión de las directivas de rastreo.
Cómo esto puede ayudarte
Seguir la guía de Illyes puede ayudarte de las siguientes maneras:
- Gestión centralizada: Al consolidar las reglas de robots.txt en un solo lugar, puedes mantener y actualizar las directivas de rastreo en toda tu presencia web.
- Mejora de la consistencia: Una única fuente de verdad para las reglas de robots.txt reduce el riesgo de directivas conflictivas entre tu sitio principal y la CDN.
- Flexibilidad: Este enfoque permite configuraciones más adaptables, especialmente para sitios con arquitecturas complejas o aquellos que utilizan múltiples subdominios y CDNs.
Un enfoque simplificado para la gestión de archivos robots.txt puede mejorar tanto la gestión del sitio como los esfuerzos de SEO.
Detalles técnicos
Illyes menciona que los rastreadores que cumplen con RFC9309 seguirán la redirección y usarán el archivo de destino como el archivo robots.txt para el dominio original.
Esta práctica puede ser especialmente útil para grandes sitios con múltiples subdominios o aquellos que dependen en gran medida de CDNs para la entrega de contenido.
Reflexión final
En resumen, la revelación de Gary Illyes abre una nueva perspectiva sobre cómo gestionar los archivos robots.txt. Este enfoque no solo simplifica la gestión, sino que también asegura una mayor coherencia y flexibilidad en las directivas de rastreo.
Al considerar estas recomendaciones, los webmasters pueden optimizar sus sitios para un mejor rendimiento en los motores de búsqueda y una gestión más eficiente de su presencia web.
Fuente: https://www.searchenginejournal.com/you-dont-need-robots-txt-on-root-domain-says-google/521382/