¿Alguna vez te has encontrado rascándote la cabeza sobre cómo Google decide qué páginas indexar y cuáles no? Bueno, parece que incluso en Google, este tema puede generar bastante discusión. John Mueller de Google ha arrojado algo de luz sobre este tema, específicamente en torno al uso de una directiva noindex en el archivo robots.txt.
El robots.txt de John Mueller
El archivo robots.txt de Mueller ha sido objeto de conversación durante la última semana, debido a la extravagancia de las directivas no estándares que utilizó en él. Este hecho inevitablemente llamó la atención y se volvió viral en la comunidad de marketing de búsqueda.
La directiva Noindex
Todo lo que está en un archivo robots.txt se llama directiva. Una directiva es una solicitud a un rastreador web que está obligado a obedecer (si sigue las directivas de robots.txt). Sin embargo, hay estándares para escribir una directiva de robots.txt y cualquier cosa que no se ajuste a esos estándares probablemente será ignorada.
Una directiva no estándar en el robots.txt de Mueller llamó la atención de alguien que decidió plantear una pregunta al respecto a John Mueller a través de LinkedIn, queriendo saber si Google apoyaba la directiva no estándar.
¿Por qué la directiva Noindex en Robots.txt no es compatible con Google?
John Mueller respondió que era una directiva no compatible, que básicamente no hace nada. Luego explicó que Google había considerado en algún momento apoyar la directiva noindex desde el archivo robots.txt, ya que proporcionaría una forma para que los editores bloquearan a Google tanto de rastrear como de indexar contenido al mismo tiempo.
Actualmente, es posible bloquear el rastreo en robots.txt o bloquear la indexación con la directiva meta robots noindex. Pero no puedes bloquear la indexación con la directiva meta robots y bloquear el rastreo en el archivo robots.txt al mismo tiempo porque un bloqueo en el rastreo evitará que el rastreador «vea» la directiva meta robots.
Por qué hay Noindex en el Robots.txt de Mueller
Mueller dejó claro que es poco probable que Google apoye esa etiqueta y que esto se confirmó hace unos diez años. La revelación sobre esas discusiones internas es interesante, pero también profundiza la sensación de extrañeza sobre el robots.txt de Mueller.
Según las fuentes, este asunto subraya la importancia de seguir las directrices establecidas y de no esperar resultados de acciones no compatibles, incluso si vienen de figuras prominentes dentro de Google.
Fuente:https://www.searchenginejournal.com/google-had-internal-discussions-about-noindex-in-robots-txt/511424/