¿Sabías que un simple archivo puede marcar la diferencia entre un sitio web optimizado y uno que despilfarra recursos en el rastreo de Google? Nos referimos al robots.txt en WordPress, un archivo que muchos ignoran pero que es clave para el SEO técnico.
El archivo robots.txt de WordPress está ahí, aunque no lo veas
Por defecto, WordPress genera un archivo robots.txt virtual, el cual puedes ver añadiendo /robots.txt a la URL de tu web. Este archivo no existe físicamente en tu servidor, pero cumple su función básica.
Para personalizarlo, solo necesitas subir tu propio archivo robots.txt al directorio raíz de tu instalación. Puedes hacerlo con un cliente FTP o desde plugins como Yoast SEO, que te permiten editarlo directamente desde el panel de WordPress.
El archivo por defecto suele tener este aspecto:
User-agent: * Disallow: /wp-admin/ Allow: /wp-admin/admin-ajax.php
Este contenido es seguro, pero no es suficiente si quieres sacarle el máximo provecho al rastreo de tu sitio.
No te olvides de incluir tus sitemaps XML
Uno de los primeros pasos para mejorar el archivo es asegurarte de que tus sitemaps XML estén listados explícitamente. Esto facilita que los motores de búsqueda encuentren todas las URLs importantes.
Sitemap: https://tusitio.com/sitemap_index.xml Sitemap: https://tusitio.com/sitemap2.xml
Si estás usando un plugin como Yoast o Rank Math, ellos ya generan estos sitemaps automáticamente, pero no los añaden al robots.txt a menos que tú lo hagas.
No bloquees CSS, JavaScript ni medios
Antes era común bloquear directorios como /wp-includes/ o /wp-content/, pero esto ya no se recomienda. Google necesita acceder a los archivos CSS y JS para renderizar correctamente tu web.
Además, dentro de /wp-content/uploads/ están todas tus imágenes, vídeos y archivos multimedia, que sí quieres que se indexen. Bloquear esta carpeta puede hacer que pierdas tráfico desde Google Imágenes, por ejemplo.
En resumen: deja que los bots accedan a lo necesario para entender tu contenido.
Evita que se indexen tus sitios de pruebas
Si trabajas con entornos de staging o desarrollo, es esencial que Google no los indexe. Puedes hacerlo desde WordPress marcando la opción “Disuadir a los motores de búsqueda de indexar este sitio”.
Esto añade automáticamente una directiva en robots.txt:
User-agent: * Disallow: /
No está de más combinarlo con una etiqueta noindex para asegurarte del todo. Y, muy importante: revisa esta configuración antes de poner el sitio en producción.
Qué rutas puedes bloquear sin afectar el SEO
Algunas rutas estándar de WordPress no aportan valor a nivel SEO y puedes bloquearlas para evitar rastreo innecesario. Por ejemplo:
Disallow: /trackback/ Disallow: /comments/feed/ Disallow: */embed/ Disallow: /cgi-bin/ Disallow: /wp-login.php
Esto reduce el número de URLs sin importancia que los bots visitan, liberando recursos para rastrear lo que realmente importa.
Controla los parámetros de URL poco útiles
Algunas URLs generadas automáticamente por WordPress, como las que incluyen parámetros de respuesta a comentarios o versiones de impresión, no deberían ser rastreadas:
Disallow: /*?*replytocom= Disallow: /*?*print=
Puedes usar Google Search Console para analizar qué parámetros están generando URLs innecesarias y decidir si bloquear más.
Evita indexar taxonomías y búsquedas internas sin valor
Las páginas de etiquetas (/tag/), los resultados de búsqueda internos y las paginaciones suelen aportar poco valor si no están bien trabajadas. Considera bloquearlas:
Disallow: /tag/ Disallow: /page/ Disallow: /?s=
Sin embargo, si usas páginas de etiquetas como parte de tu estrategia SEO, entonces no las bloquees. Todo depende de cómo estructures tu contenido y enlazado interno.
Monitorea el rendimiento del archivo robots.txt
Una vez hecho el trabajo, toca verificar que todo funcione correctamente. Google Search Console es tu mejor aliado para esto. Revisa:
- Estadísticas de rastreo en el panel de Configuración
- Si las URLs bloqueadas realmente no están siendo indexadas
- Que tus sitemaps estén limpios y actualizados
Además, herramientas como Screaming Frog o Plesk también pueden ayudarte a detectar posibles errores o áreas de mejora.
Un pequeño cambio que puede hacer una gran diferencia
Optimizar tu archivo robots.txt no debería tomarte más de 30 minutos, pero puede ahorrarte cientos o miles de rastreos innecesarios a lo largo del tiempo.
No se trata solo de proteger tu servidor o evitar indexar contenido duplicado. Se trata de enviar señales claras a Google sobre qué partes de tu web merecen atención.
¿Quieres mejorar el posicionamiento de tu web? Empieza por aquí. El robots.txt puede que no sea glamuroso, pero sin duda es una de las herramientas más efectivas del SEO técnico.
Fuente: https://www.searchenginejournal.com/robots-txt-wordpress/544255/