{"id":131128,"date":"2026-07-27T12:16:26","date_gmt":"2026-07-27T10:16:26","guid":{"rendered":"https:\/\/quondos.com\/mag\/?p=131128"},"modified":"2026-07-27T12:16:28","modified_gmt":"2026-07-27T10:16:28","slug":"google-puede-ignorar-tu-robots-txt-sin-avisarte-john-mueller-explica-por-que-y-como-afecta-al-seo","status":"publish","type":"post","link":"https:\/\/quondos.com\/mag\/google-puede-ignorar-tu-robots-txt-sin-avisarte-john-mueller-explica-por-que-y-como-afecta-al-seo\/","title":{"rendered":"Google puede ignorar tu robots.txt sin avisarte: John Mueller explica por qu\u00e9 y c\u00f3mo afecta al SEO"},"content":{"rendered":"\n<figure class=\"wp-block-image size-large\"><img loading=\"lazy\" decoding=\"async\" width=\"1024\" height=\"548\" src=\"https:\/\/quondos.com\/mag\/wp-content\/uploads\/2023\/06\/john-mueller-google-1080x578-1-1024x548.jpeg\" alt=\"\" class=\"wp-image-124654\" title=\"\" srcset=\"https:\/\/quondos.com\/mag\/wp-content\/uploads\/2023\/06\/john-mueller-google-1080x578-1-1024x548.jpeg 1024w, https:\/\/quondos.com\/mag\/wp-content\/uploads\/2023\/06\/john-mueller-google-1080x578-1-300x161.jpeg 300w, https:\/\/quondos.com\/mag\/wp-content\/uploads\/2023\/06\/john-mueller-google-1080x578-1-768x411.jpeg 768w, https:\/\/quondos.com\/mag\/wp-content\/uploads\/2023\/06\/john-mueller-google-1080x578-1.jpeg 1080w\" sizes=\"auto, (max-width: 1024px) 100vw, 1024px\" \/><\/figure>\n\n\n\n<p>Si tienes un archivo <strong>robots.txt<\/strong> en tu web y das por hecho que Google lo respeta al pie de la letra, puede que te lleves una sorpresa. <strong>John Mueller, representante de Google<\/strong>, ha explicado recientemente en Reddit un error muy com\u00fan que provoca que Googlebot ignore las directivas de ese archivo, con consecuencias directas para el posicionamiento. El caso surgi\u00f3 a ra\u00edz de un problema de spam en la barra de b\u00fasqueda de una tienda en Shopify, pero seg\u00fan la fuente, el error puede ocurrirle a cualquier webmaster.<\/p>\n\n<div id=\"ez-toc-container\" class=\"ez-toc-v2_0_76 counter-hierarchy ez-toc-counter ez-toc-grey ez-toc-container-direction\">\n<div class=\"ez-toc-title-container\">\n<p class=\"ez-toc-title\" style=\"cursor:inherit\">\u00cdndice de contenidos<\/p>\n<span class=\"ez-toc-title-toggle\"><a href=\"#\" class=\"ez-toc-pull-right ez-toc-btn ez-toc-btn-xs ez-toc-btn-default ez-toc-toggle\" aria-label=\"Alternar tabla de contenidos\"><span class=\"ez-toc-js-icon-con\"><span class=\"\"><span class=\"eztoc-hide\" style=\"display:none;\">Toggle<\/span><span class=\"ez-toc-icon-toggle-span\"><svg style=\"fill: #999;color:#999\" xmlns=\"http:\/\/www.w3.org\/2000\/svg\" class=\"list-377408\" width=\"20px\" height=\"20px\" viewBox=\"0 0 24 24\" fill=\"none\"><path d=\"M6 6H4v2h2V6zm14 0H8v2h12V6zM4 11h2v2H4v-2zm16 0H8v2h12v-2zM4 16h2v2H4v-2zm16 0H8v2h12v-2z\" fill=\"currentColor\"><\/path><\/svg><svg style=\"fill: #999;color:#999\" class=\"arrow-unsorted-368013\" xmlns=\"http:\/\/www.w3.org\/2000\/svg\" width=\"10px\" height=\"10px\" viewBox=\"0 0 24 24\" version=\"1.2\" baseProfile=\"tiny\"><path d=\"M18.2 9.3l-6.2-6.3-6.2 6.3c-.2.2-.3.4-.3.7s.1.5.3.7c.2.2.4.3.7.3h11c.3 0 .5-.1.7-.3.2-.2.3-.5.3-.7s-.1-.5-.3-.7zM5.8 14.7l6.2 6.3 6.2-6.3c.2-.2.3-.5.3-.7s-.1-.5-.3-.7c-.2-.2-.4-.3-.7-.3h-11c-.3 0-.5.1-.7.3-.2.2-.3.5-.3.7s.1.5.3.7z\"\/><\/svg><\/span><\/span><\/span><\/a><\/span><\/div>\n<nav><ul class='ez-toc-list ez-toc-list-level-1 ' ><li class='ez-toc-page-1 ez-toc-heading-level-2'><a class=\"ez-toc-link ez-toc-heading-1\" href=\"https:\/\/quondos.com\/mag\/google-puede-ignorar-tu-robots-txt-sin-avisarte-john-mueller-explica-por-que-y-como-afecta-al-seo\/#Que_es_el_spam_en_la_barra_de_busqueda_y_por_que_genera_paginas_indeseadas\" >Qu\u00e9 es el spam en la barra de b\u00fasqueda y por qu\u00e9 genera p\u00e1ginas indeseadas<\/a><\/li><li class='ez-toc-page-1 ez-toc-heading-level-2'><a class=\"ez-toc-link ez-toc-heading-2\" href=\"https:\/\/quondos.com\/mag\/google-puede-ignorar-tu-robots-txt-sin-avisarte-john-mueller-explica-por-que-y-como-afecta-al-seo\/#El_error_en_robotstxt_que_hace_que_Google_ignore_tus_reglas\" >El error en robots.txt que hace que Google ignore tus reglas<\/a><\/li><li class='ez-toc-page-1 ez-toc-heading-level-2'><a class=\"ez-toc-link ez-toc-heading-3\" href=\"https:\/\/quondos.com\/mag\/google-puede-ignorar-tu-robots-txt-sin-avisarte-john-mueller-explica-por-que-y-como-afecta-al-seo\/#Como_deberia_estructurarse_correctamente_el_robotstxt\" >C\u00f3mo deber\u00eda estructurarse correctamente el robots.txt<\/a><\/li><li class='ez-toc-page-1 ez-toc-heading-level-2'><a class=\"ez-toc-link ez-toc-heading-4\" href=\"https:\/\/quondos.com\/mag\/google-puede-ignorar-tu-robots-txt-sin-avisarte-john-mueller-explica-por-que-y-como-afecta-al-seo\/#Por_que_robotstxt_no_es_suficiente_para_evitar_la_indexacion\" >Por qu\u00e9 robots.txt no es suficiente para evitar la indexaci\u00f3n<\/a><\/li><li class='ez-toc-page-1 ez-toc-heading-level-2'><a class=\"ez-toc-link ez-toc-heading-5\" href=\"https:\/\/quondos.com\/mag\/google-puede-ignorar-tu-robots-txt-sin-avisarte-john-mueller-explica-por-que-y-como-afecta-al-seo\/#Como_proteger_una_tienda_Shopify_del_spam_en_busquedas_internas\" >C\u00f3mo proteger una tienda Shopify del spam en b\u00fasquedas internas<\/a><\/li><li class='ez-toc-page-1 ez-toc-heading-level-2'><a class=\"ez-toc-link ez-toc-heading-6\" href=\"https:\/\/quondos.com\/mag\/google-puede-ignorar-tu-robots-txt-sin-avisarte-john-mueller-explica-por-que-y-como-afecta-al-seo\/#Como_proteger_un_WordPress_del_mismo_problema\" >C\u00f3mo proteger un WordPress del mismo problema<\/a><\/li><li class='ez-toc-page-1 ez-toc-heading-level-2'><a class=\"ez-toc-link ez-toc-heading-7\" href=\"https:\/\/quondos.com\/mag\/google-puede-ignorar-tu-robots-txt-sin-avisarte-john-mueller-explica-por-que-y-como-afecta-al-seo\/#Que_se_puede_aprender_de_este_caso_para_el_SEO_tecnico\" >Qu\u00e9 se puede aprender de este caso para el SEO t\u00e9cnico<\/a><\/li><\/ul><\/nav><\/div>\n<h2><span class=\"ez-toc-section\" id=\"Que_es_el_spam_en_la_barra_de_busqueda_y_por_que_genera_paginas_indeseadas\"><\/span>Qu\u00e9 es el spam en la barra de b\u00fasqueda y por qu\u00e9 genera p\u00e1ginas indeseadas<span class=\"ez-toc-section-end\"><\/span><\/h2>\n\n<p>El ataque de spam en buscadores internos de webs es una t\u00e9cnica conocida en el mundo del SEO t\u00e9cnico. Seg\u00fan se detalla en el hilo de Reddit donde surgi\u00f3 el debate, <strong>los spammers lanzan b\u00fasquedas con t\u00e9rminos o URLs de su nicho<\/strong> a trav\u00e9s del buscador interno de una web, lo que hace que se generen autom\u00e1ticamente URLs \u00fanicas con ese contenido basura. Esas p\u00e1ginas pueden acabar siendo rastreadas e indexadas por Google.<\/p>\n\n<p>En el caso concreto, <strong>el buscador interno de una tienda Shopify<\/strong> estaba generando p\u00e1ginas de resultados de b\u00fasqueda en respuesta a esas consultas spam. El propietario hab\u00eda intentado solucionar el problema a\u00f1adiendo una regla en el robots.txt para bloquear el acceso de Google a esas URLs, pero Google segu\u00eda index\u00e1ndolas. Ah\u00ed es donde entraba el verdadero problema.<\/p>\n\n<h2><span class=\"ez-toc-section\" id=\"El_error_en_robotstxt_que_hace_que_Google_ignore_tus_reglas\"><\/span>El error en robots.txt que hace que Google ignore tus reglas<span class=\"ez-toc-section-end\"><\/span><\/h2>\n\n<p>Seg\u00fan explic\u00f3 John Mueller al revisar el archivo robots.txt del sitio afectado, el problema estaba en <strong>c\u00f3mo estaban estructuradas las reglas para distintos user-agents<\/strong>. El archivo inclu\u00eda una secci\u00f3n espec\u00edfica para <code>user-agent: Googlebot<\/code> y, m\u00e1s adelante, una secci\u00f3n gen\u00e9rica con <code>user-agent: *<\/code> donde estaba la regla que bloqueaba las p\u00e1ginas de b\u00fasqueda.<\/p>\n\n<p>De acuerdo con lo explicado por Mueller, <strong>cuando existe una secci\u00f3n espec\u00edfica para Googlebot, Google solo aplica las reglas de esa secci\u00f3n<\/strong> y pasa por alto completamente las del bloque gen\u00e9rico <code>user-agent: *<\/code>. Es decir, la regla que bloqueaba las p\u00e1ginas de b\u00fasqueda nunca llegaba a ejecutarse para Googlebot porque estaba en el bloque equivocado.<\/p>\n\n<p>Seg\u00fan la fuente, la l\u00f3gica detr\u00e1s de este comportamiento tiene sentido: el sistema est\u00e1 dise\u00f1ado para que <strong>las reglas m\u00e1s espec\u00edficas tengan prioridad sobre las generales<\/strong>, lo que permite a los administradores dar instrucciones distintas a cada crawler. El problema surge cuando no se es consciente de esta jerarqu\u00eda y se mezclan reglas en bloques diferentes creyendo que todas se aplican a la vez.<\/p>\n\n<h2><span class=\"ez-toc-section\" id=\"Como_deberia_estructurarse_correctamente_el_robotstxt\"><\/span>C\u00f3mo deber\u00eda estructurarse correctamente el robots.txt<span class=\"ez-toc-section-end\"><\/span><\/h2>\n\n<p>Mueller propuso en su respuesta una soluci\u00f3n clara: <strong>si quieres que Googlebot siga todas las reglas del bloque gen\u00e9rico, debes copiarlas tambi\u00e9n en la secci\u00f3n espec\u00edfica de Googlebot<\/strong>, o bien agrupar todos los bots bajo las mismas directivas usando varias l\u00edneas de user-agent seguidas antes de los disallow. Un ejemplo de estructura correcta ser\u00eda:<\/p>\n\n<ul>\n  <li><code>user-agent: googlebot<\/code><\/li>\n  <li><code>user-agent: otherbot<\/code><\/li>\n  <li><code>user-agent: imgsrc<\/code><\/li>\n  <li><code>disallow: \/ruta-bloqueada<\/code><\/li>\n<\/ul>\n\n<p>Con esta estructura, <strong>las mismas reglas se aplican a todos los bots listados<\/strong> sin riesgo de que uno de ellos quede excluido por error. Seg\u00fan los datos facilitados por la fuente, esta es la forma m\u00e1s segura de garantizar que las directivas llegan a todos los crawlers que se quieren controlar.<\/p>\n\n<h2><span class=\"ez-toc-section\" id=\"Por_que_robotstxt_no_es_suficiente_para_evitar_la_indexacion\"><\/span>Por qu\u00e9 robots.txt no es suficiente para evitar la indexaci\u00f3n<span class=\"ez-toc-section-end\"><\/span><\/h2>\n\n<p>M\u00e1s all\u00e1 del error de configuraci\u00f3n, el caso destaca otra realidad importante del SEO t\u00e9cnico que muchos pasan por alto: <strong>robots.txt controla el rastreo, no la indexaci\u00f3n<\/strong>. Seg\u00fan se explica en la fuente original, Google puede indexar una URL aunque Googlebot no la haya rastreado, por ejemplo si hay enlaces externos apuntando a ella.<\/p>\n\n<p>Por eso, para p\u00e1ginas que no deben aparecer en Google bajo ning\u00fan concepto, <strong>la soluci\u00f3n m\u00e1s efectiva es usar la etiqueta meta robots con el valor noindex<\/strong> directamente en el HTML de la p\u00e1gina. Esto le indica a Google expl\u00edcitamente que no incluya esa URL en sus resultados, independientemente de lo que diga el robots.txt.<\/p>\n\n<h2><span class=\"ez-toc-section\" id=\"Como_proteger_una_tienda_Shopify_del_spam_en_busquedas_internas\"><\/span>C\u00f3mo proteger una tienda Shopify del spam en b\u00fasquedas internas<span class=\"ez-toc-section-end\"><\/span><\/h2>\n\n<p>Para los administradores de tiendas en Shopify, la plataforma ofrece una soluci\u00f3n espec\u00edfica documentada en su propio centro de ayuda. De acuerdo con las instrucciones de Shopify recogidas en la fuente, <strong>se puede a\u00f1adir una directiva noindex a todas las p\u00e1ginas de resultados de b\u00fasqueda<\/strong> modificando el archivo <code>theme.liquid<\/code> del tema activo. El c\u00f3digo a insertar en la secci\u00f3n <code>&lt;head&gt;<\/code> es condicional: solo aplica el noindex cuando la plantilla activa es la de b\u00fasqueda.<\/p>\n\n<p>Seg\u00fan los datos facilitados, es importante que esta soluci\u00f3n se combine correctamente con el robots.txt: <strong>si se bloquea el rastreo de las p\u00e1ginas de b\u00fasqueda con robots.txt, Googlebot no podr\u00e1 leer la etiqueta noindex<\/strong>, lo que puede generar una situaci\u00f3n contradictoria. Lo recomendable es permitir el rastreo pero bloquear la indexaci\u00f3n mediante el noindex en el HTML.<\/p>\n\n<h2><span class=\"ez-toc-section\" id=\"Como_proteger_un_WordPress_del_mismo_problema\"><\/span>C\u00f3mo proteger un WordPress del mismo problema<span class=\"ez-toc-section-end\"><\/span><\/h2>\n\n<p>En el caso de WordPress, la soluci\u00f3n es todav\u00eda m\u00e1s sencilla. Seg\u00fan se indica en la fuente, <strong>los principales plugins de SEO como Yoast SEO, Rank Math y AIOSEO aplican noindex a las p\u00e1ginas de resultados de b\u00fasqueda interna de forma autom\u00e1tica<\/strong> y predeterminada. Si usas alguno de estos plugins, probablemente ya est\u00e1s protegido sin haber hecho nada.<\/p>\n\n<p>Adem\u00e1s, seg\u00fan la misma fuente, algunos constructores de p\u00e1ginas y temas populares como <strong>Divi<\/strong> tambi\u00e9n tienen mecanismos que evitan la generaci\u00f3n de URLs con contenido spam en respuesta a b\u00fasquedas, mostrando en su lugar un mensaje de que no se encontraron resultados. Esto evita que se creen p\u00e1ginas indexables con contenido basura en primer lugar.<\/p>\n\n<h2><span class=\"ez-toc-section\" id=\"Que_se_puede_aprender_de_este_caso_para_el_SEO_tecnico\"><\/span>Qu\u00e9 se puede aprender de este caso para el SEO t\u00e9cnico<span class=\"ez-toc-section-end\"><\/span><\/h2>\n\n<p>El caso descrito por John Mueller es un buen recordatorio de que <strong>los archivos de configuraci\u00f3n t\u00e9cnica como robots.txt tienen sus propias reglas de precedencia<\/strong> que no siempre resultan intuitivas. Un error aparentemente menor en la estructura del archivo puede invalidar directivas importantes y dejar expuesto el sitio a problemas de indexaci\u00f3n que son dif\u00edciles de detectar a simple vista.<\/p>\n\n<p>Seg\u00fan la valoraci\u00f3n recogida en la fuente, <strong>conocer las especificaciones oficiales del protocolo robots.txt<\/strong> es esencial para cualquier profesional del SEO t\u00e9cnico. No basta con a\u00f1adir l\u00edneas al archivo y asumir que funcionan: hay que entender c\u00f3mo interact\u00faan entre s\u00ed las distintas secciones y qu\u00e9 bot aplica qu\u00e9 reglas en cada momento. En un entorno donde Google puede ignorar silenciosamente parte de tus instrucciones, revisar peri\u00f3dicamente la configuraci\u00f3n del robots.txt deber\u00eda ser una tarea rutinaria.<\/p>\n\n\n\n<p>Fuente: https:\/\/www.searchenginejournal.com\/google-says-why-it-may-ignore-robots-txt-and-negatively-impact-seo\/583475\/<\/p>\n","protected":false},"excerpt":{"rendered":"<p>Si tienes un archivo robots.txt en tu web y das por hecho que Google lo respeta al pie de la &#8230; <\/p>\n<p class=\"read-more-container\"><a title=\"Google puede ignorar tu robots.txt sin avisarte: John Mueller explica por qu\u00e9 y c\u00f3mo afecta al SEO\" class=\"read-more button\" href=\"https:\/\/quondos.com\/mag\/google-puede-ignorar-tu-robots-txt-sin-avisarte-john-mueller-explica-por-que-y-como-afecta-al-seo\/#more-131128\" aria-label=\"Leer m\u00e1s sobre Google puede ignorar tu robots.txt sin avisarte: John Mueller explica por qu\u00e9 y c\u00f3mo afecta al SEO\">Leer m\u00e1s<\/a><\/p>\n","protected":false},"author":850,"featured_media":124654,"comment_status":"open","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[236],"tags":[],"class_list":["post-131128","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-seo","generate-columns","tablet-grid-50","mobile-grid-100","grid-parent","grid-50","no-featured-image-padding"],"_links":{"self":[{"href":"https:\/\/quondos.com\/mag\/wp-json\/wp\/v2\/posts\/131128","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/quondos.com\/mag\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/quondos.com\/mag\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/quondos.com\/mag\/wp-json\/wp\/v2\/users\/850"}],"replies":[{"embeddable":true,"href":"https:\/\/quondos.com\/mag\/wp-json\/wp\/v2\/comments?post=131128"}],"version-history":[{"count":1,"href":"https:\/\/quondos.com\/mag\/wp-json\/wp\/v2\/posts\/131128\/revisions"}],"predecessor-version":[{"id":131129,"href":"https:\/\/quondos.com\/mag\/wp-json\/wp\/v2\/posts\/131128\/revisions\/131129"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/quondos.com\/mag\/wp-json\/wp\/v2\/media\/124654"}],"wp:attachment":[{"href":"https:\/\/quondos.com\/mag\/wp-json\/wp\/v2\/media?parent=131128"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/quondos.com\/mag\/wp-json\/wp\/v2\/categories?post=131128"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/quondos.com\/mag\/wp-json\/wp\/v2\/tags?post=131128"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}