{"id":127233,"date":"2024-07-09T16:01:39","date_gmt":"2024-07-09T14:01:39","guid":{"rendered":"https:\/\/quondos.com\/mag\/?p=127233"},"modified":"2024-07-09T16:01:41","modified_gmt":"2024-07-09T14:01:41","slug":"google-comparte-un-metodo-para-centralizar-las-reglas-de-robots-txt-en-cdn","status":"publish","type":"post","link":"https:\/\/quondos.com\/mag\/google-comparte-un-metodo-para-centralizar-las-reglas-de-robots-txt-en-cdn\/","title":{"rendered":"Google comparte un m\u00e9todo  para centralizar las reglas de robots.txt en CDN"},"content":{"rendered":"\n<figure class=\"wp-block-image size-full\"><img loading=\"lazy\" decoding=\"async\" width=\"1024\" height=\"1024\" src=\"https:\/\/quondos.com\/mag\/wp-content\/uploads\/2023\/11\/DALL\u00b7E-2023-11-13-12.31.40-An-illustration-showing-Google-developing-a-search-robot-named-Steve.-The-scene-is-set-in-a-high-tech-laboratory-with-Googles-logo-prominently-displa.webp\" alt=\"google bard\" class=\"wp-image-125751\" title=\"\" srcset=\"https:\/\/quondos.com\/mag\/wp-content\/uploads\/2023\/11\/DALL\u00b7E-2023-11-13-12.31.40-An-illustration-showing-Google-developing-a-search-robot-named-Steve.-The-scene-is-set-in-a-high-tech-laboratory-with-Googles-logo-prominently-displa.webp 1024w, https:\/\/quondos.com\/mag\/wp-content\/uploads\/2023\/11\/DALL\u00b7E-2023-11-13-12.31.40-An-illustration-showing-Google-developing-a-search-robot-named-Steve.-The-scene-is-set-in-a-high-tech-laboratory-with-Googles-logo-prominently-displa-300x300.webp 300w, https:\/\/quondos.com\/mag\/wp-content\/uploads\/2023\/11\/DALL\u00b7E-2023-11-13-12.31.40-An-illustration-showing-Google-developing-a-search-robot-named-Steve.-The-scene-is-set-in-a-high-tech-laboratory-with-Googles-logo-prominently-displa-150x150.webp 150w, https:\/\/quondos.com\/mag\/wp-content\/uploads\/2023\/11\/DALL\u00b7E-2023-11-13-12.31.40-An-illustration-showing-Google-developing-a-search-robot-named-Steve.-The-scene-is-set-in-a-high-tech-laboratory-with-Googles-logo-prominently-displa-768x768.webp 768w\" sizes=\"auto, (max-width: 1024px) 100vw, 1024px\" \/><\/figure>\n\n\n\n<p>En una publicaci\u00f3n reciente en LinkedIn, el analista de Google, Gary Illyes, desafi\u00f3 una creencia de larga data sobre la ubicaci\u00f3n de los archivos robots.txt.<\/p>\n\n<div id=\"ez-toc-container\" class=\"ez-toc-v2_0_76 counter-hierarchy ez-toc-counter ez-toc-grey ez-toc-container-direction\">\n<div class=\"ez-toc-title-container\">\n<p class=\"ez-toc-title\" style=\"cursor:inherit\">\u00cdndice de contenidos<\/p>\n<span class=\"ez-toc-title-toggle\"><a href=\"#\" class=\"ez-toc-pull-right ez-toc-btn ez-toc-btn-xs ez-toc-btn-default ez-toc-toggle\" aria-label=\"Alternar tabla de contenidos\"><span class=\"ez-toc-js-icon-con\"><span class=\"\"><span class=\"eztoc-hide\" style=\"display:none;\">Toggle<\/span><span class=\"ez-toc-icon-toggle-span\"><svg style=\"fill: #999;color:#999\" xmlns=\"http:\/\/www.w3.org\/2000\/svg\" class=\"list-377408\" width=\"20px\" height=\"20px\" viewBox=\"0 0 24 24\" fill=\"none\"><path d=\"M6 6H4v2h2V6zm14 0H8v2h12V6zM4 11h2v2H4v-2zm16 0H8v2h12v-2zM4 16h2v2H4v-2zm16 0H8v2h12v-2z\" fill=\"currentColor\"><\/path><\/svg><svg style=\"fill: #999;color:#999\" class=\"arrow-unsorted-368013\" xmlns=\"http:\/\/www.w3.org\/2000\/svg\" width=\"10px\" height=\"10px\" viewBox=\"0 0 24 24\" version=\"1.2\" baseProfile=\"tiny\"><path d=\"M18.2 9.3l-6.2-6.3-6.2 6.3c-.2.2-.3.4-.3.7s.1.5.3.7c.2.2.4.3.7.3h11c.3 0 .5-.1.7-.3.2-.2.3-.5.3-.7s-.1-.5-.3-.7zM5.8 14.7l6.2 6.3 6.2-6.3c.2-.2.3-.5.3-.7s-.1-.5-.3-.7c-.2-.2-.4-.3-.7-.3h-11c-.3 0-.5.1-.7.3-.2.2-.3.5-.3.7s.1.5.3.7z\"\/><\/svg><\/span><\/span><\/span><\/a><\/span><\/div>\n<nav><ul class='ez-toc-list ez-toc-list-level-1 ' ><li class='ez-toc-page-1 ez-toc-heading-level-2'><a class=\"ez-toc-link ez-toc-heading-1\" href=\"https:\/\/quondos.com\/mag\/google-comparte-un-metodo-para-centralizar-las-reglas-de-robots-txt-en-cdn\/#No_necesitas_robotstxt_en_el_dominio_raiz_dice_Google\" >No necesitas robots.txt en el dominio ra\u00edz, dice Google<\/a><\/li><li class='ez-toc-page-1 ez-toc-heading-level-2'><a class=\"ez-toc-link ez-toc-heading-2\" href=\"https:\/\/quondos.com\/mag\/google-comparte-un-metodo-para-centralizar-las-reglas-de-robots-txt-en-cdn\/#Flexibilidad_del_archivo_robotstxt\" >Flexibilidad del archivo robots.txt<\/a><\/li><li class='ez-toc-page-1 ez-toc-heading-level-2'><a class=\"ez-toc-link ez-toc-heading-3\" href=\"https:\/\/quondos.com\/mag\/google-comparte-un-metodo-para-centralizar-las-reglas-de-robots-txt-en-cdn\/#Mirando_hacia_atras_a_30_anos_de_robotstxt\" >Mirando hacia atr\u00e1s a 30 a\u00f1os de robots.txt<\/a><\/li><li class='ez-toc-page-1 ez-toc-heading-level-2'><a class=\"ez-toc-link ez-toc-heading-4\" href=\"https:\/\/quondos.com\/mag\/google-comparte-un-metodo-para-centralizar-las-reglas-de-robots-txt-en-cdn\/#Como_esto_puede_ayudarte\" >C\u00f3mo esto puede ayudarte<\/a><\/li><li class='ez-toc-page-1 ez-toc-heading-level-2'><a class=\"ez-toc-link ez-toc-heading-5\" href=\"https:\/\/quondos.com\/mag\/google-comparte-un-metodo-para-centralizar-las-reglas-de-robots-txt-en-cdn\/#Detalles_tecnicos\" >Detalles t\u00e9cnicos<\/a><\/li><li class='ez-toc-page-1 ez-toc-heading-level-2'><a class=\"ez-toc-link ez-toc-heading-6\" href=\"https:\/\/quondos.com\/mag\/google-comparte-un-metodo-para-centralizar-las-reglas-de-robots-txt-en-cdn\/#Reflexion_final\" >Reflexi\u00f3n final<\/a><\/li><\/ul><\/nav><\/div>\n<h2><span class=\"ez-toc-section\" id=\"No_necesitas_robotstxt_en_el_dominio_raiz_dice_Google\"><\/span>No necesitas robots.txt en el dominio ra\u00edz, dice Google<span class=\"ez-toc-section-end\"><\/span><\/h2>\n<p>Durante a\u00f1os, la sabidur\u00eda convencional ha sido que el archivo <strong>robots.txt<\/strong> de un sitio web debe residir en el dominio ra\u00edz (por ejemplo, example.com\/robots.txt).<\/p>\n<p>Sin embargo, Illyes ha aclarado que esto no es un requisito absoluto y ha revelado un aspecto menos conocido del Protocolo de Exclusi\u00f3n de Robots (REP).<\/p>\n\n<h2><span class=\"ez-toc-section\" id=\"Flexibilidad_del_archivo_robotstxt\"><\/span>Flexibilidad del archivo robots.txt<span class=\"ez-toc-section-end\"><\/span><\/h2>\n<p>El archivo robots.txt no tiene que estar ubicado en el dominio ra\u00edz (example.com\/robots.txt).<\/p>\n<p>Seg\u00fan Illyes, tener dos archivos robots.txt separados en diferentes dominios es permisible: uno en el sitio web principal y otro en una red de entrega de contenido (CDN).<\/p>\n<p>Illyes explica que los sitios web pueden centralizar su archivo robots.txt en la CDN mientras controlan el rastreo para su sitio principal.<\/p>\n<p>Por ejemplo, un sitio web podr\u00eda tener dos archivos robots.txt: uno en https:\/\/cdn.example.com\/robots.txt y otro en https:\/\/www.example.com\/robots.txt.<\/p>\n<p>Este enfoque permite mantener un archivo robots.txt \u00fanico y completo en su CDN y redirigir las solicitudes desde su dominio principal a este archivo centralizado.<\/p>\n\n<h2><span class=\"ez-toc-section\" id=\"Mirando_hacia_atras_a_30_anos_de_robotstxt\"><\/span>Mirando hacia atr\u00e1s a 30 a\u00f1os de robots.txt<span class=\"ez-toc-section-end\"><\/span><\/h2>\n<p>Mientras el Protocolo de Exclusi\u00f3n de Robots celebra su 30\u00ba aniversario este a\u00f1o, la revelaci\u00f3n de Illyes destaca c\u00f3mo los est\u00e1ndares web contin\u00faan evolucionando.<\/p>\n<p>Incluso especula si el archivo necesita llamarse \u201crobots.txt\u201d, insinuando posibles cambios en la gesti\u00f3n de las directivas de rastreo.<\/p>\n\n<h2><span class=\"ez-toc-section\" id=\"Como_esto_puede_ayudarte\"><\/span>C\u00f3mo esto puede ayudarte<span class=\"ez-toc-section-end\"><\/span><\/h2>\n<p>Seguir la gu\u00eda de Illyes puede ayudarte de las siguientes maneras:<\/p>\n<ul>\n  <li><strong>Gesti\u00f3n centralizada:<\/strong> Al consolidar las reglas de robots.txt en un solo lugar, puedes mantener y actualizar las directivas de rastreo en toda tu presencia web.<\/li>\n  <li><strong>Mejora de la consistencia:<\/strong> Una \u00fanica fuente de verdad para las reglas de robots.txt reduce el riesgo de directivas conflictivas entre tu sitio principal y la CDN.<\/li>\n  <li><strong>Flexibilidad:<\/strong> Este enfoque permite configuraciones m\u00e1s adaptables, especialmente para sitios con arquitecturas complejas o aquellos que utilizan m\u00faltiples subdominios y CDNs.<\/li>\n<\/ul>\n<p>Un enfoque simplificado para la gesti\u00f3n de archivos robots.txt puede mejorar tanto la gesti\u00f3n del sitio como los esfuerzos de SEO.<\/p>\n\n<h2><span class=\"ez-toc-section\" id=\"Detalles_tecnicos\"><\/span>Detalles t\u00e9cnicos<span class=\"ez-toc-section-end\"><\/span><\/h2>\n<p>Illyes menciona que los rastreadores que cumplen con RFC9309 seguir\u00e1n la redirecci\u00f3n y usar\u00e1n el archivo de destino como el archivo robots.txt para el dominio original.<\/p>\n<p>Esta pr\u00e1ctica puede ser especialmente \u00fatil para grandes sitios con m\u00faltiples subdominios o aquellos que dependen en gran medida de CDNs para la entrega de contenido.<\/p>\n\n<h2><span class=\"ez-toc-section\" id=\"Reflexion_final\"><\/span>Reflexi\u00f3n final<span class=\"ez-toc-section-end\"><\/span><\/h2>\n<p>En resumen, la revelaci\u00f3n de Gary Illyes abre una nueva perspectiva sobre c\u00f3mo gestionar los archivos robots.txt. Este enfoque no solo simplifica la gesti\u00f3n, sino que tambi\u00e9n asegura una mayor coherencia y flexibilidad en las directivas de rastreo.<\/p>\n<p>Al considerar estas recomendaciones, los webmasters pueden optimizar sus sitios para un mejor rendimiento en los motores de b\u00fasqueda y una gesti\u00f3n m\u00e1s eficiente de su presencia web.<\/p>\n\n\n\n<p>Fuente: https:\/\/www.searchenginejournal.com\/you-dont-need-robots-txt-on-root-domain-says-google\/521382\/<\/p>\n","protected":false},"excerpt":{"rendered":"<p>En una publicaci\u00f3n reciente en LinkedIn, el analista de Google, Gary Illyes, desafi\u00f3 una creencia de larga data sobre la &#8230; <\/p>\n<p class=\"read-more-container\"><a title=\"Google comparte un m\u00e9todo  para centralizar las reglas de robots.txt en CDN\" class=\"read-more button\" href=\"https:\/\/quondos.com\/mag\/google-comparte-un-metodo-para-centralizar-las-reglas-de-robots-txt-en-cdn\/#more-127233\" aria-label=\"Leer m\u00e1s sobre Google comparte un m\u00e9todo  para centralizar las reglas de robots.txt en CDN\">Leer m\u00e1s<\/a><\/p>\n","protected":false},"author":850,"featured_media":125751,"comment_status":"open","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[236],"tags":[],"class_list":["post-127233","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-seo","generate-columns","tablet-grid-50","mobile-grid-100","grid-parent","grid-50","no-featured-image-padding"],"_links":{"self":[{"href":"https:\/\/quondos.com\/mag\/wp-json\/wp\/v2\/posts\/127233","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/quondos.com\/mag\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/quondos.com\/mag\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/quondos.com\/mag\/wp-json\/wp\/v2\/users\/850"}],"replies":[{"embeddable":true,"href":"https:\/\/quondos.com\/mag\/wp-json\/wp\/v2\/comments?post=127233"}],"version-history":[{"count":2,"href":"https:\/\/quondos.com\/mag\/wp-json\/wp\/v2\/posts\/127233\/revisions"}],"predecessor-version":[{"id":127235,"href":"https:\/\/quondos.com\/mag\/wp-json\/wp\/v2\/posts\/127233\/revisions\/127235"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/quondos.com\/mag\/wp-json\/wp\/v2\/media\/125751"}],"wp:attachment":[{"href":"https:\/\/quondos.com\/mag\/wp-json\/wp\/v2\/media?parent=127233"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/quondos.com\/mag\/wp-json\/wp\/v2\/categories?post=127233"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/quondos.com\/mag\/wp-json\/wp\/v2\/tags?post=127233"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}