¡Hola, lectores! ¿Han oído hablar del último gadget que Google acaba de añadir a su colección de herramientas digitales? Pues sí, la gigante de la tecnología ha actualizado su documentación para incluir información sobre un crawler misterioso que, aunque ha estado rondando por un tiempo, no era ampliamente conocido hasta ahora.
Un nuevo Crawler entra en escena
Según la fuente, Google ha revelado que este crawler, que aparecía ocasionalmente en los registros de algunos editores, no tenía una documentación previa. La actualización incluye el nombre y detalles de este crawler en la lista oficial de Google, despejando así algunas incógnitas.
¿Qué es un Crawler?
Para los que no están muy puestos en estos temas, un crawler, también conocido como bot o spider, es básicamente un programa que Google usa para recorrer la web. Google tiene varios tipos de estos crawlers, cada uno con su función específica.
Los diferentes tipos de Crawlers
Entre los crawlers comunes, encontramos aquellos usados principalmente para indexar diferentes tipos de contenido. Sin embargo, algunos se utilizan para pruebas de búsqueda, uso interno de equipos de productos de Google y tareas relacionadas con la IA.
Luego están los “user-triggered fetchers”, es decir, bots activados por los usuarios. Estos se utilizan, por ejemplo, para recuperar feeds o para la verificación de sitios web.
Por último, tenemos los crawlers para casos especiales, que se encargan de tareas específicas como chequeos de calidad de páginas web de anuncios móviles o para enviar mensajes de notificaciones push a través de las APIs de Google.
El Google-Safety Crawler
El recién documentado Google-Safety Crawler entra en esta última categoría. Lo interesante de este crawler es que ignora completamente las directivas de robots.txt, algo único entre los crawlers de casos especiales.
Según la nueva documentación, el Google-Safety user agent se encarga de tareas específicas de abuso, como la detección de malware en enlaces publicados públicamente en propiedades de Google.
La cadena completa del agente para este crawler es simplemente «Google-Safety». Y aquí viene lo interesante: este crawler no presta atención a las reglas de robots.txt. Así es, lo ignora completamente.
¿Dónde encontrar más información?
Si te pica la curiosidad y quieres saber más sobre este crawler, puedes leer la nueva documentación del Google-Safety user agent en la página de Google Search Central, en la sección dedicada a los crawlers de casos especiales.
Fuente:https://www.searchenginejournal.com/google-adds-new-documentation-for-mystery-crawler/501332/