Recientemente, Microsoft ha confirmado que Reddit ha bloqueado a Bing Search, impidiéndole rastrear su sitio web. Esta acción se llevó a cabo mediante una actualización en el archivo robots.txt de Reddit.
Microsoft confirma que Reddit bloqueó Bing Search
Según la fuente, el 1 de julio de 2024, Reddit actualizó su archivo robots.txt para evitar que muchos motores de búsqueda y herramientas de IA rastreen su sitio. Bing dejó de rastrear Reddit después de que se implementó esta actualización, la cual prohíbe todo tipo de rastreo en el sitio.
Reddit no bloqueó a Google de rastrear su sitio, a pesar de que algunas personas pensaron lo contrario a principios de mes. Sin embargo, Reddit sí bloqueó a la mayoría de los otros rastreadores.
Qué pasó y cómo nos afecta
Esta mañana, Mark Williams-Cook notificó que los resultados de Reddit estaban desapareciendo del índice de búsqueda de Bing. Varios medios comenzaron a cubrir la noticia, por lo que quise confirmar si los rastreadores de Bing realmente estaban bloqueados. Reddit estaba utilizando detección de IP para mostrar a los motores de búsqueda una versión de su archivo robots.txt y a los humanos otra versión diferente.
Como resultado, Bing ha dejado de rastrear nuevo contenido en Reddit. Si filtras los resultados de Reddit en Bing Search de la última semana, no verás nada nuevo. Esto confirma que los rastreadores de Bing fueron bloqueados.
Confirmación de Microsoft
Un portavoz de Microsoft declaró a Search Engine Land: «Microsoft respeta el estándar de robots.txt y honramos las instrucciones proporcionadas por los sitios web que no desean que su contenido sea utilizado con nuestros modelos de IA generativa. Bing dejó de rastrear Reddit después de que implementaron su archivo robots.txt actualizado el 1 de julio, que prohíbe todo rastreo de su sitio».
Por otro lado, Tim Rathschmidt, portavoz de Reddit, comentó a The Verge: «Esto no tiene nada que ver con nuestra reciente asociación con Google. Hemos estado en conversaciones con varios motores de búsqueda. No hemos podido llegar a acuerdos con todos, ya que algunos no pueden o no quieren hacer promesas exigibles sobre el uso de contenido de Reddit, incluido su uso para IA».
El impacto de los cambios en Reddit
Con Reddit asegurando un acuerdo de licencia con Google, puede darse el lujo de ser más estricto con otros motores de búsqueda y herramientas de IA. Así, Reddit ha bloqueado a la mayoría de los otros motores de búsqueda de rastrear su contenido. Mientras tanto, Google está generando un tráfico enorme hacia Reddit, incluso probando un trato especial en sus resultados de búsqueda.
Esto plantea la pregunta de si otros grandes sitios web podrían seguir esta ruta y cómo podría afectar esto a los editores y productores de contenido más pequeños.
En el futuro cercano, no esperes ver mucho contenido nuevo de Reddit en Bing. Esta decisión de Reddit podría tener implicaciones significativas para la forma en que se distribuye y accede a la información en línea.
Fuente: https://searchengineland.com/microsoft-confirms-reddit-blocked-bing-search-444385