En una reciente entrevista, el CEO de Reddit, Steve Huffman, ha hecho un llamado a Microsoft y otras compañías para que paguen si quieren seguir utilizando los datos de Reddit.
El CEO de Reddit dice que Microsoft necesita pagar para buscar en el sitio
Steve Huffman criticó a Microsoft Bing, Anthropic y Perplexity por usar los datos de Reddit sin permiso. «Ha sido un verdadero dolor de cabeza bloquear a estas compañías», dijo Huffman tras alcanzar acuerdos con Google y OpenAI.
“Sin estos acuerdos, no tenemos voz ni conocimiento sobre cómo se muestran nuestros datos y para qué se utilizan, lo que nos ha puesto en la posición de bloquear a quienes no han estado dispuestos a aceptar cómo nos gustaría que se usaran o no nuestros datos”, explicó Huffman en una entrevista esta semana. Específicamente nombró a Microsoft, Anthropic y Perplexity por rechazar negociar.
Escalada en la lucha contra los crawlers
Reddit ha intensificado su lucha contra los crawlers en los últimos meses. A principios de julio, actualizó su archivo robots.txt para bloquear a los crawlers con los que no tiene acuerdos. Luego, la gente comenzó a notar que los resultados de Reddit solo eran visibles en Google —donde Reddit recibe pago por mostrar sus datos— y no en otros motores de búsqueda como Bing.
Huffman afirmó que Microsoft ha estado usando los datos de Reddit para entrenar su IA y resumir su contenido en los resultados de Bing «sin informarnos» y que los datos de Reddit también han sido vendidos a través de la API de Bing a otros motores de búsqueda. En la entrevista, se refirió al comentario reciente del CEO de Microsoft AI, Mustafa Suleyman, en una conferencia donde dijo que los datos públicos en Internet son «freeware».
La posición de Microsoft y otros implicados
Ante los resultados recientes de Reddit desapareciendo de Bing, Jordi Ribas, jefe de búsqueda de Microsoft, dijo en X que «Reddit ha bloqueado a Bing de rastrear su sitio para búsqueda, favoreciendo a otro motor de búsqueda y afectando la competencia de Bing y motores impulsados por Bing». Por otro lado, un portavoz de Microsoft, Caitlin Roulston, indicó a The Verge que «respetamos las directrices proporcionadas por los sitios web que no desean que el contenido de sus páginas sea utilizado con nuestros modelos de IA generativos».
En respuesta a esta historia, un portavoz de Anthropic, Jennifer Martinez, envió la siguiente declaración: “Reddit ha estado en nuestra lista de bloqueo para rastreo web desde mediados de mayo y no hemos añadido ningún URL de Reddit a nuestro crawler desde entonces. Respetamos robots.txt, la señal aceptada por la industria para bloquear el rastreo web”. Perplexity no respondió a una solicitud de comentarios.
La evolución del valor tradicional de los motores de búsqueda
Huffman señaló el reciente anuncio de SearchGPT de OpenAI, que podrá mostrar resultados de Reddit gracias a un acuerdo que ambas compañías alcanzaron a principios de este año, como el modelo que desea replicar. Ninguno de los acuerdos de licencia de contenido que Reddit ha realizado hasta la fecha incluye usos exclusivos para sus datos, según el portavoz Tim Rathschmidt.
Al pedir acuerdos de licencia, Reddit se une a más editores de medios tradicionales (incluyendo la compañía matriz de The Verge, Vox Media) en la búsqueda de pago por permitir que su contenido alimente la IA generativa. «Creo que el intercambio de valor tradicional de los motores de búsqueda ha cambiado», dijo Huffman. «La búsqueda, la resumida y el entrenamiento se están fusionando, y el intercambio de valor de rastreo a cambio de tráfico está volviéndose turbio».
Fuente: https://www.theverge.com/2024/7/31/24210565/reddit-microsoft-anthropic-perplexity-pay-ai-search