¡Ojo, desarrolladores y SEOs! Parece que esa nueva propuesta llamada LLMs.txt, que prometía ser la panacea para mostrar nuestro contenido a los agentes de inteligencia artificial, no está teniendo el recibimiento esperado en Google. Según John Mueller, uno de los gurús de la compañía, su utilidad es bastante limitada, ¡tanto como la vieja y olvidada meta keyword! Te contamos por qué este «robots.txt para LLMs» no termina de convencer.
¿Qué demonios es LLMs.txt y por qué no entusiasma a Google?
Para ponernos en contexto, el LLMs.txt se había presentado como una especie de Robots.txt para modelos de lenguaje grandes (LLMs). Sin embargo, según la fuente, esta comparación es totalmente errónea. Mientras que el Robots.txt controla cómo los bots rastrean un sitio web, la propuesta del LLMs.txt no se centra en la exclusión de rastreadores. Esa función ya la cumple el Robots.txt, así que duplicarla sería redundante.
La idea detrás del LLMs.txt es, en teoría, mostrar el contenido principal de una página web a los LLMs a través de un archivo de texto con formato Markdown. De esta manera, se evitaría que la IA consumiera elementos como la publicidad o la navegación del sitio. El formato Markdown, legible tanto por humanos como por máquinas, utiliza símbolos como la almohadilla (#) para encabezados y el signo menos (-) para listas. LLMs.txt propone funcionalidades similares, pero ahí se queda.
Según la nota de prensa, es crucial entender qué no es LLMs.txt: no es una forma de controlar a los bots de IA y, además, es solo una propuesta, no un estándar ampliamente adoptado. Este último punto es clave para entender las declaraciones de John Mueller.
Mueller sentencia: LLMs.txt es como la meta keyword, ¡inútil!
En un hilo de Reddit, un usuario preguntó si alguien más había notado que los bots de IA estaban ignorando sus archivos LLMs.txt. «He subido un archivo LLM.txt a la raíz de mi blog a principios de este mes, pero todavía no veo ningún impacto en mis registros de rastreo. Tenía curiosidad por saber si alguien tenía un sistema de seguimiento implementado, o simplemente si notaron algo después de la implementación», escribió el usuario.
Otro participante en la conversación, que aloja más de 20.000 dominios, confirmó que ningún agente o bot de IA estaba descargando los archivos LLMs.txt, a excepción de algunos bots muy específicos. «Actualmente alojo unos 20.000 dominios. Puedo confirmar que ningún bot los está realmente capturando, aparte de algunos user agents nicho…», comentó.
La respuesta de John Mueller fue contundente: «Por lo que sé, ninguno de los servicios de IA ha dicho que esté usando LLMs.TXT (y puedes ver en tus registros del servidor que ni siquiera lo comprueban). Para mí, es comparable a la meta keyword: esto es lo que el propietario de un sitio afirma que trata su sitio… (¿Es realmente así el sitio? Bueno, puedes comprobarlo. Llegados a ese punto, ¿por qué no comprobar el sitio directamente?)».
Mueller tiene razón. Ninguno de los principales servicios de IA, como Anthropic, OpenAI y Google, ha anunciado soporte para el estándar LLMs.txt propuesto. Entonces, si nadie lo está utilizando, ¿cuál es el punto? Además, Mueller plantea la cuestión de la redundancia: si el contenido original (y los datos estructurados) ya han sido descargados por el bot, ¿por qué molestarse con un archivo Markdown aparte? Un bot que utilice el LLMs.txt tendría que verificar el otro contenido para asegurarse de que no es spam, así que la utilidad se desvanece.
El riesgo de «cloaking» para la IA y la sombra de la meta keyword
Otro argumento de peso contra el LLMs.txt es el potencial para el spam y el «cloaking» para la IA. ¿Qué impediría a un editor o SEO mostrar un conjunto de contenido en el LLMs.txt para engañar a los agentes de IA y otro conjunto diferente para los usuarios y los motores de búsqueda? Sería demasiado fácil generar spam de esta manera, presentando una versión «limpia» a la IA y una versión monetizada a los usuarios.
En este sentido, la analogía con la meta keyword es aún más clara. Ningún motor de búsqueda utiliza esta etiqueta desde hace años precisamente porque era demasiado fácil manipularla y no ofrecía una señal fiable sobre el contenido real de la página. Los motores de búsqueda modernos son mucho más sofisticados a la hora de analizar el contenido directamente para entender de qué trata una página.
La opinión de la comunidad: LLMs.txt no aporta valor real
Simone De Palma, la persona que inició el debate en Reddit, también compartió sus reflexiones sobre los archivos LLMs.txt en LinkedIn. Según su experiencia, los archivos LLMs.txt parecen ser ignorados por los servicios de IA y ofrecen poco o ningún beneficio real a los propietarios de sitios web.
De Palma también señala un posible impacto negativo en la experiencia del usuario: «Además, alguien argumenta que los archivos LLM.txt pueden conducir a malas experiencias de usuario, ya que no enlazan a las URLs originales. Cualquier cita obtenida por tu sitio web puede dirigir a los usuarios a una increíble pared de texto en lugar de a páginas web adecuadas, así que, de nuevo, ¿cuál es el punto?«.
Otros participantes en el debate estuvieron de acuerdo con esta visión. Uno de ellos comentó que había habido muy pocas visitas al archivo LLMs.txt en sus pruebas y opinó que era más productivo centrar los esfuerzos en otras áreas, como los datos estructurados, el archivo robots.txt y los sitemaps. «De momento, es ciertamente más productivo centrar tus esfuerzos en los datos estructurados bien hechos, el robots.txt y los diversos sitemaps», concluyó.
En definitiva, parece que la propuesta del LLMs.txt no ha logrado convencer a Google ni a gran parte de la comunidad SEO. La comparación con la meta keyword por parte de John Mueller es una clara señal de que, al menos por ahora, no es una prioridad para los principales motores de búsqueda ni para los servicios de inteligencia artificial. Así que, si estabas pensando en implementarlo, quizás sea mejor enfocar tus esfuerzos en estrategias de SEO más consolidadas y efectivas. Para más detalles sobre este debate, puedes seguir la conversación en Search Engine Journal.
Fuente: https://www.searchenginejournal.com/google-says-llms-txt-comparable-to-keywords-meta-tag