Meta presenta TRIBE v2, su modelo de IA para predecir cómo responde el cerebro a imágenes, sonido y lenguaje

Meta presenta TRIBE v2, su modelo de IA para predecir cómo responde el cerebro a imágenes, sonido y lenguaje 2

Meta ha presentado TRIBE v2, un nuevo modelo de inteligencia artificial orientado a la llamada neurociencia in silico, es decir, al estudio computacional de cómo responde el cerebro humano ante distintos estímulos. Según la compañía, esta tecnología está diseñada para anticipar señales cerebrales medidas con resonancia magnética funcional a partir de vídeo, audio y lenguaje, con la idea de ofrecer una base más unificada para investigar la cognición humana.

Un modelo que intenta unir áreas que hasta ahora iban por separado

La propuesta de Meta parte de un problema clásico en neurociencia: muchas investigaciones se han construido con modelos muy concretos para tareas muy concretas. De acuerdo con la fuente, eso ha permitido estudiar con detalle funciones como el reconocimiento de caras, el movimiento o ciertos procesos del lenguaje, pero también ha dejado un panorama fragmentado, en el que cuesta integrar visión, audición y comprensión lingüística dentro de un mismo marco.

TRIBE v2 busca precisamente cubrir ese hueco. Según Meta, se trata de un modelo fundacional trimodal capaz de trabajar con vídeo, sonido y texto al mismo tiempo para predecir actividad cerebral humana en distintos contextos, tanto en situaciones naturalistas como en experimentos controlados. La relevancia del anuncio está en que apunta a una herramienta común para analizar varios tipos de estímulos con una sola arquitectura, algo que puede interesar tanto a laboratorios como a equipos que trabajan con grandes bases de datos neurocientíficas.

Cómo funciona TRIBE v2 según Meta

La compañía explica que el sistema no aprende desde cero a “ver” o “escuchar”, sino que reutiliza modelos ya avanzados como extractores de características. En texto, emplea LLaMA 3.2; en vídeo, recurre a V-JEPA2; y en audio, utiliza Wav2Vec-BERT. Después, esas representaciones se integran dentro de una arquitectura unificada basada en Transformer, que intenta relacionar lo que captan esos modelos con la respuesta cerebral observada.

Ese diseño multimodal permite procesar señales de distinta naturaleza y llevarlas a una representación común. Según la documentación publicada por Meta y el repositorio abierto en GitHub, el sistema acaba proyectando esas señales sobre la superficie cortical y otras zonas cerebrales para generar predicciones de respuesta en fMRI. La compañía sostiene que esa combinación abre la puerta a estudiar mejor cómo el cerebro integra información audiovisual y lingüística en el tiempo, en lugar de analizar cada canal por separado.

Otro detalle importante es la dimensión temporal. De acuerdo con la fuente, el modelo usa una ventana de contexto amplia para intercambiar información entre modalidades y capturar cómo evoluciona la actividad cerebral durante varios segundos. Esto encaja con una de las dificultades habituales en neuroimagen: el cerebro no responde a estímulos aislados como si fueran fotogramas sueltos, sino como secuencias continuas con contexto acumulado.

Los datos de entrenamiento y el tamaño del experimento

Meta asegura que TRIBE v2 se entrenó con 451,6 horas de datos de fMRI procedentes de 25 sujetos, repartidos en cuatro estudios naturalistas con películas, pódcast y vídeos sin sonido. Para la evaluación, según los datos facilitados, el modelo se probó después en un conjunto mucho más amplio que suma 1.117,7 horas de registros correspondientes a 720 personas.

Ese contraste entre pocos sujetos con muchas horas de registro y muchos sujetos para validar es una de las claves del trabajo. De acuerdo con la compañía, el objetivo era comprobar si el modelo podía generalizar más allá del grupo con el que fue entrenado. En otras palabras, no solo importaba que aprendiera patrones de un conjunto concreto, sino que fuera útil para anticipar respuestas en participantes nuevos y en condiciones distintas.

Meta también afirma haber observado una relación de escalado log-lineal entre el volumen de datos y la precisión del modelo. Según la fuente, no se detectó un techo claro de rendimiento con los datos disponibles. Esa parte del anuncio conecta con una idea cada vez más repetida en IA y ciencia de datos: cuanto más crecen los repositorios y mejor se organizan, más margen hay para que aparezcan mejoras sostenidas en este tipo de sistemas.

Qué resultados destaca la compañía

Uno de los puntos que más subraya Meta es la generalización zero-shot, es decir, la capacidad de hacer predicciones sobre sujetos no vistos durante el entrenamiento. Según la compañía, TRIBE v2 puede anticipar la respuesta cerebral de personas nuevas sin necesidad de reentrenar el modelo desde cero, algo que, en teoría, reduciría parte del coste experimental cuando se trabaja con neuroimagen.

La fuente también señala mejoras frente a modelos lineales clásicos y frente a enfoques basados en FIR, una referencia habitual en codificación de respuesta cerebral. En el conjunto Human Connectome Project 7T, el equipo indica que TRIBE v2 alcanzó una correlación grupal cercana a 0,4 y mejoró de forma notable la capacidad predictiva respecto a la mediana de sujetos individuales. En paralelo, cuando se aporta hasta una hora de datos de un nuevo participante, la compañía asegura que un ajuste fino breve permite mejorar entre dos y cuatro veces frente a modelos lineales entrenados desde cero.

  • Entradas multimodales: vídeo, audio y lenguaje.
  • Modelos base reutilizados: LLaMA 3.2, V-JEPA2 y Wav2Vec-BERT.
  • Entrenamiento: 451,6 horas de fMRI en 25 sujetos.
  • Evaluación: 1.117,7 horas en 720 personas.
  • Objetivo principal: predecir actividad cerebral en distintos escenarios.

Aplicaciones potenciales para la neurociencia in silico

Más allá del rendimiento técnico, Meta plantea TRIBE v2 como una herramienta para experimentar en ordenador antes de lanzar estudios complejos en laboratorio. Según la fuente, el modelo podría servir para pilotar hipótesis, preseleccionar diseños experimentales o explorar resultados de forma virtual antes de invertir tiempo y recursos en una campaña completa de neuroimagen.

La compañía afirma que, al aplicarlo sobre datos del conjunto Individual Brain Charting, el sistema fue capaz de recuperar referencias funcionales muy conocidas. Entre ellas, menciona áreas ligadas al reconocimiento de caras y escenas, así como regiones relacionadas con procesamiento emocional y sintaxis. Según los datos facilitados, el análisis interno del modelo también mostró una organización en cinco redes funcionales ampliamente descritas: auditiva primaria, lenguaje, movimiento, modo por defecto y visual.

Según Meta, la meta de TRIBE v2 no es sustituir los experimentos con personas, sino ofrecer un modelo computacional que ayude a formular, comparar y depurar hipótesis sobre la actividad cerebral.

Código abierto, pesos disponibles y lo que deja este anuncio

Meta ha acompañado la publicación con código abierto, pesos del modelo y una demo, un movimiento que refuerza el valor práctico del lanzamiento para la comunidad investigadora. En el repositorio publicado por la compañía, TRIBE v2 aparece como un proyecto para entrenar y evaluar un modelo multimodal de predicción de respuesta cerebral, con soporte para inferencia a partir de vídeo, audio o texto.

El anuncio no significa que la neurociencia haya resuelto de golpe el funcionamiento del cerebro, pero sí apunta a una tendencia clara: cada vez más grupos intentan construir modelos amplios capaces de conectar datos heterogéneos con hipótesis sobre cognición. Según Meta, TRIBE v2 representa un paso hacia esa dirección. Y, en un momento en el que la IA busca salir del texto y entrar en dominios científicos más complejos, la neurociencia computacional aparece como uno de los terrenos donde más puede crecer esta nueva generación de modelos.

Fuente:https://ai.meta.com/research/publications/a-foundation-model-of-vision-audition-and-language-for-in-silico-neuroscience


También podría ser de tu interés:

Deja un comentario