Meta está a punto de hacer un movimiento significativo en el mundo de la inteligencia artificial. Según la fuente, la compañía lanzará la versión más grande de su modelo de lenguaje de código abierto, Llama 3, el próximo 23 de julio.
Meta lanzará el modelo Llama más grande hasta la fecha
Meta Platforms ha anunciado el lanzamiento de Llama 3, su modelo de lenguaje de código abierto con 405 mil millones de parámetros. Este modelo será multimodal, lo que significa que podrá procesar tanto imágenes como texto. Esto es un gran avance, ya que los modelos anteriores de Llama estaban limitados a la generación de texto.
La información proviene de un empleado de Meta, y según The Information, el nuevo modelo debería ser capaz de generar nuevas imágenes a partir de una combinación de imágenes y texto, lo que amplía enormemente sus capacidades.
Rumores y decisiones internas
Hubo rumores de que Meta no haría disponibles los pesos del modelo de 400 mil millones de parámetros. El filtrador de IA Jimmy Apples informó en X sobre las presuntas objeciones del cofundador de Facebook, Dustin Moskovitz, a Mark Zuckerberg.
A pesar de estas objeciones, Meta decidió publicar el modelo, incluidos los pesos, como código abierto. Esta decisión tiene implicaciones financieras debido al costoso proceso de entrenamiento del modelo, y también plantea preocupaciones de seguridad sobre la accesibilidad del modelo.
La importancia de los pesos en los modelos de IA
En los modelos de IA, los pesos son parámetros clave para optimizar las predicciones. Publicarlos en modelos de código abierto permite la reproducibilidad y facilita la aplicación práctica, la transparencia y la comparabilidad.
Cuando los desarrolladores descargan un modelo preentrenado sin pesos, solo obtienen la arquitectura del modelo, la «cáscara vacía». Esta arquitectura define la estructura de la red neuronal: cuántas capas tiene, cómo están conectadas, etc.
Beneficios de la accesibilidad a los pesos
Sin los pesos, que se optimizan durante el proceso de aprendizaje, el modelo no puede hacer predicciones significativas ni resolver tareas. Dependiendo del tamaño del modelo y la cantidad de datos, el proceso de entrenamiento puede ser lento y consumir muchos recursos.
El acceso a los pesos permite a los desarrolladores sin capacidades de entrenamiento masivas usar y desarrollar modelos de IA avanzados. Por eso los pesos son tan importantes y deseados en la comunidad de IA de código abierto.
Resumen y conclusiones
Meta Platforms planea lanzar la versión más grande de su modelo de lenguaje de código abierto, Llama 3, con 405 mil millones de parámetros, el 23 de julio. El modelo será multimodal, capaz de procesar tanto imágenes como texto.
A pesar de los rumores sobre objeciones del cofundador de Facebook, Dustin Moskovitz, Meta decidió liberar el modelo, incluidos los pesos, como código abierto. Esta decisión tiene implicaciones financieras debido al costoso proceso de entrenamiento y plantea preocupaciones de seguridad sobre la accesibilidad del modelo, pero también lo hace más útil para más personas.
Los pesos en los modelos de IA son parámetros clave para optimizar las predicciones. Publicarlos en modelos de código abierto permite la reproducibilidad, la aplicación práctica, la transparencia y la comparabilidad. El acceso a los pesos entrenados ahorra tiempo y recursos informáticos, permitiendo a los desarrolladores sin capacidades de entrenamiento masivas usar y evolucionar modelos de IA avanzados.
Fuente: https://the-decoder.com/meta-launches-largest-llama-model-complete-with-weights-at-the-end-of-july/