Según informes recientes, OpenAI ha desarrollado un nuevo modelo de lenguaje llamado ‘Orion’ que muestra mejoras mínimas sobre GPT-4. ¿Está llegando la inteligencia artificial a un punto de estancamiento?
‘Orion’ ofrece mejoras limitadas sobre GPT-4
De acuerdo con fuentes cercanas, el nuevo modelo de OpenAI, conocido como ‘Orion’, apenas supera en rendimiento a su predecesor GPT-4. La mejora entre GPT-3 y GPT-4 fue significativa, pero parece que ‘Orion’ no alcanza el mismo salto cualitativo.
En áreas como programación, ‘Orion’ no supera consistentemente a GPT-4, mostrando mejoras solo en capacidades lingüísticas. Además, se informa que el costo de operación en centros de datos podría ser mayor que el de versiones anteriores.
Escasez de datos de entrenamiento de alta calidad
Los investigadores de OpenAI señalan que la falta de datos de entrenamiento de alta calidad es una de las razones del estancamiento. La mayoría de los textos y datos disponibles públicamente ya han sido utilizados.
Para abordar este desafío, OpenAI ha creado un equipo llamado ‘Foundations Team’, liderado por Nick Ryder, para explorar nuevas fuentes de datos y métodos de entrenamiento.
Uso de datos sintéticos para entrenamiento
Según los informes, OpenAI planea utilizar datos sintéticos, es decir, material de entrenamiento generado por modelos de IA, para llenar este vacío. Sin embargo, existe el riesgo de que el nuevo modelo simplemente se parezca demasiado a los modelos anteriores.
Se sabe que ‘Orion’ ya ha sido entrenado parcialmente con datos sintéticos provenientes de GPT-4 y el nuevo modelo de razonamiento de OpenAI llamado o1.
Estancamiento en el avance de los modelos de lenguaje
El estancamiento no es exclusivo de OpenAI. Según informes, Google’s Gemini 2.0 también está por debajo de las expectativas internas. Por su parte, Anthropic ha detenido el desarrollo de la versión 3.5 de su modelo Opus, lanzando en su lugar una versión mejorada de Sonnet.
Este fenómeno sugiere que la industria de la IA está enfrentando un límite temporal en el rendimiento de los modelos de lenguaje actuales, a pesar de las enormes inversiones realizadas.
Optimismo cauteloso en OpenAI
A pesar de los desafíos, el CEO de OpenAI, Sam Altman, se mantiene optimista. En una entrevista reciente, afirmó que el camino hacia una inteligencia general artificial (AGI) es claro y que se necesita un uso creativo de los modelos existentes.
Altman podría referirse a la combinación de modelos de lenguaje con enfoques de razonamiento, como el modelo o1 y la IA agentiva.
Nuevas oportunidades de escalado con el modelo o1
Noam Brown, destacado desarrollador de IA en OpenAI, menciona que el modelo o1 abre nuevas oportunidades de escalado. Este enfoque cambia el foco del entrenamiento a la inferencia, es decir, al tiempo que los modelos de IA tienen para completar tareas.
Sin embargo, este método requerirá inversiones multimillonarias y un uso significativo de energía, lo que plantea preguntas sobre su viabilidad económica y ambiental.
Críticas al enfoque actual de los modelos de lenguaje
Expertos como François Chollet, de Google AI, critican el escalado de modelos de lenguaje para tareas matemáticas. Argumenta que se necesitan métodos de búsqueda discretos en lugar de depender únicamente de modelos de lenguaje.
Chollet también cuestiona el uso del término ‘LLM’ como una estrategia de marketing para avances que no están directamente relacionados con modelos de lenguaje.
Conclusiones y perspectivas futuras
La información sugiere que OpenAI y la industria de la IA enfrentan desafíos en el desarrollo de modelos de lenguaje más avanzados. La dependencia de datos de entrenamiento y los costos asociados podrían limitar el progreso a corto plazo.
No obstante, con enfoques innovadores y un uso más creativo de las herramientas existentes, es posible que veamos nuevos avances en inteligencia artificial en el futuro cercano.
Para más detalles sobre los desarrollos de OpenAI, puedes visitar su sitio web oficial.
Fuente: https://the-decoder.com/openais-new-orion-model-reportedly-shows-small-gains-over-gpt-4/