En el mundo de la inteligencia artificial, Microsoft ha lanzado un nuevo modelo llamado Phi-3, que según pruebas internas, está listo para superar a competidores como el Llama 3 de Meta y el ChatGPT gratuito en términos de eficiencia y rendimiento. El Phi-3-mini, con solo 3.8 mil millones de parámetros, ya está disponible y promete revolucionar lo que esperamos de los modelos de lenguaje más pequeños.
Presentando el Phi-3 de Microsoft
La familia Phi-3 ha sido diseñada para ser extremadamente eficiente en recursos, ideal para escenarios con poder computacional limitado donde se requiere baja latencia o es crítico reducir costos. Microsoft destaca que estos modelos son más fáciles de ajustar que los modelos de IA más grandes, lo que los hace muy atractivos para desarrolladores y empresas.
Los modelos Phi-3 son optimizados para instrucciones y utilizan el entorno de ejecución ONNX, con soporte para Windows DirectML y GPUs de NVIDIA. Esto sugiere un enfoque en la calidad de los datos más que en la cantidad, una característica clave según Microsoft.
Comparación de rendimiento
En las pruebas internas, el modelo Phi-3-mini ha logrado un 69% en el benchmark de comprensión del lenguaje MMLU y 8.38 puntos en el MT benchmark. Esto es notable considerando su pequeño tamaño, y según Microsoft, estos modelos pueden funcionar localmente en un smartphone estándar con tan solo 1.8 GB de memoria, alcanzando más de 12 tokens por segundo en un iPhone 14 con chip A16.
Los desarrolladores describen esta capacidad diciendo que es «como meter un supercomputador en un teléfono plegable, pero en lugar de romper el teléfono, solo rompe internet con su potente habilidad lingüística». Esta capacidad resalta la innovación detrás de Phi-3.
Importancia de los datos de entrenamiento de alta calidad
El secreto del rendimiento de Phi 3, según Microsoft, radica únicamente en el conjunto de datos de entrenamiento. Este conjunto incluye datos web y sintéticos generados por LLM, filtrados intensamente para mejorar la calidad. Este método de entrenamiento se basa en los utilizados en sus predecesores, Phi 2 y Phi 1, lo que ha permitido a Microsoft acercarse más al «óptimo de datos» para un modelo compacto al centrarse en habilidades de conocimiento y razonamiento.
Durante la primera fase del entrenamiento previo, se utiliza principalmente datos web para desarrollar el conocimiento general y la comprensión del lenguaje del modelo. En la segunda fase, los datos web de alta calidad se combinan con datos sintéticos seleccionados para optimizar el rendimiento del modelo en áreas específicas como lógica y aplicaciones de nicho.
Rendimiento de Phi-3 en benchmarks
Los modelos Phi-3-small y Phi-3-medium, con 7 mil millones y 14 mil millones de parámetros respectivamente, también se han entrenado con 4.8 billones de tokens y muestran rendimientos similares al Phi-3-mini en benchmarks para modelos de su clase. Estos modelos alcanzan un 75 y un 78 por ciento en el benchmark MMLU y 8.7 y 8.9 puntos en el MT benchmark, lo que los sitúa muy cerca de modelos mucho más grandes como el Llama 3 de Meta con 70 mil millones de parámetros.
Aunque el rendimiento percibido en aplicaciones y los resultados de benchmarks no siempre coinciden, queda por ver en qué medida el modelo será adoptado por la comunidad de código abierto.
Seguridad y accesibilidad
En términos de seguridad, Microsoft afirma haber adoptado un enfoque de múltiples pasos con entrenamiento de alineación, equipos de red, pruebas automatizadas y revisiones independientes, lo que ha reducido significativamente el número de respuestas potencialmente dañinas. Además, el Phi 3 utiliza una estructura de bloques similar y el mismo tokenizador que el modelo Llama de Meta, lo que permite que la comunidad de código abierto
Fuente: https://the-decoder.com/microsofts-small-and-efficient-llm-phi-3-beats-metas-llama-3-and-free-chatgpt-in-benchmarks/