¿Te imaginas un modelo de inteligencia artificial capaz de igualar las capacidades de OpenAI en benchmarks de razonamiento? Ese es el objetivo que, según informes, se propuso la startup china DeepSeek, que acaba de presentar sus nuevos modelos DeepSeek-R1 y DeepSeek-R1-Zero. Con su enfoque único de aprendizaje, prometen plantar cara a la conocida línea de OpenAI o1, atrayendo la atención de la comunidad de IA a nivel mundial.
La principal novedad de DeepSeek-R1-Zero radica en su habilidad para aprender sin depender de ejemplos humanos, pues se basa por completo en reinforcement learning. De acuerdo con la fuente, este sistema revisa su propio trabajo y descompone tareas complejas en pasos más pequeños. Además, sabe cuándo dedicar más tiempo a un problema difícil, repensando su estrategia antes de dar una respuesta, inspirándose en tecnologías como AlphaZero de DeepMind.
Según informes de investigación, el equipo de DeepSeek optó por un sencillo sistema de recompensas basado en reglas para entrenar a su modelo, en lugar de los complejos modelos de recompensa neuronal. Esta estrategia busca evitar el llamado “reward hacking” y reducir la necesidad de potencia de cómputo. Para verificar la exactitud de las respuestas, se crearon dos subsistemas: uno compara resultados matemáticos y evalúa código, mientras que el otro supervisa el formato y el uso de etiquetas específicas.
Comparaciones con OpenAI o1 y desarrollo de modelos
Según la fuente, DeepSeek-R1 mantiene un rendimiento similar al de OpenAI o1-1217 en múltiples pruebas de razonamiento. El modelo alcanzó un 79,8% en AIME 2024 y un 97,3% en MATH-500, superando a la mayoría de participantes en pruebas de coding como Codeforces. Aunque OpenAI o1 aún conserva una ligera ventaja en conocimiento general (MMLU y GPQA Diamond), la diferencia es cada vez más pequeña, impulsando una sana competencia en el sector.
Para perfeccionar sus capacidades, DeepSeek-R1 inicia con un conjunto reducido de datos de arranque en frío, antes de pasar por varias rondas de entrenamiento mediante refuerzo. Este proceso soluciona dos problemas clave de DeepSeek-R1-Zero: la falta de legibilidad y la tendencia a mezclar diferentes idiomas en una misma respuesta. Según la empresa, estos ajustes han logrado que el modelo sea más estable y entendible para los usuarios que buscan resultados claros.
Modelos open source y distilación
Además de sus modelos principales, DeepSeek ha lanzado seis versiones open source más pequeñas, con parámetros que van desde 1.5B hasta 70B. Según informes, algunas variantes igualan o superan el rendimiento de OpenAI o1-mini en la mayoría de pruebas. Llama la atención que la versión de 1.5B, pese a su reducido tamaño, logra buenos resultados en ciertas pruebas de matemáticas. Para transmitir su razonamiento, DeepSeek-R1 generó 800.000 ejemplos adicionales para refinar Qwen y Llama.
La distilación de estos modelos fue clave para obtener altos niveles de precisión. Directamente, entrenar versiones pequeñas mediante refuerzo no dio resultados similares, según la fuente. Por ello, DeepSeek optó por recopilar datos generados por la versión grande y alimentar a las más pequeñas con esa información valiosa. De esta forma, se obtuvieron modelos compactos con capacidades de razonamiento competitivas, disponibles para toda la comunidad a través de GitHub y HuggingFace.
Planes a futuro y disponibilidad
DeepSeek ha anunciado que mejorará las capacidades generales de R1, centrándose en function calling, conversaciones de varias interacciones y escenarios de rol más complejos. Sin embargo, según la fuente, reconocen que el modelo aún va por detrás de otras propuestas, incluida la propia DeepSeek-V3, en algunos aspectos de rendimiento conversacional. También señalan que planean solucionar pronto los problemas de mezcla de idiomas y sensibilidad a los prompts, un inconveniente que también experimentó OpenAI en las primeras versiones de o1.
En cuanto a la disponibilidad, DeepSeek-R1 se distribuye bajo licencia MIT, lo que permite su uso y fine-tuning sin restricciones. El acceso al modelo también está habilitado a través de la API de DeepSeek, con un costo aproximado de $0,14 por millón de tokens de entrada en casos cacheados, $0,55 sin caché y $2,19 por millón de tokens de salida. Además, explora más detalles sobre su integración con otros modelos de lenguaje en el ecosistema.
Según informes, la startup confía en que las pruebas del mundo real confirmen si DeepSeek-R1 realmente alcanza a OpenAI o1 en aplicaciones prácticas. De cara al futuro, su objetivo es acercarse a la nueva versión o3 de OpenAI, siempre y cuando mantengan el ritmo de desarrollo y sus métodos de entrenamiento sigan dando frutos. Para más información, visita la página oficial de GitHub de DeepSeek o revisa su perfil en HuggingFace.
Fuente: https://the-decoder.com/deepseeks-latest-r1-zero-model-matches-openais-o1-in-reasoning-benchmarks/