{"id":128032,"date":"2025-01-13T22:47:23","date_gmt":"2025-01-13T20:47:23","guid":{"rendered":"https:\/\/quondos.com\/mag\/?p=128032"},"modified":"2025-01-13T22:47:26","modified_gmt":"2025-01-13T20:47:26","slug":"sky-t1-32b-preview-el-modelo-de-razonamiento-entrenado-con-menos-de-450-dolares","status":"publish","type":"post","link":"https:\/\/quondos.com\/mag\/sky-t1-32b-preview-el-modelo-de-razonamiento-entrenado-con-menos-de-450-dolares\/","title":{"rendered":"Sky-T1-32B-Preview: el modelo de razonamiento entrenado con menos de 450 d\u00f3lares"},"content":{"rendered":"\n<figure class=\"wp-block-image size-large\"><img loading=\"lazy\" decoding=\"async\" width=\"1024\" height=\"1024\" src=\"https:\/\/quondos.com\/mag\/wp-content\/uploads\/2025\/01\/novasky3-1024x1024.webp\" alt=\"\" class=\"wp-image-128033\" title=\"\" srcset=\"https:\/\/quondos.com\/mag\/wp-content\/uploads\/2025\/01\/novasky3-1024x1024.webp 1024w, https:\/\/quondos.com\/mag\/wp-content\/uploads\/2025\/01\/novasky3-300x300.webp 300w, https:\/\/quondos.com\/mag\/wp-content\/uploads\/2025\/01\/novasky3-150x150.webp 150w, https:\/\/quondos.com\/mag\/wp-content\/uploads\/2025\/01\/novasky3-768x768.webp 768w, https:\/\/quondos.com\/mag\/wp-content\/uploads\/2025\/01\/novasky3-1536x1536.webp 1536w, https:\/\/quondos.com\/mag\/wp-content\/uploads\/2025\/01\/novasky3-2048x2048.webp 2048w\" sizes=\"auto, (max-width: 1024px) 100vw, 1024px\" \/><\/figure>\n\n\n\n<p><strong>Sky-T1-32B-Preview<\/strong> ha llegado para demostrar que entrenar un modelo de razonamiento avanzado no tiene por qu\u00e9 costar una fortuna. Seg\u00fan informes, la iniciativa del equipo NovaSky en UC Berkeley alcanz\u00f3 un rendimiento similar al de o1-preview, todo ello con un gasto de menos de 450 d\u00f3lares. Este logro promete revolucionar el desarrollo de la IA, poniendo al alcance de la comunidad recursos completos y abiertos para la investigaci\u00f3n y la innovaci\u00f3n.<\/p>\n\n<div id=\"ez-toc-container\" class=\"ez-toc-v2_0_76 counter-hierarchy ez-toc-counter ez-toc-grey ez-toc-container-direction\">\n<div class=\"ez-toc-title-container\">\n<p class=\"ez-toc-title\" style=\"cursor:inherit\">\u00cdndice de contenidos<\/p>\n<span class=\"ez-toc-title-toggle\"><a href=\"#\" class=\"ez-toc-pull-right ez-toc-btn ez-toc-btn-xs ez-toc-btn-default ez-toc-toggle\" aria-label=\"Alternar tabla de contenidos\"><span class=\"ez-toc-js-icon-con\"><span class=\"\"><span class=\"eztoc-hide\" style=\"display:none;\">Toggle<\/span><span class=\"ez-toc-icon-toggle-span\"><svg style=\"fill: #999;color:#999\" xmlns=\"http:\/\/www.w3.org\/2000\/svg\" class=\"list-377408\" width=\"20px\" height=\"20px\" viewBox=\"0 0 24 24\" fill=\"none\"><path d=\"M6 6H4v2h2V6zm14 0H8v2h12V6zM4 11h2v2H4v-2zm16 0H8v2h12v-2zM4 16h2v2H4v-2zm16 0H8v2h12v-2z\" fill=\"currentColor\"><\/path><\/svg><svg style=\"fill: #999;color:#999\" class=\"arrow-unsorted-368013\" xmlns=\"http:\/\/www.w3.org\/2000\/svg\" width=\"10px\" height=\"10px\" viewBox=\"0 0 24 24\" version=\"1.2\" baseProfile=\"tiny\"><path d=\"M18.2 9.3l-6.2-6.3-6.2 6.3c-.2.2-.3.4-.3.7s.1.5.3.7c.2.2.4.3.7.3h11c.3 0 .5-.1.7-.3.2-.2.3-.5.3-.7s-.1-.5-.3-.7zM5.8 14.7l6.2 6.3 6.2-6.3c.2-.2.3-.5.3-.7s-.1-.5-.3-.7c-.2-.2-.4-.3-.7-.3h-11c-.3 0-.5.1-.7.3-.2.2-.3.5-.3.7s.1.5.3.7z\"\/><\/svg><\/span><\/span><\/span><\/a><\/span><\/div>\n<nav><ul class='ez-toc-list ez-toc-list-level-1 ' ><li class='ez-toc-page-1 ez-toc-heading-level-2'><a class=\"ez-toc-link ez-toc-heading-1\" href=\"https:\/\/quondos.com\/mag\/sky-t1-32b-preview-el-modelo-de-razonamiento-entrenado-con-menos-de-450-dolares\/#Sky-T1_y_el_impulso_hacia_la_IA_abierta\" >Sky-T1 y el impulso hacia la IA abierta<\/a><\/li><li class='ez-toc-page-1 ez-toc-heading-level-2'><a class=\"ez-toc-link ez-toc-heading-2\" href=\"https:\/\/quondos.com\/mag\/sky-t1-32b-preview-el-modelo-de-razonamiento-entrenado-con-menos-de-450-dolares\/#Recursos_e_infraestructura_compartida\" >Recursos e infraestructura compartida<\/a><\/li><li class='ez-toc-page-1 ez-toc-heading-level-2'><a class=\"ez-toc-link ez-toc-heading-3\" href=\"https:\/\/quondos.com\/mag\/sky-t1-32b-preview-el-modelo-de-razonamiento-entrenado-con-menos-de-450-dolares\/#Como_se_procesaron_los_datos_de_entrenamiento\" >C\u00f3mo se procesaron los datos de entrenamiento<\/a><\/li><li class='ez-toc-page-1 ez-toc-heading-level-2'><a class=\"ez-toc-link ez-toc-heading-4\" href=\"https:\/\/quondos.com\/mag\/sky-t1-32b-preview-el-modelo-de-razonamiento-entrenado-con-menos-de-450-dolares\/#Entrenamiento_en_tiempo_record_y_bajo_coste\" >Entrenamiento en tiempo r\u00e9cord y bajo coste<\/a><\/li><li class='ez-toc-page-1 ez-toc-heading-level-2'><a class=\"ez-toc-link ez-toc-heading-5\" href=\"https:\/\/quondos.com\/mag\/sky-t1-32b-preview-el-modelo-de-razonamiento-entrenado-con-menos-de-450-dolares\/#Resultados_competitivos_en_diferentes_tareas\" >Resultados competitivos en diferentes tareas<\/a><\/li><li class='ez-toc-page-1 ez-toc-heading-level-2'><a class=\"ez-toc-link ez-toc-heading-6\" href=\"https:\/\/quondos.com\/mag\/sky-t1-32b-preview-el-modelo-de-razonamiento-entrenado-con-menos-de-450-dolares\/#Importancia_del_tamano_y_la_mezcla_de_datos\" >Importancia del tama\u00f1o y la mezcla de datos<\/a><\/li><li class='ez-toc-page-1 ez-toc-heading-level-2'><a class=\"ez-toc-link ez-toc-heading-7\" href=\"https:\/\/quondos.com\/mag\/sky-t1-32b-preview-el-modelo-de-razonamiento-entrenado-con-menos-de-450-dolares\/#Futuro_de_Sky-T1-32B-Preview_y_colaboraciones\" >Futuro de Sky-T1-32B-Preview y colaboraciones<\/a><\/li><\/ul><\/nav><\/div>\n<h2><span class=\"ez-toc-section\" id=\"Sky-T1_y_el_impulso_hacia_la_IA_abierta\"><\/span>Sky-T1 y el impulso hacia la IA abierta<span class=\"ez-toc-section-end\"><\/span><\/h2>\n<p>La propuesta <strong>Sky-T1-32B-Preview<\/strong> se inspira en modelos como o1 y Gemini 2.0, conocidos por su capacidad de razonamiento profundo y por mostrar largos procesos de pensamiento interno. Sin embargo, los detalles t\u00e9cnicos y pesos de estos referentes no suelen estar disponibles para el p\u00fablico, dificultando la participaci\u00f3n de investigadores independientes.<\/p>\n\n<p>Ante esa limitaci\u00f3n, el <strong>equipo NovaSky<\/strong> se enfoc\u00f3 en crear un proyecto totalmente open-source, liberando datos, c\u00f3digo y pesos del modelo. Seg\u00fan la nota de prensa, la meta es que cualquier persona con inter\u00e9s acad\u00e9mico o pr\u00e1ctico pueda replicar estos resultados. De ese modo, se fomenta la colaboraci\u00f3n y se impulsa el avance acelerado en la evoluci\u00f3n de la IA.<\/p>\n\n<h2><span class=\"ez-toc-section\" id=\"Recursos_e_infraestructura_compartida\"><\/span>Recursos e infraestructura compartida<span class=\"ez-toc-section-end\"><\/span><\/h2>\n<p>Seg\u00fan informes, en el mismo repositorio se incluyen herramientas para la construcci\u00f3n de datos, entrenamiento y evaluaci\u00f3n, as\u00ed como la documentaci\u00f3n necesaria para entender la arquitectura. Este enfoque de <strong>c\u00f3digo abierto<\/strong> busca facilitar el acceso a la comunidad, eliminando barreras que antes imped\u00edan a muchos profesionales experimentar con modelos de gran escala.<\/p>\n\n<p>El proyecto aporta 17.000 muestras para el entrenamiento de <strong>Sky-T1-32B-Preview<\/strong>, un informe t\u00e9cnico detallado y el registro wandb para visualizar las m\u00e9tricas. Este ecosistema permite a los curiosos explorar configuraciones, ajustar hiperpar\u00e1metros y, en \u00faltima instancia, aportar nuevas ideas que optimicen el rendimiento en diferentes tareas de razonamiento.<\/p>\n\n<h2><span class=\"ez-toc-section\" id=\"Como_se_procesaron_los_datos_de_entrenamiento\"><\/span>C\u00f3mo se procesaron los datos de entrenamiento<span class=\"ez-toc-section-end\"><\/span><\/h2>\n<p>Para construir la base de conocimiento, se utiliz\u00f3 <strong>QwQ-32B-Preview<\/strong>, un modelo de razonamiento comparable a o1-preview. Mediante un proceso de refinado, se descartaron muestras incorrectas y se aplic\u00f3 un procedimiento de reformateo con GPT-4o-mini. Seg\u00fan la fuente, esta metodolog\u00eda increment\u00f3 la exactitud en tareas de programaci\u00f3n, reduciendo la incertidumbre sobre qu\u00e9 fragmento del contenido representaba la respuesta correcta.<\/p>\n\n<p>Asimismo, se reforz\u00f3 la calidad de las muestras de matem\u00e1ticas y codificaci\u00f3n al usar pruebas unitarias y m\u00e9todos de verificaci\u00f3n exacta. Con esta estrategia, el modelo finaliz\u00f3 con un conjunto de 5.000 datos de programaci\u00f3n y 10.000 problemas de matem\u00e1ticas, adem\u00e1s de 1.000 muestras adicionales en \u00e1reas de ciencia y acertijos, basadas en <a href=\"https:\/\/still-2.org\" target=\"_blank\" rel=\"noopener\"><strong>Still-2<\/strong><\/a>.<\/p>\n\n<h2><span class=\"ez-toc-section\" id=\"Entrenamiento_en_tiempo_record_y_bajo_coste\"><\/span>Entrenamiento en tiempo r\u00e9cord y bajo coste<span class=\"ez-toc-section-end\"><\/span><\/h2>\n<p>De acuerdo con la nota de prensa, el modelo parti\u00f3 de <strong>Qwen2.5-32B-Instruct<\/strong> para perfeccionar sus capacidades de razonamiento. El entrenamiento, que dur\u00f3 unas 19 horas, se realiz\u00f3 en un entorno de 8 H100 con <strong>DeepSpeed Zero-3 offload<\/strong>, sumando costes estimados en torno a 450 d\u00f3lares, seg\u00fan Lambda Cloud. Esta cifra modesta demuestra que es posible emular el rendimiento de grandes modelos sin invertir sumas astron\u00f3micas.<\/p>\n\n<p>El uso de <a href=\"https:\/\/github.com\/OpenLMLab\/Llama-Factory\" target=\"_blank\" rel=\"noopener\"><strong>Llama-Factory<\/strong><\/a> facilit\u00f3 la optimizaci\u00f3n, as\u00ed como la gesti\u00f3n de lotes de entrenamiento con tama\u00f1o 96 y una tasa de aprendizaje de 1e-5. Seg\u00fan la fuente, la escalabilidad de esta infraestructura abre las puertas a equipos peque\u00f1os para que innoven a niveles antes reservados para laboratorios con grandes presupuestos.<\/p>\n\n<h2><span class=\"ez-toc-section\" id=\"Resultados_competitivos_en_diferentes_tareas\"><\/span>Resultados competitivos en diferentes tareas<span class=\"ez-toc-section-end\"><\/span><\/h2>\n<p>Las evaluaciones muestran que <strong>Sky-T1-32B-Preview<\/strong> iguala o supera a algunos referentes: obtuvo 82.4% de aciertos en Math500 y 43.3% en AIME2024, compitiendo muy de cerca con o1-preview. Asimismo, en LiveCodeBench, logr\u00f3 porcentajes de \u00e9xito relevantes en ejercicios de dificultad variable, destacando en pruebas f\u00e1ciles y medias.<\/p>\n\n<p>No obstante, la mayor sorpresa surgi\u00f3 en <strong>GPQA-Diamond<\/strong>, donde consigui\u00f3 56.8% frente al 75.2% de o1-preview. Pese a no liderar la clasificaci\u00f3n, el resultado demuestra que el modelo de NovaSky se acerca a los l\u00edderes sin tener acceso a enormes recursos. Esto confirma la hip\u00f3tesis de que el costo no es la \u00fanica v\u00eda hacia el desempe\u00f1o de alto nivel.<\/p>\n\n<h2><span class=\"ez-toc-section\" id=\"Importancia_del_tamano_y_la_mezcla_de_datos\"><\/span>Importancia del tama\u00f1o y la mezcla de datos<span class=\"ez-toc-section-end\"><\/span><\/h2>\n<p>Seg\u00fan la fuente, entrenar modelos de menos de 32B (por ejemplo, 7B o 14B) no arroj\u00f3 mejoras significativas. Estas versiones m\u00e1s peque\u00f1as tend\u00edan a generar <strong>contenido repetitivo<\/strong>, mostrando limitaciones claras en tareas complejas como matem\u00e1ticas y programaci\u00f3n. De ah\u00ed la decisi\u00f3n de enfocar los esfuerzos en una arquitectura de 32B.<\/p>\n\n<p>Igualmente, la composici\u00f3n de datos entrenados influy\u00f3 en la precisi\u00f3n. Se observ\u00f3 que a\u00f1adir demasiados problemas de codificaci\u00f3n reduc\u00eda la exactitud en matem\u00e1ticas, y viceversa. Para equilibrar ambas habilidades, el proyecto combin\u00f3 acertadamente el contenido de <strong>NuminaMATH<\/strong> con el del dataset TACO, logrando un rendimiento aceptable en ambos frentes.<\/p>\n\n<h2><span class=\"ez-toc-section\" id=\"Futuro_de_Sky-T1-32B-Preview_y_colaboraciones\"><\/span>Futuro de Sky-T1-32B-Preview y colaboraciones<span class=\"ez-toc-section-end\"><\/span><\/h2>\n<p>El equipo de NovaSky anunci\u00f3 que continuar\u00e1 investigando m\u00e9todos para optimizar los costos y el tiempo de entrenamiento sin perder potencia de razonamiento. Seg\u00fan la nota de prensa, su meta es crear modelos cada vez m\u00e1s <strong>eficientes<\/strong>, afinando procesos de inferencia y explorando t\u00e9cnicas de compresi\u00f3n que reduzcan el tama\u00f1o de los modelos manteniendo una s\u00f3lida precisi\u00f3n.<\/p>\n\n<p>En conclusi\u00f3n, <strong>Sky-T1-32B-Preview<\/strong> abre un mundo de posibilidades para la comunidad. Al ser completamente open-source, invita a desarrolladores y acad\u00e9micos a probar configuraciones, mejorar los algoritmos y compartir avances. Gracias a iniciativas como esta, la IA de alto nivel se hace m\u00e1s accesible, derrumbando barreras econ\u00f3micas y dejando claro que la innovaci\u00f3n tambi\u00e9n pertenece a quienes sue\u00f1an con un futuro libre y colaborativo.<\/p>\n\n\n\n\n\n<p>Fuente: https:\/\/novasky-ai.github.io\/posts\/sky-t1\/<\/p>\n","protected":false},"excerpt":{"rendered":"<p>Sky-T1-32B-Preview ha llegado para demostrar que entrenar un modelo de razonamiento avanzado no tiene por qu\u00e9 costar una fortuna. Seg\u00fan &#8230; <\/p>\n<p class=\"read-more-container\"><a title=\"Sky-T1-32B-Preview: el modelo de razonamiento entrenado con menos de 450 d\u00f3lares\" class=\"read-more button\" href=\"https:\/\/quondos.com\/mag\/sky-t1-32b-preview-el-modelo-de-razonamiento-entrenado-con-menos-de-450-dolares\/#more-128032\" aria-label=\"Leer m\u00e1s sobre Sky-T1-32B-Preview: el modelo de razonamiento entrenado con menos de 450 d\u00f3lares\">Leer m\u00e1s<\/a><\/p>\n","protected":false},"author":850,"featured_media":128033,"comment_status":"open","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[1474],"tags":[],"class_list":["post-128032","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-inteligencia-artificial","generate-columns","tablet-grid-50","mobile-grid-100","grid-parent","grid-50","no-featured-image-padding"],"_links":{"self":[{"href":"https:\/\/quondos.com\/mag\/wp-json\/wp\/v2\/posts\/128032","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/quondos.com\/mag\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/quondos.com\/mag\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/quondos.com\/mag\/wp-json\/wp\/v2\/users\/850"}],"replies":[{"embeddable":true,"href":"https:\/\/quondos.com\/mag\/wp-json\/wp\/v2\/comments?post=128032"}],"version-history":[{"count":2,"href":"https:\/\/quondos.com\/mag\/wp-json\/wp\/v2\/posts\/128032\/revisions"}],"predecessor-version":[{"id":128035,"href":"https:\/\/quondos.com\/mag\/wp-json\/wp\/v2\/posts\/128032\/revisions\/128035"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/quondos.com\/mag\/wp-json\/wp\/v2\/media\/128033"}],"wp:attachment":[{"href":"https:\/\/quondos.com\/mag\/wp-json\/wp\/v2\/media?parent=128032"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/quondos.com\/mag\/wp-json\/wp\/v2\/categories?post=128032"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/quondos.com\/mag\/wp-json\/wp\/v2\/tags?post=128032"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}