{"id":127181,"date":"2024-07-01T16:29:21","date_gmt":"2024-07-01T14:29:21","guid":{"rendered":"https:\/\/quondos.com\/mag\/?p=127181"},"modified":"2024-07-03T12:41:00","modified_gmt":"2024-07-03T10:41:00","slug":"preocupacion-en-google-las-capacidades-de-analisis-de-datos-de-gemini-como-dicen","status":"publish","type":"post","link":"https:\/\/quondos.com\/mag\/preocupacion-en-google-las-capacidades-de-analisis-de-datos-de-gemini-como-dicen\/","title":{"rendered":"Preocupaci\u00f3n en Google, las capacidades de an\u00e1lisis de datos de Gemini no son tan buenas como dicen"},"content":{"rendered":"\n<figure class=\"wp-block-image size-full\"><img loading=\"lazy\" decoding=\"async\" width=\"1024\" height=\"1024\" src=\"https:\/\/quondos.com\/mag\/wp-content\/uploads\/2023\/10\/DALL\u00b7E-2023-10-31-13.06.18-Illustration-of-an-anthropomorphic-figure-with-the-Google-logo-colors-giving-a-presentation-about-the-latest-algorithm-updates.-The-figure-stands-in-a.png\" alt=\"\" class=\"wp-image-125682\" title=\"\" srcset=\"https:\/\/quondos.com\/mag\/wp-content\/uploads\/2023\/10\/DALL\u00b7E-2023-10-31-13.06.18-Illustration-of-an-anthropomorphic-figure-with-the-Google-logo-colors-giving-a-presentation-about-the-latest-algorithm-updates.-The-figure-stands-in-a.png 1024w, https:\/\/quondos.com\/mag\/wp-content\/uploads\/2023\/10\/DALL\u00b7E-2023-10-31-13.06.18-Illustration-of-an-anthropomorphic-figure-with-the-Google-logo-colors-giving-a-presentation-about-the-latest-algorithm-updates.-The-figure-stands-in-a-300x300.png 300w, https:\/\/quondos.com\/mag\/wp-content\/uploads\/2023\/10\/DALL\u00b7E-2023-10-31-13.06.18-Illustration-of-an-anthropomorphic-figure-with-the-Google-logo-colors-giving-a-presentation-about-the-latest-algorithm-updates.-The-figure-stands-in-a-150x150.png 150w, https:\/\/quondos.com\/mag\/wp-content\/uploads\/2023\/10\/DALL\u00b7E-2023-10-31-13.06.18-Illustration-of-an-anthropomorphic-figure-with-the-Google-logo-colors-giving-a-presentation-about-the-latest-algorithm-updates.-The-figure-stands-in-a-768x768.png 768w\" sizes=\"auto, (max-width: 1024px) 100vw, 1024px\" \/><\/figure>\n\n\n\n<p>Una de las grandes promesas de los modelos de inteligencia artificial generativa de Google, Gemini 1.5 Pro y 1.5 Flash, es su capacidad para procesar y analizar grandes cantidades de datos. Seg\u00fan Google, estos modelos pueden realizar tareas imposibles anteriormente gracias a su \u00abcontexto largo\u00bb, como resumir documentos de cientos de p\u00e1ginas o buscar en escenas de filmaciones.<\/p>\n\n<div id=\"ez-toc-container\" class=\"ez-toc-v2_0_76 counter-hierarchy ez-toc-counter ez-toc-grey ez-toc-container-direction\">\n<div class=\"ez-toc-title-container\">\n<p class=\"ez-toc-title\" style=\"cursor:inherit\">\u00cdndice de contenidos<\/p>\n<span class=\"ez-toc-title-toggle\"><a href=\"#\" class=\"ez-toc-pull-right ez-toc-btn ez-toc-btn-xs ez-toc-btn-default ez-toc-toggle\" aria-label=\"Alternar tabla de contenidos\"><span class=\"ez-toc-js-icon-con\"><span class=\"\"><span class=\"eztoc-hide\" style=\"display:none;\">Toggle<\/span><span class=\"ez-toc-icon-toggle-span\"><svg style=\"fill: #999;color:#999\" xmlns=\"http:\/\/www.w3.org\/2000\/svg\" class=\"list-377408\" width=\"20px\" height=\"20px\" viewBox=\"0 0 24 24\" fill=\"none\"><path d=\"M6 6H4v2h2V6zm14 0H8v2h12V6zM4 11h2v2H4v-2zm16 0H8v2h12v-2zM4 16h2v2H4v-2zm16 0H8v2h12v-2z\" fill=\"currentColor\"><\/path><\/svg><svg style=\"fill: #999;color:#999\" class=\"arrow-unsorted-368013\" xmlns=\"http:\/\/www.w3.org\/2000\/svg\" width=\"10px\" height=\"10px\" viewBox=\"0 0 24 24\" version=\"1.2\" baseProfile=\"tiny\"><path d=\"M18.2 9.3l-6.2-6.3-6.2 6.3c-.2.2-.3.4-.3.7s.1.5.3.7c.2.2.4.3.7.3h11c.3 0 .5-.1.7-.3.2-.2.3-.5.3-.7s-.1-.5-.3-.7zM5.8 14.7l6.2 6.3 6.2-6.3c.2-.2.3-.5.3-.7s-.1-.5-.3-.7c-.2-.2-.4-.3-.7-.3h-11c-.3 0-.5.1-.7.3-.2.2-.3.5-.3.7s.1.5.3.7z\"\/><\/svg><\/span><\/span><\/span><\/a><\/span><\/div>\n<nav><ul class='ez-toc-list ez-toc-list-level-1 ' ><li class='ez-toc-page-1 ez-toc-heading-level-2'><a class=\"ez-toc-link ez-toc-heading-1\" href=\"https:\/\/quondos.com\/mag\/preocupacion-en-google-las-capacidades-de-analisis-de-datos-de-gemini-como-dicen\/#Las_capacidades_de_analisis_de_datos_de_Gemini_no_son_tan_buenas_como_Google_afirma\" >Las capacidades de an\u00e1lisis de datos de Gemini no son tan buenas como Google afirma<\/a><\/li><li class='ez-toc-page-1 ez-toc-heading-level-2'><a class=\"ez-toc-link ez-toc-heading-2\" href=\"https:\/\/quondos.com\/mag\/preocupacion-en-google-las-capacidades-de-analisis-de-datos-de-gemini-como-dicen\/#El_contexto_de_Gemini_es_insuficiente\" >El contexto de Gemini es insuficiente<\/a><\/li><li class='ez-toc-page-1 ez-toc-heading-level-2'><a class=\"ez-toc-link ez-toc-heading-3\" href=\"https:\/\/quondos.com\/mag\/preocupacion-en-google-las-capacidades-de-analisis-de-datos-de-gemini-como-dicen\/#Estudios_adicionales_revelan_limitaciones_de_Gemini\" >Estudios adicionales revelan limitaciones de Gemini<\/a><\/li><li class='ez-toc-page-1 ez-toc-heading-level-2'><a class=\"ez-toc-link ez-toc-heading-4\" href=\"https:\/\/quondos.com\/mag\/preocupacion-en-google-las-capacidades-de-analisis-de-datos-de-gemini-como-dicen\/#Google_podria_estar_sobreprometiendo_con_Gemini\" >Google podr\u00eda estar sobreprometiendo con Gemini<\/a><\/li><\/ul><\/nav><\/div>\n<h2><span class=\"ez-toc-section\" id=\"Las_capacidades_de_analisis_de_datos_de_Gemini_no_son_tan_buenas_como_Google_afirma\"><\/span>Las capacidades de an\u00e1lisis de datos de Gemini no son tan buenas como Google afirma<span class=\"ez-toc-section-end\"><\/span><\/h2>\n\n<p>Sin embargo, seg\u00fan investigaciones recientes, estos modelos no son tan buenos en esas tareas como se afirma. Dos estudios independientes analizaron c\u00f3mo los modelos Gemini y otros entienden grandes cantidades de datos, similares a obras extensas como \u00abGuerra y Paz\u00bb. Ambos estudios concluyen que los modelos Gemini 1.5 Pro y 1.5 Flash tienen dificultades para responder correctamente a preguntas sobre grandes conjuntos de datos; en una serie de pruebas basadas en documentos, los modelos respondieron correctamente solo entre el 40% y el 50% de las veces.<\/p>\n\n<p><strong>\u00abAunque modelos como Gemini 1.5 Pro pueden t\u00e9cnicamente procesar contextos largos, hemos visto muchos casos que indican que los modelos no &#8216;entienden&#8217; realmente el contenido\u00bb,<\/strong> coment\u00f3 Marzena Karpinska, investigadora postdoctoral en UMass Amherst y coautora de uno de los estudios, a TechCrunch.<\/p>\n\n<h2><span class=\"ez-toc-section\" id=\"El_contexto_de_Gemini_es_insuficiente\"><\/span>El contexto de Gemini es insuficiente<span class=\"ez-toc-section-end\"><\/span><\/h2>\n\n<p>El contexto de un modelo, o ventana de contexto, se refiere a los datos de entrada (por ejemplo, texto) que el modelo considera antes de generar la salida (por ejemplo, texto adicional). Una pregunta simple \u2014\u00bb\u00bfQui\u00e9n gan\u00f3 la elecci\u00f3n presidencial de EE.UU. en 2020?\u00bb\u2014 puede servir como contexto, al igual que un guion de pel\u00edcula, un programa o un clip de audio. Y a medida que las ventanas de contexto crecen, tambi\u00e9n lo hace el tama\u00f1o de los documentos que se pueden incorporar.<\/p>\n\n<p>Las versiones m\u00e1s recientes de Gemini pueden tomar hasta 2 millones de tokens como contexto. Los \u00abtokens\u00bb son bits subdivididos de datos en bruto, como las s\u00edlabas \u00abfan\u00bb, \u00abtas\u00bb y \u00abtic\u00bb en la palabra \u00abfantastic\u00bb. Esto equivale a aproximadamente 1.4 millones de palabras, dos horas de video o 22 horas de audio, el contexto m\u00e1s grande de cualquier modelo comercialmente disponible.<\/p>\n\n<p>En una presentaci\u00f3n a principios de este a\u00f1o, Google mostr\u00f3 varias demostraciones pregrabadas para ilustrar el potencial de las capacidades de largo contexto de Gemini. Una de ellas mostr\u00f3 a Gemini 1.5 Pro buscando en la transcripci\u00f3n de la teletransmisi\u00f3n del alunizaje del Apolo 11 \u2014alrededor de 402 p\u00e1ginas\u2014 citas con chistes, y luego encontrar una escena en la teletransmisi\u00f3n que se pareciera a un boceto a l\u00e1piz.<\/p>\n\n<p><strong>Oriol Vinyals, vicepresidente de investigaci\u00f3n en Google DeepMind, describi\u00f3 el modelo como \u00abm\u00e1gico\u00bb.<\/strong> \u201c1.5 Pro realiza este tipo de tareas de razonamiento en cada p\u00e1gina, cada palabra\u201d, dijo.<\/p>\n\n<p>Eso podr\u00eda haber sido una exageraci\u00f3n. En uno de los estudios mencionados anteriormente que evaluaron estas capacidades, Karpinska, junto con investigadores del Instituto Allen para la IA y Princeton, pidieron a los modelos que evaluaran declaraciones verdaderas o falsas sobre libros de ficci\u00f3n escritos en ingl\u00e9s. Los investigadores eligieron obras recientes para que los modelos no pudieran \u00abhacer trampa\u00bb confiando en conocimientos previos, y a\u00f1adieron detalles espec\u00edficos y puntos de la trama que ser\u00edan imposibles de comprender sin leer los libros en su totalidad.<\/p>\n\n<p>Dado una declaraci\u00f3n como \u00abUsando sus habilidades como Apoth, Nusis es capaz de revertir el tipo de portal abierto por la clave de reactivos encontrada en el cofre de madera de Rona\u00bb, Gemini 1.5 Pro y 1.5 Flash \u2014habiendo ingerido el libro relevante\u2014 ten\u00edan que decir si la declaraci\u00f3n era verdadera o falsa y explicar su razonamiento.<\/p>\n\n<p>Probado en un libro de aproximadamente 260,000 palabras (~520 p\u00e1ginas), los investigadores encontraron que 1.5 Pro respondi\u00f3 correctamente el 46.7% de las declaraciones verdaderas\/falsas, mientras que Flash respondi\u00f3 correctamente solo el 20% de las veces. Eso significa que una moneda es significativamente mejor para responder preguntas sobre el libro que el \u00faltimo modelo de aprendizaje autom\u00e1tico de Google. Promediando todos los resultados de referencia, ninguno de los modelos logr\u00f3 superar el azar en t\u00e9rminos de precisi\u00f3n en la respuesta a preguntas.<\/p>\n\n<p><strong>\u00abHemos notado que los modelos tienen m\u00e1s dificultad para verificar afirmaciones que requieren considerar partes m\u00e1s grandes del libro, o incluso el libro completo, en comparaci\u00f3n con afirmaciones que pueden resolverse recuperando evidencia a nivel de oraci\u00f3n\u00bb,<\/strong> dijo Karpinska. \u00abCualitativamente, tambi\u00e9n observamos que los modelos tienen dificultades para verificar afirmaciones sobre informaci\u00f3n impl\u00edcita que es clara para un lector humano pero que no est\u00e1 expl\u00edcitamente indicada en el texto\u00bb.<\/p>\n\n<h2><span class=\"ez-toc-section\" id=\"Estudios_adicionales_revelan_limitaciones_de_Gemini\"><\/span>Estudios adicionales revelan limitaciones de Gemini<span class=\"ez-toc-section-end\"><\/span><\/h2>\n\n<p>El segundo de los dos estudios, coescrito por investigadores de UC Santa Barbara, prob\u00f3 la capacidad de Gemini 1.5 Flash (pero no 1.5 Pro) para \u00abrazonar sobre\u00bb videos, es decir, buscar y responder preguntas sobre el contenido en ellos.<\/p>\n\n<p>Los coautores crearon un conjunto de datos de im\u00e1genes (por ejemplo, una foto de un pastel de cumplea\u00f1os) emparejadas con preguntas para que el modelo respondiera sobre los objetos representados en las im\u00e1genes (por ejemplo, \u00ab\u00bfQu\u00e9 personaje de dibujos animados est\u00e1 en este pastel?\u00bb). Para evaluar los modelos, seleccionaron una de las im\u00e1genes al azar e insertaron im\u00e1genes \u00abdistractoras\u00bb antes y despu\u00e9s para crear un metraje tipo presentaci\u00f3n de diapositivas.<\/p>\n\n<p>Flash no se desempe\u00f1\u00f3 muy bien. En una prueba que ten\u00eda al modelo transcribiendo seis d\u00edgitos escritos a mano de una \u00abpresentaci\u00f3n de diapositivas\u00bb de 25 im\u00e1genes, Flash acert\u00f3 alrededor del 50% de las transcripciones. La precisi\u00f3n baj\u00f3 a alrededor del 30% con ocho d\u00edgitos.<\/p>\n\n<p><strong>\u00abEn tareas reales de respuesta a preguntas sobre im\u00e1genes, parece ser particularmente dif\u00edcil para todos los modelos que probamos\u00bb,<\/strong> coment\u00f3 Michael Saxon, estudiante de doctorado en UC Santa Barbara y uno de los coautores del estudio, a TechCrunch. \u00abEsa peque\u00f1a cantidad de razonamiento \u2014reconocer que un n\u00famero est\u00e1 en un cuadro y leerlo\u2014 podr\u00eda ser lo que est\u00e1 rompiendo el modelo\u00bb.<\/p>\n\n<h2><span class=\"ez-toc-section\" id=\"Google_podria_estar_sobreprometiendo_con_Gemini\"><\/span>Google podr\u00eda estar sobreprometiendo con Gemini<span class=\"ez-toc-section-end\"><\/span><\/h2>\n\n<p>Ninguno de los estudios ha sido revisado por pares, ni tampoco investigan las versiones de Gemini 1.5 Pro y 1.5 Flash con contextos de 2 millones de tokens. (Ambos probaron las versiones de contexto de 1 mill\u00f3n de tokens). Y Flash no est\u00e1 dise\u00f1ado para ser tan capaz como Pro en t\u00e9rminos de rendimiento; Google lo publicita como una alternativa de bajo costo.<\/p>\n\n<p>No obstante, ambos estudios a\u00f1aden le\u00f1a al fuego que Google ha estado sobreprometiendo \u2014y no cumpliendo\u2014 con Gemini desde el principio. Ninguno de los modelos que los investigadores probaron, incluidos GPT-4o de OpenAI y Claude 3.5 Sonnet de Anthropic, se desempe\u00f1\u00f3 bien. Pero Google es el \u00fanico proveedor de modelos que ha dado prioridad a la ventana de contexto en sus anuncios.<\/p>\n\n<p><strong>\u00abNo hay nada de malo en la afirmaci\u00f3n simple, &#8216;Nuestro modelo puede tomar X cantidad de tokens&#8217; basada en los detalles t\u00e9cnicos objetivos\u00bb,<\/strong> coment\u00f3 Saxon. \u00abPero la pregunta es, \u00bfqu\u00e9 cosa \u00fatil puedes hacer con eso?\u00bb<\/p>\n\n<p>La IA generativa, en t\u00e9rminos generales, est\u00e1 siendo sometida a un escrutinio creciente a medida que las empresas (e inversores) se frustran con las limitaciones de la tecnolog\u00eda.<\/p>\n\n<p>En un par de encuestas recientes de Boston Consulting Group, alrededor de la mitad de los encuestados \u2014todos ejecutivos de alto nivel\u2014 dijeron que no esperan que la IA generativa genere ganancias sustanciales en productividad y que est\u00e1n preocupados por el potencial de errores y compromisos de datos que surgen de las herramientas impulsadas por IA generativa. PitchBook inform\u00f3 recientemente que, durante dos trimestres consecutivos, los acuerdos de IA generativa en las etapas m\u00e1s tempranas han disminuido, cayendo un 76% desde su pico en el tercer trimestre de 2023.<\/p>\n\n<p>Frente a chatbots que resumen reuniones y que inventan detalles ficticios sobre personas y plataformas de b\u00fasqueda de IA que b\u00e1sicamente equivalen a generadores de plagio, los clientes est\u00e1n en busca de diferenciadores prometedores. Google, que ha corrido, a veces torpemente, para ponerse al d\u00eda con sus rivales de IA generativa, estaba desesperado por hacer del contexto de Gemini uno de esos diferenciadores. Pero parece que la apuesta fue prematura.<\/p>\n\n<p><strong>\u00abNo hemos establecido una manera de mostrar realmente que est\u00e1 teniendo lugar un &#8216;razonamiento&#8217; o &#8216;comprensi\u00f3n&#8217; sobre documentos largos, y b\u00e1sicamente cada grupo que publica estos modelos est\u00e1 improvisando sus propias evaluaciones para hacer estas afirmaciones\u00bb,<\/strong> dijo Karpinska. \u00abSin el conocimiento de c\u00f3mo se implementa el procesamiento de contextos largos \u2014y las empresas no comparten estos detalles\u2014 es dif\u00edcil decir cu\u00e1n real\n\nistas son estas afirmaciones\u00bb.<\/p>\n\n<p>Google no respondi\u00f3 a una solicitud de comentarios.<\/p>\n\n<p>Ambos, Saxon y Karpinska, creen que los ant\u00eddotos para las afirmaciones exageradas sobre la IA generativa son mejores puntos de referencia y, en la misma l\u00ednea, un mayor \u00e9nfasis en la cr\u00edtica de terceros. Saxon se\u00f1ala que una de las pruebas m\u00e1s comunes para el contexto largo (citada ampliamente por Google en sus materiales de marketing), \u00abbuscar una aguja en un pajar\u00bb, solo mide la capacidad de un modelo para recuperar informaci\u00f3n particular, como nombres y n\u00fameros, de conjuntos de datos, no para responder preguntas complejas sobre esa informaci\u00f3n.<\/p>\n\n<p><strong>\u00abTodos los cient\u00edficos y la mayor\u00eda de los ingenieros que usan estos modelos est\u00e1n esencialmente de acuerdo en que nuestra cultura de puntos de referencia existente est\u00e1 rota\u00bb,<\/strong> coment\u00f3 Saxon, \u00abpor lo que es importante que el p\u00fablico entienda que debe tomar estos informes gigantes que contienen n\u00fameros como &#8216;inteligencia general a trav\u00e9s de puntos de referencia&#8217; con una gran dosis de escepticismo\u00bb.<\/p>\n\n\n\n<p>Fuente: https:\/\/techcrunch.com\/2024\/06\/29\/geminis-data-analyzing-abilities-arent-as-good-as-google-claims\/<\/p>\n","protected":false},"excerpt":{"rendered":"<p>Una de las grandes promesas de los modelos de inteligencia artificial generativa de Google, Gemini 1.5 Pro y 1.5 Flash, &#8230; <\/p>\n<p class=\"read-more-container\"><a title=\"Preocupaci\u00f3n en Google, las capacidades de an\u00e1lisis de datos de Gemini no son tan buenas como dicen\" class=\"read-more button\" href=\"https:\/\/quondos.com\/mag\/preocupacion-en-google-las-capacidades-de-analisis-de-datos-de-gemini-como-dicen\/#more-127181\" aria-label=\"Leer m\u00e1s sobre Preocupaci\u00f3n en Google, las capacidades de an\u00e1lisis de datos de Gemini no son tan buenas como dicen\">Leer m\u00e1s<\/a><\/p>\n","protected":false},"author":850,"featured_media":125682,"comment_status":"open","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[1474],"tags":[],"class_list":["post-127181","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-inteligencia-artificial","generate-columns","tablet-grid-50","mobile-grid-100","grid-parent","grid-50","no-featured-image-padding"],"_links":{"self":[{"href":"https:\/\/quondos.com\/mag\/wp-json\/wp\/v2\/posts\/127181","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/quondos.com\/mag\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/quondos.com\/mag\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/quondos.com\/mag\/wp-json\/wp\/v2\/users\/850"}],"replies":[{"embeddable":true,"href":"https:\/\/quondos.com\/mag\/wp-json\/wp\/v2\/comments?post=127181"}],"version-history":[{"count":6,"href":"https:\/\/quondos.com\/mag\/wp-json\/wp\/v2\/posts\/127181\/revisions"}],"predecessor-version":[{"id":127212,"href":"https:\/\/quondos.com\/mag\/wp-json\/wp\/v2\/posts\/127181\/revisions\/127212"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/quondos.com\/mag\/wp-json\/wp\/v2\/media\/125682"}],"wp:attachment":[{"href":"https:\/\/quondos.com\/mag\/wp-json\/wp\/v2\/media?parent=127181"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/quondos.com\/mag\/wp-json\/wp\/v2\/categories?post=127181"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/quondos.com\/mag\/wp-json\/wp\/v2\/tags?post=127181"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}