La puntuación de Gemini 4 Argon en ARC-AGI-3 alcanza el 97,5 %, pero la prueba estándar cuenta otra historia
La puntuación de Google Gemini 4 Argon en ARC-AGI-3 alcanzó el 97,5 % con el harness de adaptador de proveedor de ARC Prize. El mismo modelo obtuvo un 49,8 % con el harness estándar. Esa diferencia de 47,7 puntos es la verdadera noticia.
ARC Prize publicó los resultados verificados tras probar seis configuraciones en su serie de benchmarks. Gemini 4 Argon también obtuvo un 98,5 % en ARC-AGI-1 y un 91,3 % en ARC-AGI-2 con razonamiento alto. Estos resultados sitúan a Google DeepMind entre los laboratorios líderes en las tres generaciones de la prueba.
Sin embargo, ARC-AGI-3 mide un sistema interactivo, no un modelo aislado que responde preguntas estáticas. Su harness controla qué información se conserva entre acciones y cómo se gestionan los historiales extensos. GPT-6 Astra de OpenAI sigue siendo la comparación más relevante porque también superó el 95 % con un adaptador del proveedor.
Esa distinción cambia la forma en que desarrolladores y compradores empresariales deberían interpretar el titular. El resultado del 97,5 % respalda las afirmaciones de Google sobre razonamiento sostenido y de largo horizonte. No demuestra que Argon ofrezca el mismo rendimiento a través de todas las interfaces o arquitecturas de despliegue.
Por tanto, el benchmark de Gemini 4 Argon es menos una simple victoria que una demostración de dónde reside ahora la capacidad de los modelos. Cada vez más, reside en el sistema combinado de modelo, memoria, gestión de contexto, comportamiento de la API y entorno de ejecución del agente.
Los resultados de Gemini 4 Argon en ARC-AGI-3 se dividen entre dos harnesses
ARC Prize verificó un resultado excepcional, pero verificó dos versiones claramente distintas de la experiencia del mismo sistema.
La tabla de resultados verificada sitúa a Gemini 4 Argon en el 97,5 % en ARC-AGI-3 con razonamiento bajo y el harness de adaptador de proveedor. El razonamiento medio y alto produjeron ambos un 97,3 % con esa configuración.
El harness estándar generó un patrón distinto. El razonamiento bajo obtuvo un 49,8 %, mientras que el razonamiento medio alcanzó un 46,3 %. ARC Prize no publicó un resultado comparable de razonamiento alto en su gráfico porque esa ejecución completó muy pocas tareas.
Este resultado es inusual por dos motivos. En primer lugar, aumentar el nivel de razonamiento indicado no mejoró la puntuación del adaptador de proveedor. El razonamiento bajo superó por poco a las otras dos configuraciones.
En segundo lugar, el adaptador de proveedor produjo casi el doble de la puntuación estándar. Una diferencia de tal magnitud no puede considerarse ruido de evaluación habitual. Apunta a un cambio estructural en lo que el sistema evaluado puede recordar y reutilizar.
ARC Prize define el harness estándar como una interfaz neutral respecto al proveedor. Permite a un modelo conservar notas que el propio modelo decide preservar a lo largo de un entorno.
El adaptador de proveedor puede conservar un estado de razonamiento opaco entre solicitudes. También puede compactar una interacción larga cuando el historial se acerca a un límite de contexto. El modelo puede entonces reutilizar trabajo anterior sin reconstruir todo su razonamiento a partir de notas visibles.
Esto importa porque ARC-AGI-3 no presenta una pregunta conocida con una única respuesta. El modelo entra en un entorno interactivo desconocido, observa un estado, elige una acción y ve el resultado. Debe inferir las reglas y el objetivo mientras evita movimientos improductivos.
Una hipótesis fallida sigue siendo útil si el sistema recuerda por qué falló. Un experimento exitoso solo importa si la observación relevante sobrevive el tiempo suficiente para influir en decisiones posteriores.
El harness estándar pide al modelo que exteriorice esa continuidad mediante notas seleccionadas. El adaptador de proveedor mantiene una mayor continuidad dentro del sistema del proveedor. Ambas configuraciones usan Gemini 4 Argon, pero exponen distintas cantidades del estado cognitivo continuo del modelo.
ARC Prize afirma que los problemas de API también afectaron la evaluación estándar. Con razonamiento bajo, las ejecuciones completaron 42 de 55 tareas semiprivadas. El razonamiento medio completó 46 tareas, mientras que el razonamiento alto solo completó 19.
Las puntuaciones informadas siguieron cubriendo las 55 tareas. Las tareas incompletas contaron en contra del resultado, aunque se conservó el crédito parcial ya obtenido. Por tanto, la puntuación de 49,8 % es un resultado publicado real, pero también refleja una ejecución de prueba imperfecta.
Esa salvedad no elimina la brecha entre harnesses. La configuración media completó más tareas que la configuración baja y aun así solo obtuvo un 46,3 %. Mientras tanto, todas las configuraciones del adaptador de proveedor se mantuvieron por encima del 97 %.
El titular correcto no es que una puntuación sea auténtica y la otra inválida. ARC Prize verificó ambas. La conclusión correcta es que el resultado de Gemini 4 Argon en ARC-AGI-3 depende en gran medida de cómo el sistema circundante mantiene el razonamiento entre acciones.
Por qué ARC-AGI-3 convierte la memoria en parte de la prueba
ARC-AGI-3 transforma la gestión de contexto de un detalle de implementación en una capacidad medida.
ARC-AGI-1 y ARC-AGI-2 utilizan tareas estáticas de razonamiento visual. Un sistema recibe ejemplos que establecen una transformación implícita y luego aplica esa regla inferida a una nueva cuadrícula. Estas pruebas ponen el énfasis en la abstracción y la generalización sin una larga secuencia de acciones en un entorno.
ARC-AGI-3 sustituye ese formato pasivo por mundos interactivos desconocidos. El agente no recibe un manual detallado. Debe experimentar, interpretar la retroalimentación, revisar sus creencias y, finalmente, descubrir cómo ganar.
El benchmark oficial ARC-AGI-3 se centra en la adaptación bajo incertidumbre. Los humanos suelen transferir intuiciones ordinarias sobre objetos, movimiento, causalidad y objetivos a estos mundos. Un sistema de IA debe reconstruir conocimientos comparables a partir de observaciones.
El diseño técnico de ARC Prize impone un presupuesto de acciones a esa exploración. Resolver un entorno no basta si el agente emplea un número excesivo de movimientos sondeando al azar. Por ello, el benchmark evalúa tanto el progreso como la eficiencia de las acciones.
El informe técnico describe la gestión de contexto como un desafío central. Los fotogramas del entorno usan cuadrículas de 64 por 64, y transportar repetidamente cada observación puede consumir rápidamente el contexto disponible.
Un agente competente necesita más que una gran ventana de contexto sin procesar. Debe identificar qué cambios importan, conectar las acciones con sus efectos, conservar hipótesis y descartar detalles irrelevantes. Esto se parece mucho al problema al que se enfrentan los agentes que operan navegadores, bases de código o sistemas empresariales.
Pensemos en un agente de programación que investiga un fallo de prueba intermitente. Puede inspeccionar registros, cambiar una configuración, volver a ejecutar pruebas, comparar resultados y regresar a una hipótesis anterior. Perder la cadena causal entre esas acciones puede hacer que el agente repita trabajo o acepte una explicación falsa.
Un agente de investigación empresarial enfrenta el mismo problema entre documentos. Debe distinguir los hechos establecidos de las interpretaciones tentativas mientras conserva sus fuentes. Una gran capacidad de entrada por sí sola no garantiza que la evidencia correcta siga siendo influyente.
ARC-AGI-3 comprime estos problemas en entornos controlados. Los mundos son artificiales, pero la necesidad de aprender a partir de retroalimentación secuencial resulta reconocible. Esto hace que el benchmark sea más relevante para el comportamiento de los agentes que un examen de un solo turno.
También dificulta las comparaciones. En un benchmark estático, el prompt y la respuesta generada definen gran parte del sistema evaluado. En un benchmark interactivo, las decisiones de orquestación se acumulan a lo largo de decenas o cientos de pasos.
El sistema puede necesitar decidir qué entra en el siguiente prompt, qué se convierte en una nota duradera y cuándo debería resumirse un historial antiguo. También puede necesitar gestionar llamadas de API fallidas sin corromper su estado.
Estas decisiones suelen tomarse fuera del modelo base. Sin embargo, influyen directamente en si el modelo parece capaz de razonamiento sostenido.
Google diseñó Argon para trayectorias largas. Su anuncio del modelo indica que el modelo admite un límite de salida de un millón de tokens y está dirigido a trabajo complejo de varios pasos. Google también describe aplicaciones en ingeniería de software, investigación y ciberseguridad defensiva.
Estas siguen siendo afirmaciones de la empresa salvo que se evalúen de forma independiente en cada dominio. Aun así, el resultado del adaptador de proveedor es coherente con la proposición más limitada de que Argon se beneficia de un estado de razonamiento preservado.
El harness estándar expone la otra cara. Un modelo construido en torno a trayectorias internas persistentes puede perder gran parte de su ventaja cuando se le obliga a pasar por una interfaz más limitada y neutral respecto al proveedor.
Por eso importa la comparación de harnesses de ARC-AGI-3. Plantea si la capacidad se transfiere con el nombre del modelo o depende de una pila de entrega específica.
La principal competencia es el estado nativo del proveedor frente a los agentes portables
La competencia más importante ya no es únicamente Google frente a OpenAI. Es continuidad nativa del proveedor frente a orquestación portable.
El estado nativo del proveedor da a un modelo acceso a funciones diseñadas junto con su sistema de inferencia. El razonamiento retenido puede conservar trabajo interno que sería costoso o incompleto expresar como texto ordinario. La compactación puede reducir un historial largo manteniendo la información seleccionada por los mecanismos del proveedor.
Este enfoque puede ofrecer mayor rendimiento con menos ingeniería del lado de la aplicación. Un desarrollador envía acciones a través de la interfaz compatible, mientras el proveedor gestiona una mayor parte del proceso de razonamiento a largo plazo.
La contrapartida es la dependencia. Si el rendimiento de un agente se basa en un estado opaco, los desarrolladores no pueden inspeccionar, exportar ni reproducir plenamente ese estado mediante otro proveedor. Un flujo de trabajo puede quedar vinculado a una API incluso cuando los prompts visibles parecen portables.
El harness estándar representa una arquitectura más transferible. El modelo puede escribir notas que siguen disponibles entre turnos, pero la interfaz no depende del estado interno específico de un proveedor. Los desarrolladores pueden inspeccionar esas notas y aplicar un patrón similar a otro modelo.
Esa transparencia no garantiza un rendimiento equivalente. La puntuación estándar de Gemini 4 Argon sugiere que las notas visibles no conservaron suficiente de lo que Argon necesitaba para estos entornos. El modelo pudo haber perdido hipótesis, relaciones causales o planes durante interacciones repetidas.
Un cuaderno explícito también puede volverse ruidoso. Si el agente registra demasiado, los prompts posteriores se llenan de observaciones obsoletas. Si registra demasiado poco, desaparecen descubrimientos importantes.
La compactación del proveedor puede abordar ese equilibrio, pero sus decisiones son menos visibles. Una puntuación alta indica que el sistema completo funcionó bajo las condiciones de evaluación. No revela cada detalle de lo que retuvo el proceso de compactación.
La política de pruebas de ARC Prize reconoce que los dos harnesses responden preguntas distintas. La organización los informa por separado en lugar de tratarlos como implementaciones intercambiables.
El harness estándar pregunta cómo se comporta un modelo a través de una interfaz mínima y neutral respecto al proveedor. El adaptador de proveedor pregunta cómo rinde cuando se combina con las funciones de gestión de contexto ofrecidas por su creador.
Ninguna de las dos preguntas es trivial. La portabilidad importa para los compradores que buscan poder de negociación, auditabilidad y proveedores de respaldo. El rendimiento nativo importa para los equipos que necesitan el mejor resultado disponible en flujos de trabajo difíciles.
GPT-6 Astra de OpenAI ofrece la referencia competitiva más clara. Su configuración de adaptador de proveedor sigue por delante de Argon en la clasificación de ARC-AGI-3. Su puntuación estándar también es superior al resultado estándar publicado de Argon, aunque la comparación debe tener en cuenta las ejecuciones incompletas de Argon.
El ranking oficial refuerza la importancia de separar las configuraciones. ARC Prize etiqueta los resultados estándar y los de adaptadores de proveedores, y explica que preservan distintas formas de estado.
Esa estructura presiona a todos los laboratorios de frontera. Un proveedor ya no puede publicar una única puntuación de agente sin explicar el entorno de ejecución que la produjo. Los compradores deberían preguntar si un resultado utilizó estado nativo, herramientas externas, muestreo repetido, memoria privada o andamiaje específico para tareas.
La presión también alcanza a las plataformas de agentes independientes. Su propuesta de valor suele basarse en hacer que los modelos sean intercambiables, al tiempo que añaden memoria, herramientas y control de flujos de trabajo por encima de la API.
Si los adaptadores nativos de los proveedores siguen produciendo brechas de esta magnitud, las capas de orquestación genéricas se enfrentan a una decisión difícil. Pueden seguir siendo portables, pero aceptar un menor rendimiento máximo, o crear integraciones profundas que reduzcan la intercambiabilidad práctica.
Los desarrolladores no deberían asumir que la elección es permanente. Las capacidades que comienzan como funciones especializadas de un arnés pueden pasar a las API estándar. Los sistemas de memoria explícita también pueden mejorar a medida que los equipos aprendan qué necesitan conservar los agentes.
Por ahora, Gemini 4 Argon hace que la división sea especialmente visible. El modelo parece casi saturado bajo una interfaz y lejos de la saturación bajo otra.
Esa brecha resulta más informativa que una clasificación única. Demuestra que la selección del modelo y la arquitectura del agente se han convertido en decisiones de compra inseparables.
Lo que la puntuación del 97.5% no demuestra
Una puntuación de referencia verificada es una evidencia sólida sobre una prueba definida, no un certificado general de inteligencia autónoma.
ARC Prize verifica las puntuaciones de frontera en tareas semiprivadas para reducir el sobreajuste directo. Los elementos de prueba se envían a las API de los proveedores bajo salvaguardas de retención de datos, y los resultados incluyen información de evaluación a nivel de tarea.
Ese proceso es más creíble que una puntuación autodeclarada en una prueba pública. Limita la capacidad de un laboratorio para ajustarse directamente al conjunto completo de evaluación.
La verificación tampoco amplía el alcance de la afirmación. Gemini 4 Argon logró un 97.5% bajo un arnés, una configuración de razonamiento, un método de puntuación y un presupuesto de acciones determinados. Cambiar esas condiciones puede cambiar el resultado, como demuestra la puntuación estándar.
Los entornos ARC-AGI-3 también pertenecen a un dominio específico. Evalúan la exploración y la adaptación dentro de mundos interactivos basados en cuadrículas. Los flujos de trabajo empresariales reales añaden instrucciones ambiguas, permisos cambiantes, sitios web poco fiables, documentos contradictorios y consecuencias por acciones equivocadas.
Un modelo puede destacar en el benchmark y aun así tener dificultades con un flujo de trabajo empresarial cuyos criterios de éxito sigan sin estar claros. A la inversa, un agente optimizado para un proceso empresarial estable puede generar valor sin obtener una puntuación alta en entornos abstractos.
Las ejecuciones estándar incompletas generan otra incertidumbre. ARC Prize atribuyó la cobertura faltante a problemas de API, pero el resultado público por sí solo no permite a los compradores saber con qué frecuencia se producirán interrupciones similares en producción.
Los agentes de larga duración necesitan capacidad de recuperación. Deben saber si una solicitud fallida puede reintentarse de forma segura, si el estado sobrevive a ese reintento y si una acción de herramienta interrumpida produjo un cambio externo.
Estas propiedades operativas no son secundarias. Un agente que razona correctamente pero pierde el estado tras un fallo de red puede ser menos útil que un modelo más débil con una recuperación predecible.
El resultado del 97.5% tampoco demuestra que un mayor esfuerzo de razonamiento siempre ayude. La configuración baja de Argon superó ligeramente a sus configuraciones de adaptador de proveedor media y alta. Esa estrecha diferencia podría reflejar la dinámica de las tareas y no una regla general, pero advierte contra equiparar más inferencia con mejores resultados.
Los equipos deberían probar las configuraciones de razonamiento frente a sus propios requisitos de latencia, fiabilidad y calidad. La trayectoria más cara o más larga no es automáticamente la mejor configuración.
El marco original de benchmark de ARC Prize también distingue la capacidad general del modelo de la ingeniería de arneses específica para tareas. Su informe técnico advierte que un arnés diseñado en torno a entornos públicos conocidos puede inflar el rendimiento sin transferirse a dominios no vistos.
El adaptador del proveedor no se presenta como un solucionador codificado manualmente y específico de ARC. Utiliza funciones generales de gestión de contexto. Aun así, los lectores deberían evitar convertir una alta puntuación interactiva en la afirmación de que el modelo ha alcanzado una inteligencia general de nivel humano.
La interpretación más sólida y defendible es más limitada. Gemini 4 Argon puede rendir extremadamente bien en tareas ARC-AGI-3 semiprivadas cuando su estado de razonamiento persiste mediante el diseño de adaptador de Google.
Una segunda conclusión defendible es que la misma capacidad no se transfiere limpiamente a través de la interfaz estándar de ARC Prize. Sigue sin resolverse si esto refleja una debilidad del modelo, un desajuste en el comportamiento de toma de notas, inestabilidad de la API o varios factores.
Las evaluaciones empresariales deberían reproducir ambos lados de esta prueba. Los equipos pueden comparar la interfaz de agente nativa de un proveedor con una implementación portátil que almacene explícitamente planes y evidencias.
Deberían medir la finalización de tareas, el trabajo repetido, la recuperación tras fallos y la calidad de la evidencia conservada. Para flujos de trabajo con gran carga de conocimiento, una base de conocimientos de IA trazable puede complementar la memoria del modelo al mantener el material fuente inspeccionable.
Eso no sustituye al estado de razonamiento. Crea un registro separado que los usuarios pueden auditar cuando la continuidad interna del modelo es opaca.
La diferencia de 47.7 puntos es, por tanto, una razón para realizar mejores evaluaciones, no para abandonar los benchmarks. Revela una variable de despliegue que una puntuación única habría ocultado.
Tres señales mostrarán si el resultado se transfiere
La próxima evidencia debe mostrar si la ventaja del adaptador de Argon se mantiene en pruebas más amplias, fallos operativos y despliegues reales.
La primera señal es una repetición completa con el arnés estándar. ARC Prize debería poder volver a ejecutar las 55 tareas semiprivadas después de que se resuelvan los problemas de API reportados.
Una ejecución completa establecería qué parte del resultado del 49.8% provino de la cobertura de tareas faltante. Si Argon se mantiene cerca de ese nivel, se refuerza el argumento de una brecha arquitectónica real.
Si la puntuación estándar aumenta de forma notable, la comparación original necesitará revisión. Sugeriría que la fiabilidad del servicio, y no solo el diseño de memoria, amplió la diferencia publicada.
La segunda señal es el rendimiento bajo arneses comparables de otros laboratorios. OpenAI ya proporciona la referencia principal, pero más resultados verificados mostrarían si las grandes ganancias de los adaptadores son comunes entre los modelos de frontera.
Si Anthropic, xAI u otro proveedor muestra un patrón similar, el estado nativo del proveedor parecerá una característica general de los agentes avanzados. La industria tendría entonces que tratar la elección del arnés como un campo estándar de reporte.
Si otros modelos se mantienen estables en ambos arneses, la brecha de Argon parecerá más específica del modelo. Google se enfrentaría entonces a presión para mejorar la continuidad portátil basada en notas o documentar con mayor claridad los requisitos del adaptador.
La tercera señal es la evidencia procedente de flujos de trabajo de producción de larga duración. Google afirma que Argon se está probando en ingeniería de software, investigación y ciberseguridad. Esos dominios pueden revelar si preservar el razonamiento mejora los resultados más allá de los juegos controlados.
Los informes útiles incluirían tasas de finalización de varios pasos, frecuencia de intervención, recuperación tras llamadas interrumpidas y el porcentaje de acciones que los usuarios deben deshacer. Las puntuaciones medias de benchmark no pueden sustituir esas mediciones operativas.
Los desarrolladores también deberían observar si Google expone más control sobre la compactación y el razonamiento retenido. Una interfaz que permita a los usuarios inspeccionar resúmenes, establecer políticas de retención o exportar estado duradero reduciría algunas preocupaciones de portabilidad y gobernanza.
Sin esos controles, los compradores reciben rendimiento, pero deben confiar en un proceso de memoria oculto. Ese acuerdo puede ser aceptable para tareas de bajo riesgo y más difícil de aprobar para trabajo regulado o sensible para la seguridad.
Por tanto, la puntuación de Gemini 4 Argon en ARC-AGI-3 debería cambiar la práctica de evaluación antes de cambiar la definición de inteligencia de nadie. El nombre de un modelo por sí solo ya no describe el producto evaluado.
Los equipos que comparen sistemas de agentes deberían registrar la versión del modelo, el nivel de razonamiento, el arnés, la política de memoria, el método de compactación de contexto y el comportamiento de recuperación ante fallos. También deberían conservar la evidencia utilizada para decisiones trascendentales.
La puntuación del 97.5% muestra lo que Argon puede hacer cuando está disponible la ruta preferida de gestión de estado de Google. La puntuación del 49.8% muestra cuánto rendimiento puede desaparecer cuando esa ruta cambia.
Qué resultado importa más depende del sistema que se esté comprando. El siguiente paso práctico es probar la interfaz exacta que utilizará su aplicación y después preguntar si su memoria sigue siendo precisa, inspeccionable y recuperable a lo largo de un flujo de trabajo completo.
