Pontuação do Gemini 4 Argon no ARC-AGI-3 Atinge 97,5%, mas o Teste Padrão Conta uma História Diferente

A pontuação do Gemini 4 Argon no ARC-AGI-3 chegou a 97,5% sob a infraestrutura de teste com adaptador do provedor da ARC Prize. O mesmo modelo obteve 49,8% na infraestrutura padrão. Essa diferença de 47,7 pontos é a verdadeira história.

A ARC Prize publicou os resultados verificados após testar seis configurações em sua série de benchmarks. O Gemini 4 Argon também obteve 98,5% no ARC-AGI-1 e 91,3% no ARC-AGI-2 com raciocínio elevado. Esses resultados colocam o Google DeepMind entre os principais laboratórios nas três gerações do teste.

Ainda assim, o ARC-AGI-3 mede um sistema interativo, não um modelo isolado respondendo a perguntas estáticas. Sua infraestrutura controla quais informações persistem entre ações e como históricos longos são gerenciados. O GPT-6 Astra da OpenAI continua sendo a comparação mais relevante porque também superou 95% com um adaptador do provedor.

Essa distinção muda a forma como desenvolvedores e compradores corporativos devem interpretar a manchete. O resultado de 97,5% sustenta as alegações do Google sobre raciocínio contínuo de longo horizonte. Ele não demonstra que o Argon oferece o mesmo desempenho por meio de todas as interfaces ou arquiteturas de implantação.

Portanto, o benchmark do Gemini 4 Argon é menos uma vitória simples do que uma demonstração de onde reside hoje a capacidade dos modelos. Cada vez mais, ela está no sistema combinado de modelo, memória, gestão de contexto, comportamento da API e runtime de agentes.

Resultados do Gemini 4 Argon no ARC-AGI-3 se Dividem Entre Duas Infraestruturas de Teste

A ARC Prize verificou um resultado excepcional, mas verificou duas versões muito diferentes da experiência do mesmo sistema.

O placar verificado lista o Gemini 4 Argon com 97,5% no ARC-AGI-3 com raciocínio baixo e a infraestrutura com adaptador do provedor. Os níveis médio e alto de raciocínio produziram 97,3% nessa configuração.

A infraestrutura padrão gerou um padrão diferente. O raciocínio baixo alcançou 49,8%, enquanto o raciocínio médio obteve 46,3%. A ARC Prize não publicou um resultado comparável para raciocínio alto em seu gráfico porque essa execução concluiu poucas tarefas demais.

Esse resultado é incomum por dois motivos. Primeiro, aumentar o nível de raciocínio indicado não melhorou a pontuação do adaptador do provedor. O raciocínio baixo superou por pouco as outras duas configurações.

Segundo, o adaptador do provedor produziu quase o dobro da pontuação padrão. Uma diferença tão grande não pode ser tratada como ruído normal de avaliação. Ela aponta para uma mudança estrutural no que o sistema testado consegue lembrar e reutilizar.

A ARC Prize define a infraestrutura padrão como uma interface neutra em relação ao provedor. Ela permite que um modelo mantenha notas que ele próprio escolhe preservar durante toda a execução em um ambiente.

O adaptador do provedor pode preservar o estado opaco de raciocínio entre solicitações. Ele também pode compactar uma interação longa quando o histórico se aproxima de um limite de contexto. O modelo pode então reutilizar trabalhos anteriores sem recriar todo o seu raciocínio a partir de notas visíveis.

Isso importa porque o ARC-AGI-3 não apresenta uma pergunta familiar com uma única resposta. O modelo entra em um ambiente interativo desconhecido, observa um estado, escolhe uma ação e vê o resultado. Ele precisa inferir as regras e o objetivo enquanto evita movimentos desperdiçados.

Uma hipótese fracassada ainda é útil se o sistema se lembra de por que ela falhou. Um experimento bem-sucedido só importa se a observação relevante persistir por tempo suficiente para influenciar decisões posteriores.

A infraestrutura padrão pede que o modelo externalize essa continuidade por meio de notas selecionadas. O adaptador do provedor mantém mais continuidade dentro do sistema do provedor. Ambas as configurações usam o Gemini 4 Argon, mas expõem quantidades diferentes do estado cognitivo contínuo do modelo.

A ARC Prize afirma que problemas de API também afetaram a avaliação padrão. Com raciocínio baixo, as execuções foram concluídas em 42 das 55 tarefas semiprivadas. O raciocínio médio concluiu 46 tarefas, enquanto o raciocínio alto concluiu apenas 19.

As pontuações informadas ainda cobriram todas as 55 tarefas. Tarefas incompletas contaram contra o resultado, embora o crédito parcial já obtido tenha sido mantido. Portanto, a pontuação de 49,8% é um resultado publicado real, mas também reflete uma execução de teste imperfeita.

Essa ressalva não elimina a diferença entre as infraestruturas. A configuração média concluiu mais tarefas que a configuração baixa e ainda assim obteve apenas 46,3%. Enquanto isso, todas as configurações com adaptador do provedor permaneceram acima de 97%.

A manchete correta não é que uma pontuação é autêntica e a outra inválida. A ARC Prize verificou ambas. A conclusão correta é que o resultado do Gemini 4 Argon no ARC-AGI-3 depende fortemente de como o sistema ao redor mantém o raciocínio entre ações.

Por que o ARC-AGI-3 Torna a Memória Parte do Teste

O ARC-AGI-3 transforma a gestão de contexto de um detalhe de implementação em uma capacidade medida.

O ARC-AGI-1 e o ARC-AGI-2 usam tarefas estáticas de raciocínio visual. Um sistema recebe exemplos que estabelecem uma transformação implícita e então aplica a regra inferida a uma nova grade. Esses testes enfatizam abstração e generalização sem uma longa sequência de ações no ambiente.

O ARC-AGI-3 substitui esse formato passivo por mundos interativos desconhecidos. O agente não recebe um manual detalhado. Ele deve experimentar, interpretar o feedback, revisar suas crenças e, por fim, descobrir como vencer.

O benchmark oficial ARC-AGI-3 concentra-se na adaptação sob incerteza. Humanos frequentemente conseguem transferir intuições comuns sobre objetos, movimento, causalidade e objetivos para esses mundos. Um sistema de IA precisa reconstruir conhecimento comparável a partir de observações.

O desenho técnico da ARC Prize impõe um orçamento de ações a essa exploração. Resolver um ambiente não basta se o agente gastar um número excessivo de movimentos sondando aleatoriamente. Portanto, o benchmark avalia tanto o progresso quanto a eficiência das ações.

O relatório técnico descreve a gestão de contexto como um desafio central. Os quadros dos ambientes usam grades de 64 por 64, e transportar repetidamente cada observação pode consumir rapidamente o contexto disponível.

Um agente competente precisa de mais do que uma grande janela bruta de contexto. Ele deve identificar quais mudanças importam, conectar ações a efeitos, preservar hipóteses e descartar detalhes irrelevantes. Isso se aproxima do problema enfrentado por agentes que operam navegadores, bases de código ou sistemas empresariais.

Considere um agente de programação que investiga uma falha intermitente de teste. Ele pode inspecionar logs, alterar uma configuração, executar os testes novamente, comparar resultados e retornar a uma hipótese anterior. Perder a cadeia causal entre essas ações pode levar o agente a repetir trabalho ou aceitar uma explicação falsa.

Um agente corporativo de pesquisa enfrenta o mesmo problema em vários documentos. Ele precisa distinguir fatos estabelecidos de interpretações provisórias enquanto preserva suas fontes. Uma grande capacidade de entrada, por si só, não garante que a evidência correta continue influente.

O ARC-AGI-3 comprime esses problemas em ambientes controlados. Os mundos são artificiais, mas a necessidade de aprender com feedback sequencial é reconhecível. Isso torna o benchmark mais relevante para o comportamento de agentes do que um exame de turno único.

Também torna as comparações mais difíceis. Em um benchmark estático, o prompt e a resposta gerada definem grande parte do sistema testado. Em um benchmark interativo, decisões de orquestração se acumulam ao longo de dezenas ou centenas de etapas.

O sistema pode precisar decidir o que entra no próximo prompt, o que se torna uma nota durável e quando um histórico mais antigo deve ser resumido. Ele também pode precisar lidar com chamadas de API que falharam sem corromper seu estado.

Essas decisões costumam ser tomadas fora do modelo base. Ainda assim, elas influenciam diretamente se o modelo parece capaz de manter um raciocínio contínuo.

O Google projetou o Argon para trajetórias longas. Seu anúncio do modelo afirma que o modelo suporta um limite de saída de um milhão de tokens e é voltado a trabalhos complexos de múltiplas etapas. O Google também descreve aplicações em engenharia de software, pesquisa e cibersegurança defensiva.

Essas continuam sendo alegações da empresa, salvo quando avaliadas de forma independente em cada domínio. Ainda assim, o resultado do adaptador do provedor é consistente com a proposição mais restrita de que o Argon se beneficia de um estado de raciocínio preservado.

A infraestrutura padrão expõe o outro lado. Um modelo construído em torno de trajetórias internas persistentes pode perder grande parte de sua vantagem quando é forçado a operar por uma interface mais limitada e neutra em relação ao provedor.

É por isso que a comparação entre as infraestruturas do ARC-AGI-3 importa. Ela pergunta se a capacidade é transferida junto com o nome do modelo ou se depende de uma pilha específica de entrega.

A Principal Disputa É Entre Estado Nativo do Provedor e Agentes Portáteis

A competição mais importante já não é apenas Google versus OpenAI. É continuidade nativa do provedor versus orquestração portátil.

O estado nativo do provedor dá a um modelo acesso a recursos projetados junto com seu sistema de inferência. O raciocínio retido pode preservar trabalho interno que seria caro ou incompleto expressar como texto comum. A compactação pode reduzir um histórico longo enquanto mantém informações selecionadas pelos mecanismos do provedor.

Essa abordagem pode proporcionar desempenho superior com menos engenharia no lado da aplicação. Um desenvolvedor envia ações pela interface compatível, enquanto o provedor administra uma parcela maior do processo de raciocínio de longo prazo.

A contrapartida é a dependência. Se o desempenho de um agente depende de um estado opaco, os desenvolvedores não conseguem inspecionar, exportar ou reproduzir totalmente esse estado por meio de outro provedor. Um fluxo de trabalho pode ficar vinculado a uma API mesmo quando os prompts visíveis parecem portáteis.

A infraestrutura padrão representa uma arquitetura mais transferível. O modelo pode escrever notas que permanecem disponíveis entre turnos, mas a interface não depende de estado interno específico do provedor. Os desenvolvedores podem inspecionar essas notas e aplicar um padrão semelhante a outro modelo.

Essa transparência não garante desempenho equivalente. A pontuação padrão do Gemini 4 Argon sugere que as notas visíveis não preservaram o suficiente do que o Argon precisava para esses ambientes. O modelo pode ter perdido hipóteses, relações causais ou planos durante interações repetidas.

Um caderno explícito também pode se tornar ruidoso. Se o agente registra demais, prompts posteriores ficam cheios de observações obsoletas. Se registra de menos, descobertas importantes desaparecem.

A compactação do provedor pode resolver esse equilíbrio, mas suas decisões são menos visíveis. Uma pontuação alta informa aos usuários que o sistema completo funcionou sob as condições de avaliação. Ela não revela todos os detalhes do que o processo de compactação reteve.

A política de testes da ARC Prize reconhece que as duas infraestruturas respondem a perguntas diferentes. A organização as informa separadamente, em vez de tratá-las como implementações intercambiáveis.

A infraestrutura padrão pergunta como um modelo se comporta por meio de uma interface mínima e neutra em relação ao provedor. O adaptador do provedor pergunta como ele se sai quando combinado com recursos de gestão de contexto oferecidos por seu criador.

Nenhuma das perguntas é trivial. A portabilidade importa para compradores que desejam poder de negociação, auditabilidade e provedores de contingência. O desempenho nativo importa para equipes que precisam do melhor resultado disponível em fluxos de trabalho difíceis.

O GPT-6 Astra da OpenAI oferece a referência competitiva mais clara. Sua configuração com adaptador do provedor continua à frente do Argon no ranking do ARC-AGI-3. Sua pontuação padrão também é maior do que o resultado padrão publicado do Argon, embora a comparação precise considerar as execuções incompletas do Argon.

O ranking oficial reforça a importância de separar as configurações. O ARC Prize identifica os resultados padrão e dos adaptadores de provedores e explica que eles preservam diferentes formas de estado.

Essa estrutura pressiona todos os laboratórios de ponta. Um provedor não pode mais publicar uma única pontuação de agente sem explicar o ambiente de execução que a produziu. Compradores devem perguntar se um resultado utilizou estado nativo, ferramentas externas, amostragem repetida, memória privada ou estruturas específicas para a tarefa.

A pressão também alcança plataformas independentes de agentes. Sua proposta de valor costuma se basear em tornar os modelos intercambiáveis, ao mesmo tempo que adicionam memória, ferramentas e controle de fluxo de trabalho acima da API.

Se os adaptadores nativos dos provedores continuarem produzindo diferenças dessa magnitude, camadas genéricas de orquestração enfrentarão uma escolha difícil. Elas podem permanecer portáteis, mas aceitar desempenho máximo inferior, ou criar integrações profundas que reduzem a intercambiabilidade prática.

Desenvolvedores não devem presumir que essa escolha seja permanente. Capacidades que começam como recursos especializados de harness podem migrar para APIs padrão. Sistemas explícitos de memória também podem melhorar à medida que as equipes aprendem o que os agentes precisam reter.

Por enquanto, Gemini 4 Argon torna essa divisão excepcionalmente visível. O modelo parece quase saturado sob uma interface e longe da saturação sob outra.

Essa diferença é mais informativa do que uma única classificação. Ela mostra que a seleção de modelos e a arquitetura de agentes se tornaram decisões de compra inseparáveis.

O que a pontuação de 97,5% não estabelece

Uma pontuação verificada em benchmark é uma forte evidência sobre um teste definido, não um certificado geral de inteligência autônoma.

O ARC Prize verifica pontuações de ponta em tarefas semiprivadas para reduzir o sobreajuste direto. Os itens de teste são enviados às APIs dos provedores com salvaguardas de retenção de dados, e os resultados incluem informações de avaliação por tarefa.

Esse processo é mais confiável do que uma pontuação autodeclarada em um teste público. Ele limita a capacidade de um laboratório de ajustar diretamente seu sistema em relação ao conjunto completo de avaliação.

Ainda assim, a verificação não amplia o escopo da alegação. Gemini 4 Argon alcançou 97,5% sob um harness nomeado, uma configuração de raciocínio, um método de pontuação e um orçamento de ações específicos. Alterar essas condições pode mudar o resultado, como demonstra a pontuação padrão.

Os ambientes ARC-AGI-3 também ocupam um domínio específico. Eles testam exploração e adaptação em mundos interativos baseados em grades. Fluxos de trabalho empresariais reais adicionam instruções ambíguas, permissões mutáveis, sites não confiáveis, documentos conflitantes e consequências para ações equivocadas.

Um modelo pode se destacar no benchmark e ainda assim ter dificuldades com um fluxo de trabalho corporativo cujos critérios de sucesso permanecem pouco claros. Por outro lado, um agente otimizado para um processo de negócios estável pode gerar valor sem obter pontuações altas em ambientes abstratos.

As execuções padrão incompletas criam outra incerteza. O ARC Prize atribuiu a cobertura ausente a problemas de API, mas o resultado público, por si só, não permite que compradores saibam com que frequência interrupções semelhantes ocorrerão em produção.

Agentes de longa execução precisam de comportamento de recuperação. Eles devem saber se uma solicitação com falha pode ser repetida com segurança, se o estado sobrevive a essa repetição e se uma ação de ferramenta interrompida produziu uma alteração externa.

Essas propriedades operacionais não são secundárias. Um agente que raciocina corretamente, mas perde o estado após uma falha de rede, pode ser menos útil do que um modelo mais fraco com recuperação previsível.

O resultado de 97,5% também não prova que maior esforço de raciocínio sempre ajuda. A configuração baixa de Argon superou ligeiramente suas configurações média e alta no adaptador do provedor. Essa pequena diferença pode refletir a dinâmica das tarefas, e não uma lei geral, mas alerta contra equiparar mais inferência a melhores resultados.

As equipes devem testar configurações de raciocínio em relação a seus próprios requisitos de latência, confiabilidade e qualidade. A trajetória mais cara ou mais longa não é automaticamente a melhor configuração.

A estrutura original de benchmark do ARC Prize também diferencia a capacidade geral do modelo da engenharia de harness específica para a tarefa. Seu relatório técnico alerta que um harness projetado em torno de ambientes públicos conhecidos pode inflar o desempenho sem transferi-lo para domínios inéditos.

O adaptador do provedor não é apresentado como um solucionador codificado manualmente e específico para ARC. Ele utiliza recursos gerais de gerenciamento de contexto. Ainda assim, os leitores devem evitar transformar uma alta pontuação interativa em uma alegação de que o modelo alcançou inteligência geral de nível humano.

A interpretação defensável mais forte é mais restrita. Gemini 4 Argon pode ter um desempenho extremamente bom em tarefas semiprivadas do ARC-AGI-3 quando seu estado de raciocínio persiste por meio do design de adaptador do Google.

Uma segunda conclusão defensável é que a mesma capacidade não se transfere de forma limpa pela interface padrão do ARC Prize. Ainda não está resolvido se isso reflete uma fraqueza do modelo, uma incompatibilidade no comportamento de tomada de notas, instabilidade da API ou vários fatores.

Avaliações empresariais devem reproduzir ambos os lados desse teste. As equipes podem comparar a interface nativa de agente de um provedor com uma implementação portátil que armazena planos e evidências explicitamente.

Elas devem medir a conclusão de tarefas, o trabalho repetido, a recuperação após falhas e a qualidade das evidências retidas. Para fluxos de trabalho intensivos em conhecimento, uma base de conhecimento de IA rastreável pode complementar a memória do modelo ao manter o material-fonte inspecionável.

Isso não substitui o estado de raciocínio. Cria um registro separado que os usuários podem auditar quando a continuidade interna do modelo é opaca.

A diferença de 47,7 pontos é, portanto, um motivo para realizar avaliações melhores, não para abandonar benchmarks. Ela revela uma variável de implantação que uma única pontuação teria ocultado.

Três sinais mostrarão se o resultado se transfere

As próximas evidências devem mostrar se a vantagem do adaptador de Argon se mantém em testes mais amplos, falhas operacionais e implantações reais.

O primeiro sinal é um novo teste completo com o harness padrão. O ARC Prize deve conseguir executar novamente todas as 55 tarefas semiprivadas após a resolução dos problemas de API relatados.

Uma execução completa estabeleceria quanto do resultado de 49,8% veio da cobertura incompleta das tarefas. Se Argon permanecer próximo desse nível, o argumento de uma lacuna genuína de arquitetura se fortalecerá.

Se a pontuação padrão subir acentuadamente, a comparação original precisará ser revisada. Isso sugeriria que a confiabilidade do serviço, e não apenas o design da memória, ampliou a diferença publicada.

O segundo sinal é o desempenho sob harnesses comparáveis de outros laboratórios. OpenAI já fornece a principal referência, mas mais resultados verificados mostrariam se grandes ganhos com adaptadores são comuns entre modelos de ponta.

Se Anthropic, xAI ou outro provedor apresentar um padrão semelhante, o estado nativo do provedor parecerá um recurso geral de agentes avançados. A indústria então precisará tratar a escolha do harness como um campo padrão de relatório.

Se outros modelos permanecerem estáveis nos dois harnesses, a diferença de Argon parecerá mais específica do modelo. O Google então enfrentará pressão para melhorar a continuidade portátil baseada em notas ou documentar com mais clareza os requisitos do adaptador.

O terceiro sinal é a evidência de fluxos de trabalho de produção de longa duração. O Google afirma que Argon está sendo testado em engenharia de software, pesquisa e cibersegurança. Esses domínios podem revelar se o raciocínio preservado melhora os resultados além de jogos controlados.

Relatórios úteis incluiriam taxas de conclusão em múltiplas etapas, frequência de intervenção, recuperação após chamadas interrompidas e o percentual de ações que os usuários precisam desfazer. Pontuações médias de benchmark não podem substituir essas medições operacionais.

Desenvolvedores também devem observar se o Google disponibiliza mais controle sobre a compactação e o raciocínio retido. Uma interface que permita aos usuários inspecionar resumos, definir políticas de retenção ou exportar estado durável reduziria algumas preocupações de portabilidade e governança.

Sem esses controles, os compradores recebem desempenho, mas precisam confiar em um processo de memória oculto. Esse arranjo pode ser aceitável para tarefas de baixo risco e mais difícil de aprovar para trabalhos regulados ou sensíveis à segurança.

A pontuação de Gemini 4 Argon no ARC-AGI-3 deve, portanto, mudar a prática de avaliação antes de mudar a definição de inteligência de qualquer pessoa. O nome de um modelo, por si só, já não descreve o produto testado.

Equipes que comparam sistemas de agentes devem registrar a versão do modelo, o nível de raciocínio, o harness, a política de memória, o método de compactação de contexto e o comportamento de recuperação de falhas. Elas também devem preservar as evidências usadas em decisões relevantes.

A pontuação de 97,5% mostra o que Argon pode fazer quando o caminho preferido de gerenciamento de estado do Google está disponível. A pontuação de 49,8% mostra quanto desempenho pode desaparecer quando esse caminho muda.

Qual resultado importa mais depende do sistema que está sendo adquirido. O próximo passo prático é testar a interface exata que sua aplicação usará e, então, perguntar se sua memória permanece precisa, inspecionável e recuperável ao longo de um fluxo de trabalho completo.