OpenAI afirma que duas configurações de API triplicaram a pontuação do GPT-5.6 Sol no ARC-AGI-3

A OpenAI alterou duas configurações de API e quase triplicou a pontuação pública do GPT-5.6 Sol no ARC-AGI-3, de 13,3% para 38,3%. O relato da OpenAI se concentra em raciocínio retido e compactação, duas escolhas de gestão de contexto disponíveis por meio da Responses API. Juntas, segundo a OpenAI, elas também reduziram os tokens de saída em um fator de seis.

Esse resultado complica a interpretação usual de um benchmark de IA. O modelo testado não recebeu novo treinamento, um orçamento de raciocínio maior nem uma ferramenta específica para jogos. Em vez disso, a OpenAI alterou o harness, ou seja, a camada de software que transmite observações, ações e o histórico da conversa entre o modelo e o benchmark.

Portanto, o conflito central não é o GPT-5.6 Sol contra outro modelo. É um harness genérico e padronizado contra um harness de produção adaptado ao modelo. Um favorece a comparabilidade e expõe agentes à mesma interface básica. O outro preserva o estado que, segundo a OpenAI, seus modelos de raciocínio precisam para trabalhos interativos longos.

Essa distinção é importante porque o ARC-AGI-3 não pede apenas uma resposta final. Ele apresenta jogos desconhecidos sem instruções em linguagem natural. Os agentes precisam inferir as regras de cada jogo, descobrir seu objetivo, testar hipóteses, lembrar de falhas e se adaptar ao longo de muitas ações.

Um sistema que esquece seu raciocínio após cada movimento enfrenta uma tarefa diferente daquela de um sistema capaz de preservar um plano em evolução. Da mesma forma, um agente que perde suas observações mais antigas quando o contexto se esgota não vivencia o mesmo jogo que outro que recebe um resumo compacto.

O resultado da OpenAI não resolve qual harness produz o leaderboard mais justo. Ele mostra que o design do harness pode alterar a capacidade medida mais do que muitas atualizações de modelo. Isso pressiona operadores de benchmarks, desenvolvedores de modelos e equipes corporativas de avaliação a documentar todo o sistema testado.

Como a pontuação saltou, segundo a OpenAI

O modelo permaneceu o mesmo, enquanto seu caminho de memória mudou.

A OpenAI publicou sua análise em 29 de julho de 2026, após investigar resultados inesperadamente fracos do GPT-5.6 Sol. A preocupação inicial era simples. Um modelo que havia lidado com matemática difícil e longas sessões de jogos parecia ineficaz em ambientes bidimensionais de aparência simples.

A discrepância original envolvia vários números de pontuação. A OpenAI observou que o GPT-5.6 Sol havia recebido uma pontuação geral de 7,8% no ARC-AGI-3, enquanto o GPT-5.5 obteve 0,4%. No conjunto público de tarefas usado em sua comparação controlada, o GPT-5.6 Sol marcou 13,3% com o harness oficial.

A OpenAI então reconstruiu a avaliação por meio de sua Responses API. O harness revisado reteve o raciocínio entre as ações e substituiu o truncamento contínuo pela compactação. Segundo a análise de benchmark da empresa, essa configuração elevou a pontuação no conjunto público para 38,3%.

A pontuação usa Relative Human Action Efficiency, ou RHAE. Essa métrica compara o progresso bem-sucedido com o número de ações de que os humanos precisam. Um agente recebe menos crédito quando resolve uma tarefa de modo ineficiente, de modo que exploração cega e erros repetidos acarretam um custo mensurável.

A OpenAI estimou que o testador humano médio marcou 48% na mesma base. Essa estimativa veio de registros oficiais de jogabilidade, e não da afirmação de que cada humano obtém 48%. Separadamente, a ARC Prize descreve 100% como a pontuação por vencer todos os jogos com a mesma eficiência de sua linha de base humana.

Assim, o resultado de 38,3% não eliminou a diferença em relação aos humanos. Mas aproximou muito mais o GPT-5.6 Sol do testador médio estimado pela OpenAI. Mais importante, isso ocorreu sem uma atualização do modelo.

A descoberta sobre tokens de saída acrescenta outra inversão. Uma memória mais longa pode parecer mais cara porque o agente carrega mais contexto. Ainda assim, a OpenAI relata que a configuração revisada usou seis vezes menos tokens de saída. O modelo gastou menos saída reconstruindo repetidamente regras e planos que já havia desenvolvido.

Uma repetição de jogo oferece um exemplo concreto. A OpenAI mostrou um ambiente em que nenhum modelo de fronteira no leaderboard relevante completou além do primeiro nível. Seu harness revisado da Responses API teria permitido ao GPT-5.6 Sol concluir todos os seis níveis.

Os resultados verificados da ARC Prize fornecem um contexto útil. Seu scorecard do GPT-5.6 lista o Sol com raciocínio máximo e uma pontuação de 7,78% no ARC-AGI-3 semi-privado. Também registra um resultado de 87% no jogo público FT09, o primeiro jogo público do ARC-AGI-3 vencido por um modelo.

Esses números descrevem conjuntos e perspectivas de avaliação diferentes, portanto os leitores não devem combiná-los em um único número de desempenho. A comparação controlada de 13,3% a 38,3% é a evidência relevante para a afirmação da OpenAI sobre as duas configurações.

Essa distinção é fácil de ignorar na cobertura de benchmarks. Um experimento em conjunto público, uma pontuação verificada semi-privada e um resultado em um único jogo respondem a perguntas diferentes. O experimento da OpenAI pergunta especificamente como um modelo se comporta quando o harness preserva mais de seu estado de trabalho.

A resposta é marcante, mas limitada. O raciocínio retido e a compactação melhoraram esse modelo nesse conjunto público de tarefas, sob a implementação da OpenAI. O resultado não estabelece um ganho idêntico para todos os modelos, agentes, tamanhos de contexto ou cargas de trabalho de produção.

O harness oficial também estava testando o esquecimento

O ARC-AGI-3 mediu o agente e a arquitetura de informação ao seu redor.

O ARC-AGI-3 difere dos benchmarks estáticos, nos quais um modelo recebe uma pergunta e retorna uma resposta. Ele consiste em ambientes interativos que exigem percepção, planejamento, ação e correção repetidos. Sua visão geral do benchmark enfatiza aquisição de objetivos, modelos de mundo adaptáveis, planejamento de longo horizonte e aprendizado orientado pela experiência.

O benchmark não contém instruções em linguagem natural que expliquem cada jogo. Um agente recebe uma representação do quadro atual e um conjunto de ações possíveis. Ele precisa determinar quais objetos importam, como as ações alteram o ambiente e o que conta como progresso.

Essa configuração faz da memória parte da capacidade avaliada. Uma hipótese útil pode surgir após várias ações fracassadas. Uma observação posterior pode confirmar ou refutar essa hipótese. Se o harness apaga o raciocínio que conecta esses eventos, o agente precisa reconstruir sua interpretação a partir de um registro mais limitado.

A OpenAI constatou que o harness oficial descartava o raciocínio privado após cada ação no jogo. O modelo ainda podia ver movimentos anteriores e notas breves. No entanto, não conseguia acessar os planos, descobertas ou pressupostos que produziram esses movimentos.

O harness também usava truncamento contínuo. Quando a conversa excedia 175.000 caracteres, ele removia as mensagens mais antigas. Portanto, execuções longas podiam apagar observações e ações iniciais, mesmo quando esses eventos ainda eram relevantes para o nível atual.

Esses comportamentos eram consequências intencionais de um design genérico, não evidência de um benchmark defeituoso. A ARC Prize favorece um harness relativamente simples porque ele expõe limitações dos modelos e permite a comparação entre provedores. Implantações comerciais frequentemente usam recursos específicos de provedores que não se mapeiam de forma limpa entre APIs.

Isso cria o principal antagonismo do artigo: avaliação padronizada versus avaliação alinhada à produção.

Um harness padronizado pergunta qual modelo tem o melhor desempenho por meio de uma interface comum. Essa abordagem limita o tratamento especial e reduz a chance de que a otimização privada de um provedor domine a comparação.

Um harness alinhado à produção pergunta quão bem um modelo se sai quando implantado como seu criador recomenda. Essa abordagem se assemelha a aplicações reais, mas pode tornar menos nítida a fronteira entre capacidade do modelo e engenharia de sistemas.

Nenhuma das perguntas é desprovida de sentido. Elas apenas produzem medições diferentes.

A preocupação surge quando uma pontuação de leaderboard é apresentada como propriedade apenas do modelo. Se um harness apaga repetidamente o estado que outro modelo espera reter, o teste também mede a compatibilidade entre o treinamento do modelo e a infraestrutura de avaliação.

A ARC Prize reconheceu o quanto os ambientes continuam difíceis. Seu relatório técnico afirma que humanos resolveram 100% dos ambientes testados, enquanto sistemas de fronteira marcaram menos de 1% em março de 2026. O benchmark foi projetado para expor uma ampla lacuna de eficiência adaptativa.

As pontuações posteriores do GPT-5.6 Sol mostram progresso, especialmente em jogos públicos individuais. No entanto, um resultado de 38,3% no conjunto público ainda deixa uma margem substancial até a eficiência de nível humano. Ele também vem do próprio harness e da análise do desenvolvedor do modelo.

A lição não é que o ARC-AGI-3 se tornou fácil. É que um benchmark interativo pode testar acidentalmente amnésia artificial juntamente com planejamento e exploração.

Essa questão vai além dos jogos. Agentes de programação precisam lembrar decisões de arquitetura entre chamadas de ferramentas. Agentes de pesquisa precisam reter quais fontes sustentam ou contradizem uma afirmação. Sistemas de atendimento ao cliente precisam preservar restrições introduzidas no início de uma conversa.

Uma equipe corporativa que avalia esses sistemas descartando repetidamente seu estado interno pode subestimar um desempenho útil. Uma equipe que permite otimização irrestrita e específica de provedor pode produzir resultados difíceis de comparar ou reproduzir.

A melhor resposta é uma divulgação mais completa. Um relatório de benchmark deve identificar a versão do modelo, o esforço de raciocínio, a política de contexto, itens de resposta retidos, comportamento de compactação, prompt, ferramentas, orçamento de ações e método de pontuação. Sem essas informações, uma pontuação carece de contexto operacional essencial.

O raciocínio retido impede o agente de recomeçar

Preservar o raciocínio deu continuidade ao GPT-5.6 Sol entre ações, reduzindo o trabalho repetido de interpretação.

Modelos de raciocínio geram itens de raciocínio interno antes de produzir texto visível ou chamadas de ferramentas. Esses itens não são o mesmo que uma explicação voltada ao usuário. Eles fazem parte do estado de trabalho do modelo durante uma interação de múltiplas etapas.

No harness oficial analisado pela OpenAI, cada ação no jogo efetivamente encerrava esse estado. A solicitação seguinte incluía movimentos anteriores e notas curtas, mas descartava o raciocínio que os conectava. O GPT-5.6 Sol enfrentava repetidamente a mesma carga interpretativa.

Imagine um agente explorando uma grade com objetos coloridos. Ele testa se uma cor indica obstáculos e então descobre que a mesma cor muda após um movimento bem-sucedido. Essa observação pode derrubar sua primeira teoria e estabelecer uma nova regra.

Um registro de movimentos documenta em que o agente clicou. Ele não preserva necessariamente por que o agente clicou, quais alternativas rejeitou nem o que o quadro resultante indicava. Esses detalhes podem determinar se a próxima ação avança uma estratégia ou repete um erro anterior.

A OpenAI usou a Responses API e transmitiu o identificador da resposta anterior entre os turnos. Sua atual orientação sobre modelos explica que o GPT-5.6 pode reutilizar itens de raciocínio disponíveis entre turnos. Desenvolvedores também podem controlar quanto do raciocínio anterior permanece relevante por meio das configurações de contexto de raciocínio.

Segundo a OpenAI, o raciocínio retido alterou o comportamento do GPT-5.6 Sol de duas maneiras. O modelo passou menos tempo pensando antes de cada ação e usou estratégias mais coerentes em execuções mais longas. Ele não precisava mais reinterpretar o jogo desde o início após cada movimento.

Isso explica como o uso de tokens poderia cair enquanto o estado retido crescia. Os tokens de saída incluem o novo raciocínio e as respostas gerados pelo modelo. Se os insights anteriores permanecem disponíveis, o modelo pode evitar produzir outra reconstrução longa.

A distinção se assemelha à diferença entre uma equipe de projeto manter registros de decisões e receber apenas uma lista de tarefas concluídas. A lista mostra o que aconteceu. Ela não preserva as opções rejeitadas, as restrições ou as evidências que moldaram o plano atual.

Para trabalhadores do conhecimento, o mesmo problema aparece quando um assistente de IA conduz uma investigação longa. Cada documento recuperado altera a teoria de trabalho. Se o sistema preserva apenas links e respostas curtas, conclusões posteriores podem perder o raciocínio que tornou essas fontes relevantes.

É nesse ponto que uma base de conhecimento pesquisável externa pode complementar o contexto do modelo. Registros duráveis das fontes devem continuar inspecionáveis mesmo quando um agente compacta seu estado de trabalho temporário.

Raciocínio retido ainda introduz concessões. Um raciocínio antigo pode ficar desatualizado após uma mudança na tarefa. Uma teoria inicial incorreta pode influenciar etapas posteriores se o sistema nunca a marcar como rejeitada. Mais memória não é automaticamente uma memória melhor.

As orientações da API da OpenAI refletem essa questão. Elas permitem que desenvolvedores preservem o raciocínio em todos os turnos quando os objetivos permanecem estáveis ou se concentrem no turno atual quando o raciocínio anterior perdeu relevância. Essa escolha deve seguir o fluxo de trabalho, não uma regra geral.

Os jogos ARC-AGI-3 oferecem um cenário favorável para a continuidade. O objetivo e o ambiente permanecem relacionados entre as ações, portanto as hipóteses anteriores geralmente importam. Uma conversa de suporte que muda abruptamente de assunto apresenta um problema diferente de gestão de contexto.

Políticas de segurança e privacidade também afetam a implementação. Algumas organizações não podem armazenar o histórico de respostas indefinidamente. Outras usam configurações sem estado ou de retenção zero. Essas equipes precisam gerir cuidadosamente os itens de raciocínio criptografados e outros objetos de resposta necessários para a continuidade.

Reter o raciocínio, portanto, descreve um comportamento do sistema, não uma permissão para expor conteúdo privado de cadeia de pensamento. As aplicações devem preservar itens de resposta compatíveis por meio da API, ao mesmo tempo que apresentam explicações concisas e apropriadas aos usuários.

O experimento da OpenAI também sugere uma pergunta prática para avaliação. Se um agente falha após trinta etapas, os revisores devem verificar se seu plano estava errado ou se o harness removeu o estado necessário para continuar esse plano.

Esses modos de falha exigem correções diferentes. Uma falha de raciocínio pede um modelo, prompt ou estratégia melhores. Uma falha de gestão de estado pede uma infraestrutura diferente. Tratar ambos como inteligência do modelo obscurece onde o esforço de engenharia deve se concentrar.

A Compactação Preserva o Passado Sem Carregar Tudo

A compactação substituiu a exclusão brusca por uma representação mais curta do histórico que ainda mantinha o que importava.

Todo agente de longa execução acaba encontrando um limite de contexto ou um limite econômico. Manter cada observação, resultado de ferramenta e pensamento intermediário pode tornar solicitações posteriores mais lentas e menos focadas. Apenas reter o raciocínio não resolve o crescimento ilimitado do contexto.

O harness oficial do ARC-AGI-3 lidou com o crescimento por meio de truncamento contínuo. Quando o histórico ultrapassava seu limite, ele removia o conteúdo mais antigo. Essa política é previsível e neutra em relação ao provedor, mas pressupõe que informações antigas importam menos por serem antigas.

Jogos interativos violam essa premissa. Uma ação inicial pode revelar o objetivo. Uma pista vista perto do começo pode explicar um símbolo encontrado muito mais tarde. Excluir cronologicamente pode apagar conhecimento fundamental enquanto preserva quadros recentes, porém repetitivos.

A compactação usa uma política diferente. Ela condensa o contexto anterior em uma representação menor que preserva o estado relevante. O agente pode continuar com um contexto administrável sem carregar cada token original.

A OpenAI afirma que sua implementação de ARC usou um limite de 175.000 tokens para compactação. O harness oficial usou 175.000 caracteres para truncamento. A OpenAI argumenta que esses limites eram amplamente comparáveis porque as grades de ação foram tokenizadas em aproximadamente um caractere por token.

Esse detalhe de implementação importa. Se os limites fossem substancialmente diferentes, a melhora na pontuação poderia refletir um contexto efetivo maior, em vez de uma estratégia de memória melhor. A comparação da OpenAI tenta manter o limite próximo enquanto altera como informações mais antigas sobrevivem.

A documentação de compactação da empresa descreve a compactação como uma forma de reduzir o tamanho do contexto durante fluxos de trabalho longos da Responses API. O estado compactado resultante pode permitir a continuidade sem exigir que as aplicações reenviem uma transcrição ilimitada.

A compactação não é armazenamento sem perdas. Um resumo pode omitir detalhes, reduzir incertezas ou preservar uma interpretação incorreta. Seu valor depende de selecionar as informações de que as ações futuras precisarão.

O ARC-AGI-3 cria um teste exigente para essa seleção. O agente deve preservar regras descobertas, objetivos, significados de objetos, hipóteses fracassadas, progresso de nível e ações planejadas. Grades repetidas e raciocínio redundante podem receber menos atenção.

A OpenAI relata que o harness compactado preservou o aprendizado ao longo de execuções mais longas e gerou menos tokens de saída. Sua animação comparativa mostrou o agente revisado raciocinando menos por ação e avançando pelos jogos mais rapidamente.

A redução de seis vezes nos tokens de saída é operacionalmente importante mesmo sem discutir preços monetários. Um volume de saída menor pode reduzir a latência e liberar capacidade para mais avaliações. Também pode tornar os rastros do agente mais fáceis de inspecionar, desde que o estado compactado continue suficientemente informativo.

No entanto, os leitores devem tratar esse número como específico dessa carga de trabalho. O ARC-AGI-3 produz grades de texto repetitivas e muitas ações sequenciais. Uma revisão jurídica, um fluxo de trabalho médico ou uma análise financeira podem conter detalhes que resistem a uma sumarização agressiva.

As equipes de avaliação devem testar a qualidade da compactação separadamente do sucesso final da tarefa. Elas podem comparar restrições retidas, consistência factual, recuperação após interrupções e a capacidade do agente de explicar quais evidências moldaram uma decisão.

Um teste útil introduz um fato crítico no início, preenche o contexto com atividades posteriores e então verifica se o agente aplica esse fato corretamente. Outro teste altera um requisito no meio do processo e confirma se a compactação preserva a revisão, em vez da instrução original.

Esses testes expõem uma concessão central. O truncamento contínuo oferece uma perda transparente porque os revisores sabem exatamente quais mensagens desapareceram. A compactação oferece continuidade seletiva, mas suas omissões podem ser mais difíceis de detectar.

Para agentes em produção, a continuidade seletiva muitas vezes se ajusta melhor à tarefa. Humanos não se lembram de cada quadro visual ou frase. Eles mantêm um modelo de trabalho que prioriza objetivos, restrições, descobertas e questões não resolvidas.

Essa analogia não deve justificar falhas ocultas. Desenvolvedores precisam de rastros, ferramentas de reprodução e avaliações controladas para verificar se a compactação preservou o estado correto. Caso contrário, uma resposta final confiante pode ocultar uma restrição inicial ausente.

O resultado da OpenAI, portanto, tem menos a ver com ampliar uma janela de contexto. Trata-se de mudar o que sobrevive quando a janela não consegue comportar tudo.

O Que a Pontuação Triplicada Não Prova

Um experimento executado pelo desenvolvedor com um conjunto público não pode determinar a configuração universal de benchmark mais justa.

As evidências da OpenAI sustentam uma conclusão limitada e valiosa. O GPT-5.6 Sol teve melhor desempenho na implementação de ARC-AGI-3 da OpenAI quando o raciocínio foi retido e a compactação substituiu o truncamento contínuo.

Isso não prova que o harness oficial seja inválido. A configuração oficial atende a um objetivo diferente: expor o comportamento do modelo por meio de uma interface genérica que participantes do benchmark possam reproduzir entre provedores.

Recursos específicos de cada provedor complicam uma comparação igualitária. A OpenAI pode reter seus itens nativos de raciocínio por meio da Responses API. Outro provedor pode representar o estado interno de forma diferente, expor controles de continuidade distintos ou depender de outra arquitetura de memória.

Permitir que todas as empresas otimizem um harness privado pode transformar um benchmark de modelos em uma competição de sistemas. Esse formato ainda pode medir algo útil, especialmente para compradores que selecionam sistemas completos de agentes. Ele deixa de isolar o comportamento do modelo com a mesma clareza.

O resultado também vem do experimento da OpenAI com o conjunto público de tarefas. Jogos públicos estão disponíveis para inspeção e desenvolvimento, o que cria mais oportunidade para ajustes no harness. Resultados semiprivados oferecem uma verificação mais robusta contra ajustes diretos específicos às tarefas.

O leaderboard verificado do ARC Prize ainda coloca o GPT-5.6 Sol em 7,78% no conjunto semiprivado com raciocínio máximo. Essa pontuação supera outras variantes da família GPT-5.6 listadas ali, mas continua muito abaixo da conclusão e eficiência humanas.

A diferença entre 38,3% na comparação pública da OpenAI e 7,78% na avaliação semiprivada verificada exige interpretação cuidadosa. Ela não contradiz automaticamente a constatação sobre o harness porque os conjuntos de tarefas diferem. Ela mostra por que uma melhoria em um conjunto público não deve se transformar em uma alegação geral de aprendizado de jogos semelhante ao humano.

A estimativa de 48% da OpenAI para um testador humano médio acrescenta contexto, mas não equivalência. Humanos e modelos podem falhar de formas diferentes, usar padrões de ação distintos e responder de maneira diferente a interfaces desconhecidas. O RHAE condensa esses comportamentos em uma pontuação.

O experimento também combina duas mudanças. Raciocínio retido e compactação estavam ambos ativos na comparação principal. A OpenAI descreve o efeito comportamental de cada um, mas os números principais publicados não isolam completamente a contribuição de cada configuração.

Uma ablação mais completa relataria quatro configurações: nenhuma das duas opções, apenas raciocínio retido, apenas compactação e ambas juntas. Execuções repetidas ajudariam a quantificar a variância, especialmente quando a exploração do agente pode seguir caminhos diferentes.

A comparação de tokens de saída merece o mesmo escrutínio. Menos tokens indicam maior eficiência nesse harness. Eles não revelam a latência total, o processamento de tokens de entrada, a sobrecarga de compactação ou o trabalho de engenharia necessário para manter o estado.

Os operadores de benchmarks agora enfrentam pressão em ambas as direções. Se mantiverem harnesses genéricos, devem explicar que os resultados do leaderboard podem subestimar configurações de produção. Se aceitarem harnesses otimizados, devem divulgar quais capacidades vieram do modelo e quais vieram do código ao redor.

Os provedores de modelos enfrentam uma responsabilidade paralela. Eles devem publicar configurações, prompts, limites de contexto, orçamentos de ação e cartões de pontuação reproduzíveis. Uma alegação sobre configurações se torna mais útil quando equipes independentes podem repeti-la.

Compradores empresariais devem evitar escolher entre testes genéricos e otimizados. Eles precisam dos dois.

Um teste genérico mostra como modelos candidatos se comportam sob restrições comuns. Um teste representativo de produção mostra se o sistema completo tem sucesso no fluxo de trabalho real do comprador. A diferença entre esses resultados mede a sensibilidade à integração.

Essa sensibilidade é, por si só, um risco de negócio. Um modelo que apresenta bom desempenho apenas por meio de uma pilha especializada de gestão de estado pode ser mais difícil de migrar. Um harness genérico que remove capacidades essenciais pode levar equipes a escolher um modelo mais fraco pelo motivo errado.

A questão relevante não é se o benchmark ou a OpenAI está correto. A questão é qual limite de sistema cada pontuação descreve.

Três Sinais para Acompanhar Após o Resultado da OpenAI no ARC-AGI-3

Replicação independente, testes semiprivados e relatórios melhores sobre harnesses determinarão se o resultado mudará a prática de avaliação.

O primeiro sinal é uma reprodução independente do ganho de 13,3% a 38,3%. Uma replicação confiável deve usar os mesmos jogos públicos, esforço de raciocínio, limites de ações, limiares de contexto e método de pontuação. Ela também deve relatar a variação entre execuções.

A replicação reforçaria a alegação da OpenAI de que o tratamento de estado explica grande parte da lacuna de desempenho observada. Um ganho substancialmente menor sugeriria que detalhes de implementação não documentados, prompting ou escolhas do avaliador contribuíram mais do que as duas configurações mencionadas.

O segundo sinal é uma avaliação semiprivada que use raciocínio retido e compactação. Tarefas públicas ajudam desenvolvedores a diagnosticar comportamentos, mas ambientes não vistos ou restritos oferecem um teste mais forte de generalização. Ganhos semelhantes nesses cenários mostrariam que a melhoria do harness se transfere para além de jogos públicos conhecidos.

Um pequeno ganho semiprivado enfraqueceria a interpretação mais ampla. Isso poderia indicar que uma memória melhor ajuda o modelo a executar estratégias conhecidas sem resolver o desafio mais profundo de adquirir novos objetivos e regras.

O terceiro sinal é uma mudança nos padrões de divulgação de benchmarks. Rankings futuros devem publicar políticas de gestão de contexto ao lado das pontuações. Os relatórios devem informar se itens de raciocínio foram preservados entre ações, como o histórico antigo foi removido ou compactado e quais recursos específicos de cada provedor foram ativados.

Esse tipo de relatório permitiria aos leitores comparar duas perspectivas úteis. Uma mede os modelos por meio de uma interface padronizada. A outra mede sistemas completos configurados de acordo com as orientações do provedor.

Os desenvolvedores devem aplicar a mesma disciplina às próprias avaliações. Preserve a linha de base antes de alterar configurações. Depois, teste separadamente o raciocínio retido, a compactação e a combinação dos dois em cargas de trabalho representativas.

Meça mais do que o sucesso final. Acompanhe tokens de saída, crescimento da entrada, latência, ações repetidas, retenção de restrições, recuperação de hipóteses malsucedidas e erros causados por memória desatualizada. Uma pontuação maior pode esconder novos modos de falha se a avaliação observar apenas o resultado final.

As equipes também devem examinar onde a continuidade ajuda. Tarefas longas de programação, pesquisa interativa, agentes de navegador e análises em múltiplas etapas frequentemente dependem de descobertas acumuladas. Solicitações curtas de classificação ou extração podem se beneficiar pouco de raciocínio persistente.

A descoberta da OpenAI oferece um alerta claro: uma avaliação de agentes pode penalizar o modelo por políticas de memória impostas pelo avaliador. Ela também pode favorecer o modelo por meio de uma infraestrutura que os concorrentes não conseguem reproduzir.

O próximo passo útil não é declarar nenhum dos dois harnesses correto. É executar ambos, rotulá-los com precisão e publicar detalhes suficientes para que outros entendam a diferença.

Para qualquer pessoa que esteja criando um agente de longa execução, a pergunta imediata é prática: seu sistema preserva os objetivos, as evidências e as hipóteses rejeitadas de que a próxima ação precisa? Teste essa continuidade antes de culpar o modelo e teste-a novamente após cada mudança na compactação ou na política de contexto.