Claude Opus 4.6 Cai 65 Pontos à Medida que as Tarefas do MineExplorer se Tornam Mais Complexas

O Claude Opus 4.6, da Anthropic, liderou o MineExplorer, mas sua taxa de sucesso caiu de 77% em tarefas de um salto para 12% em tarefas de quatro saltos. No total, o modelo concluiu apenas 41% do benchmark, segundo resultados publicados pela equipe LongCat da Meituan.

Esse colapso é a verdadeira história do MineExplorer da Anthropic. Claude teve bom desempenho quando o objetivo exigia uma única etapa direta. Teve dificuldades quando o sucesso dependia de descobrir e coordenar vários pré-requisitos não declarados dentro de um mundo em constante mudança.

O MineExplorer mede essa lacuna por meio de 813 cenários de Minecraft verificados por humanos, com duração de até três minutos. Ele testa 18 modelos multimodais de oito famílias de modelos, incluindo sistemas Claude, GPT e Gemini. Os autores do benchmark disponibilizaram seu código, conjunto de dados, fluxo de geração de tarefas e ambiente de avaliação.

O resultado desafia uma suposição comum sobre agentes multimodais. Reconhecer uma ameaça, objeto ou recurso não significa que um modelo consiga manter um plano útil enquanto o ambiente muda. O MineExplorer transforma essa distinção em uma curva de falha mensurável.

Benchmarks anteriores de Minecraft examinaram planejamento, seguimento de instruções, construção ou conhecimento do jogo. O MineExplorer, por outro lado, remove muitas tarefas que dependem fortemente de regras específicas de Minecraft. Seu objetivo declarado é mais amplo: exploração que combina percepção, raciocínio e ação ao longo de uma trajetória sustentada.

O benchmark ainda é um preprint, e Minecraft não pode representar todos os ambientes físicos. No entanto, as descobertas pressionam imediatamente alegações de que visão mais robusta e contexto mais longo produzem automaticamente agentes autônomos confiáveis.

MineExplorer Transforma Três Minutos em um Teste Sério para Agentes

O MineExplorer muda o alvo da avaliação de reconhecer uma cena para sobreviver a uma sequência de decisões interdependentes.

A equipe LongCat apresentou o MineExplorer em um preprint de maio de 2026. Uma segunda versão foi lançada em 12 de junho, enquanto a equipe técnica da Meituan publicou, em julho, um resumo detalhado dos resultados.

Cada episódio pode executar 1.800 etapas do ambiente. Uma etapa representa 0,1 segundo, produzindo três minutos de interação contínua. O mundo é atualizado após cada ação, portanto o modelo precisa reconsiderar repetidamente o que vê e o que deve fazer em seguida.

Essa duração parece curta para padrões humanos. É longa para um agente que precisa observar imagens, manter estado, selecionar ações e se recuperar de erros ao longo de centenas de interações.

As tarefas são divididas por contagem de saltos. Uma tarefa de um salto apresenta um objetivo que não exige que o agente infira uma subtarefa não declarada. Cenários de dois a quatro saltos adicionam pré-requisitos ocultos que precisam ser descobertos por meio do ambiente.

Considere um agente instruído a alcançar um local protegido. A rota imediata pode estar bloqueada, a ferramenta necessária pode estar em outro lugar, e entidades hostis podem restringir o movimento. A instrução nomeia o destino, mas não todas as ações necessárias para alcançá-lo.

O MineExplorer representa cada tarefa composta com um estado inicial, uma instrução em linguagem natural, um grafo de dependências e marcos baseados em regras. O grafo de dependências registra a estrutura oculta da tarefa. O modelo nunca recebe esse grafo completo.

Os marcos permitem que o avaliador meça o progresso parcial sem pedir a outro modelo de linguagem que julgue toda a trajetória. Um marco pode detectar se o agente encontrou um objeto, entrou em uma área ou concluiu uma ação intermediária obrigatória.

Os autores compararam esses resultados automatizados com avaliações humanas das trajetórias do Claude Opus 4.6. Conjuntos de marcos concluídos receberam pontuações humanas médias próximas de quatro em uma escala de cinco pontos. Conjuntos totalmente fracassados permaneceram abaixo de três.

Essa concordância não torna o avaliador perfeito. Ela fornece evidências de que a conclusão dos marcos captura progresso significativo, em vez de eventos arbitrários do jogo.

A equipe também tentou separar exploração de conhecimento memorizado de Minecraft. Tarefas atômicas candidatas foram avaliadas quanto à dependência de convenções específicas do jogo. Tarefas dominadas por conhecimento especializado foram removidas.

Essa escolha de design importa porque um agente pode falhar em um objetivo de Minecraft por duas razões muito diferentes. Ele pode não conhecer uma receita da wiki do jogo ou pode não conseguir conectar evidências visíveis a um plano viável.

O MineExplorer busca enfatizar o segundo problema. Suas 14 categorias de capacidades abrangem percepção, raciocínio e ação. Elas incluem percepção espacial e temporal, rastreamento de entidades, percepção de recursos, raciocínio causal, movimento, coleta, posicionamento, criação e combate.

Os 813 exemplos disponibilizados abrangem dependências de um a quatro saltos. O conjunto de dados aberto inclui texto das tarefas, comandos de configuração de cena, tarefas atômicas selecionadas, marcos, grafos de dependências e notas de design.

Isso é mais do que um conjunto estático de perguntas. Pesquisadores podem examinar como as cenas foram construídas, executar novamente as avaliações, criar variantes mais difíceis ou usar o ambiente para treinamento.

Essa abertura dá ao benchmark a chance de influenciar o desenvolvimento de agentes. Ela também torna suas premissas mais fáceis de contestar, uma característica importante para um benchmark que faz alegações amplas sobre exploração.

Por Que a Liderança da Anthropic no MineExplorer Ainda É um Alerta

O Claude Opus 4.6 venceu a comparação, mas sua liderança revela o quanto todos os modelos testados ainda estão distantes de um comportamento confiável em horizontes longos.

O benchmark avaliou 18 modelos multimodais avançados de oito famílias. O Claude Opus 4.6 alcançou a maior taxa geral de sucesso em tarefas, chegando a 41%.

Um resultado de 41% pode parecer respeitável quando visto apenas como uma posição no ranking. Ele parece muito mais fraco quando separado pela profundidade da tarefa.

O Claude Opus 4.6 concluiu 77% das tarefas de um salto. Sua taxa de sucesso caiu para 12% nas tarefas de quatro saltos. A queda de 65 pontos mostra que dependências adicionais fazem mais do que apenas acrescentar um pouco de dificuldade.

Cada pré-requisito oculto cria outra oportunidade de perder o plano. O modelo precisa perceber evidências relevantes, inferir um objetivo intermediário, executá-lo corretamente e preservar sua relação com o objetivo final.

Um erro inicial pode se propagar ao longo do episódio. Passar por um recurso necessário impede a próxima ação. Escolher a rota errada consome etapas e altera a visão do agente. Uma observação posterior pode então ser interpretada usando um estado interno já incorreto.

É por isso que o resultado da Anthropic no MineExplorer pressiona mais do que a Anthropic. Claude foi o modelo mais forte do teste. Sua curva de falha, portanto, atua como um limite superior para essa configuração específica, e não como evidência de uma fraqueza isolada do Claude.

As descobertas também complicam a narrativa padrão de escalonamento de modelos. O artigo relata que modelos maiores e modos de raciocínio dedicados não melhoraram o desempenho de forma consistente.

Mais parâmetros podem fortalecer a percepção ou o raciocínio em um prompt delimitado. Um ambiente dinâmico exige outra capacidade: manter um alinhamento útil entre memória, observações atuais e objetivos em mudança.

Um contexto mais longo não garante esse alinhamento. Ele pode preservar imagens antigas que já não descrevem a cena atual. Essas observações podem competir com evidências mais recentes, em vez de ajudar o modelo.

Os autores testaram essa questão aumentando o número de quadros visuais históricos. O desempenho acabou caindo à medida que observações desatualizadas interferiam na compreensão do modelo sobre o estado atual.

Eles também examinaram se os modelos simplesmente precisavam de mais tempo. Agentes malsucedidos continuaram falhando mesmo quando os episódios permitiam até 1.800 etapas. Tarefas solucionáveis tendiam a ser concluídas mais cedo, enquanto interações extras não resgatavam muitas trajetórias fracassadas.

Esses resultados enfraquecem duas soluções fáceis. Dar mais contexto a um agente não equivale a dar-lhe uma memória melhor. Dar-lhe mais ações não equivale a dar-lhe um plano melhor.

A pressão se estende a desenvolvedores que criam agentes de uso de computador, sistemas robóticos e ferramentas automatizadas de pesquisa. Esses produtos operam fora de uma captura de tela fixa. Seus ambientes mudam em resposta tanto ao agente quanto a eventos externos.

Um agente de navegador pode precisar localizar um registro, alterar um filtro, interpretar a página atualizada e verificar o envio final. Um robô de armazém pode precisar redirecionar sua rota após encontrar um corredor bloqueado. Um agente de pesquisa pode precisar revisar sua busca ao descobrir evidências contraditórias.

Em cada caso, o objetivo visível esconde decisões pré-requisito. Um modelo pode executar corretamente cada ação isolada e ainda assim falhar no trabalho completo.

O MineExplorer não prova que as taxas de falha serão transferidas diretamente para navegadores ou robôs. Ele mostra que o sucesso em testes multimodais curtos oferece garantia limitada quando dependências ocultas se acumulam.

Essa distinção deve afetar decisões de aquisição e implantação. Compradores devem perguntar como um agente se desempenha em fluxos de trabalho concluídos, não apenas se seu modelo reconhece telas ou gera próximas ações plausíveis.

O Verdadeiro Problema É Navegação, Não Reconhecimento Visual

Quase 60% das falhas do Claude Opus 4.6 foram atribuídas à navegação, tornando o movimento com estado o gargalo mais evidente do benchmark.

A análise de falhas da equipe LongCat separa erros de navegação de problemas como interação com objetos ou raciocínio sobre tarefas. A navegação respondeu por quase 60% das falhas analisadas.

Esse número não significa que o modelo simplesmente não tinha direções. Navegação em um mundo aberto combina memória espacial, reconhecimento visual, controle de ações e gerenciamento de objetivos.

O agente precisa saber onde está, lembrar onde esteve e determinar se o movimento produziu o resultado pretendido. Também precisa decidir quando abandonar uma rota ou explorar uma alternativa.

Um teste de visão estática isola apenas parte desse ciclo. O modelo vê uma imagem e responde a uma pergunta. A cena não muda por causa de sua resposta, e uma resposta errada não distorce a observação seguinte.

Minecraft cria retroalimentação. Se o agente vira na direção errada, sua próxima imagem contém evidências diferentes. Se ele fica preso contra um obstáculo, comandos de movimento repetidos consomem tempo sem fazer a tarefa avançar.

O modelo então precisa diagnosticar se a rota falhou, se a ação falhou ou se seu plano original estava errado. Essa distinção é difícil quando as observações chegam como quadros separados, em vez de como um mapa interno estável.

As pontuações de capacidade do MineExplorer reforçam essa interpretação. O Claude Opus 4.6 recebeu uma pontuação de percepção de 61,91 e uma pontuação de raciocínio de 54,71. Na maioria dos modelos avaliados, a percepção superou a ação, enquanto a ação superou o raciocínio.

Os modelos frequentemente conseguiam identificar detalhes relevantes. Tinham mais dificuldade em transformar esses detalhes em uma estratégia coordenada que sobrevivesse à mudança ambiental.

Isso cria uma inversão importante na forma como o progresso multimodal costuma ser apresentado. Uma melhor compreensão de imagens amplia o que um agente pode perceber, mas também expõe a fraqueza do sistema de planejamento que consome essas observações.

Um modelo que detecta dez objetos relevantes ainda precisa decidir qual deles importa agora. Ele precisa conectar essa escolha ao objetivo final e manter essa conexão depois que o ponto de vista muda.

O benchmark se baseia na abordagem ReAct, que intercala raciocínio com ações e novas observações. A estrutura original ReAct foi projetada para permitir que modelos revisem seu raciocínio por meio do feedback ambiental.

MineExplorer mostra onde esse ciclo pode se romper ao longo de trajetórias mais longas. O raciocínio se desconecta do estado atual, as ações deixam de servir ao objetivo original, ou novas observações não desencadeiam uma revisão necessária.

A navegação amplifica os três problemas. Um agente mal posicionado vê as evidências erradas, constrói uma estimativa equivocada do estado e escolhe novas ações a partir de uma posição degradada.

Esse é um problema mais difícil do que gerar uma cadeia de raciocínio mais longa. Um agente precisa de uma representação estruturada de entidades persistentes, locais, marcos concluídos, rotas fracassadas e dependências não resolvidas.

O histórico visual bruto é um substituto fraco. Ele armazena o que a câmera viu, não o que o agente deveria lembrar.

A mesma distinção se aplica a agentes empresariais. Uma transcrição de cada tela anterior não produz automaticamente um estado confiável do fluxo de trabalho. O agente precisa saber qual formulário foi enviado, qual filtro continua ativo e qual requisito ainda não foi resolvido.

Para sistemas incorporados, a navegação se torna um teste físico e cognitivo. O modelo precisa se mover pelo espaço enquanto preserva a estrutura lógica da tarefa.

A participação de 60% das falhas atribuída à MineExplorer, portanto, aponta para trabalho no nível de sistema. Controladores locais melhores, mapas explícitos, memória causal, monitoramento de progresso e políticas de recuperação podem importar tanto quanto um modelo-base mais forte.

O Que o Benchmark Mede, e o Que Ele Não Mede

MineExplorer oferece um teste de estresse útil, mas seus resultados continuam limitados a um mundo simulado e a uma distribuição de tarefas definida por pesquisadores.

O argumento cético mais forte diz respeito à validade externa. Minecraft oferece um mundo 3D dinâmico com regras consistentes, mas não reproduz todas as dificuldades encontradas em casas, fábricas, escritórios ou espaços públicos.

Robôs reais enfrentam física incerta, ruído de sensores, danos físicos e restrições de segurança. Agentes de uso de computador encontram estados ocultos de aplicações, barreiras de autenticação, pop-ups e interfaces em mudança.

Minecraft elimina muitas dessas complicações. Seus objetos são discretos, sua física é repetível e seu ambiente pode ser reiniciado com exatidão.

Esse controle também é uma vantagem. Pesquisadores podem comparar modelos em condições idênticas e rastrear falhas sem colocar equipamentos ou usuários em risco.

O ponto-chave é tratar MineExplorer como um instrumento de diagnóstico, não como uma pontuação universal para inteligência incorporada. Um resultado de 41% não significa que Claude concluiria 41% de fluxos de trabalho reais não relacionados.

A filtragem de conhecimento do benchmark também exige escrutínio. Os autores usam julgamentos de modelos de linguagem para classificar se tarefas atômicas dependem principalmente de conhecimento geral ou de convenções específicas do Minecraft.

Esse processo reduz fatores de confusão óbvios ligados ao conhecimento do jogo. Ele não pode garantir que toda tarefa mantida esteja livre de efeitos de familiaridade.

Modelos treinados com vídeos, guias ou discussões de gameplay de Minecraft ainda podem reconhecer layouts e comportamentos comuns. Diferentes famílias de modelos podem ter encontrado quantidades diferentes desse material.

O próprio benchmark continua em desenvolvimento, segundo seu registro no arXiv. Revisões futuras podem alterar tarefas, prompts, controladores ou procedimentos de avaliação.

O design do controlador é particularmente importante. Um modelo multimodal raramente manipula um jogo apenas por meio de raciocínio abstrato. O sistema de agentes ao redor converte as saídas do modelo em comandos de movimento e interação.

O desempenho, portanto, reflete tanto o modelo subjacente quanto sua infraestrutura de suporte. Um sistema de mapeamento ou controlador de baixo nível melhor pode melhorar os resultados sem alterar o modelo.

Os autores do benchmark reconhecem outra limitação. MineExplorer atualmente se concentra na avaliação empírica, embora sua infraestrutura também possa apoiar treinamento.

Treinar no ambiente do benchmark cria seu próprio risco. Quando desenvolvedores otimizam diretamente para tarefas públicas, os ganhos no ranking podem refletir especialização no benchmark, e não exploração geral.

O código do MineExplorer, totalmente aberto, facilita a replicação e a extensão. Ele também torna mais importantes as questões de contaminação e sobreajuste para lançamentos futuros de modelos.

Avaliações independentes devem preservar cenários de teste ocultos. Elas também devem variar layouts de cena, estruturas de dependência, implementações de controladores e formatos de prompt.

O contexto histórico reforça essa cautela. MinePlanner lançou anteriormente 45 tarefas de Minecraft para planejamento de longo horizonte e constatou que planejadores estabelecidos tinham dificuldades em grandes ambientes contendo muitos objetos.

O benchmark MinePlanner concentrou-se em planejamento proposicional e numérico, em vez de exploração multimodal interativa. Seus resultados ainda mostraram que Minecraft pode expor problemas de escalabilidade ocultos por domínios de planejamento menores.

Outros sistemas examinaram seguimento de instruções, construção, memória e habilidades abertas. Esses projetos usam o mesmo jogo para questões diferentes, portanto suas pontuações principais não devem ser comparadas diretamente.

A contribuição específica do MineExplorer é a combinação de interação visual contínua, pré-requisitos ocultos, construção de tarefas em múltiplos saltos e avaliação de marcos baseada em regras.

Sua alegação de ser o “primeiro” deve ser lida dentro dessa definição. Minecraft já sediou pesquisas de longo horizonte antes do MineExplorer. A alegação de novidade da equipe diz respeito à exploração multimodal em mundo aberto, na escala de minutos, sob sua estrutura específica de avaliação.

Outra limitação é a falta de ampla reação independente tão pouco tempo após o lançamento. A maior parte da interpretação detalhada atualmente vem dos autores e de seus canais técnicos afiliados.

Os resultados medidos estão disponíveis para inspeção, mas as explicações causais permanecem parcialmente interpretativas. A grande participação da navegação nas falhas, por exemplo, não isola completamente se a causa raiz foi mapeamento, memória, planejamento ou execução de ações.

Essas incertezas não apagam a constatação central. O sucesso cai acentuadamente à medida que os pré-requisitos ocultos se acumulam. Elas definem o que experimentos futuros precisam separar.

O Código Aberto Faz do MineExplorer Mais do Que um Ranking

O lançamento importa porque pesquisadores podem testar se memória, controladores ou métodos de treinamento melhores achatam a curva de falhas de longo horizonte.

A equipe usou um fluxo de trabalho multiagente para construir instâncias do benchmark. Cinco agentes especializados colaboram sob um orquestrador que controla sua sequência.

O fluxo de trabalho começa com um rascunho inicial da tarefa. Agentes especialistas e de validação então debatem o design, identificam inconsistências e revisam a cena, o grafo de dependências e os avaliadores de marcos.

Segundo a avaliação humana dos autores, esse processo aumentou a validade das instâncias em aproximadamente 30 pontos percentuais em relação a uma linha de base de agente único. Também elevou as pontuações de qualidade em cerca de 0,5 ponto, com o maior benefício em tarefas de quatro saltos.

A versão final contém 813 instâncias verificadas por humanos. Um subconjunto difícil separado fornece 100 cenários selecionados por maior dificuldade.

Esse pipeline de geração aborda um problema persistente de benchmarks. Construir manualmente centenas de ambientes interativos é lento, enquanto tarefas geradas por modelos sem restrições frequentemente contêm objetivos impossíveis ou avaliações quebradas.

Combinar síntese automatizada com verificação humana oferece um caminho intermediário. A abordagem pode produzir mais tarefas preservando um controle de qualidade.

O mesmo método pode gerar cenários de treinamento, não apenas casos de teste. Pesquisadores podem criar grafos de dependência, instanciar cenas de sandbox e anexar verificações determinísticas de marcos.

Isso importa porque agentes de longo horizonte precisam praticar falhas que se desenrolam ao longo do tempo. Conjuntos de dados visuais estáticos não podem ensinar a recuperação após uma virada errada ou um pré-requisito perdido.

A infraestrutura aberta também convida a alternativas ao escalonamento de modelos de ponta a ponta. Uma equipe pode manter o modelo-base constante e testar mapas espaciais explícitos, memória episódica, grafos causais ou planejadores hierárquicos.

Outro experimento poderia separar o planejamento de alto nível do movimento de baixo nível. O modelo poderia selecionar objetivos enquanto um controlador especializado lida com a prevenção de obstáculos e a execução de rotas.

Pesquisadores podem então perguntar se as falhas de navegação refletem inteligência fraca, controle motor fraco ou uma interface instável entre os dois.

O benchmark também pode apoiar o design de currículos. Agentes poderiam começar com tarefas de um salto e depois avançar para grafos de dependência mais profundos à medida que sua taxa de conclusão se estabiliza.

No entanto, conjuntos de treinamento e avaliação devem permanecer distintos. Reutilizar cenários públicos transformaria MineExplorer em um teste de memorização.

O resultado futuro mais informativo não será um pequeno ganho no ranking. Será uma queda menos acentuada entre tarefas de um salto e de quatro saltos.

Um sistema que aumenta o sucesso geral preservando a mesma curva de colapso melhorou a competência local. Um sistema que mantém o desempenho à medida que as dependências se aprofundam melhorou a coordenação de longo horizonte.

Essa distinção deve moldar relatórios futuros. A taxa geral de sucesso das tarefas comprime vários comportamentos em um único número. O desempenho específico por salto revela onde o agente deixa de funcionar de forma confiável.

O lançamento aberto fornece às equipes externas as ferramentas para testar essas alegações. Ele também permite que proponham avaliações mais difíceis sem reconstruir toda a infraestrutura do Minecraft.

O Que Observar Após o Resultado do Anthropic no MineExplorer

A próxima fase deve se concentrar em replicação independente, sistemas de navegação aprimorados e desempenho estável em tarefas multi-hop inéditas.

O primeiro sinal é a reprodução independente da pontuação geral de 41% e da queda de 77% para 12%. Pesquisadores devem executar novamente Claude Opus 4.6 e outros modelos sob configurações documentadas de controlador, prompt e ambiente.

Uma reprodução próxima reforçaria a alegação de que pré-requisitos ocultos impulsionam um padrão geral de falha. Grandes diferenças sugeririam que a infraestrutura de agentes contribui mais do que o ranking inicial indica.

O segundo sinal é se sistemas explícitos de estado e navegação reduzem a categoria de falha dominante. Experimentos úteis devem comparar histórico bruto de frames com mapas, memória estruturada, grafos causais de tarefas e políticas de recuperação de rota.

Uma melhoria significativa reduziria as falhas de navegação sem sacrificar o desempenho de raciocínio ou ação. Simplesmente aumentar a janela de contexto não responderia à crítica central do benchmark.

O terceiro sinal é o desempenho de modelos mais novos em cenários de quatro saltos mantidos em sigilo. Desenvolvedores devem reportar o sucesso das tarefas por contagem de saltos, não apenas uma média geral.

Um modelo que pontua mais alto em tarefas de um salto, mas permanece próximo de 12% em tarefas de quatro saltos, não fechou a lacuna de longo horizonte. Resultados mais fortes em estruturas de dependência inéditas forneceriam evidências melhores de exploração geral.

Os leitores também devem observar se desenvolvedores de modelos adotam MineExplorer ou avaliações relacionadas em cartões oficiais de sistema. A inclusão sinalizaria que a interação multimodal de longa duração está se tornando um alvo padrão de capacidade.

Para desenvolvedores, a lição prática já está clara. Não avalie um agente apenas por meio de ações isoladas ou demonstrações bem acabadas.

Teste fluxos de trabalho completos com pré-requisitos ocultos, estado em mudança e oportunidades de recuperação. Meça onde o agente perde de vista seu objetivo e diferencie erros de percepção de falhas de navegação, raciocínio e controle.

Compradores empresariais devem pedir as mesmas evidências. A posição de um modelo em benchmarks diz pouco sobre se um agente integrado consegue concluir de forma consistente um processo de múltiplos estágios.

MineExplorer não resolve o debate sobre IA incorporada. Ele fornece uma forma reproduzível de tornar uma fraqueza mais difícil de ignorar.

O resultado da Anthropic no MineExplorer é especialmente revelador porque Claude Opus 4.6 ficou em primeiro lugar. O modelo mais forte testado ainda perdeu 65 pontos percentuais à medida que a profundidade da tarefa subiu de um salto para quatro.

Essa é a reversão central do benchmark. Os atuais modelos multimodais frequentemente conseguem descrever um mundo que não conseguem navegar de forma confiável.

O próximo marco crível para os agentes, portanto, não é outra resposta perfeita em uma captura de tela. É o progresso sustentado em um ambiente desconhecido, incluindo a capacidade de perceber um caminho errado e se recuperar antes que a tarefa termine.