Atualização do METR Revela Lacuna Entre Programação por IA e Julgamento
O METR ampliou suas avaliações de capacidades de IA em 20 de novembro de 2026, identificando progresso exponencial contínuo juntamente com desempenho mais fraco em tarefas que exigem julgamento. A atualização de horizonte temporal do METR estima que o tempo de duplicação dos horizontes de tarefas medidos seja de cerca de 3,6 meses. Mas essa tendência não determina por quanto tempo uma IA pode trabalhar com segurança sem supervisão, nem se ela consegue conduzir pesquisa útil de forma independente.
A distinção importa porque concluir uma tarefa de programação definida e escolher um experimento que valha a pena exigem evidências diferentes de sucesso. Um programa pode passar nos testes enquanto seu objetivo mais amplo continua mal escolhido. O conjunto ampliado de avaliações do METR examina ambos os lados dessa divisão, com resultados mais fortes quando os agentes recebem feedback claro.
As descobertas pressionam alegações de que o progresso em programação se traduz diretamente em pesquisa autônoma por IA. Também desafiam a suposição oposta, de que fraquezas de julgamento garantem uma longa pausa na automação da pesquisa. O METR observa capacidades substanciais, limitações significativas e dificuldade crescente para medir a relação entre elas.
O Que a Atualização de Horizonte Temporal do METR Realmente Mede
O gráfico acompanha a dificuldade das tarefas pelo tempo de conclusão humana, em vez de medir horas confiáveis de trabalho de um agente.
Um horizonte temporal é a duração da tarefa humana associada a uma taxa de sucesso especificada de um modelo em um conjunto de avaliações. No limiar de 50% frequentemente discutido, prevê-se que o modelo conclua tarefas dessa dificuldade cerca de metade das vezes. As horas descrevem a carga de trabalho humana de referência, e não o tempo que o modelo passa em execução.
Os horizontes de conclusão de tarefas do METR, portanto, exigem uma leitura mais cuidadosa do que uma manchete sobre agentes trabalhando durante um turno inteiro. Um horizonte mais longo indica melhor desempenho na distribuição medida de tarefas. Ele não certifica desempenho confiável em toda tarefa que levaria esse tempo para uma pessoa.
O relatório de novembro amplia as avaliações anteriores da organização, voltadas a software, com tarefas direcionadas a capacidades relevantes para pesquisa e desenvolvimento em IA. Seus resultados abrangem modelos públicos até o Opus 5.5 da Anthropic e o GPT-6 Astra da OpenAI. Esses modelos operam como agentes, ou seja, usam ferramentas e realizam ações sucessivas em direção a um objetivo atribuído.
O relatório abrange três conjuntos distintos. O Time Horizon 1.1 contém 222 tarefas, o MirrorCode contém 75 tarefas de replicação de software e o TH2 contém 36 tarefas em 12 famílias. Essas contagens importam porque descrevem coleções diferentes, e não versões intercambiáveis do mesmo benchmark.
O TH2 inclui oito famílias com resultados verificáveis e quatro que envolvem pesquisa ou julgamento mais difíceis de verificar. Tarefas verificáveis têm resultados que os avaliadores podem conferir em relação a um objetivo definido. Tarefas de julgamento exigem escolhas úteis quando não há feedback claro e rápido.
Nos conjuntos combinados Time Horizon 1.1 e TH2, o METR estima que horizontes temporais de 50% de sucesso dobram aproximadamente a cada 3,6 meses. Essa é uma tendência exponencial nessa medida específica. Isso não significa que toda capacidade de IA melhore na mesma velocidade.
Adicionar tarefas mais difíceis também altera a interpretação do gráfico. O METR relata horizontes menores no conjunto combinado do que no Time Horizon 1.1 isoladamente para um determinado modelo. Uma medição menor após ampliar o teste não significa que o modelo perdeu capacidade.
A ampliação responde a um problema prático: tarefas anteriores se tornaram menos informativas à medida que os modelos melhoraram. O METR afirma que o conjunto mais antigo ficou saturado, limitando sua capacidade de distinguir sistemas mais fortes. Os testes atualizados buscam trabalho mais difícil e um perfil de capacidades mais amplo.
Isso torna esta atualização mais do que outro ponto em uma linha ascendente já conhecida. Ela muda as perguntas que os avaliadores podem fazer sobre essa linha. A questão central passa a ser se os ganhos em tarefas definidas se estendem a trabalhos nos quais identificar o sucesso faz parte da própria tarefa.
Alegações de Pesquisa Autônoma Enfrentam um Teste Diferente
A pressão imediata recai sobre alegações de autonomia em pesquisa, em que produzir um artefato é apenas parte da entrega de trabalho útil.
A pesquisa em IA inclui implementação, experimentação, interpretação e decisões sobre o que merece esforço adicional. O progresso em uma atividade pode acelerar uma equipe sem substituir as demais. As descobertas de novembro tornam essa distinção mais difícil de ignorar.
O METR relata que os atuais modelos de fronteira frequentemente igualam ou superam os participantes humanos qualificados que recrutou para tarefas de programação e otimização. Otimização significa melhorar uma pontuação ou objetivo especificado sob determinadas restrições. Esses contextos frequentemente oferecem aos agentes uma forma direta de comparar tentativas e continuar melhorando.
Essa força tem importância prática mesmo quando o agente não escolhe a agenda mais ampla de pesquisa. Pesquisadores podem delegar a implementação enquanto mantêm a responsabilidade pelas prioridades experimentais. Uma implementação mais capaz pode aumentar a quantidade de trabalho que uma equipe conclui.
A comparação com especialistas humanos continua mais restrita do que uma alegação universal de superioridade. O METR reconhece incerteza sobre se seus participantes recrutados correspondem a funcionários de laboratórios de fronteira dentro de suas próprias especialidades. Recrutar pessoas com a experiência e disponibilidade necessárias se torna difícil à medida que as tarefas se alongam.
Onde existem grupos históricos de comparação maiores, os resultados também preservam espaço para desempenho humano excepcional. O METR identifica boas posições dos modelos em concursos de otimização de programação, enquanto os melhores participantes humanos geralmente permanecem à frente. Na otimização de scripts de treinamento, os principais colaboradores também obtiveram melhorias além das alcançadas pelas execuções mais fortes de agentes.
O relato da OpenAI, de 18 de novembro, sobre aceleração da pesquisa oferece uma visão relacionada, relatada pela empresa, de dentro de um laboratório. Ele relata sucesso crescente em tarefas de pesquisa delegadas, com variação substancial entre atividades. Os humanos continuam centrais em sua descrição do processo de desenvolvimento.
Essa evidência sustenta um quadro de automação desigual nos fluxos de trabalho de pesquisa. Ela não fornece uma validação intercambiável dos resultados do METR. Tarefas internas de trabalho, tarefas de benchmark e avaliações retrospectivas de sucesso usam métodos diferentes e capturam condições diferentes.
Para Anthropic, OpenAI e outros desenvolvedores, a questão mais difícil diz respeito ao que acontece depois que a implementação se torna mais fácil. Os agentes conseguem identificar qual experimento reduziria a incerteza de modo significativo? Conseguem reconhecer quando um resultado positivo reflete um teste fraco?
Compradores empresariais enfrentam uma distinção relacionada ao avaliar agentes para trabalho técnico. Uma demonstração bem-sucedida com um teste de aceitação claro sustenta esse caso de uso específico. Ela oferece menos evidência sobre tarefas que envolvem objetivos ambíguos, requisitos em mudança ou consequências tardias.
A atualização de horizonte temporal do METR eleva o padrão para essas alegações sem descartar os ganhos subjacentes. Um relato convincente de pesquisa autônoma precisa de evidências sobre direcionamento e avaliação, além da execução. O desempenho em programação é um componente significativo desse relato, mas o relatório não estabelece que ele complete o quadro.
Programação Forte Não Resolve a Questão do Julgamento
As falhas mais reveladoras do METR apareceram quando os modelos precisaram decidir o que tornava uma avaliação útil.
Uma tarefa do TH2 pedia que os agentes criassem uma avaliação que informasse a análise do METR sobre as capacidades dos modelos. Isso exigia mais do que escrever software funcional. O teste proposto também precisava responder a uma pergunta que o METR considerasse valiosa.
De acordo com as descobertas da avaliação de capacidades, nenhuma das tarefas criadas pelos agentes justificou inclusão no relatório como nova avaliação útil. Alguns resultados se aproximaram de ser úteis, indicando progresso em relação a modelos mais fracos. Mas a melhora dentro do sistema de pontuação não se traduziu em trabalho que o METR escolheu adotar.
Em geral, os agentes privilegiaram tarefas de otimização com pontuação automática. Eles continuaram a fazê-lo em experimentos de acompanhamento que solicitavam explicitamente tarefas envolvendo decisões com feedback fraco no curto prazo. Esse comportamento expôs uma incompatibilidade entre produzir um desafio mensurável e identificar uma pergunta de pesquisa informativa.
O METR também relata que os agentes não investigaram de forma independente quais tipos de tarefas a organização consideraria mais valiosos, apesar do acesso à internet. Os pesquisadores não observaram modelagem de ameaças inédita nem hipóteses especialmente perspicazes por trás das avaliações propostas. Essas são observações da configuração testada, e não evidências de uma incapacidade permanente.
A distinção é concreta. Uma avaliação pode funcionar corretamente e ainda assim revelar pouco que os pesquisadores precisem saber. Sua qualidade de implementação e seu valor de pesquisa são propriedades separadas, embora ambas influenciem o resultado final.
Um segundo experimento examinou se os modelos conseguiam julgar as avaliações produzidas por outros modelos. Avaliadores mais fortes concordaram mais de perto com classificações humanas ao analisar criadores mais fracos. Quando os criadores eram igualmente fortes ou mais fortes, os avaliadores tendiam a atribuir pontuações excessivamente generosas.
Essa descoberta complica uma solução frequentemente proposta para supervisão fraca: pedir a outra IA que revise o trabalho. Um revisor pode identificar defeitos óbvios enquanto deixa passar erros mais convincentes. Portanto, a concordância entre autor e revisor não estabelece qualidade de forma independente.
O METR oferece mais de uma explicação para o padrão. Os modelos podem não ter o julgamento necessário para avaliar essas tarefas, ou criadores mais fortes podem produzir resultados que avaliadores mais fracos consideram enganosos. Os experimentos não separam essas possibilidades de forma conclusiva.
O mecanismo mais amplo diz respeito ao feedback. O aprendizado por reforço, treinamento que recompensa resultados sob um sistema de pontuação, se beneficia de sinais úteis sobre quais tentativas funcionaram. Programação e otimização frequentemente fornecem esses sinais por meio de testes ou desempenho medido.
A pesquisa aberta pode atrasar esse feedback ou tornar sua obtenção cara. Uma proposta promissora pode falhar apenas após experimentação substancial. Uma direção aparentemente improdutiva pode se mostrar útil quando um pesquisador identifica uma suposição negligenciada.
O relatório não estabelece que julgamento e programação sejam capacidades fundamentalmente separadas. O METR observa evidências de julgamento útil dos modelos em algumas tarefas de otimização de aprendizado de máquina. Esses sucessos deixam em aberto a possibilidade de que as capacidades se transfiram mais do que os resultados mais fracos de julgamento sugerem.
A inversão, portanto, é específica: uma execução impressionante não valida automaticamente a avaliação de um sistema sobre seu próprio trabalho. Os modelos podem melhorar enquanto essa avaliação permanece pouco confiável. Para pesquisa autônoma, a relação entre essas capacidades importa tanto quanto qualquer pontuação isolada.
Testes Melhores Estão Se Tornando Mais Difíceis de Criar
As avaliações ampliadas expõem um problema de medição: feedback realista costuma ser caro, lento ou depender de especialistas.
O METR introduz o custo de ciclo de vida como uma estimativa aproximada do esforço necessário para criar, executar e pontuar repetidamente uma avaliação. A medida inclui desenvolvimento e garantia de qualidade, além da execução e da análise. Seu objetivo é capturar restrições que a duração da tarefa humana, por si só, não detecta.
Duas tarefas podem exigir quantidades semelhantes de trabalho humano, mas impor encargos de avaliação diferentes. Uma pode terminar com uma resposta verificada automaticamente. Outra pode exigir que um especialista examine o raciocínio, avalie o contexto ausente ou determine se uma contribuição de pesquisa é relevante.
Outros encargos incluem ambientes complexos, requisitos computacionais, monitoramento e longos ciclos de feedback. Os testes também precisam de proteção contra manipulação da recompensa, comportamento que explora uma regra de pontuação sem cumprir seu objetivo pretendido. Modelos mais fortes podem revelar atalhos que avaliações anteriores não previram.
No conjunto de dados da METR, tarefas com custos de ciclo de vida estimados mais altos tendem a ser mais difíceis para os modelos após considerar a duração da tarefa humana. A associação sugere que avaliações baratas podem deixar de captar dimensões relevantes de dificuldade. Ela não estabelece que o custo em si cause um desempenho mais fraco.
A METR estima os custos de ciclo de vida usando um avaliador baseado em modelo, calibrado com as avaliações de seus pesquisadores. Essas estimativas refletem a experiência e as restrições da organização. Um laboratório de fronteira pode enfrentar custos diferentes, e mudanças nas capacidades dos modelos podem alterar a economia da avaliação.
O relatório também encontra taxas de melhoria semelhantes entre subconjuntos de tarefas de maior e menor custo. Essa ressalva é importante. Um desempenho atual pior em avaliações caras não demonstra que o progresso nessas avaliações tenha estagnado.
As medições de referência humanas introduzem outra limitação. Linhas de base humanas diretas sustentam apenas 9% das estimativas de tempo humano do relatório. As demais estimativas se baseiam em avaliações de especialistas, evidências públicas e extrapolação.
Isso altera o grau de confiança com que os leitores devem interpretar as horas atribuídas a tarefas difíceis. A duração estimada ainda pode fornecer informações úteis, mas não tem a mesma base probatória que a conclusão observada. Erros sistemáticos de estimativa podem afetar comparações entre grupos de tarefas.
A comparação humana também inclui assistência de IA. A METR permitiu que os participantes usassem o Sonnet 5 na implementação, em parte para facilitar o recrutamento e acomodar hábitos de trabalho já estabelecidos. A linha de base resultante não deve ser descrita como desempenho humano sem assistência.
Tarefas difíceis de verificar introduzem subjetividade adicional. A utilidade de uma avaliação proposta depende parcialmente das prioridades de pesquisa da METR e de suas crenças sobre riscos relevantes. A organização reconhece que esses julgamentos podem estar errados.
A tarefa de crítica filosófica levanta uma questão relacionada sobre de quem passa a ser o julgamento de referência. Os modelos são avaliados em relação a notas de especialistas, enquanto a concordância pode depender dos especialistas e do tempo disponível para eles. Isso torna o resultado informativo sem transformá-lo em uma medida abrangente do julgamento humano.
Essas ressalvas reforçam as anteriores limitações de horizonte temporal da METR: uma pontuação de benchmark precisa de contexto antes de se tornar uma afirmação sobre trabalho ou segurança. A suíte atualizada amplia as evidências ao mesmo tempo que acrescenta incerteza. Cobertura melhor e medição mais limpa nem sempre chegam juntas.
O Gráfico Não Pode Datá uma Decolagem de Pesquisa
A melhoria exponencial contínua não estabelece quando sistemas de IA acelerarão de forma independente seu próprio desenvolvimento.
A extrapolação tentadora parte do tempo de duplicação medido e estende a curva para atribuições progressivamente mais longas. Essas projeções podem ilustrar as implicações de uma tendência inalterada. Elas não podem estabelecer que as mesmas tarefas, métodos e relações continuarão representativos.
A seleção de tarefas já afeta a tendência ajustada no relatório de novembro. A METR encontra resultados diferentes ao analisar subconjuntos da suíte ampliada. Os pesquisadores discutem várias explicações possíveis, incluindo mudanças no perfil de dificuldade que surgem à medida que os modelos começam a superar tarefas mais novas.
A METR também apresenta o METR Capability Index, uma medida composta construída com teoria de resposta ao item, um método estatístico que relaciona a capacidade do modelo à dificuldade da tarefa. Isso oferece outra forma de acompanhar o desempenho entre os sistemas testados. Não elimina a dependência de escolhas de modelagem.
Nesse índice, a METR não encontra forte aceleração nem desaceleração na fronteira pública que testou. Ela observa mudanças incertas específicas de desenvolvedores em algumas condições. Essas conclusões são sensíveis a decisões metodológicas, o que limita afirmações fortes sobre mudanças nas taxas de crescimento.
A distinção entre progresso exponencial e progresso acelerado importa aqui. Uma medida pode dobrar em um intervalo constante sem que seu intervalo de duplicação se torne menor. Uma curva ascendente, por si só, não demonstra um ciclo de feedback recentemente intensificado.
A automação da pesquisa acrescenta uma questão causal. Observar modelos melhores enquanto laboratórios usam IA não revela como o progresso teria se desenrolado sem essa assistência. A METR observa explicitamente que a comparação ausente impede uma atribuição clara da tendência.
Também há limites para o que lançamentos públicos revelam. Modelos públicos não representam necessariamente os sistemas mais capazes disponíveis dentro dos laboratórios. Diferenças no momento dos lançamentos podem complicar tentativas de detectar mudanças no ritmo subjacente de desenvolvimento.
As conclusões sobre julgamento também sustentam interpretações concorrentes. O discernimento de pesquisa, a capacidade de selecionar perguntas e experimentos promissores, pode limitar a pesquisa autônoma. Alternativamente, um desempenho suficientemente forte em trabalhos mais fáceis de verificar poderia acelerar o desenvolvimento enquanto humanos continuam escolhendo as direções.
A análise da lacuna de julgamento da MIT Technology Review descreve essa divergência entre pesquisadores. Sayash Kapoor vê o discernimento de pesquisa como um gargalo potencialmente importante. Najoung Kim enfatiza a incerteza sobre extrapolar as melhorias observadas.
Essas perspectivas não resolvem a questão, mas identificam o que as evidências atuais deixam em aberto. As atuais fragilidades de julgamento são observações relevantes. Tratá-las como barreiras permanentes exige um argumento adicional que o relatório não fornece.
A posição da própria METR permanece cautelosa tanto em relação à tranquilização quanto ao alarme. Ela afirma que as evidências públicas não podem descartar uma aceleração drástica da pesquisa em IA nos próximos dois anos. Trata-se de uma afirmação sobre possibilidades não resolvidas, e não de uma previsão que atribui uma data ou probabilidade.
A atualização de horizonte temporal da METR, consequentemente, não apoia nem uma contagem regressiva para uma pesquisa totalmente autônoma nem uma garantia de controle humano prolongado. Ela documenta progresso substancial dentro de uma estrutura de avaliação em mudança. A próxima inferência exige evidências sobre o próprio processo de pesquisa.
Três Sinais Importam Mais do que a Próxima Curva Viral
A próxima evidência útil deve testar se uma execução mais forte produz melhores escolhas de pesquisa, revisão confiável e resultados sustentados.
O primeiro sinal é a adoção de avaliações ou propostas de pesquisa projetadas por agentes após revisão independente de especialistas. A tarefa de criação de avaliações da METR fornece um ponto de referência concreto. Resultados futuros tornam-se mais persuasivos se especialistas usarem os resultados porque eles respondem a questões valiosas.
A avaliação deve distinguir um artefato tecnicamente correto de uma contribuição que muda decisões de pesquisa. Revisores adicionais e uma cobertura mais ampla de tarefas ajudariam a testar se a utilidade se estende além das preferências de uma organização. Sucessos repetidos enfraqueceriam o argumento de que o discernimento de pesquisa continua sendo uma grande limitação.
Melhoria contínua sem adoção sustentaria uma interpretação mais limitada. Os agentes poderiam se tornar melhores em produzir avaliações plausíveis, permanecendo fracos na identificação das que são informativas. Isso preservaria a lacuna entre execução refinada e direção útil.
O segundo sinal é se revisores de IA se tornam mais bem calibrados ao avaliar trabalhos de modelos igualmente fortes ou mais fortes. Calibração significa que as avaliações de um revisor correspondem de forma confiável à qualidade real. As conclusões de novembro dão a essa questão uma base experimental concreta.
Um acompanhamento útil compararia avaliações dos modelos com avaliações independentes de especialistas em uma gama mais ampla de artefatos. Maior concordância sobre resultados difíceis fortaleceria o argumento para delegar mais revisões. Superavaliação persistente enfraqueceria as alegações de que autores de IA mais fortes podem ser supervisionados simplesmente adicionando juízes de IA.
Essa questão importa mesmo que os agentes nunca conduzam um projeto de pesquisa inteiro de forma independente. As equipes já precisam decidir quais resultados merecem atenção e quais exigem revisão. Uma revisão que soa confiante enquanto deixa passar defeitos pode deslocar, em vez de remover, a carga de trabalho humana.
O terceiro sinal é uma avaliação mais ampla com referências humanas mais fortes e verificações tardias de resultados. Mais linhas de base diretas melhorariam a confiança nas durações estimadas das tarefas. Avaliar o que ocorreu depois que um resultado foi usado testaria se as pontuações de curto prazo capturaram valor duradouro.
Para relatórios de laboratório, a distinção relevante está entre realizar mais atividade e produzir pesquisa melhor. Código ou experimentos adicionais podem apoiar o progresso, mas seu valor depende das perguntas que abordam. Evidências que vinculem contribuições de agentes a resultados validados fortaleceriam o argumento da pesquisa autônoma.
Essas são prioridades de observação para os próximos meses, e não compromissos anunciados de publicação. Um novo lançamento de modelo, por si só, não as resolverá. A mudança importante seria uma evidência mais forte conectando as medições de capacidade às decisões e aos resultados que essas medições representam.
Para equipes que usam IA em trabalho técnico, a resposta prática é preservar essa conexão. Mantenha juntos o objetivo original, os critérios de aceitação, o resultado e a avaliação de especialistas. Uma base de conhecimento pesquisável pode apoiar comparações posteriores quando um resultado aparentemente bem-sucedido encontra novos requisitos.
Leia a atualização de horizonte temporal da METR junto das tarefas e limitações por trás de sua curva. Antes de aplicar sua trajetória ao seu trabalho, identifique o que conta como sucesso e quem pode verificá-lo. Separe atribuições com testes imediatos de decisões cujas consequências aparecem mais tarde. Em seguida, pergunte se suas evidências medem trabalho concluído, trabalho útil ou apenas um resultado convincente. Essas distinções continuarão valiosas mesmo à medida que os modelos melhoram. A próxima pontuação digna de manchete merece atenção, mas também um resultado mais discreto: um agente escolhendo uma pergunta que vale a pena, produzindo uma resposta sólida e passando por uma revisão independente. Qual parte dessa cadeia sua avaliação atual realmente testou?



