Métricas de Desenvolvimento de IA da Anthropic Revelam a Corrida entre Automação e Supervisão

A Anthropic divulgou três métricas de desenvolvimento de IA após constatar que Claude agora lidera 26% de seu trabalho mensurado de pesquisa e desenvolvimento de modelos. Segundo a empresa, esse índice era inferior a 1% em fevereiro de 2026. O aumento levanta uma questão difícil: a supervisão consegue melhorar tão rapidamente quanto os sistemas que realizam a pesquisa?

A nova estrutura mede a pesquisa conduzida por IA, a supervisão de agentes internos e a alocação de capacidade computacional. A Anthropic também publicou um retrato interno de cada categoria. A empresa apresenta essas medições como uma forma de permitir que pessoas de fora acompanhem atividades que normalmente permanecem ocultas dentro de laboratórios de fronteira.

Isso não é evidência de que Claude consiga projetar e implantar autonomamente seu sucessor. A Anthropic afirma que Claude permanece abaixo da autonomia total em todas as categorias de pesquisa medidas. No entanto, seus dados sugerem que a IA supervisionada já realiza partes substanciais do trabalho necessário para construir modelos mais capazes.

O momento é relevante. O CEO da Anthropic, Dario Amodei, pediu medidas coordenadas para controlar o ritmo do desenvolvimento de fronteira. Enquanto isso, concorrentes enfrentam o mesmo incentivo para automatizar a pesquisa sem divulgar o quanto seus modelos internos moldam esse processo.

Métricas de Desenvolvimento de IA da Anthropic Registram a Automação Interna

A Anthropic transformou o uso interno de IA em um insumo mensurável de desenvolvimento, em vez de tratá-lo como uma narrativa informal de produtividade.

A estrutura de medição da empresa abrange três partes do desenvolvimento de modelos de fronteira. A primeira estima quanto da pesquisa Claude realiza. A segunda acompanha se a Anthropic consegue observar e interromper seus agentes internos. A terceira examina como a empresa divide a capacidade computacional entre segurança e outras pesquisas.

O número de destaque vem do Anthropic R&D Automation Index. A Anthropic construiu o índice catalogando as tarefas envolvidas no desenvolvimento de seus modelos. Em seguida, atribuiu a cada tarefa um nível de automação e a ponderou usando o tempo estimado dos funcionários.

A Anthropic afirma que Claude liderou 26% de seu trabalho mensurado de pesquisa e desenvolvimento em IA em agosto de 2026. “Lidera” significa que um modelo conclui a maior parte de uma tarefa a partir de uma solicitação de alto nível, enquanto uma pessoa supervisiona e aprova o resultado.

Mais de 90% do trabalho mensurado alcançou ao menos o nível “colabora”. Nesse nível, Claude realiza grandes partes de uma tarefa sob orientação humana próxima. Nenhuma categoria medida alcançou autonomia total, que retiraria o humano do ciclo operacional.

O índice usa uma escala de seis níveis proposta pela Epoch AI. Sua escala de automação vai de nenhum envolvimento de IA até assistência, colaboração, liderança e autonomia total. A Epoch alerta que essas classificações continuam subjetivas e exigem melhores métodos de avaliação.

A Anthropic construiu seu catálogo de tarefas a partir de registros do Slack e documentação interna. Durante cada semana de julho, amostrou 20% dos funcionários de departamentos envolvidos no desenvolvimento de modelos. Agentes Claude extraíram aproximadamente 15.000 tarefas detalhadas desses registros.

A empresa organizou essas tarefas em uma árvore com 542 nós. Desses, 378 eram categorias individuais de tarefas. Os exemplos incluíam diagnosticar defeitos na plataforma de avaliação, gerenciar políticas de rede de aprendizado por reforço e revisar incidentes de serving.

Essa abrangência é importante porque benchmarks de software medem apenas capacidades selecionadas em condições controladas. O índice da Anthropic, por outro lado, pergunta onde a IA participa do processo real de produção de novos modelos.

Um exemplo interno mostra o que “lidera” significa na prática. Quando um pipeline noturno de dados falha, Claude pode inspecionar logs, identificar a causa, produzir uma correção, executar testes e documentar seu trabalho. Um humano ainda revisa a alteração e decide se ela será implantada.

Isso é materialmente diferente de pesquisa autônoma. O modelo não decide de forma independente quais sistemas exigem atenção, não define a agenda de pesquisa nem autoriza mudanças em produção. O índice de 26% mede execução delegada sob supervisão, e não controle independente sobre o laboratório da Anthropic.

Ainda assim, a mudança de menos de 1% para 26% em seis meses merece escrutínio. Ela sugere que o desenvolvimento assistido por IA está passando de suporte isolado à programação para a responsabilidade de ponta a ponta por tarefas. Também oferece a governos e laboratórios rivais uma medida concreta que podem contestar ou reproduzir.

Os Números Aumentam a Pressão sobre Outros Laboratórios de Fronteira

A divulgação da Anthropic pressiona concorrentes a explicar como seus próprios modelos internos aceleram o desenvolvimento e como esses sistemas são governados.

Laboratórios de fronteira frequentemente divulgam avaliações de capacidade de modelos públicos. Esses relatórios descrevem o que um modelo pode fazer após o desenvolvimento. Revelam muito menos sobre como sistemas avançados foram usados dentro do laboratório antes do lançamento.

Essa distinção cria uma lacuna de visibilidade. Uma empresa pode implantar internamente seu modelo mais forte para pesquisa, programação, avaliação e trabalho com dados antes que pessoas de fora possam testá-lo. O sistema interno pode influenciar seu sucessor enquanto permanece ausente dos benchmarks públicos convencionais.

Pesquisadores argumentaram que o uso interno de modelos merece relatórios dedicados. Um artigo de 2026 sobre relatórios internos de risco observou que empresas de fronteira podem operar sistemas avançados internamente por semanas ou meses antes do lançamento público. Esse período pode expor riscos que avaliadores externos não conseguem observar.

A estrutura da Anthropic oferece uma resposta. Em vez de perguntar apenas se um modelo supera um benchmark, o índice mede seu papel em toda uma organização de pesquisa em funcionamento. As métricas de supervisão então perguntam se a cobertura de monitoramento acompanha esse papel.

A pressão imediata recai sobre OpenAI, Google DeepMind, xAI, Meta e outros desenvolvedores de modelos avançados. Cada empresa utiliza sistemas internos e estruturas organizacionais diferentes. Comparações diretas continuariam difíceis sem definições comuns, práticas de amostragem e verificação independente.

Mesmo assim, recusar-se a divulgar dados cria seu próprio sinal. Quando um laboratório publica a parcela de pesquisa liderada por IA, o silêncio em outros lugares se torna mais evidente. Formuladores de políticas podem perguntar por que medidas semelhantes não estão disponíveis em empresas que desenvolvem sistemas comparáveis.

A estrutura também complica alegações sobre um ciclo de “autoaperfeiçoamento” da IA. Os números da Anthropic mostram automação significativa sem demonstrar autoaperfeiçoamento recursivo, que exigiria que um modelo construísse autonomamente um sucessor mais forte.

A maior parte do trabalho mensurado ainda envolve orientação ou aprovação humana. A avaliação de risco de agosto da Anthropic também afirmou que ela não havia observado IA causando uma duplicação sustentada no ritmo de seu desenvolvimento. Seus modelos não estavam perto de substituir os cientistas e engenheiros de pesquisa da empresa.

A diferença importa para o debate público. “Claude ajuda a construir Claude” é correto em sentido amplo, mas comprime vários níveis de automação em uma única frase. Um sistema que repara pipelines sob supervisão apresenta riscos diferentes de outro que seleciona direções de pesquisa e implanta mudanças de forma independente.

A divulgação da Anthropic, portanto, eleva o padrão de evidência para todos, inclusive para a própria Anthropic. Se laboratórios querem que formuladores de políticas respondam à aceleração interna, precisam de medições reproduzíveis, e não de descrições dramáticas.

Relatórios comuns também revelariam se os laboratórios definem sucesso de maneiras diferentes. Uma empresa pode considerar código gerado por IA como trabalho automatizado. Outra pode contar apenas tarefas concluídas sem intervenção humana contínua. Essas escolhas podem produzir percentuais incompatíveis.

Uma estrutura compartilhada obrigaria desenvolvedores a identificar o denominador. Ela esclareceria se as medições abrangem engenharia, planejamento de pesquisa, desenho de avaliações, implantação ou apenas tarefas fáceis de instrumentar.

Até que isso aconteça, o índice de 26% da Anthropic funciona melhor como uma referência dentro de uma única empresa. Seu maior valor virá de mostrar mudanças sob um método estável, não de sustentar uma tabela classificatória prematura.

O Anthropic R&D Automation Index Mede Trabalho, Não Inteligência

O índice acompanha mudanças em um processo de produção, mas seu desenho não consegue estabelecer o quão inteligente ou autônomo Claude se tornou.

A Anthropic congelou um conjunto de tarefas de pesquisa para poder comparar a automação ao longo do tempo. Essa abordagem se assemelha a um índice de preços, em que um conjunto consistente de itens torna as mudanças mais fáceis de interpretar. Ela também cria um problema de medição conhecido quando o trabalho subjacente evolui.

Se pesquisadores deixam de realizar tarefas rotineiras e passam a fazer trabalhos mais difíceis, a automação pode aumentar sem substituir uma parcela equivalente do valor total da pesquisa. Um conjunto fixo captura o desaparecimento de trabalho antigo de forma mais confiável do que a criação de trabalho novo.

A Anthropic testou essa preocupação comparando estruturas de tarefas de janeiro e julho de 2026. A empresa afirma que a análise não identificou crescimento em novas categorias de tarefas no nível de detalhe escolhido. No entanto, planeja reconstruir e versionar o conjunto periodicamente.

A ponderação apresenta outro desafio. A Anthropic usa o tempo dos funcionários como um indicador indireto da importância de uma tarefa. Isso dá maior peso a atividades que envolvem mais horas de trabalho, mas tempo e valor científico não são equivalentes.

Uma breve decisão sobre a direção da pesquisa pode importar mais do que semanas de implementação. Entrevistas da Epoch AI constataram que planejamento e criação de hipóteses podem consumir menos tempo, embora permaneçam essenciais para o sucesso de um projeto. Engenharia e depuração levam mais tempo e parecem mais passíveis de automação.

Esse padrão pode elevar um índice de automação antes que a IA controle as decisões mais consequentes. Claude pode executar experimentos, reparar infraestrutura e analisar resultados enquanto humanos ainda escolhem quais perguntas valem a pena fazer.

O processo de pontuação adiciona outra camada de incerteza. Agentes Claude reuniram evidências sobre tarefas internas, e um avaliador Claude separado atribuiu níveis de automação. Usar modelos relacionados para avaliar o envolvimento de modelos cria um risco de erros correlacionados.

A Anthropic comparou esses julgamentos com classificações de funcionários responsáveis pelo trabalho relevante. Ela relata concordância exata entre o modelo e humanos em 59% dos casos. Dois avaliadores humanos concordaram exatamente em apenas 35% das vezes.

As classificações do modelo e dos humanos ficaram dentro de um nível de automação em 97% dos casos. Esses resultados sugerem que a escala pode capturar distinções amplas. Também revelam ambiguidade significativa em torno da fronteira entre colaboração e liderança.

Essa fronteira determina o número de destaque. Mover uma tarefa do nível três para o nível quatro a transforma de colaboração com IA em liderança por IA. Ainda assim, ambos os níveis mantêm envolvimento humano substancial.

O índice também depende de registros internos sensíveis. Auditores independentes precisariam de acesso a produtos de trabalho dos funcionários, transcrições de agentes, definições de tarefas e decisões de ponderação. Esse acesso levanta preocupações de privacidade, segurança e concorrência.

A Anthropic planeja incorporar avaliadores terceirizados com acesso comparável ao das equipes internas de risco. Esse compromisso é mais consequente do que publicar apenas uma metodologia. Avaliadores externos precisam de acesso suficiente para reproduzir classificações e inspecionar cargas de trabalho omitidas.

Para organizações de engenharia, o framework também destaca uma questão prática de documentação. O trabalho automatizado torna-se difícil de auditar quando as decisões permanecem dispersas entre mensagens, revisões de código, rastros de agentes e logs de experimentos.

Uma base de conhecimento de engenharia pesquisável pode ajudar as equipes a preservar decisões humanas junto a artefatos gerados por IA. Esse registro não resolve a verificação independente, mas torna a responsabilização interna mais viável.

O índice deve, portanto, ser lido como um indicador operacional. Ele mede como a Anthropic atualmente divide o trabalho entre pessoas e Claude. Não mede consciência, inteligência geral ou um caminho inevitável rumo ao autoaperfeiçoamento autônomo.

Trinta Mil Agentes Transformam a Supervisão em um Problema de Vazão

A escala interna de agentes da Anthropic significa que a segurança depende de sistemas de monitoramento capazes de filtrar uma atividade imensa sem ocultar falhas raras e relevantes.

A Anthropic informa que aproximadamente 30.000 agentes realizavam trabalho de pesquisa e engenharia a qualquer momento em sua plataforma interna mais utilizada em agosto. As medições abrangem essa plataforma, não todos os sistemas de agentes usados pela empresa.

Segundo a Anthropic, cada ação na plataforma medida passa por um monitoramento online antes da execução. Um monitor online avalia uma ação em tempo real e pode bloqueá-la ou redirecionar o agente. A Anthropic afirma que esse processo geralmente leva segundos.

A empresa também incorpora cada ação a um sistema de monitoramento offline. O monitoramento offline examina a atividade concluída em busca de padrões que se desenvolvem lentamente, incluindo possíveis desalinhamentos em sequências mais longas.

Essas duas camadas abordam modos de falha distintos. Um sistema online pode interromper uma tentativa rápida de copiar pesos de modelo. Um sistema offline pode investigar um comportamento que se torna suspeito apenas após várias ações ou interações.

A Anthropic analisou mais de um bilhão de decisões de agentes durante agosto. Seu monitor online bloqueou 0,002% delas, ou cerca de uma em cada 47.000 decisões.

Essa baixa taxa permite duas interpretações. Os agentes podem raramente tentar ações perigosas, ou o monitor pode identificar apenas um subconjunto restrito de comportamentos problemáticos. O número, por si só, não permite distinguir entre essas explicações.

O monitoramento offline sinaliza aproximadamente um ou dois transcritos por mil para exame adicional. A Anthropic afirma que cerca de 100.000 transcritos passam por uma revisão automatizada adicional a cada semana. Aproximadamente 50 casos de alta prioridade chegam aos revisores humanos.

A redução de 100.000 sinalizações de máquinas para cerca de 50 escalonamentos humanos mostra por que a supervisão é um problema de vazão. Humanos não conseguem examinar manualmente cada ação de agente nessa escala. Eles dependem de classificadores que decidem o que merece atenção.

A cobertura é, portanto, necessária, mas insuficiente. Um monitor pode inspecionar tecnicamente 100% das ações e ainda assim deixar de identificar estratégias de ataque desconhecidas. A questão mais importante é a revocação, isto é, com que frequência o sistema detecta comportamentos perigosos conhecidos e novos.

A Anthropic reconhece que opera essa forma de monitoramento há meses, não anos. Também afirma que a ciência de supervisionar grandes populações de agentes mudará consideravelmente.

Trabalhos independentes oferecem alguma evidência de que o escrutínio externo pode ajudar. A METR dedicou três semanas ao red teaming de monitores de agentes no início de 2026. A investigação identificou várias vulnerabilidades inéditas, algumas das quais a Anthropic posteriormente corrigiu.

A METR afirmou que as descobertas não comprometeram gravemente as principais alegações do relatório de risco relevante da Anthropic. No entanto, apenas um resumo com redações foi tornado público. Isso limita a avaliação externa dos ataques, das defesas e das fragilidades restantes.

O sistema de identidade da Anthropic atribui a cada agente uma identidade persistente entre atualizações de modelos. Seus agentes internos se comunicam por meio de mensagens compartilhadas e atribuíveis, em vez de canais privados. Essas escolhas de design permitem que os monitores rastreiem ações e alegações até agentes individuais.

A identidade persistente também ajuda os agentes a tratar mensagens de outros agentes como alegações que exigem verificação. Isso reduz a chance de que informações circulando por um grupo se tornem indistinguíveis do próprio raciocínio de um agente.

A comunicação aberta cria uma trilha de auditoria mais rica, mas não garante comportamento independente. Agentes alimentados por modelos semelhantes podem compartilhar pontos cegos. Um modelo de monitoramento da mesma família também pode reproduzir os erros de raciocínio que deveria detectar.

Esse é o conflito central do sistema da Anthropic. A empresa precisa de automação para monitorar automação porque a revisão humana não consegue acompanhar o volume. Ainda assim, cada camada automatizada cria outro julgamento dependente de modelo que exige validação.

A Alocação de Computação Oferece Transparência com um Campo de Visão Limitado

Computação é mais fácil de contar do que qualidade de pesquisa, mas o retrato de uma semana da Anthropic não pode estabelecer se o investimento em segurança acompanha o ritmo.

A Anthropic examinou toda a capacidade computacional usada de 13 a 20 de julho de 2026. Ela classificou as cargas de trabalho em várias categorias e mediu quanto da computação de pesquisa em IA apoiava o trabalho de segurança.

A empresa constatou que aproximadamente 6% da computação destinada à pesquisa e desenvolvimento em IA foi direcionada à segurança. Dentro da pesquisa em IA conduzida por IA, a participação da segurança alcançou cerca de 12%.

A Anthropic descreve ambas as cifras como conservadoras. O trabalho que avançava igualmente segurança e capacidades foi contabilizado como pesquisa geral em IA. Classificadores de salvaguarda separados também foram excluídos da participação de segurança reportada.

A empresa amostrou cerca de 14% de quase 10.000 execuções de treinamento e avaliação de pesquisa. Ela ponderou a amostra em favor das cargas de trabalho que consumiam mais computação. Um classificador inspecionou metadados e código antes de atribuir cada execução à segurança ou a outra pesquisa.

A Anthropic afirma que as classificações de máquina concordaram com os revisores humanos dentro de um ou dois pontos percentuais. Alguns casos permaneceram difíceis mesmo após várias horas de análise humana.

Essa ambiguidade é inevitável porque a pesquisa sobre segurança e capacidades frequentemente se sobrepõe. Uma interpretabilidade melhor pode revelar comportamentos perigosos do modelo, mas também pode ajudar engenheiros a melhorar o desempenho. Uma supervisão mais escalável pode reduzir riscos enquanto torna produtos de agentes mais fáceis de implantar.

O denominador importa tanto quanto a porcentagem. Uma grande execução de treinamento de fronteira consome muito mais capacidade computacional do que muitos experimentos de segurança. A pesquisa de segurança frequentemente depende do tempo de pesquisadores, do desenho de avaliações e de análise, e não de enormes clusters de aceleradores.

Uma participação menor de segurança pode refletir ferramentas de segurança mais eficientes, em vez de investimento mais fraco. Por outro lado, uma participação maior pode vir de experimentos caros que produzem pouca proteção útil. A computação mede insumos, não resultados.

O período de uma semana cria outra limitação. A Anthropic gerencia a computação dinamicamente, portanto as alocações mudam conforme execuções de treinamento, demanda de produtos e capacidade disponível. Uma única semana não pode estabelecer uma tendência duradoura.

Relatórios regulares tornariam a medida mais útil. Uma série trimestral estável poderia mostrar se a computação de segurança cresce junto com a pesquisa automatizada, o treinamento de modelos e a implantação de agentes internos.

Relatórios comparáveis ainda exigiriam definições comuns. Laboratórios têm incentivos para classificar projetos de uso duplo como trabalho de segurança. A Anthropic argumenta que os desenvolvedores deveriam arcar com o ônus de provar que uma carga de trabalho pertence à categoria de segurança.

A verificação independente pode testar rótulos e totais, mas os auditores precisam de acesso a código sensível e metadados de experimentos. Governos ou avaliadores confiáveis também precisariam de procedimentos que protejam pesquisas proprietárias.

A política de escalonamento da Anthropic já conecta capacidades mais fortes de modelos a salvaguardas mais robustas. A nova medida de computação acrescenta uma visão de recursos, mostrando para onde vai a capacidade antes que um limiar de capacidade seja ultrapassado.

No entanto, alocar recursos não demonstra controle eficaz. O teste relevante é se os sistemas de segurança identificam falhas, resistem à pressão adversarial e interrompem a implantação quando necessário.

A alocação de computação funciona melhor como um componente de um pacote maior de evidências. Ela pode revelar prioridades e tendências, enquanto avaliações de capacidade, incidentes, resultados de red team e desempenho de monitoramento revelam resultados.

O Próximo Teste É Saber se os Relatórios se Tornam Verificáveis

A Anthropic publicou uma referência inicial útil, mas o framework só importa se medições repetidas expuserem mudanças desfavoráveis tão prontamente quanto as favoráveis.

O primeiro sinal a observar é a próxima atualização do R&D Automation Index. Um novo aumento no trabalho de nível quatro reforçaria o argumento de que agentes supervisionados estão assumindo a responsabilidade por tarefas completas de pesquisa.

A composição desse aumento será importante. Um crescimento concentrado em depuração e infraestrutura indicaria uma automação de engenharia mais profunda. Crescimento na criação de hipóteses, na seleção de experimentos ou na priorização de pesquisa representaria uma mudança mais consequente.

Um conjunto estável de tarefas também tornará a tendência mais fácil de interpretar. Se a Anthropic alterar categorias, pesos ou limiares, deverá publicar tanto os resultados antigos quanto os revisados. Sem dados versionados, mudanças metodológicas podem parecer progresso de capacidade.

O segundo sinal é a replicação independente. A Anthropic afirma que planeja incorporar avaliadores de várias organizações e fornecer acesso comparável ao das equipes internas de risco. A capacidade deles de reproduzir a cifra de 26% testará se o índice pode sustentar responsabilização externa.

A verificação deve examinar mais do que as porcentagens finais. Os avaliadores precisam testar registros de tarefas amostradas, classificações de automação, cobertura de cargas de trabalho, revocação do monitoramento e classificações de computação. Eles também devem divulgar limitações importantes sem expor detalhes perigosos ou proprietários.

Testes externos tornam-se especialmente importantes para as métricas de supervisão de agentes. Bloquear uma em cada 47.000 decisões significa pouco sem testes adversariais que estimem o que o sistema deixa passar.

Relatórios futuros devem incluir taxas de detecção para comportamentos inadequados conhecidos e ataques recém-projetados. Devem explicar com que rapidez casos críticos chegam aos humanos e quais ações seguem uma escalada.

O terceiro sinal é a adoção por outros laboratórios. Divulgações comparáveis da OpenAI, Google DeepMind, xAI ou Meta transformariam o framework da Anthropic em um instrumento do setor, em vez de uma narrativa específica da empresa.

Os concorrentes não precisam de plataformas internas idênticas. Precisam, porém, de definições compartilhadas para ações monitoradas, latência de revisão, escalonamento, automação de pesquisa e computação relacionada à segurança.

A adoção fortaleceria o framework porque diferenças entre laboratórios revelariam fragilidades metodológicas. Uma recusa em participar enfraqueceria as alegações de que a transparência voluntária pode substituir requisitos formais.

O framework também enfrenta um teste de credibilidade dentro da Anthropic. Relatórios futuros devem incluir períodos em que o monitoramento se deteriora, a alocação de segurança cai ou a automação cria problemas operacionais. A divulgação seletiva tornaria o projeto menos informativo justamente quando o escrutínio mais importa.

Para desenvolvedores, a lição imediata não é que a pesquisa autônoma chegou. É que a IA agora realiza trabalho interno suficiente para exigir instrumentação no nível organizacional.

Para compradores empresariais, essas métricas oferecem um conjunto melhor de perguntas para aquisição. Os compradores podem perguntar se os agentes têm identidades persistentes, se cada ação é registrada, com que rapidez os alertas chegam às pessoas e se testadores externos podem examinar os controles.

Para os formuladores de políticas, a estrutura identifica dados de entrada mensuráveis sem resolver a questão da governança. Os governos ainda precisam decidir se a divulgação permanece voluntária, torna-se padronizada ou aciona revisões mais rigorosas em limites definidos.

As métricas de desenvolvimento de IA da Anthropic oferecem o retrato público mais claro até agora de como um laboratório de fronteira usa IA para desenvolver IA. Elas também revelam o quanto ainda depende de definições internas, julgamento automatizado e acesso externo limitado.

Os próximos relatórios determinarão se isso se tornará uma infraestrutura duradoura de responsabilização ou um exercício pontual de transparência. Os leitores devem acompanhar, nessa ordem, a tendência de automação, a verificação independente e a adoção por concorrentes. Esses sinais mostrarão se a supervisão está realmente acompanhando o ritmo do desenvolvimento.