A Cobertura de Benchmarks de IA da Mercor Deixa 90% das Horas de Trabalho dos EUA no Escuro
A cobertura dos benchmarks de IA da Mercor deixa cerca de 90% das horas de trabalho americanas com pouca ou nenhuma representação significativa, segundo o novo mapa econômico da empresa. A descoberta desafia uma premissa central por trás de muitas afirmações sobre inteligência artificial e emprego. As pontuações dos modelos podem parecer impressionantes, mas dizer notavelmente pouco sobre a maior parte do trabalho realizado no país.
A Mercor mapeou 29 benchmarks de agentes em relação a 18.797 tarefas distribuídas por 923 ocupações no mercado de trabalho dos EUA. Apenas 924 tarefas atingiram seu limite de cobertura. Somente 208 ocupações tiveram pelo menos uma tarefa representada por cinco ou mais prompts de benchmark.
Essa lacuna não demonstra que a IA não possa realizar o trabalho restante. Ela mostra que os pesquisadores não mediram adequadamente se ela consegue. A distinção importa para empregadores que tomam decisões sobre automação, trabalhadores que avaliam riscos à carreira e formuladores de políticas que projetam a disrupção do mercado de trabalho.
A reação online capturou rapidamente o conflito. Alguns leitores trataram o mapa como evidência de que o alcance econômico da IA continua restrito. Outros argumentaram que a ausência de benchmarks revela um atraso na medição, não um limite de capacidade.
A verdadeira disputa, portanto, não é entre IA e trabalho humano. É entre a confiança nos benchmarks e a realidade confusa do trabalho. O mapa da Mercor sugere que as evidências que sustentam previsões de automação em toda a economia continuam muito mais escassas do que muitas previsões confiantes sugerem.
A Cobertura de Benchmarks de IA da Mercor Mede o Teste, Não o Limite da IA
O número de destaque descreve uma lacuna de medição, não a porcentagem de trabalho que a IA não consegue realizar.
A Mercor reuniu o que chama de Benchmark Map da economia dos EUA. O projeto conecta prompts de 29 avaliações de IA a descrições de tarefas na taxonomia ocupacional do Departamento do Trabalho.
Essas avaliações enfatizam tarefas de agentes. Uma tarefa de agente pede que um modelo conclua uma entrega ou fluxo de trabalho, em vez de responder a uma pergunta factual. Exemplos incluem editar uma planilha, resolver um problema de software ou preparar uma análise profissional.
O mapa de benchmarks informa que 924 das 18.797 tarefas ocupacionais têm representação suficiente. A Mercor classifica uma tarefa como coberta quando um avaliador de IA a associa a pelo menos cinco prompts dos benchmarks selecionados.
Essa regra produz um resultado marcante. Apenas 208 das 923 ocupações contêm ao menos uma tarefa que supera o limite de cinco prompts. Seis das 22 famílias ocupacionais não contêm nenhuma ocupação qualificada.
A cobertura também varia fortemente entre áreas. Ocupações de informática e matemática têm 29 das 36 ocupações representadas. Operações empresariais e financeiras chegam a 33 de 48, enquanto ocupações jurídicas chegam a cinco de sete.
Outras partes da economia permanecem muito menos representadas. Profissionais da saúde têm 12 das 89 ocupações representadas. Educação e trabalho em bibliotecas alcançam nove das 62 ocupações, enquanto arquitetura e engenharia alcançam 19 das 56.
Esses números não devem ser lidos como pontuações de desempenho dos modelos. Uma ocupação pode ser coberta mesmo quando os modelos avaliados têm desempenho fraco. Da mesma forma, uma tarefa pode parecer não coberta mesmo que um sistema comercial já ajude pessoas a realizá-la.
Em vez disso, a cobertura indica se um benchmark incluído oferece prompts suficientes para sustentar uma avaliação limitada. É um inventário dos testes disponíveis, não um inventário de tudo o que a IA atual consegue fazer.
Essa distinção responde a uma crítica levantada na discussão pública. Automação em restaurantes, pedidos por voz ou robótica de armazém podem existir sem aparecer na coleção de benchmarks selecionada pela Mercor. Sua ausência não elimina os sistemas já implementados.
A mesma cautela funciona no sentido oposto. Um modelo que responde bem a prompts relacionados a uma tarefa não demonstra que possa substituir o trabalhador correspondente. Os empregos combinam julgamento, coordenação, ação física, tratamento de exceções e responsabilidade institucional.
Um benchmark jurídico pode avaliar a redação de contratos, mas omitir aconselhamento a clientes, negociação, supervisão ou trabalho em tribunais. Medir uma entrega visível não captura o conjunto completo que os empregadores adquirem ao contratar um advogado.
A Mercor apresenta explicitamente sua lista inicial como provisória. Afirma que o mapa se expandirá à medida que mais avaliações economicamente relevantes se tornarem disponíveis. Essa limitação torna o resultado menos definitivo, mas também reforça a descoberta central.
Mesmo após anos de rápida produção de benchmarks, o ecossistema de avaliação ainda observa uma fatia estreita da economia. As alegações sobre ampla substituição de trabalho, portanto, vão muito além dos testes disponíveis.
Por Que as Avaliações de IA se Concentram em Trabalho Digital Valioso
Os benchmarks se concentram onde o trabalho é digital, caro, repetível e relativamente fácil de avaliar.
Os pontos cegos do mapa não estão distribuídos aleatoriamente. A Mercor constatou que tarefas classificadas como expostas a modelos de linguagem tinham cerca de seis vezes mais probabilidade de aparecer em sua coleção de benchmarks.
Esse padrão é compreensível. Pesquisadores querem avaliações que possam revelar diferenças entre modelos avançados. O trabalho intelectual digital oferece insumos acessíveis, ambientes reproduzíveis e resultados que softwares ou avaliadores especializados podem inspecionar.
A engenharia de software tornou-se um alvo inicial porque um programa frequentemente pode ser testado automaticamente. O código compila, passa nos testes ou produz uma saída definida. Esses ciclos de feedback facilitam a avaliação e o aprimoramento dos modelos.
A análise financeira também produz artefatos digitais familiares. Um benchmark pode fornecer documentos-fonte, especificar premissas e solicitar uma planilha ou apresentação. Os revisores podem então comparar cálculos, estrutura e conclusões.
O trabalho físico e interpessoal cria problemas de medição mais difíceis. Um prompt não consegue reproduzir plenamente uma sala de aula lotada, um local de manutenção imprevisível ou uma conversa sensível com uma família.
O banco de dados O*NET ajuda pesquisadores a descrever esse tipo de trabalho, mas suas declarações de tarefas não são ambientes de benchmark. Elas identificam deveres sem gerar automaticamente insumos, ferramentas, restrições e regras de avaliação realistas.
A análise da Mercor também conclui que tarefas de ocupações com maiores massas salariais recebem mais cobertura. Essa relação se mantém após considerar a exposição estimada à IA.
Esse incentivo é economicamente racional. Automatizar parte de uma ocupação cara oferece um retorno potencial mais claro do que criar uma avaliação para um mercado de trabalho menor. Os clientes também têm motivos mais fortes para financiar testes ligados a remunerações elevadas.
A importância da tarefa cria outro efeito de seleção. Dentro de uma ocupação, tarefas classificadas como mais importantes tinham aproximadamente de seis a dez vezes mais probabilidade de receber cobertura de benchmark do que as tarefas menos importantes.
Priorizar trabalho importante parece sensato. No entanto, um emprego frequentemente depende de inúmeras atividades menores que tornam possíveis suas entregas principais. Elas incluem reunir contexto, confirmar requisitos, coordenar aprovações, detectar exceções e corrigir mal-entendidos.
Um benchmark pode capturar o documento que aparece no fim de um processo. Raramente captura o trabalho organizacional que determina se esse documento está correto, é oportuno, confiável e utilizável.
Isso se assemelha ao problema do porteiro levantado durante a discussão no Hacker News. Abrir uma porta parece ser a tarefa central até que a automação revele que o trabalhador também fornecia orientações, atenção à segurança e assistência informal.
O trabalho intelectual contém funções ocultas semelhantes. Um gerente de produto não apenas escreve um documento de requisitos. A função inclui conciliar demandas conflitantes, lembrar decisões anteriores, perceber evidências ausentes e obter comprometimento.
A IA pode acelerar o artefato visível enquanto deixa intactas essas restrições ao redor. Em alguns casos, a geração mais rápida cria trabalho adicional de revisão porque as equipes precisam verificar um volume maior de resultados plausíveis.
É por isso que uma base de conhecimento pessoal ou de equipe pode ser mais importante do que outra ferramenta isolada de geração. O gargalo frequentemente envolve recuperar contexto e validar decisões, não produzir mais um rascunho.
A concentração de benchmarks, portanto, reflete tanto a viabilidade técnica quanto os incentivos de mercado. Ela mostra onde os criadores de avaliações podem desenvolver testes confiáveis hoje, não onde a transformação econômica necessariamente deve parar amanhã.
A Constatação dos 90% Vem de Várias Camadas de Estimativa
O resultado da Mercor combina dados trabalhistas oficiais com mapeamentos gerados por modelos, de modo que cada camada adiciona estrutura útil e incerteza adicional.
O projeto começa com o O*NET, o banco de dados federal que descreve ocupações, características dos trabalhadores e tarefas profissionais. A Mercor usa 923 ocupações e 18.797 declarações de tarefas associadas.
Os pesquisadores então conectam prompts de benchmarks a essas tarefas. A Mercor afirma que um avaliador LLM pode atribuir um prompt a várias tarefas ocupacionais quando as atividades se sobrepõem.
A empresa validou esse processo com base em rótulos de especialistas humanos para seus próprios benchmarks APEX. No entanto, essa validação se aplica a um subconjunto das 29 avaliações, não necessariamente a todos os prompts incluídos.
A Mercor define cobertura em cinco prompts mapeados. Esse limite evita tratar um único exemplo como representação adequada, mas cinco itens ainda fornecem evidências limitadas para uma tarefa complexa.
Um participante da discussão destacou esse problema usando o trabalho social como exemplo. Treze prompts podem tecnicamente cobrir uma função de aconselhamento, mas não conseguem representar todos os clientes, restrições legais, dinâmicas emocionais ou resultados adversos.
A estimativa de 90% exige outra etapa. O O*NET registra a importância e a frequência das tarefas, mas não fornece diretamente uma alocação completa das horas de cada trabalhador entre todas as tarefas.
Por isso, a Mercor usa pesquisas que estimam parcelas de tempo de trabalho no nível das tarefas com modelos de linguagem. Ela combina essas parcelas com dados de emprego e salários para aproximar como as horas de trabalho americanas são distribuídas.
As massas salariais das ocupações são calculadas a partir do emprego estimado e dos salários médios. O modelo pressupõe uma semana de trabalho de 40 horas ao converter esses totais em métricas de trabalho.
Isso produz um mapa econômico coerente, mas não uma pesquisa nacional direta sobre uso do tempo. A porcentagem final depende das definições de tarefas, das parcelas de tempo estimadas, da seleção de benchmarks, do mapeamento de prompts e da regra dos cinco prompts.
A Mercor reconhece várias limitações. Sua lista é incompleta, e quaisquer benchmarks ausentes reduzirão a cobertura aparente. A empresa também limitou a representação de famílias profissionais muito estudadas para impedir que a engenharia de software dominasse a coleção.
Essa decisão melhora a amplitude, ao mesmo tempo que reduz a profundidade medida em categorias populares. Excluir benchmarks saturados também pode ocultar tarefas que os modelos já realizam bem.
Incluir esses benchmarks criaria um problema diferente. Avaliações fáceis ou irrealistas poderiam inflar a cobertura econômica aparente sem fornecer evidências úteis sobre a implementação.
Os critérios de seleção também introduzem julgamento. “Realismo econômico” parece objetivo, mas os pesquisadores ainda precisam decidir se um prompt se assemelha ao trabalho realizado dentro de uma empresa.
Consequentemente, o número de 90% deve ser tratado como uma estimativa gerada por uma metodologia explícita. Não é o resultado de um censo, nem uma propriedade fixa da economia.
Ainda assim, as incertezas não tornam o projeto irrelevante. Mesmo uma revisão substancial deixaria o cenário de avaliação desigual. Passar de 10% de cobertura para 15% ou 20% não estabeleceria visibilidade para toda a economia.
A conclusão defensável é mais restrita e mais consequente. Os benchmarks agentes existentes não sustentam julgamentos confiantes sobre a maior parte do tempo de trabalho nos EUA.
Essa conclusão deve mudar a forma como os leitores interpretam ganhos em rankings. Uma pontuação crescente pode demonstrar progresso dentro de um domínio testado, enquanto deixa milhares de outras tarefas sem análise.
Benchmarks Mais Próximos do Mundo Real Ainda Não Capturam o Trabalho Inteiro
As novas avaliações estão se tornando mais realistas, mas o realismo dentro de ocupações selecionadas não equivale a uma cobertura representativa da economia.
O campo dos benchmarks já foi além de perguntas triviais e provas acadêmicas. Testes mais recentes pedem que modelos criem relatórios, operem softwares, analisem materiais profissionais e concluam atribuições de múltiplas etapas.
A avaliação GDPval da OpenAI ilustra essa mudança. Ela abrange 44 ocupações em nove setores e pede que os modelos produzam entregas avaliadas em comparação com resultados profissionais.
A coleção completa do GDPval contém 1.320 tarefas. A OpenAI selecionou ocupações de setores economicamente relevantes, com ênfase em trabalho intelectual ligado a grandes massas salariais.
Essa abordagem oferece mais relevância econômica do que medir questões isoladas de raciocínio. Ela também compartilha a concentração identificada pela Mercor. A primeira versão privilegia trabalhos valiosos e passíveis de expressão digital.
Testes de software mostram o mesmo padrão em um nível mais restrito. Eles podem medir se um agente corrige um problema em um repositório, mas o resultado não capta todas as responsabilidades de um engenheiro em atividade.
Engenheiros investigam incidentes ambíguos, negociam dívida técnica, revisam mudanças, apoiam colegas e tomam decisões com informações incompletas. Grande parte desse trabalho depende de contexto organizacional acumulado.
A pesquisa sobre horizontes de tempo da METR acrescenta outra medida útil. Ela estima a duração de uma tarefa em que um agente tem determinada probabilidade de sucesso.
A METR também alerta que esses resultados não devem ser interpretados como horas equivalentes de emprego convencional. As tarefas de avaliação normalmente contêm as informações necessárias para começar, enquanto funcionários recorrem a conversas anteriores e conhecimento tácito.
Essa diferença é central para a história da Mercor. Benchmarks isolam o trabalho para que pesquisadores possam avaliá-lo. Organizações reais integram o trabalho entre pessoas, sistemas, histórico e prioridades em mudança.
Um modelo pode concluir uma atribuição bem especificada e, ainda assim, falhar quando os requisitos permanecem implícitos. Pode gerar uma planilha convincente enquanto deixa de considerar uma regra de negócio conhecida apenas por um analista experiente.
A implementação acrescenta custos que as pontuações de benchmark frequentemente omitem. Funcionários precisam preparar entradas, conceder acesso a sistemas, revisar resultados, lidar com falhas, documentar responsabilidades e decidir quando é necessária escalada humana.
A saída do modelo também pode alterar o trabalho posterior. A geração mais rápida de código aumenta o volume que chega à revisão e aos testes. A geração mais rápida de conteúdo cria mais material que exige checagem de fatos e aprovação.
Essa é uma razão pela qual ganhos medidos nem sempre se traduzem diretamente em produtividade organizacional. Automatizar uma etapa desloca a atenção para a restrição restante mais lenta.
Tarefas físicas ampliam ainda mais essa lacuna. Pesquisas da estimativa de trabalho remoto concluíram que 37% dos empregos nos EUA poderiam ser realizados inteiramente de casa. Os demais empregos incluem componentes físicos que os benchmarks convencionais de modelos de linguagem têm dificuldade de recriar.
A robótica pode eventualmente tornar essas atividades mais fáceis de avaliar. No entanto, um benchmark para trabalho físico precisa representar percepção, manipulação, segurança, variação ambiental e recuperação diante de condições inesperadas.
Um sucesso simulado não estabelece automaticamente desempenho seguro em um hospital, fábrica, cozinha ou via pública. O custo da falha também pode ser muito diferente de uma resposta errada em um ambiente digital isolado.
Portanto, o caminho adiante é mais amplo do que adicionar prompts. Projetistas de benchmarks precisam de ambientes mais ricos, fluxos de trabalho mais longos, métricas de colaboração humana e conexões mais claras entre desempenho em tarefas e valor econômico.
O Que o Mapa Muda para Empregadores e Trabalhadores
O mapa enfraquece previsões confiantes de automação, ao mesmo tempo que reforça a necessidade de avaliações mais restritas e específicas para cada fluxo de trabalho.
Um empregador não deve começar pela posição agregada de um modelo de ponta em rankings. A questão útil é se esse modelo executa as tarefas reais da organização em condições realistas.
Essa avaliação começa com a decomposição dos fluxos de trabalho. As equipes precisam identificar entradas, ferramentas, dependências, exigências de aprovação, exceções comuns e as consequências de um resultado incorreto.
Um processador de sinistros, por exemplo, pode revisar documentos semelhantes às entradas de benchmark. O fluxo de trabalho real também envolve registros ausentes, variações de apólices, prazos regulatórios, sinais de fraude, comunicação com clientes e escalonamento.
O desempenho em uma tarefa limpa diz pouco sobre a confiabilidade do sistema em toda essa cadeia. O empregador deve testar cada transição relevante, especialmente onde erros se tornam caros ou irreversíveis.
Os dados da Mercor também argumentam contra tratar ocupações como unidades indivisíveis. A adoção de IA normalmente altera a composição das tarefas antes de eliminar um emprego completo.
Um trabalhador pode passar menos tempo gerando um primeiro rascunho e mais tempo verificando evidências. Outra função pode se deslocar para a comunicação com clientes, o tratamento de exceções ou a coordenação entre sistemas automatizados.
Essa redistribuição ainda pode afetar o emprego. Se uma pessoa conclui mais trabalho, uma organização pode reduzir contratações ou realocar funcionários. No entanto, o efeito depende da demanda, das restrições de processo e do custo da supervisão.
Os trabalhadores devem aplicar o mesmo raciocínio em nível de tarefa ao risco de carreira. Uma profissão com forte cobertura de benchmarks não está automaticamente desaparecendo. Ela enfrenta experimentação mais rápida porque fornecedores podem medir e aprimorar capacidades relevantes.
Desenvolvedores de software, analistas financeiros e advogados estão dentro dessa zona altamente observada. Seu trabalho produz artefatos digitais, atrai investimento em benchmarks e oferece feedback que sustenta iteração rápida.
Ocupações menos cobertas não estão permanentemente protegidas. Sua incerteza imediata é apenas maior. A escassez de benchmarks impede conclusões fortes em qualquer direção.
O mapa também desafia uma interpretação comum da baixa cobertura. A ausência de testes não prova que uma tarefa é exclusivamente humana. Pode indicar que a tarefa é difícil de especificar, avaliar, digitalizar ou financiar.
Esses obstáculos ainda importam comercialmente. Uma capacidade que não pode ser avaliada de forma confiável é difícil de comprar, governar, segurar e implementar em escala.
Para compradores empresariais, a melhor resposta é uma avaliação controlada com exemplos internos. As equipes devem comparar a saída do modelo com o trabalho atual, medir o tempo de revisão, registrar tipos de falha e acompanhar se os ganhos persistem ao longo de processos completos.
Também devem testar o aumento de capacidade separadamente da autonomia. Um modelo que ajuda um especialista a terminar mais cedo pode gerar valor mesmo quando não consegue assumir o fluxo de trabalho.
Por outro lado, um modelo que tem bom desempenho sozinho em um benchmark pode agregar pouco dentro de uma empresa. Funcionários podem gastar mais tempo preparando prompts, verificando resultados e corrigindo falhas de integração do que economizam.
Para formuladores de políticas públicas, o mapa da Mercor destaca um problema de evidências. Regulação, investimento em treinamento e previsões da força de trabalho exigem mais do que alegações sobre inteligência ampla de modelos.
Instituições públicas precisam de avaliações transparentes em ocupações representativas. Esses testes devem incluir trabalho físico, serviços voltados ao público, funções de menor remuneração e tarefas em que a responsabilização importa mais do que uma entrega refinada.
A mensagem mais útil do mapa, portanto, não é nem tranquilizadora nem alarmista. É uma demanda por melhores medições antes que instituições tomem decisões irreversíveis.
Três Sinais Mostrarão se o Ponto Cego Está Sendo Reduzido
A próxima etapa da pesquisa sobre IA e trabalho será julgada pela amplitude da cobertura, por evidências de implementação e por testes confiáveis de fluxos de trabalho completos.
O primeiro sinal é a expansão do próprio mapa da Mercor. A empresa descreve o índice atual de 29 benchmarks como um ponto de partida e convida pesquisadores a enviar avaliações adicionais.
Observe se as novas adições expandem de forma significativa a cobertura ocupacional. Outro conjunto de testes de programação pode aprofundar as evidências em uma área conhecida sem reduzir a incerteza em toda a economia.
Uma atualização mais robusta acrescentaria benchmarks confiáveis para educação, apoio à saúde, administração, ofícios especializados, transporte e trabalho de serviços. Também informaria se a estimativa de 90% muda sob limiares alternativos de cobertura.
Se coleções ampliadas deixarem o número próximo do nível atual, o problema de medição será estrutural. Pesquisadores podem ter dificuldade para traduzir grande parte do trabalho humano em tarefas de agentes repetíveis e avaliáveis.
Uma queda acentuada enfraqueceria a manchete, mas melhoraria a base de evidências. Mostraria que o resultado inicial refletia mais a seleção dos benchmarks do que uma barreira duradoura de avaliação.
O segundo sinal é a validação independente no ambiente de trabalho. Desenvolvedores de modelos e criadores de benchmarks afirmam cada vez mais desempenho de nível profissional em atribuições selecionadas.
Essas alegações precisam ser comparadas com resultados de implementações reais. Evidências úteis incluem tempo total de conclusão, esforço de revisão humana, taxas de correção, frequência de exceções e qualidade posterior.
A unidade crítica é o fluxo de trabalho completo, não o artefato gerado. Se a IA termina a redação mais rápido, mas prolonga a revisão e a aprovação, a organização deslocou trabalho em vez de eliminá-lo.
Ganhos consistentes de produtividade em várias organizações fortaleceriam alegações de que capacidades testadas se transferem para operações reais. Resultados limitados a pilotos rigidamente controlados preservariam a lacuna entre sucesso em benchmarks e impacto econômico.
O terceiro sinal é o progresso na avaliação além do trabalho intelectual puramente digital. Modelos de linguagem podem controlar ferramentas, enquanto sistemas robóticos podem conectar planejamento à ação física.
Evidências significativas exigiriam ambientes diversos e relatórios transparentes de falhas. Um robô bem-sucedido em um ambiente preparado não estabelece desempenho confiável em residências, hospitais, armazéns ou espaços públicos.
Pesquisadores também devem medir a colaboração humana. A maioria dos sistemas de curto prazo trabalhará ao lado de funcionários, tornando a qualidade do aumento de capacidade tão importante quanto a conclusão autônoma.
Um benchmark útil testaria se a IA ajuda pessoas a tomar decisões melhores, e não apenas se produz uma resposta. Incluiria recuperação de contexto, comunicação de incerteza, correção e escalonamento.
Esses sinais importam porque a lacuna de cobertura de benchmarks de IA da Mercor não será fechada apenas por pontuações maiores de modelos. Ela se fecha quando as avaliações representam uma parte maior da economia e preveem resultados reais no trabalho.
Para leitores que decidem quanta confiança depositar na próxima previsão de automação, façam três perguntas. Quais tarefas ocupacionais foram testadas, quanto suporte humano foi necessário e o ganho medido persistiu na implementação real?
Até que essas respostas se tornem rotineiras, alegações amplas sobre IA e emprego continuarão à frente das evidências. Acompanhe a expansão do mapa, exija resultados no nível do fluxo de trabalho e trate cada ranking como uma visão através de uma janela estreita.
