Benchmark de Modelos de IA da Merlin: Nove Vezes o Custo, Sem Ganho de Precisão

A Merlin Search Technologies testou sete modelos de IA e encontrou uma inversão marcante: o modelo mais caro consumiu mais de nove vezes mais por relatório sem oferecer maior precisão nas citações.

O benchmark de modelos de IA da Merlin forneceu a todos os sistemas os mesmos documentos de litígios sobre opioides, duas questões investigativas e uma tarefa de elaboração de relatório. O modelo mais barato e mais rápido ficou em primeiro lugar na medida de fidelidade da fornecedora. O mais caro terminou em quarto.

Esse resultado questiona um atalho comum de compra. Um modelo de fronteira mais novo ou mais caro não é automaticamente o melhor para toda tarefa profissional. No entanto, a Merlin não revelou qual rótulo anônimo correspondia a cada produto, e seis modelos ficaram estatisticamente empatados.

O estudo também mediu uma forma restrita de qualidade. Ele verificou se as afirmações podiam ser rastreadas até os documentos fornecidos. Não determinou qual relatório oferecia o raciocínio jurídico mais sólido, identificava as provas mais importantes ou exercia o melhor julgamento.

Essas ressalvas tornam o resultado mais útil, não menos. O teste da Merlin mostra por que as empresas precisam de avaliações específicas por tarefa, intervalos de confiança e citações auditáveis antes de encaminhar toda atribuição a um modelo premium.

O Que o Benchmark de Modelos de IA da Merlin Realmente Testou

A Merlin comparou sete modelos em um fluxo de trabalho controlado de investigação jurídica e, em seguida, avaliou suas citações e fidelidade às fontes.

A empresa testou modelos da OpenAI, Anthropic e Google por meio do Alchemy, sua plataforma de investigação e discovery. A seleção incluiu GPT-6 Astra, GPT-5.6 Sol, GPT-5.6 Terra, Claude Fable 5.1, Claude Opus 5, Claude Sonnet 5 e Gemini 3.1 Pro.

Cada modelo recebeu a mesma coleção de documentos públicos de litígios sobre opioides. Os materiais abordavam a Mallinckrodt e também faziam referência a McKesson, Insys e Valeant.

A Merlin evitou dados de clientes. Essa escolha reduziu preocupações de confidencialidade e tornou a coleção mais segura para reutilização, embora o relatório subjacente não tenha sido apresentado como um pacote público e reproduzível de forma independente.

Os modelos responderam a duas perguntas. Uma tratava de questões relacionadas aos produtos de controle da dor da empresa. A outra perguntava o que notas internas e comentários de analistas revelavam sobre dificuldades financeiras e problemas de crédito.

A segunda pergunta continha uma armadilha deliberada. Alguns comentários sobre crédito diziam respeito a outras empresas, enquanto partes do registro da Mallinckrodt descreviam disputas de cobrança comuns. Um sistema descuidado poderia misturar esses fios e sugerir uma crise financeira não sustentada pelas evidências.

Em seguida, cada modelo produziu um relatório investigativo completo com citações. Nos sete relatórios, os sistemas geraram 777 citações e 454 frases citadas, segundo a metodologia publicada.

A Merlin anonimou as saídas como Modelos A a G antes da avaliação. Portanto, os avaliadores não receberam nomes dos fornecedores, embora a empresa tenha mantido uma semente aleatória registrada para poder reconstruir a rotulagem.

O placar público manteve esse mascaramento. Os leitores podem comparar os resultados, mas não conseguem determinar de forma independente se o Modelo D era um produto da OpenAI, Anthropic ou Google.

O Modelo D liderou com uma pontuação de fidelidade de 3,3, em que valores menores eram melhores. Ele concluiu cada relatório em uma média de 37 segundos e não registrou citações quebradas ou direcionadas incorretamente nos resultados exibidos.

O Modelo C recebeu uma pontuação de fidelidade de 4,1 e levou, em média, 110 segundos. Foi o sistema mais caro da execução, consumindo mais de nove vezes o custo por relatório do Modelo D.

O Modelo E ficou em último, com uma pontuação de fidelidade de 4,9. Os seis modelos restantes tiveram faixas de confiança sobrepostas, por isso a Merlin os tratou como estatisticamente empatados em vez de apresentar um ranking falsamente preciso.

Essa distinção importa. A inversão destacada é real dentro do estudo, mas não estabelece que o Modelo D tenha uma vantagem universal de precisão. Ela estabelece que pagar muito mais não produziu uma melhoria detectável de fidelidade nessa execução específica.

O Modelo Mais Barato Venceu um Teste Restrito, Mas Importante

O benchmark enfraquece o uso do preço como indicador de precisão, mas não identifica um modelo como vencedor universal.

O Modelo D teve o registro de citações mais limpo, o menor tempo médio de conclusão e o menor custo operacional da comparação. O Modelo C custou mais de nove vezes mais e ficou em quarto no placar exibido.

Nenhum dos dois lançamentos mais recentes, GPT-6 Astra e Claude Fable 5.1, ficou em primeiro lugar. Como a Merlin reteve a chave dos rótulos, o público não pode saber exatamente em que posição cada modelo ficou.

Esse sigilo limita o valor para compras. Uma equipe jurídica não pode ler o artigo e selecionar com confiança um fornecedor específico. Pode, porém, rejeitar a suposição de que a opção premium mais recente merece toda carga de trabalho por padrão.

Os resultados também revelaram diferenças que uma única classificação não capta. O Modelo A cobriu a maior variedade de questões distintas, registrando uma pontuação de abrangência de 24,9. Não produziu citações quebradas, mas teve duas citações que apontavam para a passagem de apoio errada.

O Modelo G alcançou quase a mesma abrangência, com pontuação de 23,6. No entanto, nove de suas 93 alegações verificadas direcionavam os leitores ao parágrafo errado. A Merlin afirmou que os fatos subjacentes estavam presentes em outro local, mas um advogado que seguisse essas referências precisaria procurá-los.

O Modelo D foi mais preciso, mas mais limitado. Sua pontuação de abrangência chegou a 15,9, bem abaixo dos Modelos A e G. Um relatório cuidadoso que deixa de fora um tema decisivo ainda pode ser menos útil que um relatório mais abrangente com alguns erros de citação corrigíveis.

Essa é a inversão central. O modelo mais barato liderou o ranking de fidelidade, mas sua vitória não eliminou o valor da cobertura, síntese ou julgamento jurídico.

O estudo não encontrou fatos fabricados em nenhum dos sete relatórios. Cada nome específico, número, data e citação pôde ser rastreado até a coleção documental no sistema de avaliação da Merlin.

Essa constatação é encorajadora, embora deva permanecer limitada pela tarefa. Os modelos trabalharam com um conjunto controlado de evidências e produziram relatórios citados no Alchemy. Não foram solicitados a realizar pesquisa jurídica na web aberta nem a recuperar autoridades de uma base de dados irrestrita.

Um modelo que se mantém fundamentado dentro de uma coleção selecionada enfrenta um problema diferente de um chatbot que responde a perguntas a partir da memória. Controles de recuperação, estruturas de citação e a aplicação ao redor podem alterar materialmente as taxas de falha.

Trabalhos acadêmicos anteriores ilustram esse contexto. Pesquisadores de Stanford que avaliaram produtos comerciais de pesquisa jurídica definiram alucinação como uma resposta incorreta ou não devidamente fundamentada. Seu estudo sobre IA jurídica constatou que a recuperação por si só não eliminou respostas sem suporte.

Portanto, o resultado da Merlin diz respeito ao sistema inteiro, não apenas aos modelos de base. O Alchemy forneceu os resumos dos documentos, marcadores de citação, prompts, estrutura dos relatórios e processo de verificação. A saída vencedora surgiu desse ambiente combinado.

A conclusão correta não é que modelos mais baratos são sempre mais precisos. É que o preço do modelo, por si só, oferece pouca evidência sobre o desempenho em um fluxo de trabalho empresarial definido.

Como a Avaliação em Oito Etapas Verificou Cada Citação

A contribuição mais forte da Merlin é o pipeline de avaliação, que usa verificações determinísticas sempre que a aritmética pode substituir o julgamento de modelos.

O processo começou ocultando as identidades dos modelos e removendo menções acidentais dos relatórios. As etapas posteriores viram apenas os rótulos anônimos fixos.

A segunda etapa auditou os próprios resumos de fontes do Alchemy. Cada resumo continha marcadores que o conectavam a parágrafos nos documentos originais, mas alguns marcadores apresentavam defeitos.

A auditoria encontrou 24 seções de resumo com falhas. A Merlin relevou citações que falharam exclusivamente porque a plataforma havia fornecido um marcador incorreto. Isso impediu que o benchmark penalizasse um modelo por um erro de dados anterior.

Essa etapa é fácil de ignorar. As avaliações frequentemente atribuem toda falha visível ao modelo de linguagem, mesmo quando recuperação, análise ou preparação dos documentos causaram o problema.

A terceira etapa resolveu as citações mecanicamente. O código verificou se cada documento e seção citados existiam e se o parágrafo citado estava dentro do intervalo identificado.

Uma simples referência a documento sem seção ou parágrafo foi tratada como prosa, não como uma citação falha. Essa regra impediu que o verificador inflasse sua contagem de erros por meio de análise excessivamente agressiva.

A quarta etapa avaliou se as frases citadas eram fundamentadas nos resumos fornecidos. Essa foi a primeira fase que usou um juiz de IA.

A Merlin afirmou que uma versão anterior tratava todo fato ausente das citações listadas como inventado. Essa abordagem punia a síntese quando um modelo citava apenas parte das evidências por trás de uma frase com múltiplas fontes.

O sistema revisado usou duas etapas. Primeiro, um avaliador identificava informações que não conseguia encontrar no material citado. Uma segunda etapa, então, pesquisava a coleção mais ampla antes de atribuir um veredito.

Os resultados possíveis eram fundamentado, fonte não citada, extrapolação ou fabricação. Uma fonte não citada significava que o fato existia em outro ponto da coleção. Extrapolação significava que a conclusão ia além das evidências sem inventar um fato verificável.

A fabricação abrangia um nome específico, número, data ou citação não encontrados em nenhum ponto da coleção. A Merlin atribuiu a essa categoria um peso três vezes maior porque um detalhe inventado pode entrar em uma petição ou memorando para cliente.

A quinta etapa mediu abrangência e repetição. O sistema converteu frases em vetores semânticos, representações matemáticas de significado, e estimou quantas ideias independentes cada relatório continha.

Esse desenho buscou evitar recompensar extensão por si só. Um relatório mais longo não recebia benefício automático se suas frases adicionais repetissem os mesmos pontos.

A sexta etapa calculou as pontuações e as faixas de incerteza. Custo e velocidade apareciam no placar, mas não afetavam o ranking de precisão.

A Merlin usou reamostragem das duas perguntas para estimar intervalos de confiança. Quando os intervalos se sobrepunham, ela considerava os modelos empatados. É por isso que seis dos sete sistemas compartilharam o principal grupo estatístico, apesar de sua exibição ordenada.

A sétima etapa avaliou o avaliador. Dois juízes adicionais de IA, de fornecedores diferentes, revisaram cada alegação sinalizada e uma amostra das alegações aprovadas.

Uma votação majoritária resolveu as divergências. Três dos 33 alertas iniciais foram anulados, resultando em uma taxa reportada de falsos alarmes de nove por cento. Os revisores também verificaram por amostragem 37 alegações aprovadas e não sinalizaram nenhuma.

Os três avaliadores concordaram plenamente em 58 das 70 alegações revisadas. Isso deixa uma divergência significativa, mas a divulgação oferece aos leitores uma visão mais clara da incerteza de medição.

A oitava etapa gerou um memorando escrito. Um sistema de IA redigiu o texto, enquanto métricas calculadas forneceram todos os números e o código produziu o placar.

A Merlin também exigiu que toda crítica nomeasse um modelo de comparação com melhor desempenho. Seu relatório completo de avaliação inclui definições, métricas e apêndices por conclusão.

Essa combinação de verificações determinísticas e julgamento de IA limitado segue um princípio geral sólido. Use código para testes de existência, intervalos, contagens e cálculos reproduzíveis. Reserve avaliadores probabilísticos para questões semânticas que a aritmética não consegue responder.

Ela também se assemelha à recomendação do NIST de que as organizações documentem conjuntos de testes, métricas, incertezas e condições de implantação. O AI RMF Core também recomenda avaliação repetível e monitoramento contínuo após a implantação.

Para equipes que desenvolvem uma base de conhecimento pesquisável, a lição vai além de litígios. A verificação de citações deve testar tanto a recuperação quanto a geração, porque qualquer uma dessas camadas pode romper a cadeia de evidências.

Por que o Resultado Pressiona Compradores de IA Empresarial

O benchmark pressiona compradores que padronizam um único modelo premium antes de medir suas cargas de trabalho reais.

A aquisição empresarial costuma tratar modelos como edições de software. Uma opção mais cara ou mais recente parece mais segura porque promete raciocínio mais robusto, uma janela de contexto maior ou melhores resultados em benchmarks gerais.

O teste da Merlin mostra a fragilidade dessa lógica. Uma vantagem de capacidade geral não garante melhor desempenho em um fluxo de trabalho de investigação baseado em documentos.

A tarefa subjacente exigia diversas habilidades distintas. Os modelos precisavam ler resumos, separar evidências sobre empresas diferentes, evitar exagerar disputas rotineiras, sintetizar questões de produto e anexar citações úteis.

Um modelo lidou bem com as citações, mas abordou menos questões. Outros modelos identificaram mais tópicos distintos, embora produzissem mais atrito com citações. A escolha certa depende de qual erro cria o maior risco profissional.

Uma revisão inicial de uma grande coleção pode favorecer velocidade e ampla recuperação. Um relatório final preparado para assessoria jurídica pode dar mais peso a citações precisas, síntese completa e conclusões disciplinadas.

Essa diferença sustenta o roteamento de modelos, que atribui cada tarefa a um modelo selecionado por seus requisitos medidos. Ela não justifica escolher automaticamente o sistema mais barato.

Uma política de roteamento defensável começaria pelo risco. As equipes devem identificar se uma tarefa exige extração factual, identificação de questões, síntese longa, julgamento jurídico ou comunicação final com o cliente.

Em seguida, devem testar exemplos representativos usando os mesmos prompts, configurações de recuperação e condições documentais utilizados em produção. Um ranking público não consegue reproduzir essas condições.

A escolha do modelo também afeta os custos de revisão. Um sistema rápido que produz relatórios mais restritos pode transferir trabalho de volta aos advogados, que precisam encontrar temas omitidos. Um sistema abrangente com baixa precisão de citações pode criar outro tipo de ônus, pois os revisores precisam rastrear manualmente as afirmações.

A métrica de custo operacional do benchmark excluiu esse trabalho posterior. Ela mediu o uso do modelo para produzir relatórios, não o custo total de revisá-los, corrigi-los e aprová-los.

Para compradores do setor jurídico, essa distinção é especialmente importante. A opinião ética sobre IA da American Bar Association afirma que advogados devem considerar deveres relacionados à competência, confidencialidade, comunicação, supervisão, franqueza e honorários razoáveis.

A produção fluente de um modelo não transfere a responsabilidade da assessoria jurídica. Os advogados ainda precisam de procedimentos de revisão proporcionais à tarefa e aos riscos criados por declarações incorretas ou sem respaldo.

O mesmo princípio se aplica fora do direito. Analistas financeiros, equipes de compliance, pesquisadores e gerentes de produto dependem de resultados que comprimem grandes coleções de evidências em decisões.

Um modelo pode citar documentos reais e ainda assim deixar passar a questão decisiva. Também pode chegar a uma conclusão sensata enquanto aponta para a passagem errada. Esses são modos de falha distintos e merecem métricas separadas.

Por isso, os compradores devem resistir a uma única pontuação composta de “qualidade”. Eles precisam de um quadro de avaliação que reflita o trabalho: validade das citações, fundamentação das afirmações, cobertura, tratamento de contradições, latência e tempo de correção humana.

A Merlin também defende a escolha do usuário entre provedores de modelos. Essa posição atende ao desenho comercial da empresa, já que o Alchemy oferece múltiplas famílias de modelos.

Ainda assim, as evidências sustentam o ponto mais restrito. Quando seis modelos estão estatisticamente empatados em fidelidade, mas diferem em velocidade, abrangência e custo operacional, vincular todas as tarefas a um único provedor deixa de aproveitar trade-offs mensuráveis.

O que o Benchmark Não Prova

Esta foi uma avaliação conduzida por fornecedor, de um único fluxo de trabalho, com identidades de modelos ocultas e uma definição deliberadamente limitada de precisão.

A Merlin desenvolveu o Alchemy, executou o benchmark, projetou o processo de pontuação e publicou a interpretação. A EDRM republicou o artigo com uma nota afirmando que as opiniões pertenciam aos autores.

Isso não invalida o trabalho. Mas significa que os leitores devem tratar as conclusões como uma avaliação documentada de fornecedor, e não como um estudo comparativo independente.

A chave de respostas oculta cria outra limitação. A anonimização protegeu os avaliadores contra viés de marca, mas o sigilo contínuo impede o escrutínio público no nível de cada modelo.

Os leitores não podem comparar as posições relatadas com outros benchmarks. Tampouco podem testar se o comportamento conhecido de um modelo explica um padrão específico de abrangência, velocidade ou erros de citação.

O benchmark usou duas perguntas extraídas de uma coleção de litígio. Duas perguntas podem revelar modos de falha relevantes, mas não podem representar toda tarefa de discovery ou domínio jurídico.

Os intervalos de confiança relatados tentam reconhecer essa incerteza. No entanto, reamostrar duas perguntas não pode criar a diversidade de um conjunto de testes maior que cubra contratos, questões regulatórias, revisão de privilégio, construção de cronologias ou relatos conflitantes de testemunhas.

Aparentemente, os modelos concluíram uma execução avaliada sob uma única configuração. Testes repetidos poderiam revelar variação de resultados, especialmente quando as configurações de geração permitem diferentes formulações ou seleção de evidências.

Os materiais públicos também não fornecem informações suficientes para calcular de forma independente o efeito total do sistema composto por prompts, qualidade dos resumos, limites de recuperação e configuração do modelo. Uma estrutura de aplicação diferente poderia alterar a ordem.

Mais importante ainda, fidelidade não era sinônimo de precisão jurídica. O teste mediu se as afirmações podiam ser rastreadas até fontes e se as citações apontavam para o material correto.

Ele não avaliou a qualidade do raciocínio jurídico. Não determinou se um modelo identificou as evidências mais importantes, reconciliou conflitos de forma persuasiva ou antecipou o argumento de um oponente.

A Merlin reconheceu essa limitação diretamente. Um modelo poderia obter boa classificação ao listar fatos cuidadosamente sustentados, evitando as conclusões difíceis que tornam útil um relatório investigativo.

A ausência de fabricação detectada também exige cautela. Significa que o pipeline de avaliação não encontrou nenhum fato inventado específico nesses sete relatórios. Não estabelece uma taxa zero de alucinação para os modelos, o Alchemy ou a IA jurídica em geral.

A taxa de falha de um sistema muda conforme a tarefa. Pesquisa aberta, coleções incompletas, perguntas ambíguas e documentos adversariais criam pressões diferentes das de um exercício controlado de síntese.

A avaliação automatizada introduz sua própria incerteza. Os juízes adicionais da Merlin reverteram três sinalizações iniciais, demonstrando por que um único modelo não deve servir como avaliador inquestionável.

Os avaliadores concordaram unanimemente em 58 das 70 afirmações revisadas. Trata-se de concordância substancial, mas também mostra que a classificação semântica continuou sujeita a contestação.

Uma revisão jurídica humana independente fortaleceria as evidências. Especialistas do domínio poderiam avaliar se as categorias de avaliação correspondiam às expectativas profissionais e se uma afirmação supostamente sustentada preservava o significado da fonte.

O perfil de IA generativa do NIST enfatiza testes antes da implantação, ao mesmo tempo em que reconhece que os riscos diferem nos níveis de modelo, aplicação e ecossistema. O benchmark da Merlin avalia as três camadas juntas, mas não consegue isolá-las por completo.

Portanto, o resultado deve mudar o comportamento de compra sem encerrar a investigação. Ele é evidência contra a seleção baseada em preço, não prova de que um modelo econômico anônimo deva substituir sistemas de fronteira.

Três Sinais que Testarão a Inversão entre Custo e Precisão

O próximo teste é verificar se a inversão observada pela Merlin sobrevive a tarefas mais amplas, revisão independente e atualizações repetidas de modelos.

O primeiro sinal é um benchmark de julgamento maior. A Merlin afirma que está desenvolvendo uma avaliação diferente para evidências conflitantes, raciocínio causal, importância de questões e argumentos opostos.

Esse teste importa porque modelos premium frequentemente justificam seu maior custo operacional pelo raciocínio, e não pela mecânica de citação. Se os modelos econômicos permanecerem competitivos nesse cenário, o argumento para o roteamento padrão para modelos de fronteira enfraquecerá significativamente.

Se os sistemas premium abrirem uma vantagem clara, o resultado atual parecerá mais uma especialização por tarefa. As equipes poderiam então reservar modelos de fronteira para sínteses complexas e usar sistemas econômicos para relatórios fundamentados em evidências.

O segundo sinal é a replicação independente. Um acompanhamento confiável deve divulgar prompts, configurações, versões de modelos, execuções repetidas, código de pontuação e um pacote reutilizável de documentos quando o licenciamento permitir.

Ele também deve incluir revisores jurídicos humanos que não trabalhem para o fornecedor da plataforma. A concordância entre verificações determinísticas, juízes automatizados e especialistas do domínio fortaleceria o método.

A replicação poderia preservar o anonimato durante a avaliação e publicar a chave de identificação posteriormente. Esse desenho manteria a proteção contra o viés de marca e forneceria aos compradores evidências acionáveis no nível de cada modelo.

O terceiro sinal é a deriva de desempenho após atualizações de modelos e plataformas. Os provedores revisam frequentemente snapshots de modelos, sistemas de inferência e estruturas de preços. Pipelines de recuperação e prompts de sumarização também mudam.

A Merlin afirma que novas chegadas recebem o mesmo teste. Publicar uma série temporal estável mostraria se as classificações persistem ou apenas capturam um snapshot favorável.

As equipes devem observar mais do que o vencedor. Mudanças em citações quebradas, referências direcionadas incorretamente, abrangência, divergência entre avaliadores, latência e tempo de correção revelariam se o fluxo de trabalho está melhorando.

O benchmark de modelos de IA da Merlin deixa os compradores com um desafio prático. Parem de perguntar qual modelo é melhor em abstrato. Definam o trabalho, identifiquem as falhas mais custosas e executem uma avaliação controlada com base em suas próprias evidências.

Para equipes jurídicas, isso significa verificar se as citações existem, se as passagens sustentam as afirmações e se o relatório captura as questões relevantes. Também significa manter os advogados responsáveis pelo julgamento final.

Para outras equipes intensivas em conhecimento, a pergunta é semelhante: o sistema ajuda as pessoas a chegar a uma decisão defensável ou apenas produz texto fluente?

A diferença de custo de nove vezes rende uma manchete memorável. A lição duradoura é mais exigente. Meça a tarefa, audite a cadeia de evidências, inclua a incerteza e repita os testes sempre que os modelos ou o fluxo de trabalho mudarem.