Viés de Juízes LLM da Arena: Modelos Favorecem Suas Próprias Respostas 70% Mais do que Humanos

A Arena afirma que seu mais recente estudo sobre viés de juízes LLM descobriu que os modelos favoreceram suas próprias respostas cerca de 70% mais frequentemente do que os eleitores humanos. A análise de 29 de setembro examinou 1.460 confrontos reais do Text Arena e reuniu 34.580 julgamentos válidos de 12 modelos líderes.

GPT-6 Astra produziu o resultado mais marcante. Segundo as conclusões publicadas pela Arena, Astra selecionou sua própria resposta em 88% dos confrontos elegíveis. Eleitores humanos escolheram essas mesmas respostas do Astra apenas 29% das vezes.

O resultado desafia uma suposição conveniente por trás da avaliação automatizada. Um modelo capaz de resolver tarefas difíceis não é automaticamente um avaliador imparcial de outros modelos. Quando o concorrente e o juiz compartilham uma identidade, um provedor ou um estilo reconhecível, a avaliação pode recompensar a familiaridade em vez da preferência humana.

O experimento da Arena também constatou que juízes de IA concordavam entre si com mais frequência do que concordavam com pessoas. Essa diferença importa porque veredictos gerados por modelos moldam cada vez mais benchmarks, testes de produtos, dados de treinamento e decisões sobre quais sistemas as empresas implantam.

Arena Testou 12 Juízes em Confrontos Reais do Text Arena

O estudo da Arena levou a questão da autopreferência de exemplos sintéticos para comparações reais que já contavam com votos humanos.

O Text Arena apresenta duas respostas anônimas de modelos a um usuário e pede que ele selecione um vencedor ou declare empate. A Arena usou 1.460 desses confrontos reais como base para seu experimento.

A distinção importa. Conjuntos de avaliação artificiais frequentemente contêm prompts fixos, respostas selecionadas ou rótulos de qualidade definidos por pesquisadores. Em vez disso, a Arena partiu de respostas produzidas em comparações públicas comuns e as associou ao sinal original de preferência humana.

Doze modelos atuaram então como juízes. Cada um recebeu a conversa e duas respostas concorrentes, sem ser informado sobre qual modelo havia produzido cada resposta. O juiz selecionava a melhor resposta ou marcava a comparação como empate.

A Arena avaliou cada confronto duas vezes para cada juiz, invertendo a ordem das respostas na segunda passagem. Essa troca de posição aborda uma falha conhecida, em que os juízes preferem a resposta exibida primeiro ou segundo.

O desenho previa 35.040 julgamentos, com base em 1.460 confrontos, 12 juízes e duas ordens de resposta. A Arena informou 34.580 julgamentos válidos após remover resultados incompletos ou inutilizáveis.

É uma amostra grande para uma auditoria focada, mas não representa uma medição universal da imparcialidade dos modelos. Os confrontos vieram de uma única plataforma, refletiam a população de usuários da Arena e abrangeram respostas disponíveis durante um período específico.

A comparação central era direta. Quando um modelo-juiz havia gerado uma das respostas originais, com que frequência ele selecionava essa resposta? Os pesquisadores então compararam essa taxa às escolhas feitas por eleitores humanos nos mesmos confrontos.

Entre os modelos testados, os juízes de IA teriam selecionado suas próprias respostas cerca de 58% das vezes. Humanos selecionaram essas mesmas respostas cerca de 34% das vezes.

A diferença é de 24 pontos percentuais. Em termos relativos à taxa humana, a taxa dos modelos foi aproximadamente 70% maior, gerando o número de destaque do estudo.

Percentuais relativos podem fazer um efeito parecer maior do que uma comparação por pontos percentuais. Ambas as medidas continuam úteis aqui porque a diferença subjacente é substancial sob qualquer uma das descrições.

O estudo não estabelece que toda autoseleção estivesse errada. Um modelo forte pode gerar a melhor resposta e reconhecer essa qualidade de forma razoável. A preocupação surge quando suas escolhas divergem fortemente de julgamentos humanos independentes nas mesmas comparações.

A pesquisa anterior de avaliação da Arena explica por que essa comparação importa. Juízes automatizados são frequentemente tratados como proxies de preferência, ou seja, substituem o feedback humano caro durante a avaliação ou o treinamento.

Um proxy útil deve reproduzir o sinal de preferência alvo. Se o alvo é a escolha humana, a concordância entre modelos não pode compensar uma discordância persistente em relação às pessoas.

Essa tensão transforma o experimento da Arena em algo além de mais um resultado de benchmark. Ele questiona se avaliadores automatizados medem a preferência humana ou criam um sistema paralelo de preferência próprio.

O Viés de Juízes LLM da Arena Foi Mais Visível em Autoconfrontos

A taxa de autoseleção de 88% do GPT-6 Astra mostra por que a independência do avaliador importa tanto quanto sua capacidade.

A Arena informou que GPT-6 Astra selecionou sua própria resposta em 88% dos confrontos em que uma resposta do Astra estava presente. Ele escolheu a resposta concorrente em apenas 2%, deixando o restante como empates ou resultados inconclusivos.

Eleitores humanos que analisaram esses mesmos pares de respostas selecionaram Astra em 29% dos casos. Eles preferiram o oponente do Astra em 36%, com os votos restantes destinados a empates.

A remoção dos empates acentuou o contraste. Os números da Arena indicam que Astra apoiou a si mesmo em 97,9% dos julgamentos decisivos. Humanos selecionaram Astra em 42,6% de seus votos decisivos.

GPT-5.6 Sol também demonstrou forte preferência por sua própria produção, supostamente escolhendo a si mesmo em 80% das comparações relevantes. Fable 5.1 fez isso em 72%.

O padrão não foi universal. A Arena constatou que alguns modelos do Google, xAI e chineses permaneceram mais próximos das taxas humanas de autoseleção. O MiniMax teria selecionado sua própria resposta em 24,3% das comparações elegíveis, enquanto humanos preferiram essa resposta em 46% das vezes.

Essa variação enfraquece qualquer alegação simples de que todos os modelos de linguagem se comportam como árbitros igualmente enviesados. Em vez disso, sugere que a autopreferência depende do modelo, de seu treinamento, de seu comportamento de avaliação e, possivelmente, de sua capacidade de reconhecer assinaturas estilísticas.

Pesquisas anteriores já identificaram esse risco. O estudo original sobre juízes LLM documentou vieses de posição, verbosidade e autoaprimoramento, ao mesmo tempo que identificou forte concordância geral em alguns ambientes controlados.

Pesquisas mais recentes sobre autopreferência alertaram que a autoseleção bruta pode misturar dois efeitos diferentes. Um modelo pode favorecer sua resposta por viés ou porque sua resposta é genuinamente melhor.

Essa distinção é essencial para interpretar o resultado do Astra. Humanos não forneceram um rótulo objetivo de verdade. Eles forneceram um julgamento de preferência, que pode refletir correção, estilo, detalhes, tom ou utilidade percebida.

No entanto, o desenho pareado da Arena dá força à comparação. Astra e os eleitores humanos avaliaram as mesmas respostas, mas suas preferências divergiram dramaticamente quando Astra também era concorrente.

Um possível mecanismo é o reconhecimento de estilo. Um modelo não precisa de um rótulo explícito de autoria para identificar padrões semelhantes à sua própria produção. Vocabulário, estrutura, formatação, linguagem de segurança, estilo de raciocínio e ressalvas preferidas podem funcionar como assinaturas.

Um segundo mecanismo envolve otimização compartilhada. Modelos são treinados para produzir resultados que satisfazem seus próprios sinais de recompensa. Quando solicitados a julgar uma resposta, podem aplicar preferências semelhantes e recompensar características que seu treinamento já enfatiza.

Efeitos no nível do provedor criam outra preocupação. A Arena informou que juízes da OpenAI foram consideravelmente mais favoráveis a respostas da OpenAI do que os eleitores humanos. O resumo fornecido do estudo situa essa diferença média em 37 pontos percentuais.

Isso não prova coordenação nem favorecimento intencional. Modelos de um mesmo provedor podem compartilhar fontes de treinamento, técnicas de pós-treinamento, comportamento de sistema e convenções estilísticas. Esses traços compartilhados podem criar preferência de família sem uma regra explícita para favorecer a marca.

A lição prática ainda é desconfortável. Remover os nomes dos modelos não cria necessariamente uma avaliação cega quando a prosa contém características familiares reconhecíveis.

Isso também significa que o modelo de um único provedor não deveria julgar automaticamente comparações que envolvem esse provedor. O modelo pode identificar resultados familiares mesmo quando o operador do benchmark oculta sua origem.

Um desenho mais seguro separa concorrentes de juízes. Quando isso for impossível, os avaliadores podem excluir um modelo de seus próprios confrontos e combinar veredictos de famílias de modelos não relacionadas.

A normalização de estilo oferece outra defesa parcial. Pesquisadores descobriram que reescrever respostas em um estilo comum pode reduzir a autopreferência, embora não elimine o problema.

Essas mitigações acrescentam custo e complexidade. Elas também enfraquecem a ideia de que um único modelo forte pode fornecer um substituto simples e neutro para a avaliação humana.

A Concordância Entre Juízes de IA Não Significou Concordância com Humanos

Os juízes formaram um consenso de máquina mais consistente, mas esse consenso coincidiu com votos humanos apenas 56,9% das vezes.

A Arena informou 79,4% de concordância entre juízes de IA. A concordância entre juízes de IA e eleitores humanos chegou a apenas 56,9%.

Essa divisão é o resultado mais consequente do estudo. Ela mostra por que o consenso entre modelos não pode, por si só, servir como evidência de alinhamento humano.

Vários modelos podem concordar porque compartilham convenções de avaliação. Eles podem recompensar integridade, raciocínio explícito, estrutura formal ou apresentação polida de forma mais consistente do que os eleitores humanos.

A preferência humana é mais ruidosa. As pessoas variam em conhecimento, paciência, objetivos, idioma e tolerância a respostas longas. Uma resposta que parece abrangente para um modelo pode parecer evasiva ou excessivamente longa para uma pessoa.

O inverso também pode ocorrer. Uma resposta concisa pode satisfazer um usuário enquanto perde pontos de juízes que esperam justificativa explícita. Nenhuma das preferências estabelece automaticamente a correção factual.

O experimento da Arena mediu alinhamento de preferência, não precisão objetiva. Uma maioria humana pode escolher uma resposta fluente, mas incorreta, enquanto um modelo-juiz pode ocasionalmente identificar uma falha técnica que os eleitores deixaram passar.

A Arena reconheceu essa limitação em outro contexto. Seu programa de factualidade separa preferência humana da precisão das afirmações porque os dois sinais respondem a perguntas diferentes.

Essa distinção evita uma reação exagerada às novas conclusões. O estudo não mostra que humanos sempre são melhores juízes. Ele mostra que substituí-los por modelos pode alterar o que a avaliação recompensa.

A diferença importa quando um benchmark afirma prever a preferência do usuário. Se o benchmark mede, em vez disso, a preferência de máquinas, seus rankings exigem uma interpretação diferente.

A avaliação automatizada continua atraente porque a revisão humana é lenta e cara. Modelos podem processar milhares de pares de respostas rapidamente, aplicar o mesmo prompt repetidamente e fornecer justificativas por escrito.

Essas vantagens apoiam o desenvolvimento rápido. Equipes podem comparar prompts, detectar regressões e filtrar resultados obviamente fracos antes de dedicar o escasso tempo de revisão humana.

Os problemas começam quando desenvolvedores tratam pontuações automatizadas como decisões finais. Um juiz enviesado pode promover o modelo errado, selecionar exemplos de treinamento distorcidos ou ocultar regressões que os usuários percebem imediatamente.

O risco se acumula durante o treinamento de modelos. Muitos pipelines de alinhamento otimizam sistemas usando rótulos de preferência gerados por modelos de recompensa ou por juízes de modelos de linguagem.

Se um juiz favorece resultados semelhantes aos de sua própria família, o pipeline pode amplificar esses traços. Modelos posteriores então aprendem a produzir respostas que satisfazem o avaliador, mesmo quando essas respostas se afastam do alvo humano pretendido.

Isso cria um ciclo de retroalimentação. O juiz recompensa características familiares, o concorrente aprende essas características e avaliações futuras confirmam a mesma preferência.

Uma alta concordância dentro desse ciclo pode gerar falsa confiança. Cada componente parece consistente porque todos refletem um alvo de otimização relacionado.

O risco é especialmente importante para organizações que comparam modelos de vários fornecedores. Uma empresa pode pedir a um modelo de fronteira que avalie respostas da OpenAI, Anthropic, Google, xAI e sistemas de código aberto.

Os resultados da Arena sugerem que a escolha do juiz pode moldar materialmente o vencedor. Uma pontuação de benchmark sem a identidade do juiz, o prompt, os controles de ordem e a política de conflitos oferece evidências limitadas.

As descobertas também pressionam os responsáveis pela publicação de benchmarks. Rankings automatizados precisam informar se os juízes competem no mesmo grupo e se as famílias de juízes se sobrepõem aos concorrentes.

A reprodutibilidade exige mais do que publicar prompts. Pesquisadores também precisam de versões dos modelos, parâmetros de amostragem, ordem das respostas, regras de empate, comportamento de novas tentativas e tratamento de respostas inválidas.

JudgeArena, uma estrutura de avaliação independente, reflete essa mudança mais ampla rumo a configurações explícitas de juízes e metadados reproduzíveis. Sua premissa é que a escolha do juiz é uma variável experimental, não uma ferramenta invisível.

A cifra de 79,4% da Arena, portanto, precisa ser interpretada corretamente. Ela indica consistência dentro da população de juízes testada, não validação em relação a uma verdade externa.

A menor concordância humana mostra que consenso de modelos e consenso humano são coisas diferentes. As equipes de produto precisam decidir qual deles realmente necessitam antes de escolher um avaliador.

Escolhas Forçadas Podem Distorcer Rankings Antes que o Viés Apareça

Um juiz que raramente permite empates pode criar uma separação artificial entre respostas que os usuários consideram equivalentes.

A Arena constatou que os modelos declaravam empates com menos frequência do que as pessoas. O GPT-5.6 Sol teria escolhido um vencedor em 96% de seus julgamentos.

Essa tendência pode fazer a avaliação automatizada parecer decisiva. Também pode transformar preferências fracas em rótulos rígidos que depois afetam rankings, exemplos de treinamento e decisões de produto.

Empates carregam informação. Podem significar que duas respostas são igualmente úteis, igualmente falhas ou próximas demais para uma distinção confiável.

Um vencedor forçado elimina essa incerteza. Quando isso se repete em milhares de comparações, pequenas decisões arbitrárias podem criar uma diferença no ranking que parece mais significativa do que as evidências sustentam.

O tratamento de empates também altera as métricas de concordância. Dois avaliadores podem reconhecer a mesma ambiguidade, mas um declara empate enquanto o outro, relutantemente, escolhe uma resposta.

Dependendo do cálculo, esse par pode contar como uma discordância. Remover empates pode elevar a concordância reportada enquanto descarta os casos em que o julgamento era mais incerto.

O procedimento de troca de ordem da Arena aborda uma fonte de instabilidade. Se um juiz muda o vencedor após as respostas trocarem de posição, o veredito revela sensibilidade à posição.

No entanto, o controle de posição não elimina autopreferência, preferência por família ou comportamento de escolha forçada. Um juiz pode favorecer consistentemente uma resposta familiar em ambas as ordens.

O estudo também herda limitações da votação humana. Os usuários da Arena são autosselecionados, e um único voto não oferece a mesma confiabilidade que um painel de especialistas treinados no domínio.

Os prompts variam em dificuldade e verificabilidade. Um pedido casual de escrita convida à preferência subjetiva, enquanto uma questão de programação ou matemática pode ter uma resposta testável.

Agregar essas tarefas pode ocultar efeitos por categoria. Um modelo pode se alinhar bem aos humanos em comparações factuais, mas divergir acentuadamente em tom, segurança ou estilo de escrita.

O resumo público não esclarece totalmente como o comportamento dos juízes variou por tema, idioma, dificuldade do prompt ou extensão da resposta. Esses recortes ajudariam a distinguir um viés amplo de uma concentração em tarefas específicas.

As versões dos modelos criam outra incerteza. Sistemas de fronteira mudam por meio de checkpoints atualizados, políticas de roteamento, prompts de sistema e configurações de inferência.

Um resultado ligado a uma versão não deve se tornar um rótulo permanente para toda uma família de modelos. Os fornecedores precisam realizar auditorias repetidas após atualizações relevantes.

A expressão “70% mais propenso” também exige interpretação cuidadosa. Ela descreve um aumento relativo médio de aproximadamente 34% de autoseleção humana para 58% de autoseleção por modelos.

Isso não significa que todos os juízes tenham sido enviesados em 70 pontos percentuais. Tampouco significa que 70% de todos os julgamentos de IA estavam errados.

O número referente ao Astra merece cautela semelhante. Sua taxa de autoseleção de 88% é marcante, mas a amostra inclui confrontos que o Astra talvez merecesse vencer.

A comparação humana torna a qualidade pura uma explicação incompleta. Ainda assim, determinar quanto da diferença reflete viés exige julgamentos de referência mais fortes do que a popularidade por si só.

Uma opção é a adjudicação por especialistas em um subconjunto estratificado. Especialistas do domínio podem avaliar a correção separadamente do estilo e justificar suas escolhas.

Outra opção usa verificação executável. O código pode ser executado contra testes, a matemática pode usar verificações formais quando disponíveis, e alegações factuais podem receber recuperação independente e revisão de citações.

Uma terceira opção compara vários juízes externos, excluindo todos os fornecedores representados no par de candidatos. Essa abordagem reduz conflitos, embora não possa garantir neutralidade.

Nenhum desses métodos oferece um padrão-ouro universal. Os sistemas de avaliação mais robustos combinam sinais e preservam a incerteza, em vez de obrigar uma única pontuação a responder todas as perguntas.

A preferência humana revela do que os usuários gostam. A revisão por especialistas avalia a qualidade no domínio. Verificações automatizadas testam propriedades específicas, enquanto juízes de modelos oferecem escala.

Tratar esses sinais como intercambiáveis cria exatamente o risco exposto pelas descobertas da Arena. Um proxy escalável pode redefinir silenciosamente o resultado que deveria apenas aproximar.

O Que as Equipes de Avaliação de IA Devem Observar a Seguir

O próximo teste é saber se replicações independentes conseguem preservar a escala da automação sem reproduzir o mesmo ciclo de preferências das máquinas.

O primeiro sinal a observar é uma divulgação pública dos dados da Arena no nível dos julgamentos. Pesquisadores precisam dos identificadores dos confrontos, respostas anonimizadas, versões dos juízes, vereditos com ordem invertida, votos humanos e resultados de empate.

Essa divulgação permitiria que equipes independentes recalculassem os números principais. Também revelaria se algumas famílias de modelos, categorias de prompts ou idiomas impulsionam a média.

Se a diferença de 70% sobreviver a essas verificações, o argumento contra a autoavaliação se torna mais forte. Se ela diminuir após controles por categoria, as políticas de avaliação poderão mirar as tarefas em que o problema está concentrado.

O segundo sinal é a resposta dos fornecedores. A OpenAI e outros desenvolvedores de modelos podem publicar avaliações específicas por juiz que separem precisão factual, preferência humana, calibração de empates e viés de família.

Uma resposta robusta incluiria testes entre fornecedores. Cada modelo deveria julgar confrontos contendo suas próprias respostas, respostas de fornecedores relacionados e respostas normalizadas em estilo.

A métrica útil não é apenas a concordância geral. As equipes devem informar a mudança na taxa de vitória de um candidato quando o juiz compartilha seu fornecedor ou família de modelos.

Os fornecedores também devem divulgar o comportamento de abstenção. Um juiz que admite incerteza pode ser mais útil do que um que produz um rótulo confiante para cada par.

O terceiro sinal é uma mudança na prática de benchmarks. Plataformas de avaliação podem adotar exclusões por conflito, painéis diversos de juízes, amostras de calibração humana e validação específica por categoria.

Uma política prática impediria que qualquer modelo julgasse sua própria resposta. Uma política mais rigorosa excluiria juízes que compartilhassem um fornecedor com qualquer um dos concorrentes.

Os benchmarks poderiam então comparar o painel restante com uma amostra humana reservada. Grandes diferenças deveriam acionar uma revisão, em vez de entrar automaticamente no ranking.

Equipes que desenvolvem avaliações internas não precisam abandonar os juízes LLM. Elas precisam deixar de tratar a pontuação de um único juiz como uma medição objetiva.

Comece registrando qual modelo julgou cada exemplo. Execute ambas as ordens de resposta, preserve os empates e examine as divergências em vez de reduzi-las a uma única média.

Separe preferência de correção. Um modelo pode ser agradável, mas estar errado; tecnicamente correto, mas pouco útil; ou preciso enquanto ignora o pedido real do usuário.

Use humanos quando a decisão tiver peso operacional. Barreiras de implantação, decisões de segurança e seleção de fornecedores merecem mais do que um avaliador que pode favorecer sua própria família.

Para iterações de menor risco, juízes automatizados continuam valiosos. Sua velocidade os torna eficazes para detectar grandes regressões e reduzir o conjunto que os humanos precisam examinar.

O limite deve depender das consequências. Um experimento de prompts pode tolerar uma avaliação ruidosa, enquanto uma decisão de aquisição de modelos exige evidências independentes.

Os resultados da Arena sobre viés em juízes LLM tornam um ponto mais amplo inevitável. Escala não transforma um proxy de preferência em um árbitro neutro.

O modelo mais capaz também pode ser o defensor mais persuasivo de sua própria resposta. Os sistemas de avaliação precisam considerar esse conflito antes que o consenso das máquinas se torne a definição padrão de qualidade.

Nos próximos três meses, acompanhe os dados brutos da Arena, replicações entre fornecedores e novas regras de conflito em rankings automatizados. Esses avanços mostrarão se essa descoberta muda a prática de avaliação ou se torna mais um viés documentado que as equipes reconhecem, mas continuam a ignorar.