Estudo do ISD sobre Chatbots Eleitorais Aponta Taxa de Falha de 29%, e Respostas em Espanhol Caem Ainda Mais
O estudo do ISD sobre chatbots eleitorais identificou respostas problemáticas para 29% das perguntas básicas sobre votação, embora todos os sistemas testados tivessem acesso a informações atuais na web. Os problemas incluíam orientações imprecisas, incompletas, ambíguas ou desatualizadas. As respostas se tornaram visivelmente menos confiáveis quando os pesquisadores fizeram as mesmas perguntas em espanhol.
Essa lacuna linguística transforma um problema comum de precisão dos chatbots em um problema de acesso. Uma recomendação de produto equivocada pode desperdiçar dinheiro. Um prazo de registro, uma regra de identificação ou uma instrução sobre voto pelo correio incorretos podem impedir alguém de votar.
O Institute for Strategic Dialogue, ou ISD, testou modelos associados à OpenAI, Google, Anthropic, xAI, Meta e DeepSeek. Seus pesquisadores avaliaram 2.400 prompts e respostas sobre procedimentos eleitorais em 10 estados.
Os resultados não mostram que toda resposta de chatbot esteja errada. O modelo testado da OpenAI teve desempenho substancialmente melhor que vários concorrentes. A maioria dos sistemas também rejeitou alegações falsas apresentadas em prompts adversariais.
A contradição é mais difícil de ignorar. Empresas de IA posicionam cada vez mais os chatbots como portas de acesso rápidas e acessíveis a informações atuais. Ainda assim, os sistemas tiveram dificuldades com perguntas factuais que possuem respostas oficiais, especialmente quando essas respostas exigiam precisão em espanhol.
O Estudo do ISD sobre Chatbots Eleitorais Testou Decisões Reais de Votação
O estudo examinou se os chatbots poderiam fornecer detalhes corretos e atualizados suficientes para que um eleitor agisse com segurança.
O ISD publicou seu estudo sobre chatbots eleitorais em 3 de setembro de 2026. Os pesquisadores Valeria de la Fuente, Max Read e Peter Benzoni realizaram os testes em junho.
A equipe examinou seis modelos disponíveis naquele período. Os sistemas eram GPT-5.5 da OpenAI, Gemini 3.5 Flash do Google, Sonnet 4.6 da Anthropic, Grok 4.3 da xAI, Muse Spark da Meta e V4 Pro da DeepSeek.
Os pesquisadores enviaram 400 prompts para cada modelo, produzindo 2.400 pares de prompt e resposta. O conjunto de dados abrangeu respostas em inglês e espanhol no Arizona, Utah, Carolina do Norte, Ohio, Texas, Pensilvânia, Michigan, Geórgia, Colorado e Minnesota.
Esses estados não foram escolhidos aleatoriamente. O ISD selecionou jurisdições com procedimentos eleitorais em mudança, legislação pendente, litígios em curso ou histórico de disputas sobre a administração eleitoral.
Os prompts incluíam sete perguntas amplamente aplicáveis sobre registro eleitoral, voto pelo correio, identificação e outros procedimentos essenciais. Oito perguntas adicionais foram adaptadas às regras e circunstâncias de cada estado.
Os pesquisadores também enviaram cinco prompts adversariais por estado. Essas perguntas introduziam deliberadamente alegações contestadas ou falsas, permitindo que a equipe testasse se os modelos as corrigiam ou amplificavam.
A avaliação considerou quatro dimensões. As respostas precisavam ser precisas e oportunas, lidar responsavelmente com alegações contestadas, citar material confiável e manter a qualidade em inglês e espanhol.
Essa abordagem é importante porque orientações eleitorais não podem ser julgadas apenas por uma frase central parecer plausível. Uma resposta pode declarar corretamente uma regra geral, mas omitir uma exceção que determina se uma determinada cédula será contabilizada.
A Pensilvânia forneceu um exemplo útil. Os pesquisadores perguntaram como os residentes poderiam se registrar, se era exigida identificação e o que acontecia quando um envelope de voto pelo correio não tinha data.
Cada pergunta parece simples. No entanto, uma resposta útil deve considerar procedimentos estaduais, desdobramentos legais, circunstâncias dos eleitores e prazos relevantes. Linguagem genérica não basta.
O estudo classificou como problemáticas as respostas incompletas, ambíguas, desatualizadas ou imprecisas. Esse padrão mais amplo explica por que o número principal abrange mais do que alucinações evidentes.
Uma alucinação é uma informação inventada apresentada como fato. Neste estudo, a falha mais comum foi frequentemente menos dramática. Os modelos forneciam parte da resposta, mas deixavam de fora detalhes necessários para agir.
Essa distinção deve orientar a forma como os leitores interpretam o índice de 29%. O resultado não significa que os chatbots fabricaram quase um terço de tudo o que disseram. Significa que quase um terço das respostas básicas não atingiu um padrão prático de orientação confiável sobre votação.
A Precisão dos Chatbots em Espanhol Caiu em Todos os Modelos Testados
O espanhol não foi uma fragilidade isolada de um único modelo. Todos os sistemas testados forneceram respostas menos precisas em espanhol do que em inglês.
O ISD constatou que a precisão em prompts genéricos caiu, em média, 16% quando os pesquisadores trocaram o inglês pelo espanhol. As respostas em espanhol também tiveram 6% mais probabilidade de estar desatualizadas ou imprecisas.
O maior problema envolveu a completude. Uma resposta podia identificar a regra básica, mas omitir exceções, etapas processuais ou detalhes locais necessários para aplicar corretamente essa regra.
Essa falha se torna grave quando o tema é o registro eleitoral ou o manuseio de cédulas. Um eleitor não pode compensar um prazo perdido pedindo uma resposta revisada após o Dia da Eleição.
A lacuna também apareceu na qualidade e na quantidade das citações. Os pesquisadores descobriram que as respostas em espanhol tinham muito mais probabilidade de não fornecer referência externa, limitando a capacidade do usuário de verificar a orientação.
Esse embasamento fraco sugere que a precisão de chatbots em espanhol depende de mais do que tradução direta. Um modelo precisa recuperar material atual em espanhol, identificar fontes confiáveis e preservar distinções processuais ao sintetizá-las.
Erros de tradução acrescentaram outra camada. De la Fuente descreveu modelos confundindo termos para locais de votação e distritos eleitorais. Uma resposta usou uma palavra associada a categorias raciais ao se referir a uma disputa eleitoral.
Outro modelo teria convertido a palavra inglesa “registration” no termo espanhol pouco natural “registración.” O termo eleitoral adequado nesse contexto era “registro.”
Esses exemplos podem parecer pequenos para quem fala inglês. Não são pequenos quando um usuário precisa identificar o órgão, formulário, jurisdição ou processo de registro corretos.
O modelo testado da Meta apresentou a maior lacuna linguística relatada. A taxa de respostas precisas e completas do Muse Spark caiu de 61,3% em inglês para 38% em espanhol.
O Gemini 3.5 Flash do Google caiu de 84% em inglês para 64% em espanhol. Essa diferença de 20 pontos apareceu apesar de o Google afirmar que o Gemini busca fornecer informações precisas e oportunas em todos os idiomas.
O GPT-5.5 apresentou os melhores resultados gerais. Produziu respostas precisas e completas em 89,3% das vezes em inglês e 82% em espanhol.
Essa liderança relativa é importante, mas não elimina a preocupação subjacente. Uma taxa de sucesso de 82% ainda deixa uma margem de erro significativa quando usuários solicitam instruções sobre o exercício de um direito legal.
As conclusões também dão continuidade a um padrão documentado. Uma avaliação de 2024 encontrou informações erradas em 52% das respostas em espanhol, em comparação com 43% em inglês, em cinco modelos então atuais.
Esse anterior teste de precisão linguística envolveu modelos, prompts e circunstâncias eleitorais diferentes. Seus percentuais não devem ser tratados como uma série temporal direta.
Ainda assim, ambas as avaliações identificaram o mesmo problema direcional. A mudança para o espanhol reduziu a confiabilidade, mesmo com alterações nos modelos testados e em suas capacidades de busca na web.
O Conflito Real É Entre Acessibilidade e Confiabilidade
Os chatbots facilitam perguntar sobre informações eleitorais complexas, mas essa acessibilidade se torna perigosa quando a confiança supera a precisão.
Interfaces conversacionais eliminam diversas barreiras. Os usuários podem descrever circunstâncias incomuns, fazer perguntas de acompanhamento e solicitar linguagem mais simples sem precisar navegar por um site governamental complexo.
Esses benefícios importam nos Estados Unidos, onde a administração eleitoral é descentralizada. As regras diferem entre estados e podem variar entre condados, cidades e municípios.
A U.S. Election Assistance Commission afirma que o país possui mais de 10.000 jurisdições eleitorais. Cada uma pode envolver autoridades, procedimentos, métodos de votação e recursos locais diferentes.
Um chatbot parece adequado a essa complexidade. Ele pode pesquisar diversas páginas, resumir as regras e adaptar uma resposta à localização de um eleitor.
Os resultados do ISD mostram por que essa aparente adequação também é uma armadilha. Quanto mais específica a pergunta, mais prejudicial pode ser uma ressalva ausente.
Modelos de linguagem geram respostas prevendo texto a partir de padrões e informações recuperadas. Eles não entendem inerentemente qual detalhe omitido invalidará um registro ou uma cédula.
O acesso à web deve reduzir respostas desatualizadas, mas não garante uma recuperação confiável. Um modelo pode encontrar uma página antiga, interpretar mal uma página atual ou combinar regras de jurisdições diferentes.
O V4 Pro da DeepSeek teria mencionado datas eleitorais de 2024 em 15 respostas a perguntas sobre a eleição de 2026. O Sonnet 4.6 da Anthropic descreveu a eleição atual como o ciclo de 2025 em três ocasiões.
O Muse Spark da Meta forneceu a data eleitoral errada duas vezes, identificando 4 de novembro em vez de 3 de novembro. Não se tratava de uma nuance jurídica obscura. Era um fato básico do calendário.
Essas falhas pressionam todas as empresas que oferecem assistentes conectados à busca. A promessa do produto se estende cada vez mais além da redação criativa, alcançando síntese factual, pesquisa e apoio a decisões pessoais.
A informação eleitoral expõe a fraqueza dessa promessa. Uma resposta polida pode condensar diversas fontes enquanto oculta qual frase veio de qual autoridade.
O usuário então enfrenta um risco assimétrico. Aceitar uma resposta correta economiza alguns minutos. Aceitar uma resposta confiante, mas incompleta, pode afetar o registro, o acesso à votação ou a validade de uma cédula.
O risco é particularmente relevante porque o uso de chatbots já é generalizado. Uma pesquisa sobre uso de IA de 2026 constatou que 49% dos adultos hispânicos usavam chatbots pelo menos ocasionalmente.
A pesquisa identificou uso diário entre 26% dos adultos hispânicos, em comparação com 24% de todos os adultos dos Estados Unidos. Esses números abrangem o uso geral de chatbots, não perguntas eleitorais especificamente.
O ISD também observou que relativamente poucos eleitores buscam conscientemente informações políticas por meio de chatbots. No entanto, os usuários encontram cada vez mais resumos de IA em produtos de busca, navegadores e ferramentas de produtividade.
Essa exposição indireta aumenta o que está em jogo. Alguém não precisa abrir um chatbot dedicado e solicitar orientação eleitoral para receber uma explicação gerada por IA sobre regras de votação.
Uma Melhor Refutação Não Corrigiu Erros Eleitorais Rotineiros
Os sistemas em geral resistiram a falsidades inseridas, mas ainda assim trataram mal perguntas comuns que os eleitores tinham maior probabilidade de fazer.
Os prompts adversariais do ISD incluíam alegações falsas ou contestadas. Apenas 1,3% das respostas em inglês e 2,3% das respostas em espanhol mostraram tendência a confirmar ou amplificar essas alegações.
Esse é o resultado mais encorajador do estudo. Ele sugere que proteções eleitorais podem ajudar os modelos a rejeitar narrativas conhecidas sobre fraude ou controvérsias já desmentidas.
O desempenho mais forte também indica que as empresas investiram em reconhecer perguntas eleitorais controversas. Vários desenvolvedores introduziram políticas, ajustes de segurança ou encaminhamentos para recursos confiáveis sobre votação.
Ainda assim, essas proteções se concentram em uma categoria visível de dano. Uma pergunta que alega fraude em massa sinaliza claramente que o modelo deve desacelerar, questionar a premissa ou consultar fontes verificadas.
Perguntas rotineiras podem não acionar as mesmas salvaguardas. Perguntar onde se registrar ou se é necessária identificação parece inofensivo, mesmo quando uma resposta incompleta traz consequências diretas.
Isso produz uma inversão reveladora. Os chatbots muitas vezes lidaram melhor com premissas deliberadamente enganosas do que com solicitações procedimentais corriqueiras.
O resultado desafia uma definição estreita de desinformação eleitoral. O dano não exige uma campanha coordenada de influência nem uma conspiração fabricada.
Um prazo antigo pode induzir ao erro. Uma exceção de elegibilidade omitida pode induzir ao erro. Uma resposta que menciona uma regra estadual geral sem explicar a administração local também pode induzir ao erro.
A orientação oficial sobre IA da Comissão de Assistência Eleitoral deixa essa distinção clara. Ela alerta que informações plausíveis geradas por IA frequentemente são imprecisas e podem ser especialmente prejudiciais aos eleitores.
Os resultados de fontes do estudo ajudam a explicar as falhas. As informações eleitorais oficiais estão distribuídas entre sites de secretarias de Estado, páginas de condados, decisões judiciais, atualizações legislativas e documentos de assistência ao eleitor.
Alguns desses recursos recebem atualizações frequentes. Outros permanecem online após o ciclo eleitoral relevante, criando um ambiente de recuperação de informações em que orientações antigas e atuais podem parecer igualmente confiáveis.
O problema se agrava em espanhol. Traduções oficiais podem aparecer mais tarde, cobrir menos perguntas ou usar uma linguagem que varia entre jurisdições e comunidades.
Assim, um chatbot pode recuperar uma página correta em inglês sem encontrar um recurso equivalente em espanhol. Ele pode traduzir o conteúdo em inglês por conta própria, resumir uma página menos confiável ou responder sem citações.
Max Read, diretor de inovação cívica da ISD, descreveu os chatbots como ferramentas que às vezes fornecem mais do que os usuários pediram. Sua elaboração confiante pode distorcer informações enquanto aparenta ser útil.
Essa tendência é familiar em produtos de IA generativa. Os modelos são otimizados para responder, não simplesmente para declarar que uma fonte oficial deve tomar a decisão.
Para perguntas eleitorais, a contenção pode ser a capacidade mais segura. Um sistema responsável deve reconhecer quando regras locais, litígios ou a falta de contexto impedem uma resposta definitiva.
O Benchmark Tem Limitações, Mas o Alerta Resiste a Elas
O estudo é um retrato significativo, não um ranking permanente de empresas de IA nem uma simulação completa do uso de chatbots por consumidores.
A maioria dos modelos foi testada por meio do OpenRouter e de interfaces de programação de aplicativos, ou APIs. Uma API permite que um software envie perguntas diretamente a um modelo sem usar sua interface normal voltada ao consumidor.
O Muse Spark da Meta foi testado por meio de seu portal público porque os pesquisadores não tinham acesso à API. Essa diferença complica comparações diretas entre a Meta e os demais desenvolvedores.
Aplicativos voltados ao consumidor podem adicionar instruções de sistema, ferramentas de busca, alertas específicos sobre eleições e filtros de segurança em torno do modelo subjacente. Uma resposta de API pode não incluir as mesmas proteções.
A Anthropic enfatizou essa limitação em sua resposta às reportagens sobre o estudo. A empresa afirmou que a configuração de API de terceiros não refletia como a maioria das pessoas usa Claude nem incluía seu recurso voltado ao consumidor com informações sobre votação.
A objeção é razoável. Um benchmark de modelo não deve se transformar automaticamente em um benchmark de produto quando o produto aplica camadas adicionais de recuperação de informações e segurança.
No entanto, a limitação não invalida a conclusão mais ampla. APIs são usadas por desenvolvedores para criar serviços que as pessoas encontram por meio de outros sites e aplicativos.
O estudo também testou cada pergunta adaptada apenas uma vez por modelo. Modelos de linguagem podem produzir respostas diferentes quando uma pergunta é repetida, mesmo sem uma alteração evidente no produto.
Portanto, uma única resposta não pode estabelecer a taxa estável de falhas de um modelo para todos os usuários. Um teste longitudinal mais robusto repetiria as perguntas ao longo do tempo, em diferentes interfaces e sob condições controladas de conta.
Os modelos também mudaram desde junho. Várias empresas lançaram atualizações antes da publicação do relatório, portanto os rankings exatos talvez já sejam diferentes.
Essas limitações importam mais ao comparar desenvolvedores individuais. Elas importam menos para a conclusão central de que todos os seis sistemas testados produziram falhas em informações eleitorais.
O estudo deve, portanto, ser lido como um teste de estresse de um canal de informação, não como uma tabela classificatória final. A pontuação líder do GPT-5.5 não certifica todas as respostas do ChatGPT.
Da mesma forma, a baixa pontuação do Muse Spark não prova que todas as interfaces de IA da Meta terão desempenho idêntico. Ela mostra que o sistema avaliado falhou com frequência nas condições registradas.
As evidências históricas reforçam essa interpretação. No início de 2024, autoridades eleitorais e pesquisadores testaram cinco modelos anteriores e classificaram mais da metade de suas respostas como imprecisas.
Participantes daquele teste anterior de chatbots eleitorais classificaram 40% das respostas como prejudiciais. Alguns sistemas inventaram locais de votação ou recorreram a informações desatualizadas.
O estudo mais recente da ISD sobre eleições e chatbots indica melhora em várias áreas, especialmente na resistência a falsidades introduzidas nas perguntas. Também mostra que a confiabilidade procedimental continua sem solução.
Esse é o equilíbrio adequado. As evidências não sustentam a afirmação de que os chatbots sempre desinformam os eleitores. Tampouco sustentam tratar os assistentes atuais como autoridades eleitorais.
O Que Eleitores e Empresas de IA Devem Observar em Seguida
Três sinais mostrarão se a lacuna linguística está diminuindo: testes públicos repetidos, fontes oficiais mais fortes e paridade mensurável entre produtos voltados ao consumidor.
O primeiro sinal é uma avaliação repetida antes da eleição de 3 de novembro. Pesquisadores devem repetir perguntas idênticas em várias datas, porque tanto as regras eleitorais quanto o comportamento dos modelos mudam.
Testes repetidos revelariam se as respostas incorretas persistem ou desaparecem após os desenvolvedores atualizarem seus sistemas. Eles também separariam variações aleatórias de fraquezas sistemáticas.
O segundo sinal é a qualidade das citações. Uma resposta útil deve direcionar os eleitores à autoridade estadual ou local correta, e não apenas anexar vários links.
As fontes oficiais também devem estar atualizadas e adequadas ao idioma. Uma resposta em espanhol deve conectar os usuários a orientações em espanhol quando esse recurso existir.
A Comissão de Assistência Eleitoral mantém FAQs multilíngues para eleitores e direciona eleitores para sites eleitorais estaduais e territoriais. Esses destinos oficiais devem continuar sendo a autoridade final para prazos, regras de identificação e locais de votação.
O terceiro sinal é a paridade dentro das interfaces voltadas ao consumidor. As empresas devem testar os produtos completos que as pessoas realmente usam, incluindo instruções de sistema, recuperação na web, avisos de segurança e recursos de localização.
Publicar pontuações de precisão apenas em inglês não revelará se usuários de espanhol recebem o mesmo nível de detalhe. Os desenvolvedores precisam de medidas específicas por idioma para correção, completude, atualização e citações de fontes oficiais.
As empresas ofereceram respostas diferentes. A Meta afirma que seu assistente foi projetado para fornecer informações localizadas ou direcionar usuários a fontes governamentais confiáveis.
O Google afirma que melhora continuamente a capacidade do Gemini de fornecer respostas oportunas e precisas em diferentes idiomas. A Anthropic afirma que Claude foi projetado para responder com precisão a perguntas sobre votação e contestar alegações falsas.
OpenAI e Anthropic também anunciaram trabalho com a Democracy Works, uma organização sem fins lucrativos fornecedora de informações sobre votação. Essas parcerias podem melhorar a recuperação de informações, mas sua eficácia exige testes independentes.
O estudo da ISD sobre eleições e chatbots estabelece uma base prática para esse escrutínio. A questão não é se um modelo vence um benchmark por alguns pontos percentuais.
O verdadeiro teste é se um eleitor pode agir com base em uma resposta sem descobrir que uma data ausente, uma exceção local ou um erro de tradução mudou seu significado.
Por enquanto, os usuários devem tratar os chatbots como pontos de partida para formular perguntas, e não como autoridades finais sobre procedimentos de votação. Verifique cada resposta acionável com um órgão eleitoral estadual ou local. Se uma resposta não tiver uma fonte oficial atual, peça uma ao sistema e examine-a diretamente. Enquanto isso, as empresas de IA devem publicar avaliações bilíngues repetidas, em vez de depender de alegações amplas sobre qualidade multilíngue. As autoridades eleitorais podem ajudar mantendo orientações atuais e pesquisáveis tanto em inglês quanto em espanhol. Antes das eleições de meio de mandato, a pergunta decisiva é simples: testes independentes e repetidos mostrarão que os eleitores de língua espanhola finalmente recebem a mesma orientação completa e fundamentada em fontes que os eleitores de língua inglesa?
