A rodada de US$ 40 milhões da Vals AI testa o mercado de avaliação independente de IA

A Vals AI levantou US$ 40 milhões a uma avaliação de US$ 400 milhões, transformando uma manchete de financiamento agregada pelo Techmeme em um teste mais amplo da medição independente de IA.

A Andreessen Horowitz liderou a Série A, com participação de 8VC, Bloomberg Beta, HRT Ventures e Next Ladder Ventures. A Vals anunciou o financiamento em 13 de agosto de 2026.

A empresa afirma que sua receita cresceu oito vezes em comparação com todo o ano de 2025. Sua base de clientes dobrou, enquanto sua equipe triplicou em seis meses.

Esses números continuam sendo informados pela própria empresa e não têm o contexto disponível em demonstrações financeiras públicas. Ainda assim, apontam para um mercado que se forma em torno de uma questão difícil: quem pode medir de forma confiável se os modelos de IA realizam trabalho útil?

Os desenvolvedores de modelos já publicam pontuações em testes de programação, matemática, raciocínio e segurança. Empresas também realizam testes internos antes de implantar modelos.

A Vals aposta que nenhuma das duas abordagens oferece independência, atualidade ou cobertura suficientes. Seu principal adversário não é outra startup de avaliação. É a prática de permitir que fornecedores de IA definam, executem e divulguem os testes usados para sustentar suas próprias alegações sobre produtos.

Esse conflito explica por que a rodada importa. O financiamento não estabelece a Vals como árbitra do setor, mas dá à empresa mais recursos para disputar esse papel.

A rodada de financiamento apoia uma árbitra independente

A Vals está captando recursos para construir infraestrutura de medição, não mais um modelo de IA de propósito geral.

Segundo o anúncio da Série A da empresa, a a16z liderou o investimento de US$ 40 milhões a uma avaliação de US$ 400 milhões. Os investidores existentes 8VC e Bloomberg Beta participaram da rodada.

HRT Ventures e Next Ladder Ventures participaram como novos investidores. A Vals não divulgou quanto cada empresa contribuiu nem forneceu números de receita auditados.

A empresa de San Francisco desenvolve avaliações e benchmarks para tarefas em finanças, direito, software, saúde, matemática e pesquisa em IA. Um benchmark é um teste estruturado usado para comparar o desempenho de modelos sob condições definidas.

A Vals afirma que seus resultados apareceram em model cards da OpenAI, Anthropic, Google, Meta e xAI. Model cards documentam as capacidades, limitações e resultados de avaliação de um sistema.

Essa adoção alegada importa mais do que um ranking público isolado. Um benchmark se torna comercialmente relevante quando laboratórios o citam e compradores o usam para selecionar modelos.

A Vals também afirma que grandes implantações corporativas usam suas avaliações ao escolher modelos e mensurar produtos. A empresa apoiou o Departamento de Comércio e membros do Congresso que trabalham com políticas de IA.

Essas declarações descrevem vários mercados distintos. Laboratórios de modelos querem evidências de que uma nova versão melhorou. Empresas precisam de testes vinculados aos seus próprios fluxos de trabalho, enquanto governos precisam de medições relacionadas a risco e capacidade nacional.

Um único fornecedor de avaliações que atende aos três grupos enfrenta potenciais conflitos. Contudo, também ganha visibilidade ao longo dos ciclos de desenvolvimento de modelos, compras e políticas públicas.

A Vals associou o anúncio do financiamento a três lançamentos de produtos. O Vals Smith tornou-se amplamente disponível para criar benchmarks personalizados de programação a partir de repositórios GitHub.

A empresa também anunciou trabalhos sobre riscos de fronteira envolvendo pesquisa autônoma em IA, cibersegurança e saúde mental. O Vals 2.0 adicionou um site reformulado e um Vals Index ampliado.

O Vals Index combina desempenho em diversos domínios economicamente relevantes. Ele difere de um único benchmark no estilo de exame porque inclui trabalho com ferramentas, arquivos, código e sequências de tarefas mais longas.

Esse financiamento, portanto, apoia dois negócios relacionados. Um produz comparações públicas que estabelecem credibilidade e distribuição. O outro vende infraestrutura de avaliação personalizada para organizações que tomam decisões privadas.

Essa combinação cria a tensão central. Rankings públicos atraem atenção, mas avaliações privadas têm maior probabilidade de refletir as condições de uma implantação real.

O próximo teste é se a Vals consegue conectar esses negócios sem enfraquecer a confiança em nenhum dos dois.

Por que o interesse baseado no Techmeme chegou aos benchmarks de IA

O financiamento atraiu atenção porque as alegações sobre capacidades de modelos se tornaram mais difíceis de interpretar justamente quando as decisões de gasto corporativo ganharam mais relevância.

Muitos benchmarks estabelecidos agora são familiares demais para distinguir os sistemas líderes. Os modelos podem se aproximar da pontuação máxima e ainda falhar em tarefas que envolvem informações incompletas ou várias ferramentas conectadas.

Material de testes públicos também pode aparecer nos dados de treinamento. Essa contaminação pode fazer um modelo parecer melhor sem demonstrar que ele consegue generalizar para trabalhos inéditos.

Pesquisas sobre benchmarking privado descrevem o mesmo problema. O vazamento de benchmarks públicos pode enfraquecer comparações, enquanto conjuntos privados de retenção podem reduzir a exposição aos dados de treinamento.

A questão não é meramente acadêmica. Uma empresa que seleciona um modelo para análise financeira não precisa de mais uma pontuação em conhecimentos gerais.

Ela precisa saber se o sistema consegue ler documentos relevantes, usar as ferramentas exigidas, manter a precisão numérica e sinalizar incertezas. Também precisa de evidências coletadas em condições semelhantes às de implantação.

Essa pressão aumentou à medida que os produtos de IA migraram de interfaces de chat para agentes. Um agente é um sistema que usa um modelo, ferramentas, memória e ações repetidas para realizar uma tarefa.

O desempenho de um agente depende de mais do que o modelo subjacente. A qualidade da busca, o design das ferramentas, os prompts, os limites de permissão e a recuperação de erros podem alterar o resultado.

Um modelo que tem bom desempenho em um teste controlado de perguntas e respostas pode falhar depois de receber uma planilha, um navegador e várias instruções conflitantes. Outro modelo pode compensar um raciocínio mais fraco por meio de um melhor uso de ferramentas.

A Vals se concentra nesses sistemas combinados, além de modelos independentes. Sua metodologia inclui uso de ferramentas, múltiplos formatos de entrada, contextos longos e tarefas que exigem trabalho sustentado.

Essa mudança pressiona os laboratórios de modelos de uma maneira específica. Um benchmark controlado por um laboratório pode destacar a configuração mais forte de um sistema, deixando configurações desfavoráveis ou falhas menos visíveis.

Um avaliador independente pode padronizar condições entre fornecedores. Também pode preservar material de teste privado que os modelos não encontraram durante o desenvolvimento.

Essa promessa ajuda a explicar o interesse dos investidores. A avaliação está em um ponto de controle entre o progresso técnico e a adoção comercial.

Todo laboratório de modelos precisa de evidências. Todo comprador sério precisa de critérios de aceitação, e os reguladores precisam cada vez mais de métodos para avaliar capacidade e risco.

Ainda assim, o tamanho desses mercados não garante que uma empresa os dominará. Grandes clientes frequentemente desenvolvem avaliações internas porque seus dados, políticas e custos de falha são específicos.

Os laboratórios também têm acesso mais profundo aos componentes internos dos modelos e a sistemas ainda não lançados. Avaliadores independentes geralmente testam por interfaces públicas ou por meio de acesso especialmente organizado.

Portanto, a Vals precisa mostrar que a independência produz confiança adicional suficiente para compensar o acesso técnico mais restrito do avaliador. Também precisa atualizar os testes mais rapidamente do que os modelos conseguem aprender seus padrões.

Esse é o verdadeiro significado por trás do interesse baseado no Techmeme. A história do financiamento sinaliza que a avaliação está se tornando uma camada comercial própria, e não uma função de pesquisa de apoio.

Testes independentes desafiam pontuações controladas por laboratórios

A Vals está vendendo separação entre a empresa que cria um modelo e a organização que julga seu desempenho.

Essa separação se assemelha a instituições conhecidas em finanças, medicina, segurança e contabilidade. Uma alegação se torna mais útil quando uma parte externa pode testá-la sob condições consistentes.

A IA não possui um equivalente universalmente aceito. Empresas de modelos publicam relatórios técnicos extensos, mas cada fornecedor escolhe tarefas, prompts, configurações e pontos de comparação diferentes.

Essas escolhas podem ser razoáveis e ainda tornar a comparação direta difícil. Pequenas diferenças em prompts, acesso a ferramentas ou configurações de raciocínio podem afetar materialmente o desempenho.

A Vals argumenta que o desenvolvimento de modelos avança mais rápido do que a comunidade consegue criar novos testes exigentes. Testes mais antigos se tornam saturados, enquanto exemplos públicos podem entrar em futuros conjuntos de treinamento.

Sua resposta proposta usa conjuntos de testes mantidos em sigilo e tarefas específicas por domínio. A Vals desenvolve essas tarefas com especialistas no assunto e publica exemplos selecionados de validação para contextualização.

A metodologia de avaliação da empresa separa material público de validação, conjuntos privados de validação e conjuntos de testes que permanecem confidenciais. Apenas o conjunto de testes privado determina as pontuações publicadas dos benchmarks.

Essa estrutura reduz o risco de contaminação direta. Ela não elimina todas as vias pelas quais um modelo ou desenvolvedor pode se adaptar a um benchmark.

Os laboratórios ainda podem otimizar com base em descrições públicas, resultados anteriores ou tarefas relacionadas. Envios repetidos também podem revelar informações sobre um teste oculto por meio de mudanças nas pontuações.

A Vals reporta precisão juntamente com custo, latência, incerteza e padrões qualitativos de falha. Essa visão mais ampla importa porque o modelo com a maior pontuação não é automaticamente a melhor escolha para implantação.

Um modelo ligeiramente menos preciso pode operar mais rápido ou lidar com falhas de forma mais previsível. Outro pode produzir resultados mais fortes apenas quando recebe orçamentos caros de raciocínio.

Tarefas do mundo real também produzem resultados menos organizados do que exames de múltipla escolha. Um memorando jurídico pode conter uma conclusão correta, mas omitir um precedente determinante.

Um modelo financeiro pode usar a estrutura adequada enquanto carrega um erro numérico por várias abas. Um agente pode concluir uma tarefa de programação, mas introduzir uma regressão não relacionada.

A pontuação desses resultados frequentemente exige rubricas detalhadas, verificações determinísticas ou outro modelo atuando como juiz. Cada método introduz suas próprias premissas.

Verificações exatas proporcionam clareza, mas cobrem apenas resultados com respostas objetivamente verificáveis. A revisão humana oferece nuance, mas custa mais e pode variar entre revisores.

Modelos avaliadores escalam com mais facilidade, mas suas preferências e erros podem moldar o ranking final. Um fornecedor de benchmarks precisa mostrar como valida esses avaliadores.

Isso cria uma diferença importante entre independente e infalível. A independência pode reduzir um conflito com fornecedores, mas não garante que o teste mede a coisa correta.

Os concorrentes abordam o problema a partir de posições diferentes. A Patronus AI oferece avaliadores automatizados, conjuntos de dados, experimentos e monitoramento de produção para sistemas corporativos.

Sua documentação sobre avaliadores descreve testes contínuos da precisão dos avaliadores em conjuntos de dados proprietários e públicos. Isso enfatiza a avaliação dentro do desenvolvimento e das operações de produtos.

A METR concentra-se fortemente em capacidades e riscos de fronteira, incluindo se sistemas de IA podem acelerar a pesquisa em IA. A Epoch AI desenvolveu benchmarks difíceis com questões inéditas para limitar a contaminação.

A Scale AI combina serviços de dados com avaliações para laboratórios de fronteira e empresas. Grupos acadêmicos continuam criando benchmarks públicos que oferecem transparência e ampla participação.

Vals está presente em várias dessas categorias. Publica comparações públicas de modelos, cria testes proprietários, oferece suporte a benchmarks personalizados e trabalha em avaliações de riscos de fronteira.

Essa amplitude pode se tornar uma vantagem se seus métodos forem transferíveis entre domínios. Pode se tornar uma desvantagem se os clientes questionarem se uma única organização consegue manter expertise em todas as áreas.

O financiamento da empresa lhe dá tempo para provar que a pontuação independente de modelos é um negócio duradouro. Não resolve qual modelo de avaliação se tornará padrão.

Testes Privados Resolvem Um Problema e Criam Outro

Manter conjuntos de testes privados limita a contaminação, mas também pede que os usuários confiem em alegações que não podem inspecionar plenamente.

Transparência e integridade dos testes puxam em direções opostas. Publicar cada pergunta permite que pesquisadores auditem um benchmark, reproduzam resultados e identifiquem erros.

Isso também dá aos desenvolvedores de modelos acesso direto ao material. Esse acesso facilita o treinamento deliberado, a contaminação acidental e a otimização repetida.

Testes privados protegem as perguntas, mas restringem o escrutínio externo. Os usuários precisam confiar na amostragem, nos rótulos, nas rubricas e na implementação de pontuação do criador do benchmark.

A Vals tenta equilibrar essas exigências por meio de exemplos públicos de validação e dados privados de pontuação. Também disponibiliza em código aberto partes de sua infraestrutura de avaliação.

Uma infraestrutura aberta pode melhorar a reprodutibilidade. Ela permite que pesquisadores examinem como os modelos são chamados, como as execuções são distribuídas e como interfaces comuns lidam com diferentes provedores.

As perguntas privadas subjacentes permanecem indisponíveis. Isso significa que alguém de fora não pode reproduzir integralmente uma pontuação publicada sem acesso fornecido pela Vals.

Essa troca não é exclusiva da Vals. O FrontierMath e outros benchmarks mais recentes retiveram a maior parte dos problemas porque modelos capazes poderiam encontrar perguntas públicas durante o treinamento.

O relatório mais amplo AI Index report também destaca diferenças entre o desempenho informado por desenvolvedores e testes independentes. Ele identifica a contaminação como uma fonte de resultados inflados.

Dados privados são, portanto, uma resposta racional a uma fragilidade documentada. Ainda assim, o sigilo pode ocultar perguntas fracas com a mesma facilidade com que protege as fortes.

O desenho de um benchmark também determina o significado de uma pontuação. Uma avaliação financeira baseada em documentos padronizados talvez não represente os sistemas incomuns de relatórios ou as regras de aprovação de uma empresa.

Um benchmark de programação construído a partir de repositórios pode captar a resolução de issues, mas deixar de fora a revisão de segurança, decisões de arquitetura ou manutenção de longo prazo.

A empresa aborda parte dessa lacuna por meio do Vals Smith. O produto transforma um repositório selecionado do GitHub em um benchmark personalizado de programação.

Essa abordagem pode testar um modelo em relação a código mais próximo do ambiente real do comprador. Também levanta questões sobre permissões de repositório, código sensível e a qualidade das tarefas geradas.

Um benchmark personalizado só se torna útil quando suas tarefas refletem o trabalho que as pessoas realmente precisam concluir. Issues fáceis ou artificiais podem produzir pontuações reconfortantes sem prever o sucesso da implantação.

O mesmo problema se aplica fora da programação. Avaliadores precisam de casos representativos, critérios claros de sucesso e um registro de falhas custosas.

As organizações já mantêm parte desse material em relatórios de bugs, análises rejeitadas, reclamações de clientes e comentários de revisão. Transformar esses registros em testes exige curadoria cuidadosa.

Para equipes que estão construindo sua própria base de evidências, uma base de conhecimento de engenharia pesquisável pode ajudar a organizar especificações, notas de incidentes e decisões anteriores. Ela não substitui a avaliação formal de modelos.

A visão cética é direta. A Vals pode produzir comparações mais confiáveis do que testes selecionados por fornecedores e ainda assim não conseguir prever resultados em produção.

Um benchmark mede o desempenho dentro do recorte escolhido. Sistemas de produção encontram dados mutáveis, entradas adversariais, erros de permissão e comportamento humano fora desse recorte.

Nenhum ranking consegue condensar essas condições em um único número definitivo. Compradores devem tratar classificações como evidência para investigação, não como decisões automáticas de aquisição.

A Vals precisará publicar detalhes metodológicos suficientes para que especialistas contestem suas conclusões. Deve fazer isso sem expor o material que protege cada teste.

Esse equilíbrio determinará se avaliações independentes de modelos de IA se tornarão infraestrutura confiável ou apenas mais uma camada de alegações concorrentes.

O Negócio Depende de Transformar Pontuações em Decisões

O argumento mais forte a favor da Vals não é que ela consegue classificar modelos, mas que pode ajudar organizações a decidir o que implantar.

Rankings públicos geram visibilidade porque lançamentos de modelos atraem comparações imediatas. Contratos empresariais dependem de questões mais específicas, com consequências operacionais diretas.

Uma equipe jurídica se preocupa se um agente encontra jurisprudência aplicável e a cita corretamente. Um banco precisa de cálculos consistentes, premissas rastreáveis e acesso controlado a dados.

Uma organização de software precisa de testes baseados em seus repositórios, ferramentas e padrões de revisão. Avaliadores governamentais precisam de evidências relativas à capacidade cibernética, autonomia e uso indevido.

Esses clientes não compartilham uma única definição de sucesso. A Vals precisa criar infraestrutura reutilizável e, ao mesmo tempo, permitir que cada comprador defina requisitos locais.

Esse é um limite de produto difícil. Padronização demais enfraquece a relevância, enquanto personalização demais transforma o negócio em consultoria intensiva em mão de obra.

O Vals Smith oferece um possível mecanismo. Tarefas específicas de repositórios podem ser geradas e executadas em uma plataforma comum de avaliação.

Se o sistema automatizar a maior parte da criação e validação de tarefas, a Vals poderá fornecer evidências personalizadas sem reconstruir seu processo para cada cliente. Se a revisão por especialistas continuar extensa, escalar se torna mais difícil.

A alegação de receita oito vezes maior da empresa sugere demanda inicial, mas revela pouco sobre durabilidade. A Vals não divulgou receita recorrente anual, concentração de clientes, retenção ou duração dos contratos.

Também comparou a receita atual com todo o ano de 2025, em vez de fornecer uma taxa convencional de crescimento ano a ano. Isso torna a afirmação difícil de interpretar com precisão.

A duplicação da quantidade de clientes apresenta uma limitação semelhante. Uma base maior de clientes é encorajadora, mas o valor dos contratos e a expansão importam mais do que apenas a contagem de contas.

A equipe triplicada mostra que a Vals está investindo antes da demanda esperada. Também aumenta a receita necessária para sustentar o desenvolvimento contínuo de benchmarks.

Avaliações recentes exigem especialistas de domínio, engenheiros, revisores, infraestrutura e acesso a muitas APIs de modelos. Testes de agentes de longo horizonte podem consumir tempo substancial de computação e de revisores.

A Vals precisa atualizar benchmarks sempre que os modelos os saturarem, explorarem fraquezas de pontuação ou ganharem novas interfaces. Testes estáticos perdem valor em um mercado no qual as capacidades mudam em poucos meses.

O novo RSI Index da empresa ilustra o custo e a ambição envolvidos. Ele avalia se modelos conseguem conduzir pesquisa em IA sob orçamentos fixos de tempo e computação.

Seu RSI benchmark informa que os sistemas testados concluíram experimentos reais, mas não alcançaram a fronteira humana de ponta. Os modelos também tiveram desempenho pior durante a confirmação oculta do que as medições de desenvolvimento sugeriam.

Essa lacuna demonstra por que testes de retenção importam. Um resultado promissor durante a experimentação pode enfraquecer quando repetido com dados não vistos ou sementes controladas.

Ela também mostra os limites de uma pontuação de manchete. Os agentes testados diferiam em estratégia de pesquisa, custo, ritmo de experimentação e capacidade de acompanhamento.

Empresas precisam da mesma profundidade ao avaliar um modelo para produção. Uma única porcentagem não consegue mostrar por que as falhas ocorrem nem se salvaguardas podem contê-las.

A Vals pode criar valor ao conectar pontuações a escolhas de implantação. Precisa identificar qual modelo, configuração e conjunto de ferramentas se encaixam em uma tolerância específica a risco.

Essa posição pressiona equipes internas de avaliação e plataformas concorrentes. Compradores compararão o custo de um avaliador externo com o de construir testes por conta própria.

Grandes laboratórios de IA também podem expandir seus produtos de avaliação voltados a clientes. Provedores de nuvem já controlam hospedagem de modelos, monitoramento, segurança e relacionamentos de aquisição.

Um provedor independente tem menos distribuição, mas maior separação das vendas de modelos. A questão comercial permanece sendo se os clientes valorizam essa separação o suficiente para pagar por ela.

A avaliação de $400 milhões pressupõe que a Vals possa capturar uma parcela significativa dessa camada de decisão. O crescimento da receita, por si só, não provará essa tese.

O uso recorrente provará. Os clientes precisam voltar para novos lançamentos, atualizar seus benchmarks privados e usar os resultados em análises reais de compra ou implantação.

Três Sinais Testarão a Tese Baseada no Techmeme

A próxima fase deve ser julgada pela adoção, pelo escrutínio metodológico e pela resposta competitiva, não apenas pela manchete sobre o financiamento.

O primeiro sinal é o uso empresarial recorrente. A Vals deve mostrar que clientes executam avaliações em vários lançamentos de modelos e conectam os resultados a decisões de implantação.

Projetos únicos de benchmark sugeririam um mercado fortemente baseado em serviços. O uso recorrente sustentaria a ideia de que avaliações estão se tornando infraestrutura permanente.

As evidências poderiam incluir padrões de renovação, ampliação da cobertura de benchmarks ou relatos de clientes descrevendo como as pontuações mudaram uma seleção de modelo. Estudos de caso específicos seriam mais úteis do que alegações agregadas de crescimento.

O segundo sinal é a validação externa dos benchmarks de IA da Vals. Pesquisadores independentes devem conseguir examinar o desenho das tarefas, a confiabilidade da pontuação, as margens de erro e o comportamento dos avaliadores.

Eles não precisam de acesso a todas as perguntas ocultas. Precisam, sim, de evidências suficientes para determinar se os rankings publicados permanecem estáveis sob mudanças razoáveis.

Questionamentos fortalecerão a empresa se a Vals responder com correções, versionamento e atualizações transparentes da metodologia. Inconsistências não resolvidas enfraqueceriam sua alegação de autoridade neutra.

O terceiro sinal é a resposta de laboratórios de modelos e avaliadores concorrentes. Mais citações em cartões de modelo aumentariam a influência da Vals, especialmente quando os resultados forem desfavoráveis ao laboratório que cita.

Em vez disso, benchmarks privados concorrentes poderiam fragmentar o mercado. Compradores poderiam enfrentar várias pontuações incompatíveis, cada uma produzida sob regras diferentes.

O mercado pode comportar vários avaliadores, mas os tomadores de decisão ainda precisarão de padrões comuns de reporte. As pontuações devem identificar versões de modelos, configurações, ferramentas, custos, tamanhos de amostra e incerteza.

Esses sinais importam nos próximos meses porque a Vals agora tem o capital para expandir. O financiamento remove uma restrição e, ao mesmo tempo, aumenta as expectativas em relação à execução.

A empresa deve atualizar rankings públicos, expandir produtos de avaliação personalizados e preservar a confiança entre laboratórios, empresas e formuladores de políticas. Atender a esses grupos simultaneamente testará sua neutralidade.

Leitores também devem resistir a tratar qualquer benchmark como substituto para seus próprios testes de aceitação. Evidências independentes são mais valiosas quando combinadas com avaliação específica para a implantação.

Isso significa testar documentos reais, ferramentas, casos extremos e custos de falha. Também significa repetir avaliações sempre que um modelo, prompt, sistema de recuperação ou fluxo de trabalho de agente mudar.

A Vals identificou uma lacuna real de medição. Pesquisas sobre contaminação e a rápida saturação de testes mais antigos sustentam seu diagnóstico.

O que permanece incerto é quem será dono da solução. A Vals pode se tornar uma camada independente importante, ou a avaliação pode permanecer distribuída entre laboratórios, clientes, organizações sem fins lucrativos e fornecedores especializados.

A história de financiamento baseada no Techmeme é, portanto, apenas o resultado inicial. Resta acompanhar se as organizações passarão a confiar repetidamente na Vals quando dinheiro, segurança e a escolha de modelos dependerem da pontuação.