Benchmark Qdrant FineWeb 10B Enfrenta o Problema dos Dados Pequenos na Busca por IA

A Qdrant lançou um conjunto de dados de busca com 10 bilhões de documentos, confrontando um conflito básico da infraestrutura de IA: sistemas de produção são enormes, enquanto muitos testes aceitos permanecem comparativamente pequenos. O benchmark Qdrant FineWeb 10B oferece aos pesquisadores um corpus público com vetores densos e esparsos, consultas filtradas e resultados exatos de vizinhos mais próximos. Sua escala torna mais difícil ocultar atalhos conhecidos.

O lançamento não declara a Qdrant como o banco de dados vetorial mais rápido. Ele cria uma infraestrutura compartilhada para testar Qdrant, Milvus, Elasticsearch e outros sistemas de recuperação sob condições exigentes. Essa distinção importa porque gráficos de desempenho de fornecedores frequentemente refletem conjuntos de dados, hardware, metas de recall, filtros e configurações de cliente diferentes.

A disputa central, portanto, não é a Qdrant contra um rival específico. É a medição aberta e reproduzível contra alegações convenientes de benchmark. A Qdrant tornou essa disputa mais séria, mas não resolveu todas as questões sobre a qualidade da busca em produção.

O Benchmark Qdrant FineWeb 10B Muda o Ponto de Partida

A Qdrant levou a conversa sobre benchmarks públicos de milhões de vetores para mais de 10 bilhões de documentos reais da web.

Lançado em 1º de setembro de 2026, o Qdrant-FineWeb-10B parte do FineWeb, um corpus curado derivado do Common Crawl. O cartão público do conjunto de dados lista 10.074.324.060 registros.

Cada registro inclui a carga original do documento e seus metadados. Ele também contém um embedding denso e um embedding esparso produzidos com o modelo gte-multilingual-base da Alibaba. Um embedding denso representa um documento como um vetor numérico de comprimento fixo, enquanto um embedding esparso registra termos ponderados em um vocabulário muito maior.

A representação densa tem 768 dimensões. Seus vetores são normalizados para similaridade de cosseno, uma medida de proximidade direcional entre vetores. A representação esparsa usa identificadores de tokens ponderados e pontuação por produto escalar.

Esse corpus comum permite comparações entre recuperação densa, esparsa, filtrada e híbrida. A recuperação híbrida combina correspondência semântica com sinais baseados em termos, ajudando os sistemas a lidar tanto com significado amplo quanto com nomes ou expressões exatos.

O lançamento também fornece 119.953 consultas em quatro grupos. Elas incluem 100.000 consultas densas, 10.000 consultas esparsas, 4.953 consultas densas filtradas por texto e 5.000 consultas densas filtradas de forma estruturada. As consultas vêm dos conjuntos de dados MS MARCO da Microsoft.

Para cada consulta, a Qdrant fornece os 1.000 resultados exatos mais próximos. Os resultados exatos formam a verdade fundamental, ou seja, a resposta de referência usada para medir se um índice aproximado mais rápido deixou de encontrar vizinhos relevantes.

A produção desse conjunto de referência exigiu busca exaustiva em todo o corpus. A Qdrant afirma que o trabalho envolveu mais de um quatrilhão de cálculos de distância em infraestrutura baseada em GPU. Isso é importante porque sistemas de vizinhos mais próximos aproximados evitam deliberadamente comparar cada consulta com cada vetor armazenado.

A aproximação torna a busca prática, mas introduz perdas. Sem uma verdade fundamental exata, os desenvolvedores não conseguem calcular o recall de forma confiável. O recall mede quantos dos resultados realmente mais próximos um sistema aproximado recupera.

Assim, o benchmark Qdrant FineWeb 10B muda o material de teste disponível, e não apenas seu tamanho. As equipes podem examinar velocidade de ingestão, construção de índice, uso de memória, latência, throughput, filtros e recall usando o mesmo conjunto público de referência.

A Qdrant também publicou dois conjuntos de dados relacionados. O PubMed-Multi-Vector reúne representações densas, esparsas e no estilo ColBERT sobre um corpus médico. O Coyo-Vector-Embeddings é voltado à recuperação multimodal com pares de texto e legendas de imagens.

Essas adições reconhecem que a busca moderna não se limita mais a um vetor por documento. Alguns sistemas combinam múltiplas representações, condições de metadados, reranqueamento e imagens na mesma solicitação.

Antes deste lançamento, a própria página pública de comparação da Qdrant usava conjuntos de dados que variavam de cerca de um milhão a 10 milhões de vetores. A empresa agora argumenta que essas escalas não podem revelar todos os problemas enfrentados por sistemas de produção distribuídos.

Esse argumento tem respaldo histórico. O estudo Billion-Scale ANN observou que grande parte do trabalho empírico anterior se concentrava em conjuntos de dados com aproximadamente um milhão de pontos. Seus autores criaram uma estrutura de avaliação mais ampla porque sistemas de busca, recomendação e ranking já operavam em escala de bilhões.

A Qdrant amplia essa direção com dados derivados da web, conjuntos de resultados mais profundos, diversos modos de recuperação e infraestrutura reutilizável. A mudança eleva as expectativas para qualquer pessoa que faça alegações sobre busca por IA em grande escala.

Por Que Benchmarks Pequenos Podem Gerar Grandes Equívocos

Um benchmark pode apresentar números precisos enquanto responde à pergunta errada sobre produção.

O benchmarking de busca vetorial é excepcionalmente sensível ao desenho do teste. A taxa de consultas significa pouco sem o recall alcançado. A latência não pode ser interpretada sem conhecer a profundidade dos resultados, a seletividade dos filtros, a concorrência, a configuração do índice e a memória disponível.

Um sistema que entrega 90% de recall pode processar mais consultas do que outro que entrega 99%. Isso não o torna automaticamente melhor. Os resultados ausentes podem conter a evidência necessária para responder a uma pergunta difícil de um cliente.

A diferença se torna mais importante quando as aplicações recuperam centenas ou milhares de candidatos para um reranqueador. Um reranqueador é um modelo de segundo estágio que reordena um conjunto mais amplo de candidatos usando sinais de relevância mais detalhados. Ele não consegue recuperar um documento que o estágio inicial de recuperação jamais retornou.

Conjuntos de dados pequenos também podem caber confortavelmente na memória de uma única máquina. Com 10 bilhões de registros, as equipes precisam enfrentar particionamento, roteamento, replicação, acesso a disco, tráfego de rede e cargas de consulta desiguais. São problemas de sistema, não problemas isolados de algoritmo.

A construção de índices apresenta outro ponto de pressão. Um índice que parece atraente após carregar um milhão de vetores pode exigir um tempo de construção ou armazenamento temporário impraticáveis em escala muito maior. Atualizações e recuperação podem alterar ainda mais seu valor operacional.

A filtragem introduz complicações semelhantes. Muitas buscas empresariais combinam similaridade semântica com condições como identidade do locatário, data, idioma, direitos de acesso ou categoria de produto. Um resultado rápido sem filtros não mostra como o mecanismo se comporta quando um filtro elimina a maioria dos candidatos.

O Qdrant-FineWeb-10B inclui filtros baseados em texto e estruturados. Suas consultas estruturadas podem aplicar condições numéricas, de data e de conjunto. Isso permite que pesquisadores testem se um índice mantém precisão e latência à medida que os subconjuntos elegíveis se tornam mais restritos.

O conjunto de dados também preserva metadados da web. Textos reais da web contêm passagens repetidas, distribuições incomuns, tópicos de cauda longa e quase duplicatas. Vetores gerados aleatoriamente raramente reproduzem essas características.

Esse realismo importa para a geração aumentada por recuperação, ou RAG. Um sistema RAG recupera documentos antes que um modelo de linguagem construa uma resposta. Falhas podem decorrer de recuperação fraca, segmentação inadequada, permissões incorretas, conteúdo desatualizado ou erros de geração.

Um benchmark de banco de dados isola apenas parte dessa cadeia. Ainda assim, ele pode revelar se a camada de recuperação fornece os candidatos certos sob condições controladas. Equipes que criam uma base de conhecimento pesquisável precisam tanto de medições de infraestrutura quanto de avaliações baseadas em seus documentos reais.

O lançamento da Qdrant pressiona fornecedores de bancos de dados vetoriais a publicar mais contexto junto com alegações de desempenho. Compradores devem esperar recall equivalente, hardware claramente definido, configurações completas, latência de cauda, tempo de indexação e consumo de recursos.

A latência de cauda mede solicitações mais lentas próximas ao fim da distribuição de latência. O percentil 99, comumente chamado de p99, indica o limite abaixo do qual 99% das solicitações são concluídas. Frequentemente, ele importa mais do que uma média quando os usuários esperam respostas consistentes.

O benchmark também desafia equipes internas de engenharia. Muitas organizações avaliam bancos de dados com uma pequena amostra porque gerar embeddings e respostas exatas em escala total é caro. Esses testes podem deixar de captar mudanças não lineares causadas por fragmentação ou pressão de memória.

Dados públicos em grande escala reduzem parte dessa barreira. Eles não tornam barato um experimento com 10 bilhões de vetores, mas eliminam a necessidade de criar todo o corpus e o conjunto de referência de forma independente.

A Vultr afirma ter fornecido a computação e o armazenamento de objetos usados para a geração de embeddings. De acordo com seu relato de infraestrutura, a Qdrant processou cerca de 500.000 arquivos e produziu aproximadamente 25 terabytes de dados de embeddings em cerca de cinco dias.

Esses números descrevem a criação do conjunto de dados, não o custo ou a velocidade de executar cada banco de dados contra ele. Essa distinção evita que o lançamento se transforme em mais uma alegação de desempenho sem sustentação.

Supernova Transforma o Conjunto de Dados em um Teste de Reprodutibilidade

O lançamento mais relevante pode ser o Supernova, porque um conjunto de dados estático não consegue padronizar como os bancos de dados são carregados, consultados e medidos.

A Qdrant lançou o Supernova como uma estrutura de código aberto que cobre quatro etapas do benchmarking de busca vetorial. Ela gera embeddings, calcula a verdade fundamental exata, carrega bancos de dados-alvo e executa cargas de trabalho de busca.

A estrutura separa essas tarefas em módulos especializados. nova-embed lida com a geração de embeddings em diferentes modelos e sistemas de armazenamento. Ele particiona o trabalho entre workers independentes sem depender de um banco de dados central de coordenação.

nova-bf realiza o cálculo de verdade fundamental por força bruta. A força bruta compara consultas com cada vetor elegível, produzindo um conjunto de referência exato em vez de uma aproximação. A Qdrant afirma que o módulo transmite partições de armazenamento remoto para evitar colocar todo o corpus na memória da GPU.

A ferramenta pode processar representações densas, esparsas e multivetoriais. Ela também pode avaliar filtros em CPUs antes de transferir os dados qualificados para GPUs. Esse desenho busca reduzir movimentações desnecessárias quando filtros removem grandes partes do corpus.

nova-load conduz a ingestão paralela em um banco de dados. Essa fase mede a rapidez com que um sistema pode aceitar o conjunto de dados e expõe restrições operacionais que benchmarks exclusivamente de consultas ignoram.

nova-storm gera tráfego de busca concorrente. Segundo os detalhes do lançamento da Qdrant, ele registra throughput de consultas, vários percentis de latência, tempos de construção e recall em relação aos resultados exatos.

Um controlador separado, nova-dist, usa SkyPilot para provisionamento de clusters e agendamento de tarefas. A Qdrant afirma que as mesmas configurações baseadas em YAML podem visar as principais plataformas de nuvem, Kubernetes e clusters de computação de alto desempenho baseados em Slurm.

Esse desenho atende ao principal oponente do lançamento: alegações opacas de benchmark. Um gráfico publicado tem valor limitado se pessoas de fora não puderem inspecionar a carga de trabalho ou repetir o experimento. Dados públicos e ferramentas orientadas por configuração expõem mais premissas.

A abordagem também permite que fornecedores concorrentes contestem as escolhas da Qdrant. Engenheiros do Milvus ou Elasticsearch podem propor configurações melhores para seus sistemas. Pesquisadores podem alterar hardware, concorrência, combinações de consultas e metas de recall sem reconstruir a verdade fundamental.

Essa abertura não elimina o viés de ajuste. A Qdrant naturalmente conhece seu próprio banco de dados melhor do que seus concorrentes. A documentação existente de benchmark reconhece explicitamente que a empresa consegue configurar o Qdrant de forma mais eficaz e pode deixar de considerar otimizações importantes em outros lugares.

A reprodutibilidade oferece uma resposta a esse conflito, e não uma prova de neutralidade. Quando código, dados e configurações estão visíveis, outros mantenedores podem identificar configurações fracas e enviar alterações.

A avaliação independente continua necessária. Uma análise de setembro da TechTarget citou vários especialistas externos em dados que consideraram o conjunto de dados uma contribuição crível. O analista William McKnight afirmou que sua combinação de distribuições realistas de texto da web e resultados exatos parecia adequada para testes densos, esparsos e filtrados.

Outro analista, Kevin Petrie, da BARC, alertou que as organizações ainda precisam de benchmarks baseados em suas próprias cargas de trabalho. Essa ressalva define o valor real do lançamento. Um benchmark compartilhado apoia comparações, enquanto um teste específico da carga de trabalho apoia uma decisão de compra.

O Supernova pode ajudar a conectar esses usos porque as equipes podem aplicar o framework a outro corpus. Elas podem manter o pipeline de medição enquanto substituem documentos privados, consultas, filtros e modelos de embedding.

Portanto, o benchmark vetorial da Qdrant é mais bem entendido como infraestrutura de testes. Ele cria um ponto de partida público e um processo repetível. Não determina um vencedor universal.

O Que a Escala de 10 Bilhões Ainda Não Comprova

A escala corrige uma fragilidade no benchmarking de busca vetorial, mas não consegue representar todas as fontes de falha em um produto de busca com IA.

Primeiro, o FineWeb é um amplo conjunto de textos da web. Um corpus empresarial pode conter código, contratos, prontuários médicos, tickets de suporte, catálogos de produtos, transcrições de reuniões ou mensagens internas curtas. Esses documentos têm diferentes extensões, vocabulários, padrões de duplicação e regras de acesso.

Segundo, o benchmark usa um único modelo de embedding para seu conjunto de dados central. Modelos de embedding mapeiam texto em vetores, e seu comportamento molda a vizinhança pesquisada. Alterar o modelo pode mudar as dimensões dos vetores, a esparsidade, o agrupamento e a dificuldade de recuperação.

O benchmark Qdrant FineWeb 10B usa gte-multilingual-base tanto para representações densas quanto esparsas. Isso oferece consistência, mas o desempenho com esse modelo não garante a mesma classificação com outro modelo.

Terceiro, os vizinhos mais próximos exatos não são automaticamente os documentos mais úteis. A verdade fundamental responde se um sistema aproximado reproduziu as correspondências mais próximas do modelo de embedding. Ela não determina se essas correspondências atendem à necessidade de informação de um usuário.

Essa distinção separa o recall de ANN da relevância de recuperação. O recall de ANN pergunta se o índice encontrou os vetores que um cálculo exato encontraria. A relevância pergunta se esses documentos realmente ajudam a responder à consulta.

Um sistema pode alcançar recall de ANN quase perfeito enquanto usa um modelo de embedding que interpreta mal um domínio especializado. Ele também pode retornar documentos tecnicamente semelhantes que estejam desatualizados, não autorizados ou redundantes.

A própria orientação sobre relevância da Qdrant recomenda um conjunto rotulado que associe consultas aos documentos esperados. Essa camada de avaliação continua essencial para equipes que implementam RAG ou busca semântica.

Quarto, o cartão do conjunto de dados identifica um problema de reprodutibilidade numérica. A verdade fundamental publicada usou aritmética GPU bfloat16, enquanto os scripts de regeneração produzem embeddings float32. Pequenas diferenças numéricas podem reordenar resultados empatados ou afetar itens próximos ao limite dos 1.000 primeiros.

A Qdrant divulgou a discrepância e disse que estava trabalhando em uma correção. O problema não elimina o valor do conjunto de dados, mas mostra por que artefatos públicos precisam de inspeção independente.

Quinto, o acesso cria uma barreira prática. A página do Hugging Face lista um tamanho total de arquivos de dezenas de terabytes. Muitas equipes conseguem baixar rapidamente um conjunto de dados menor, mas poucas conseguem preparar, indexar e testar esse lançamento sem grande esforço.

As empresas mais capazes de executar o benchmark completo serão fornecedores de bancos de dados, provedores de nuvem, grandes empresas e instituições de pesquisa. Equipes menores podem depender de resultados publicados ou subconjuntos amostrados, recriando parte do problema de confiança.

Um placar hospedado e compartilhado poderia melhorar o acesso, mas introduziria questões de governança. Alguém precisaria definir perfis de hardware, aprovar configurações, verificar submissões, atualizar versões de bancos de dados e impedir relatórios seletivos.

Sexto, o lançamento não mede a qualidade completa da aplicação. A busca de IA em produção geralmente inclui análise de documentos, segmentação, reescrita de consultas, fusão híbrida, reranqueamento, cache, autorização e geração de respostas. Uma falha em qualquer etapa pode dominar a experiência do usuário.

Essas limitações não defendem benchmarks menores. Elas se opõem a tratar um grande benchmark como um framework completo de compra.

Compradores devem combinar três camadas de evidência. Um teste público pode expor o comportamento de escalabilidade em ampla escala. Um teste privado de carga de trabalho pode reproduzir distribuições e filtros locais. Uma avaliação de ponta a ponta pode medir se os usuários recebem respostas corretas e atribuíveis.

Esse padrão é exigente, mas a busca com IA apoia cada vez mais decisões nas quais perder um documento importa. Um benchmark deve tornar essas compensações visíveis, em vez de condensá-las em uma única pontuação de throughput.

Três Sinais Mostrarão se a Aposta da Qdrant Funciona

O lançamento só terá êxito se equipes independentes o utilizarem para produzir evidências comparáveis, encontrar problemas e melhorar o processo de testes.

O primeiro sinal são resultados reprodutíveis de terceiros. Pesquisadores e fornecedores de bancos de dados precisam publicar execuções completas usando Qdrant-FineWeb-10B ou um subconjunto auditável. Esses relatórios devem incluir hardware, versões de software, parâmetros de índice, tempo de ingestão, memória, recall e latência p99.

O recall equivalente será particularmente importante. Comparar throughput em diferentes níveis de precisão pode fazer um sistema mais rápido parecer melhor sem revelar o que ele omitiu. Os resultados devem apresentar desempenho em várias metas de recall.

Se equipes independentes reproduzirem resultados entre Qdrant, Milvus, Elasticsearch, pgvector e outros sistemas, o lançamento fortalecerá o argumento em favor de medições abertas. Se as configurações permanecerem incompletas ou proibitivamente caras, sua influência será limitada.

O segundo sinal é a atividade de correção em torno dos dados e das ferramentas. A diferença numérica divulgada no cartão do conjunto de dados fornece um teste imediato. Uma correção oportuna, artefatos versionados, checksums e alterações documentadas reforçariam a confiança.

Pesquisadores também devem inspecionar a composição das consultas, duplicatas, cobertura de idiomas, distribuições de filtros e a dificuldade das tarefas de vizinhos mais próximos. Uma grande contagem de linhas não garante uma avaliação equilibrada.

O histórico de contribuições do Supernova importa aqui. Relatórios externos de bugs, pull requests, integrações de backends e configurações alternativas mostrariam que ele funciona como infraestrutura comunitária. Atividade externa limitada o deixaria mais próximo de uma demonstração mantida por um fornecedor.

O terceiro sinal é se os compradores mudam o que exigem dos fornecedores. O resultado mais duradouro não seria uma única posição em um placar. Seria um padrão de aquisição mais rigoroso para busca com IA.

Equipes empresariais devem pedir aos fornecedores que relatem o recall exato junto com a latência. Elas devem solicitar medições de ingestão e construção de índice, não apenas a velocidade de consulta em estado estável. Também devem testar filtros seletivos e recuperação de falhas.

Resultados de benchmarks públicos podem reduzir uma lista de candidatos, mas as organizações ainda precisam de evidências locais. Um varejista que pesquisa catálogos de produtos, por exemplo, pode se importar com filtros de estoque e alta profundidade de recuperação. Uma equipe jurídica pode priorizar isolamento de locatários, citações e terminologia exata.

O benchmark Qdrant FineWeb 10B oferece a ambos os grupos um ponto de referência melhor. Ele mostra o que se torna mensurável quando alguém arca com o custo substancial de criar respostas exatas em escala de internet.

A Qdrant também obtém benefícios estratégicos. A empresa passa a influenciar quais medições os compradores consideram importantes, enquanto coloca sua linguagem preferida de recall, abertura e reprodutibilidade no centro da discussão.

Isso não invalida o trabalho. Padrões frequentemente começam com um participante interessado investindo recursos que outros não investiriam. A salvaguarda é uma governança transparente e uma replicação externa crível.

Os concorrentes agora enfrentam uma escolha útil. Podem executar a carga de trabalho e publicar resultados, contestar suas premissas com evidências ou contribuir com conjuntos de dados e testes alternativos. O silêncio tornará mais difícil defender alegações opacas de desempenho.

Para desenvolvedores, a ação imediata não é baixar dezenas de terabytes sem um plano. Comece identificando qual pergunta precisa de resposta: recall algorítmico, escalabilidade do banco de dados, relevância de recuperação ou qualidade da aplicação de ponta a ponta.

Depois, escolha o menor teste que preserve a dificuldade relevante. Use a verdade fundamental pública quando ela for adequada, mas mantenha consultas e documentos privados na avaliação final. Registre todas as configurações necessárias para reproduzir o resultado.

O benchmarking de busca com IA não será resolvido apenas pela escala. Ainda assim, a escala elimina uma desculpa cada vez mais conveniente. O benchmark Qdrant FineWeb 10B agora oferece ao setor uma maneira pública de testar alegações que antes dependiam de dados privados e infraestrutura privada.

Os próximos meses devem revelar se a comunidade o trata como um laboratório compartilhado ou como mais um artefato de fornecedor. Desenvolvedores e compradores devem acompanhar as replicações, correções e submissões concorrentes e, então, exigir a mesma transparência de todos os provedores de busca com IA que avaliarem.