Benchmark da QEngine RTX 5090 relata 504 Tok/s, com vantagem moldada pelo cache

O benchmark da QEngine RTX 5090 relata 504 tokens por segundo para o Qwen3.8-Flash-Next, mas esse pico vem acompanhado de condições que alteram o cenário competitivo. Um usuário do LocalLLaMA testou a QEngine 1.3.1 em duas placas RTX 5090 e relatou uma vantagem substancial na decodificação de fluxo único, ou seja, a velocidade de geração de uma conversa. A mesma comparação coloca a QEngine aproximadamente no mesmo nível da Strata em um teste de latência de prompt para agentes, enquanto a Strata processa mais rapidamente o prompt mais longo do benchmark.

O testador, que publicou como Relative-Ant-9249, atribui o trabalho ao desenvolvedor bpx03 e afirma explicitamente que a QEngine é um projeto de outra pessoa. Seu benchmark local de inferência compara vários motores na mesma estação de trabalho. Isso torna o relatório útil, embora continue sendo uma comparação executada por um usuário, sem replicação independente.

A principal troca já é visível: o fluxo de saída mais rápido não produz automaticamente a menor espera ao longo de toda uma conversa. Prompts repetidos favorecem o cache adaptativo da QEngine, entradas longas favorecem a Strata no teste relatado, e manter conversas inativas altera novamente a latência. Desenvolvedores que escolhem entre esses motores precisam identificar qual atraso realmente interrompe seu trabalho.

O que o benchmark da QEngine RTX 5090 realmente mediu

O resultado de 504 tok/s pertence a uma carga de trabalho, configuração de memória e versão de software específicas. Ele não é nem uma média de toda a comparação nem uma garantia para todas as respostas.

A estação de trabalho contém duas placas RTX 5090, cada uma com 32 GB de memória de vídeo, além de um processador Threadripper PRO 3975WX. O testador relata 251 GB de RAM do sistema e um contexto configurado de aproximadamente 262.000 tokens. Tokens são as unidades de texto que um modelo processa e gera, não uma contagem direta de palavras.

A QEngine usou sua compilação INT4 AutoRound do Flash-Next, uma representação de modelo comprimida que usa pesos inteiros de quatro bits. O testador afirma ter alterado o alvo de compilação CUDA da arquitetura 86 para 120, usando nvcc 13.3 e g++-13. Ele não relata outras alterações no código-fonte e registra um intervalo de 53 segundos entre a inicialização e o atendimento de solicitações.

Esse é um relato encorajador de portabilidade, embora uma compilação bem-sucedida não estabeleça suporte geral de hardware. Ele demonstra que esse usuário fez essa compilação funcionar nesta máquina. Não estabelece comportamento equivalente em diferentes placas-mãe, drivers, arranjos de memória ou ambientes operacionais.

O teste separa a saída narrativa da saída de código, e essa distinção importa em todos os resultados. Com a configuração padrão, a QEngine teria gerado texto narrativo a 370 tok/s e código a 439 tok/s. Mover o cache de conversas para a RAM do sistema elevou essas medições para 406 e 504 tok/s, respectivamente.

A configuração ISTA IQ3_S da Strata teria alcançado 214 tok/s para saída narrativa e 293 tok/s para código. Sua configuração UD-IQ4_XS retornou 180 e 239 tok/s. São compilações comprimidas diferentes do modelo, o que impede tratar a comparação como uma medição pura da implementação do motor.

A configuração ajustada do bucko vLLM retornou 135 tok/s para saída narrativa e 141 tok/s para código. Sua configuração distribuída mediu 120 e 118 tok/s. O testador também lista uma configuração do Infernix em 14–18 tok/s, sem uma medição correspondente de processamento de prompt.

Esses números estabelecem uma diferença substancial relatada nessa estação de trabalho. Eles também estabelecem os limites da manchete: 504 tok/s é o maior resultado listado para geração de código. O resultado narrativo do mesmo motor é inferior, e sua configuração de memória padrão é mais lenta que sua configuração com RAM.

O relatório afirma que todos os motores usaram o mesmo script e os mesmos prompts de benchmark. As receitas comunitárias de serving vinculadas fornecem contexto para o ecossistema de testes, embora vincular um projeto de benchmark não valide independentemente um resultado enviado.

A descrição mais defensável é, portanto, específica. A QEngine 1.3.1 liderou as configurações testadas por esse usuário para geração de fluxo único, com sua maior taxa relatada ocorrendo em código. Afirmações mais amplas sobre o motor mais rápido disponível exigem um campo mais completo e execuções independentes repetíveis.

Prompts repetidos tornam a vantagem de geração mais difícil de generalizar

A vantagem relatada da QEngine é significativa, mas o benchmark também recompensa um comportamento que o tráfego comum pode não reproduzir. O testador identifica diretamente essa limitação, tornando-a central para interpretar o resultado.

Segundo a publicação, o cache de especialistas da QEngine se adapta ao uso recente. Um cache de especialistas retém partes frequentemente necessárias de um modelo para que o motor possa acessá-las sem buscá-las repetidamente em outro lugar. Repetir os mesmos prompts oferece a esse mecanismo uma carga de trabalho favorável.

Isso importa porque o benchmark repete seus prompts entre as execuções. O uso recente passa, então, a ser um preditor útil do uso futuro, o que pode reduzir a movimentação de dados do modelo. A taxa de geração resultante descreve uma condição operacional favorável, não todas as conversas possíveis.

O testador contrapõe isso ao cache da Strata, que, segundo ele, já mantém aproximadamente 99,5% da massa de especialistas roteada. Em sua avaliação, repetir um prompt oferece, portanto, menos benefício adicional à Strata. Essa explicação vem do testador e não foi estabelecida independentemente aqui.

A publicação também apresenta uma observação anterior de tráfego variado: aproximadamente 300–400 tok/s para um único fluxo. As solicitações da carga de trabalho de agentes do testador teriam variado entre 330–470 tok/s. Esses números continuam rápidos, mas fazem a manchete de 504 tok/s parecer mais um caso favorável do que uma expectativa típica.

O título descreve uma vantagem de aproximadamente 1,5–1,9 vez em relação ao próximo melhor motor testado. O corpo usa uma estimativa um pouco mais ampla, de cerca de 1,4–1,9 vez sobre a Strata após considerar diferenças de carga de trabalho. Nenhum dos intervalos deve se tornar um multiplicador universal aplicado a hardware ou prompts não relacionados.

É nesse ponto que QEngine vs Strata se torna uma questão de carga de trabalho. Um desenvolvedor que gera código semelhante repetidamente pode se beneficiar de um padrão de cache diferente daquele de alguém que alterna entre documentos não relacionados. A fonte não estabelece por quanto tempo cada padrão precisa persistir antes que a vantagem medida mude.

Uma comparação independente útil preservaria ambas as condições. Prompts repetidos revelam o que o motor pode fazer quando a atividade recente prevê a demanda futura. Prompts variados revelam quão bem ele lida com uma sequência menos cooperativa de solicitações.

Nenhuma condição merece preferência automática em todas as avaliações. A repetição pode representar uma aplicação real com instruções compartilhadas e tarefas recorrentes. A diversidade pode representar um assistente pessoal que transita entre programação, pesquisa, revisão de documentos e projetos desconhecidos.

O problema prático surge quando uma condição favorável desaparece da manchete. Um leitor que vê apenas 504 tok/s pode esperar essa taxa imediatamente após mudar de tarefa. As evidências disponíveis não sustentam essa expectativa.

O benchmark da QEngine RTX 5090, portanto, pressiona motores concorrentes a explicar seu comportamento em condições de cache comparáveis. Ele também pressiona autores de benchmarks a expor claramente essas condições. Sem essa divulgação, um ranking de desempenho pode ocultar o motivo de sua existência.

Para compradores e desenvolvedores, a pergunta relevante é com que frequência seu trabalho real se assemelha ao benchmark repetido. Essa resposta determina quanto peso dar ao pico. Uma taxa ligeiramente menor com comportamento consistente pode atender melhor a alguns fluxos de trabalho do que uma taxa maior com oscilações mais amplas.

A Strata continua competitiva antes de a resposta começar

A vantagem de geração da QEngine não se traduz em uma liderança clara em toda a solicitação. Os resultados relatados de processamento de prompts dão à Strata uma posição mais forte à medida que as entradas ficam mais longas.

Prefill significa processar a entrada antes de o modelo começar a gerar sua resposta. Com aproximadamente 10.000 tokens de entrada, a configuração padrão da QEngine teria processado cerca de 5.700 tok/s. Sua configuração com cache em RAM alcançou aproximadamente 6.200 tok/s nesse comprimento de entrada.

A configuração ISTA IQ3_S da Strata teria processado aproximadamente 5.100 tok/s no comprimento de entrada menor. Com aproximadamente 90.000 tokens, porém, ela alcançou cerca de 10.000 tok/s. A configuração padrão da QEngine mediu aproximadamente 7.300 tok/s nessa entrada mais longa.

A publicação não fornece um número correspondente de prefill para 90.000 tokens na configuração com RAM da QEngine. Esse resultado ausente deve permanecer ausente, em vez de ser inferido a partir de seu desempenho com entradas menores. As medições disponíveis sustentam um resultado dividido: a QEngine à frente no prompt mais curto e a Strata à frente no mais longo.

Essa distinção tem uma aplicação direta em assistentes de programação. Um assistente que trabalha a partir de uma pequena troca recente dedica uma parcela diferente do tempo à leitura em comparação com outro que revisa o contexto de um grande repositório. Uma geração mais rápida ajuda ambos, mas não elimina o tempo gasto processando suas entradas.

O teste de agentes acrescenta outro limite importante. Ele cobre uma sequência de uso de ferramentas de 12 turnos, com o contexto crescendo até aproximadamente 35.000 tokens. Com o cache de prefixo funcionando, a QEngine 1.3.1 teria lido o prompt do turno final em 1,75 segundo.

Cache de prefixo significa reutilizar computação para o início inalterado de um prompt. O resultado correspondente da Strata foi de 1,7–1,9 segundo, colocando a QEngine dentro desse intervalo relatado. O testador descreve adequadamente os dois motores como equivalentes nessa medição.

A configuração ajustada do bucko levou 4,36 segundos na mesma comparação relatada. Isso estabelece uma diferença entre essas configurações testadas, mas não estabelece um resultado para todas as implantações de vLLM. Configuração, representação do modelo e carga de trabalho continuam fazendo parte da comparação.

Também importa que o número relatado mede uma etapa de leitura do prompt. Ele não mede o tempo completo necessário para executar ferramentas, inspecionar resultados, gerar instruções subsequentes e concluir uma tarefa. Uma etapa rápida pode melhorar um agente sem determinar seu tempo total de conclusão.

QEngine vs Strata, portanto, não tem um único vencedor nas medições divulgadas. A QEngine lidera em geração, enquanto a Strata continua competitiva em prompts de agentes com cache e mais forte no teste relatado de prefill com entrada longa. Essa é uma conclusão mais útil do que reduzir tudo a tokens de saída por segundo.

Para equipes que mantêm assistentes locais, a pressão é operacional. Elas precisam determinar se os usuários esperam principalmente pelo processamento de entrada, pela geração de respostas ou por ferramentas externas. Uma mudança de motor aborda apenas as partes desse tempo de espera que o motor realmente controla.

O resultado também desafia a forma como demonstrações de inferência local são apresentadas. Um fluxo de código surgindo rapidamente é fácil de mostrar e compreender. O atraso mais discreto antes de esse fluxo começar pode importar tanto quanto durante interações repetidas com ferramentas.

Manter conversas inativas na RAM altera uma espera diferente

O resultado mais prático pode ser a recuperação de conversas antigas, e não a maior taxa de geração. A configuração com RAM da QEngine teria preservado estado útil durante o tráfego intermediário.

Um cache KV armazena chaves e valores relacionados à atenção, permitindo que um modelo reutilize cálculos de tokens anteriores. Neste teste, o QEngine conseguiu manter esse cache na RAM do sistema fixada, ou seja, memória do host reservada para transferências previsíveis. O responsável pelo teste relata um pool de 13,5 GB que representa aproximadamente um milhão de tokens de capacidade agregada de cache.

Esse tamanho de pool é distinto do limite de contexto configurado para uma conversa individual. A capacidade agregada descreve quanto estado de conversa o pool pode reter entre sessões. Isso não significa que o benchmark tenha testado uma única conversa contendo um milhão de tokens.

O experimento de sessões ociosas começou com oito conversas de aproximadamente 58.000 tokens cada. Em seguida, o responsável pelo teste enviou aproximadamente 400.000 tokens de outro tráfego antes de retornar às conversas originais. Essa sequência examina se o trabalho anterior permanece pronto depois que a máquina atende a outra demanda.

Com o cache na RAM, todas as oito conversas supostamente retornaram quentes, o que significa que seu estado retido permaneceu reutilizável. O tempo até a primeira resposta variou de 1,56 a 2,01 segundos. Isso mede um atraso que os usuários encontram ao reabrir um trabalho, em vez da velocidade eventual do fluxo de saída.

Com o cache na memória de vídeo, apenas duas conversas supostamente permaneceram quentes. As outras seis exigiram novamente o processamento da entrada, levando de 8,7 a 9,4 segundos. O responsável pelo teste relata uma referência de partida a frio de 8,85 segundos, tornando fácil observar a consequência prática.

Um desenvolvedor alternando entre projetos em andamento reconheceria esse padrão. Uma conversa contém uma investigação de depuração, outra inclui uma revisão de implementação, e outra acompanha um recurso separado. O benefício relevante é preservar o trabalho já processado enquanto a atenção se volta para outro lugar.

A mesma distinção importa em uma base de conhecimento pesquisável. Encontrar o material certo e retomar o cálculo anterior de um modelo são problemas separados, embora ambos afetem a rapidez com que alguém volta a realizar trabalho útil.

A fonte relata que as respostas permaneceram corretas quando a configuração de memória de vídeo precisou processar novamente a entrada antiga. A penalidade observada foi de latência, em vez de uma perda documentada na correção das respostas. Essa distinção evita tratar toda falha de cache como uma falha de raciocínio.

Há também uma contrapartida de concorrência, em que concorrência significa atender vários fluxos ao mesmo tempo. Com oito fluxos simultâneos em contextos de 64.000 tokens, a configuração de RAM supostamente produziu 124 tok/s por fluxo. A configuração de memória de vídeo alcançou 139 tok/s por fluxo.

O responsável pelo teste resume isso como aproximadamente 10% mais lento sob essa carga de trabalho concorrente, apesar de uma melhora de aproximadamente 10% em um único fluxo. Ele também informa uma inicialização por modo e uma única execução. Isso é suficiente para identificar uma contrapartida que vale examinar, mas insuficiente para estabelecer sua distribuição completa.

A questão técnica mais ampla vai além desse mecanismo. A documentação do cache híbrido descreve tratamento específico para Flash-Next e limita sua validação declarada à geração de texto. Suporte a modelos, retenção de estado e cobertura de cargas de trabalho exigem atenção explícita, em vez de pressupostos baseados em um nome de produto.

Para um assistente individual, preservar trabalho ocioso pode superar uma velocidade menor de saída simultânea. Para um serviço compartilhado, o equilíbrio pode se inverter. Os resultados relatados tornam ambas as possibilidades dignas de avaliação, sem estabelecer nenhuma delas como escolha padrão.

Verificações de qualidade e mecanismos concorrentes limitam a alegação de vitória

O relatório sustenta mais testes do QEngine, não uma declaração de que ele produz respostas melhores ou supera todas as alternativas. Suas próprias verificações de qualidade e a discussão estabelecem esses limites.

O teste de assistente supostamente retornou 44 tarefas bem-sucedidas em 44 no QEngine 1.3.1. Execuções anteriores da versão 1.3 retornaram 42 de 44 com baixo esforço. O responsável pelo teste trata a pequena diferença com cautela, em vez de apresentá-la como uma melhoria de qualidade estabelecida.

A comparação de programação exige uma atribuição de versão ainda mais cuidadosa. Uma compilação candidata a lançamento retornou 26 tarefas bem-sucedidas em 30 no conjunto de programação do responsável pelo teste. Configurações do Strata retornaram 24 e 25, enquanto os resultados repetidos de uma configuração variaram de 24 a 26.

O responsável pelo teste afirma explicitamente que a verificação de programação não havia sido repetida na versão 1.3.1. Portanto, ela não pode servir como uma certificação direta de qualidade para a versão exata por trás da manchete. Ela fornece contexto sobre uma compilação anterior e sobre a variabilidade observada na comparação.

A conclusão razoável é que essas verificações limitadas não revelaram uma desvantagem óbvia de programação para o modelo comprimido do QEngine. Elas não estabelecem qualidade equivalente em todas as tarefas. Também não mostram que uma melhoria na velocidade de geração preserva todos os comportamentos necessários para uma aplicação de produção.

A quantização, a compressão dos pesos numéricos do modelo, complica ainda mais a comparação entre mecanismos. Diferentes compilações comprimidas podem alterar tanto o desempenho quanto as saídas. Um benchmark que compara configurações completas de implantação responde a uma questão prática, mas não isola todas as causas que contribuem para o resultado.

O campo competitivo também é incompleto. Na discussão, o desenvolvedor do Basalt sugere testar um mecanismo projetado especificamente para hardware NVIDIA Blackwell. O desenvolvedor relata desempenho de outra máquina e benchmark, portanto esses números não podem ser inseridos na classificação original.

Ainda assim, a existência de suporte de inferência Blackwell importa ao interpretar a expressão “mecanismo mais rápido”. O QEngine liderou as configurações medidas pelo autor da publicação. Uma alternativa não testada continua não testada, independentemente de seu desenvolvedor relatar números promissores em outro lugar.

A discussão da fonte também contém reações entusiasmadas de usuários e pedidos de ajuda com a configuração. Essas respostas indicam interesse, mas nem o entusiasmo nem uma anedota reproduzem o benchmark de forma independente. Uma segunda estação de trabalho precisa de um teste documentado antes que a experiência de seu proprietário possa sustentar a mesma alegação de desempenho.

A deriva de versões cria outro problema de verificação. No momento da checagem, o repositório de código-fonte do QEngine descreve a versão 1.3.2 e funcionalidades adicionais do Flash-Next. Essas descrições atuais não devem ser atribuídas retroativamente à compilação 1.3.1 testada.

O repositório chama o projeto de source-available e documenta um foco no hardware RTX 3090. Suas notas de compilação ainda identificam a arquitetura 86 e descrevem outros modelos de GPU como não testados. Isso torna a compilação para 5090 do autor da publicação uma evidência útil de um resultado individual, e não um compromisso geral de compatibilidade.

Uma reprodução independente deve, portanto, preservar a revisão real do software, os arquivos do modelo, as escolhas de compilador e a configuração de inicialização. Atualizar tudo para a versão mais recente pode produzir um resultado interessante, mas responderia a uma pergunta diferente. A reprodutibilidade depende de manter o que foi medido.

A pressão sobre o QEngine agora é transformar um promissor relato de usuário em um padrão operacional confiável. A pressão sobre os concorrentes é responder com cargas de trabalho comparáveis e configurações transparentes. Nenhuma das duas tarefas é satisfeita ao publicar um número maior obtido em hardware não relacionado.

Três resultados tornariam a próxima comparação mais útil

A próxima evidência útil é uma comparação mais reproduzível entre cargas de trabalho, e não outro pico isolado. Três sinais específicos fortaleceriam ou enfraqueceriam a interpretação deste relatório.

Primeiro, acompanhe uma reprodução independente em outra estação de trabalho RTX 5090 com duas placas. Um resultado útil identificaria a revisão exata do QEngine e a compilação do modelo, depois relataria prompts repetidos e variados. Reproduzir uma vantagem material de geração em ambas as condições fortaleceria o argumento de que a vantagem se estende além da máquina original.

Uma vantagem menor em prompts variados restringiria esse argumento sem tornar a medição original sem sentido. Isso mostraria que o histórico recente da carga de trabalho explica uma parcela maior do resultado observado. Essa informação ajudaria usuários a escolher um mecanismo com base em seu próprio tráfego.

Os testes independentes também devem preservar a distinção entre saída narrativa e saída de código. Combiná-las em uma única média ocultaria uma diferença que o relatório original já expõe. Relatar seus resultados separadamente dá aos leitores uma chance melhor de relacionar o benchmark à sua aplicação.

Segundo, acompanhe uma comparação na mesma máquina que inclua uma alternativa focada em Blackwell, como o Basalt. O resultado do autor da publicação original não estabelece onde esse mecanismo se posiciona no ranking. Testá-lo sob as mesmas condições resolveria uma lacuna concreta levantada na discussão.

Uma comparação confiável revelaria diferenças nas compilações comprimidas do modelo e nas configurações de qualidade. Ela também deveria incluir a latência de processamento de prompts e o comportamento de sessões retomadas, além da velocidade de geração. Caso contrário, um novo vencedor herdaria a mesma ambiguidade da manchete antiga.

Se o QEngine mantiver a liderança nesse campo ampliado, a alegação competitiva se tornará mais forte. Se outro mecanismo igualar a geração enquanto melhora a latência de entradas longas ou de sessões retomadas, a escolha passará a depender mais do comportamento da aplicação. Qualquer um dos resultados seria mais informativo do que comparar capturas de tela incompatíveis.

Terceiro, acompanhe testes repetidos de carga de trabalho mista sobre retenção de sessões ociosas e geração concorrente. O resultado relatado para RAM é atraente porque aborda a interrupção entre sessões de trabalho. Sua desaceleração concorrente mostra por que esse benefício precisa ser avaliado sob uso sustentado.

Execuções repetidas revelariam se a recuperação de sessões quentes permanece consistente à medida que as conversas se acumulam e a atividade muda. Elas também mostrariam com que frequência o mecanismo processa novamente entradas antigas, encontra falhas ou reduz a velocidade por fluxo. Essas medições testariam o valor prático por trás da configuração de memória.

Uma recuperação consistente com desempenho concorrente aceitável fortaleceria o argumento a favor de um estado de conversa sustentado por RAM. Variabilidade frequente ou uma desaceleração maior restringiria seu apelo a cargas de trabalho mais leves. Nenhum dos resultados exige fingir que todo assistente local atende ao mesmo padrão de solicitações.

Para desenvolvedores que consideram uma mudança, o benchmark do QEngine RTX 5090 fornece uma razão crível para investigar, acompanhada de limitações incomumente explícitas. Sua contribuição mais forte é mostrar que velocidade de geração, latência de prompts e recuperação de conversas podem se mover em direções diferentes.

Antes de substituir um mecanismo existente, compare as esperas que seus usuários realmente enfrentam. Preserve uma conversa longa representativa, introduza tráfego não relacionado e meça o que acontece quando o trabalho original é retomado. Inclua tarefas variadas ao lado de prompts repetidos e mantenha verificações de qualidade que reflitam o trabalho que precisa ser concluído. Registre a versão e a configuração testadas para que atualizações posteriores não apaguem o significado da comparação. O benchmark do QEngine RTX 5090 apresenta um argumento persuasivo a favor dessa avaliação, enquanto deixa a escolha final dependente de evidências da sua carga de trabalho. Seu assistente passa mais tempo gerando uma resposta, lendo um prompt crescente ou recuperando uma conversa da qual você esperava que ele se lembrasse?