top of page

Atualização do tandem.cpp adiciona suporte à AMD e ganhos com SSD

há 43 minutos
13 min de leitura
Illustrative photograph. Photo: Bibek ghosh / Pexels.

A atualização do tandem.cpp relata o DeepSeek-V4.1-Flash operando a 14,2 tokens por segundo em um PC com 64 GB de memória e uma placa gráfica de 16 GB. Seu autor lista o llama.cpp padrão a 7,4 tokens por segundo na mesma configuração. A alegação diz respeito a uma inferência mais rápida, isto é, à execução de um modelo existente, enquanto grande parte de seus dados permanece fora da memória gráfica.

O detalhe importante é onde esses dados ficam. Os pesos de especialistas do modelo testado ocupam 139 GiB, segundo o autor, excedendo a memória do sistema da máquina. Especialistas são componentes especializados do modelo selecionados para entradas específicas. O patch mantém os especialistas mais usados na placa gráfica e coordena o trabalho restante entre o processador, a memória e o armazenamento.

Isso coloca o tandem.cpp diante de uma limitação prática: quanto tempo de espera os usuários tolerarão quando seu modelo preferido excede a memória disponível. A vantagem relatada sobre o llama.cpp é substancial na máquina destacada. As comparações com o Strata, outro mecanismo de inferência, mostram uma disputa mais apertada e complicada. Essas são medições relatadas pelo autor, não resultados reproduzidos de forma independente.

O que a atualização do tandem.cpp realmente muda

A atualização é voltada a computadores que não conseguem manter um modelo grande inteiramente em sua memória mais rápida. Ela também adiciona um caminho de execução para AMD, ampliando o hardware que os proprietários podem investigar.

Nos benchmarks de offload do DeepSeek do autor, a configuração central combina uma RTX 5070 Ti, 64 GB de RAM e um i5-14600KF. A RAM é a memória de trabalho do computador. A placa gráfica tem 16 GB de VRAM, sua memória dedicada para gráficos e computação.

Nessa máquina, o autor relata 14,2 tokens por segundo para o tandem.cpp, 7,4 para o llama.cpp e 10,4 para o Strata. Tokens são as unidades de texto que um modelo consome e gera. Esses números medem a velocidade de decodificação, a taxa na qual um mecanismo produz saída após processar um prompt.

O benchmark usa o DeepSeek-V4.1-Flash IQ2_XS. Esse rótulo final identifica um formato de quantização, que armazena os pesos do modelo com precisão numérica reduzida. O autor afirma que cada mecanismo usou o mesmo modelo quantizado, tornando esta uma comparação entre abordagens de execução, e não entre modelos comprimidos de forma diferente.

As condições declaradas também importam. Os testes envolvem um usuário, perguntas matemáticas do GSM8K e decodificação gulosa, que seleciona o próximo token com maior pontuação. O autor afirma que nenhum dos mecanismos comparados ignorou especialistas selecionados. Esses controles delimitam a comparação, embora não validem sua implementação de forma independente.

Uma segunda máquina combina a mesma placa gráfica e capacidade de memória com um i5-12400F e um SSD econômico sem DRAM dedicada integrada. O resultado relatado é de 10,4 tokens por segundo para o tandem.cpp e 5,7 para o Strata. A publicação não fornece resultado do llama.cpp para essa linha.

Essa entrada ausente deve continuar ausente. Ela não estabelece uma falha, uma incapacidade de carregar o modelo ou uma diferença específica de desempenho. Apenas impede uma comparação completa entre todos os mecanismos nessa configuração.

A configuração maior combina uma RTX 5090 com 32 GB de memória gráfica, 128 GB de RAM e um i5-14600KF. Aqui, o autor relata 33,1 tokens por segundo para o tandem.cpp, 11,5 para o llama.cpp e 28,0 para o Strata.

Em conjunto, as linhas sustentam uma alegação específica que vale testar: coordenar memória e armazenamento pode melhorar a velocidade de geração em modelos grandes demais. Elas não estabelecem que qualquer computador com uma placa gráfica de 16 GB entregará o resultado destacado.

Esta também é uma atualização de mecanismo de inferência, não um anúncio de modelo DeepSeek. O patch altera como um modelo existente é executado. Ele não treina um novo modelo nem estabelece que a versão comprimida corresponda à qualidade do modelo original.

A pressão recai sobre o gerenciamento de memória, não apenas sobre as placas gráficas

A comparação consequente é entre estratégias de execução sob a mesma limitação de memória. Uma placa gráfica mais rápida, por si só, não explica as diferenças relatadas entre mecanismos em hardware idêntico.

Considere o leitor que já possui a classe de desktop destacada. Sua pergunta imediata é se o software pode tornar um modelo grande demais utilizável sem substituir a máquina. Os números do autor dão a essa questão um ponto de partida experimental concreto.

Eles também deslocam a atenção para o computador completo. Quando uma carga de trabalho depende do armazenamento, o processador, a RAM disponível e o comportamento da unidade passam a fazer parte da discussão sobre desempenho. Tratar a memória gráfica como a única especificação relevante deixa de fora a configuração descrita aqui.

Isso não significa que a capacidade de memória deixa de importar. A limitação central permanece visível na configuração: os dados dos especialistas excedem a RAM disponível. O software precisa gerenciar o movimento e a computação em torno dessa escassez. A melhoria relatada torna a escassez menos custosa em tempo; não a elimina.

Para desenvolvedores que escolhem um mecanismo, isso cria a necessidade de comparar o mesmo modelo sob condições equivalentes. Um resultado medido com memória abundante responde a uma pergunta diferente de outro medido com acesso repetido ao armazenamento.

A comparação do autor com Qwen reforça essa distinção. O Qwen3.8-Flash-Next IQ3_S, listado com 78 GiB, supostamente alcança 34,3 tokens por segundo em um PC com 32 GB e uma RTX 5070 Ti de 16 GB. Os números correspondentes são 14,9 para o llama.cpp e 30,3 para o Strata.

Esse teste inclui MTP, ou previsão de múltiplos tokens, uma abordagem que propõe vários tokens futuros para validação. Ela pertence à configuração declarada do Qwen. Os leitores não devem transferir seu resultado para a configuração do DeepSeek nem presumir que a mesma aceleração se aplique universalmente.

As implicações práticas diferem entre aplicações. Alguém experimentando um assistente local pode aceitar um atraso perceptível na inicialização, seguido de uma saída estável. Um desenvolvedor que executa solicitações curtas repetidas pode se importar mais com a demora antes do início de cada resposta.

Um trabalho em segundo plano introduz outro padrão. Seu responsável pode aceitar uma interação mais lenta se o trabalho for concluído de forma confiável, deixando recursos suficientes para outros aplicativos. Um benchmark que ocupa um computador ocioso não representa automaticamente essa experiência.

Estes são cenários de avaliação, não implantações documentadas do tandem.cpp. Seu objetivo é mostrar por que um único número de velocidade de geração não pode decidir a escolha de um mecanismo.

Para equipes que consideram fluxos de trabalho com documentos locais, o modelo também é apenas um componente. Recuperação, acesso às fontes e verificação de respostas continuam sendo preocupações separadas. Uma base de conhecimento pesquisável aborda uma camada diferente da estratégia de memória do mecanismo de inferência.

A pressão razoável sobre os desenvolvedores de mecanismos é, portanto, específica. Publiquem medições que revelem quando a coordenação de memória ajuda, quando ela deixa de ajudar e quais outras partes da experiência do usuário continuam lentas.

Por que mover menos especialistas pode importar mais do que acomodar tudo

O mecanismo depende de computação e posicionamento seletivos, preservando o trabalho exigido pelo modelo testado. Ele não exige que o modelo inteiro resida na placa gráfica.

Um modelo de mistura de especialistas, comumente abreviado como MoE, seleciona subconjuntos de componentes especializados para cada entrada. Seus parâmetros totais armazenados podem, portanto, exceder o subconjunto usado durante uma computação individual. Essa distinção cria oportunidades para diferentes arranjos de memória.

O autor descreve o tandem.cpp como mantendo especialistas frequentemente usados na placa gráfica, enquanto deixa o processador ajudar com os demais. Quando o modelo excede a memória do sistema, o armazenamento também participa. A questão de engenharia passa a ser quais dados manter próximos e como lidar com o restante.

Um cache é uma área de armazenamento mais rápida que retém dados para reutilização. Nesse contexto, especialistas úteis em cache podem evitar transferências repetidas. Uma falta de cache ocorre quando os dados necessários estão ausentes e precisam vir de outro lugar.

A implicação analítica é direta: evitar uma transferência lenta pode importar mesmo quando a quantidade de operações aritméticas permanece inalterada. É por isso que um patch de gerenciamento de memória merece atenção ao lado de melhorias na computação numérica.

Há limites para esse raciocínio. Uma estratégia de posicionamento se beneficia do padrão real de uso dos especialistas. Prompts e modelos diferentes podem criar padrões diferentes. Um resultado favorável em questões de matemática não estabelece a mesma vantagem para geração de código ou análise de documentos longos.

A linha de base também merece tratamento preciso. A inferência de modelos locais por meio do llama.cpp fornece o mecanismo subjacente que o tandem.cpp modifica. Trata-se de uma comparação dentro de uma base de software existente, e não de evidência de que essa base se tornou irrelevante.

Essa relação importa para a manutenção. Os leitores devem avaliar tanto o benefício medido quanto as consequências de usar um mecanismo modificado. A compatibilidade com seu modelo, aplicativo e futuras atualizações de software faz parte da decisão.

A atualização do repositório do projeto em 16 de novembro acrescenta outro desenvolvimento relevante. Suas mudanças no cache de especialistas descrevem lotes maiores de processamento de prompts e o uso temporário da memória de cache para buffers de processamento. O autor relata latência de prompts melhorada, ao mesmo tempo em que mostra que o Strata continua mais rápido em algumas comparações.

Esse material mais recente importa porque o processamento de prompts e a geração de texto são etapas diferentes. O prefill é o processamento inicial dos tokens de entrada. A decodificação é a produção subsequente dos tokens de saída. Melhorar qualquer uma das etapas não melhora automaticamente a outra.

Para alguém que envia um documento longo, um fluxo de saída mais rápido pode vir após uma espera inicial substancial. Esse usuário vivencia a interação total, não apenas a parte destacada por um benchmark de decodificação.

A atualização do tandem.cpp deve, consequentemente, ser lida como trabalho em um pipeline de execução limitado por memória. Seu apelo vem de melhorar como os recursos existentes cooperam. As evidências não sustentam descrevê-la como uma forma de tornar o tamanho do modelo irrelevante.

Tampouco evitar a omissão de especialistas estabelece equivalência com um modelo não comprimido. A quantização escolhida continua fazendo parte do experimento. Preservar a computação selecionada e preservar a precisão numérica original são alegações separadas que exigem evidências separadas.

O suporte à AMD amplia o acesso sem estabelecer uma liderança em velocidade

A compatibilidade com AMD é uma adição significativa, mas os resultados relatados para AMD não colocam o tandem.cpp à frente de todas as alternativas. A própria comparação do autor deixa essa limitação clara.

O patch agora é compilado com HIP, o ambiente de execução e interface de programação C++ da AMD para computação em GPU. A AMD descreve a programação HIP como parte do ROCm, sua plataforma de software para computação heterogênea em processadores e hardware gráfico.

Essa distinção ajuda a interpretar o anúncio. Dar suporte a uma interface de programação abre um caminho de execução. Isso não estabelece desempenho igual em todas as placas, processadores, sistemas operacionais ou configurações de software compatíveis.

O autor relata testar uma RX 7900 XTX com um i7-8700, 64 GB de memória DDR4 e uma conexão PCIe 3.0. PCIe é a interface que conecta componentes, como placas gráficas, ao computador. A carga de trabalho usa Qwen3.8 IQ3_S com MTP.

Nessa configuração, o tandem.cpp supostamente entrega 68,6 tokens por segundo. O Strata padrão chega a 69,7, enquanto uma bifurcação do Strata voltada ao RDNA3 alcança 80,1. RDNA3 identifica a arquitetura gráfica usada pela placa AMD testada.

Esses números sustentam uma conclusão contida: o tandem.cpp tem desempenho competitivo com o Strata padrão no teste do autor, enquanto a bifurcação especializada é mais rápida. Eles não sustentam chamar o tandem.cpp de motor ROCm mais rápido.

A publicação também lista o Avalon com 83,6 tokens por segundo. No entanto, essa entrada usa sua própria quantização IQ3_KS. Como a representação do modelo armazenado difere, o número não deve ser apresentado como uma comparação controlada apenas entre motores.

É aqui que a apresentação de benchmarks pode se tornar discretamente enganosa. Colocar resultados na mesma lista facilita a leitura, mas não elimina diferenças nos arquivos de modelo. Uma comparação útil explica essas diferenças antes de estabelecer um ranking.

O autor também afirma que não há suporte a Vulkan. Vulkan é outra API de gráficos e computação. Leitores cuja configuração preferida dependa dela não devem tratar o anúncio sobre HIP como evidência de que sua rota de software atual está coberta.

RDNA4 continua sendo uma incerteza separada. Na discussão, o autor diz que não consegue testar essa arquitetura com o hardware disponível. A expectativa de que o código deva funcionar é uma evidência mais fraca do que uma compilação bem-sucedida, uma carga de trabalho concluída e medições reproduzíveis.

Para proprietários de AMD, o valor imediato é, portanto, uma opção adicional a avaliar. O anúncio amplia o conjunto de experimentos plausíveis sem definir qual motor atende melhor a todas as configurações Radeon.

Ele também ilustra o limite da narrativa principal. Coordenar memória pode ajudar, mas a eficácia dessa coordenação ainda depende da plataforma de execução. Código compartilhado não faz desaparecer restrições específicas de hardware.

A resposta apropriada é comparar equivalentes na máquina pretendida. Nomes de arquitetura e rótulos de compatibilidade fornecem contexto; eles não podem substituir medições da aplicação que os leitores realmente pretendem executar.

O que os benchmarks deixam em aberto

A maior lacuna de verificação é a distância entre a comparação controlada de um autor e a carga de trabalho completa de outro usuário. Alegações disponíveis publicamente tornam a investigação possível, mas não constituem replicação independente.

O autor afirma que a comparação com DeepSeek usa quantização idêntica, decodificação gulosa e nenhuma omissão de especialistas. Esses são controles úteis. Eles reduzem fontes óbvias de divergência entre motores, embora deixem outras questões em aberto.

A questão central ainda não resolvida é a reprodutibilidade. Outro avaliador precisa de informações suficientes para reproduzir os arquivos de modelo, as versões de software, a configuração e o procedimento de medição. A concordância nesses detalhes tornaria um resultado repetido mais informativo do que uma captura de tela vagamente semelhante.

As condições de armazenamento merecem atenção especial. Uma execução a frio começa sem os mesmos dados úteis já retidos na memória. Uma execução a quente pode reutilizar dados acessados anteriormente. Comparar condições iniciais diferentes corre o risco de atribuir ao motor uma vantagem decorrente do estado da memória.

A outra atividade do desktop também importa para uma avaliação prática. Aplicações competem por memória de trabalho e tempo de processamento. Uma configuração que apresenta bom desempenho em um teste isolado merece nova análise sob as condições normais de uso do proprietário.

Isso é uma preocupação de avaliação, não evidência de um defeito no tandem.cpp. O benchmark disponível simplesmente não consegue responder a todas as questões sobre como uma máquina se comporta durante o trabalho cotidiano.

A carga de trabalho de teste impõe outro limite. GSM8K contém problemas matemáticos em linguagem natural. Usar suas perguntas para medir a velocidade de geração não estabelece automaticamente precisão matemática, capacidade de programação, confiabilidade factual ou uso bem-sucedido de ferramentas.

Um modelo pode gerar uma resposta incorreta rapidamente. Por outro lado, uma configuração mais lenta ainda pode ser adequada para uma tarefa cuja principal exigência seja uma verificação cuidadosa. Vazão e utilidade precisam de suas próprias medições.

A mesma cautela se aplica à palavra “exato”. Nesta comparação, o autor a usa para distinguir uma computação sem omissão de especialistas. Ela não deve se tornar uma declaração abrangente sobre saídas idênticas entre hardwares ou equivalência ao modelo original.

A quantização traz sua própria questão. A configuração DeepSeek relatada usa uma representação comprimida. Uma avaliação da qualidade das respostas dessa representação exigiria evidências além dos números de velocidade do motor discutidos aqui.

Consumo de energia, atividade de armazenamento, responsividade e estabilidade também estão fora do resultado principal. Os leitores devem evitar inferir melhora nessas áreas apenas porque a saída chega mais rápido. Usuários diferentes atribuirão importância diferente a elas.

Não há evidência independente de adoção empresarial no material citado. Portanto, os resultados sustentam investigação por usuários tecnicamente confortáveis, e não a alegação de que organizações já validaram a abordagem para produção.

A própria concessão do autor sobre o Strata ajuda a manter a discussão realista. Na thread do Reddit, ele reconhece que o Strata pode ser melhor quando há memória suficiente disponível. Isso é consistente com uma vantagem dependente da carga de trabalho, e não com um vencedor universal.

Uma leitura cautelosa não torna a atualização desinteressante. Ela identifica a proposição real que vale examinar: se este patch melhora um modelo específico e superdimensionado em uma máquina específica e limitada.

Essa proposição é útil e testável. Expandir isso para alegações sobre todos os modelos, todas as placas AMD ou todos os fluxos de trabalho locais de IA iria além das evidências.

Três sinais mostrarão se os ganhos se confirmam em outros contextos

A próxima evidência útil deve testar a reprodutibilidade, a cobertura AMD e o tempo total de resposta, nessa ordem. Esses sinais abordam as maiores lacunas sem transformar a atualização em uma previsão sobre todo o mercado de IA.

Primeiro, observe replicações independentes dos resultados do DeepSeek sob restrição de memória. Os relatos mais fortes identificariam os arquivos exatos de modelo, versões do motor, hardware, configurações e condições iniciais de memória. Eles também relatariam a variação entre execuções repetidas.

Um resultado correspondente reforçaria a alegação de que o ganho se mantém fora do ambiente do autor. Um ganho menor ainda seria informativo se a diferença pudesse ser relacionada ao armazenamento, ao comportamento do processador ou à configuração.

Uma inversão também teria importância. Se outro motor vencer em condições equivalentes, o limite da vantagem do tandem.cpp ficará mais claro. Isso ajudaria usuários a escolher software, em vez de apenas acrescentar outro número a um ranking.

Segundo, observe testes AMD além da configuração RX 7900 XTX relatada. Resultados em RDNA4 abordariam diretamente a lacuna de hardware declarada pelo autor. Os relatos devem diferenciar compilação bem-sucedida de execução correta e desempenho sustentado da aplicação.

Uma cobertura AMD mais ampla fortaleceria a narrativa de compatibilidade. Ela não eliminaria o resultado existente da bifurcação do Strata nem estabeleceria um ranking permanente. Arquiteturas diferentes precisam de suas próprias evidências, especialmente quando o processador host também participa da inferência.

Terceiro, observe o tempo completo de interação em prompts realistas. Isso significa medir juntos a espera inicial, a geração da saída e a conclusão bem-sucedida. O trabalho de processamento de prompts de 16 de novembro torna esse um próximo passo particularmente relevante.

Pedidos de documentos longos e turnos conversacionais repetidos testariam exigências diferentes das de um prompt matemático curto. Avaliadores independentes devem explicar a carga de trabalho, em vez de apresentar um número isolado de vazão como uma pontuação completa da experiência do usuário.

Vale acompanhar esses sinais nos próximos meses, mas eles não são marcos prometidos. Nem a publicação de origem nem o repositório estabelecem um prazo para validação independente, testes de hardware mais amplos ou comparações no nível da aplicação.

Por enquanto, a atualização do tandem.cpp oferece um tema confiável para avaliação prática, apoiado por alegações detalhadas do autor e limites competitivos apresentados com franqueza. Seu caso mais forte relatado é uma máquina obrigada a mover dados de especialistas além da memória disponível. O próximo passo prático é comparar esse caso com sua própria carga de trabalho. Comece com os mesmos arquivos de modelo e uma linha de base claramente registrada. Meça a espera antes da saída com o mesmo cuidado dedicado à taxa de saída. Verifique as respostas antes de tratar velocidade como progresso. Se o ganho persistir nessas condições, ele se torna evidência para sua máquina, e não uma manchete emprestada. O que mais importa para sua carga de trabalho local: geração estável, uma espera inicial menor ou manter o desktop responsivo?

 
 

Comece grátis

Um assistente de IA local-first com gestão de conhecimento pessoal

Para oferecer uma experiência de IA melhor,

atualmente, o remio é compatível apenas com Windows 10+ (x64) e M-Chip Macs.

Seu parceiro de IA no trabalho
Faça mais com o remio

Planeje. Crie. Entregue.
Tudo em um só lugar.

bottom of page