top of page

DeepSeek V4.1 Flash funciona em 12 V100s, diz desenvolvedor

há 3 horas
13 min de leitura
Image from the source report. Source: www.tomshardware.com.

O DeepSeek V4.1 Flash agora executa todos os especialistas roteados em doze placas Nvidia V100 usadas, segundo o advogado e montador de servidores Nick Mermiges. Seu relato de 20 de novembro de 2026 informa que a geração de código atingiu 184 tokens por segundo. A afirmação contrapõe hardware de servidor antigo a resultados publicados do DGX Spark, embora as comparações usem softwares e representações de modelo diferentes.

A atualização amplia sua máquina anterior de oito placas. Sua mudança central é a capacidade de memória: cada especialista pode permanecer nas placas gráficas sem compressão adicional ou transferências da memória do sistema. Para alguém que consulta repetidamente documentos longos, isso altera o equilíbrio entre espera, complexidade de hardware e manter o trabalho dentro de um escritório.

Essas continuam sendo medições publicadas pelo desenvolvedor, sem reprodução independente estabelecida nas fontes analisadas. Elas também descrevem uma disputa mais restrita do que o desempenho geral de IA. Uma máquina que responde rapidamente a uma pessoa não atende automaticamente uma equipe de forma eficiente, produz respostas melhores ou oferece custos operacionais menores.

DeepSeek V4.1 Flash ultrapassa o limite de memória

A atualização decisiva é acomodar todos os especialistas roteados na memória gráfica, usando a representação de quatro bits selecionada.

Mermiges descreve doze placas V100-SXM2 organizadas em três placas-mãe, com quatro placas por placa-mãe. Cada placa tem 32 GB de memória. Sua configuração anterior de oito placas não tinha capacidade utilizável suficiente para o conjunto completo de especialistas no formato selecionado da Nvidia.

Um especialista é um grupo de parâmetros especializado que o modelo seleciona durante o processamento. Manter todos os especialistas disponíveis não significa ativar todos eles para cada token. Significa que o servidor evita o compromisso específico de armazenar alguns especialistas em outro lugar ou comprimi-los ainda mais.

Segundo a arquitetura de doze placas do desenvolvedor, todos os 15.360 especialistas roteados ocupam a memória das placas. O conjunto de especialistas requer 278,9 GiB na representação selecionada. GiB mede memória com unidades binárias, portanto os leitores devem evitar compará-lo diretamente a números de capacidade rotulados de forma diferente.

Essa distinção torna a história mais específica do que a de outro entusiasta adicionando placas gráficas. A placa-mãe adicional cruza um limite de capacidade. Ajustes de software, por si só, não podem criar o armazenamento ausente, mesmo quando melhoram a eficiência do uso da memória existente.

A afirmação também exige um limite preciso em torno da palavra “todos”. Mermiges informa que todos os especialistas roteados estão em NVFP4, a representação compacta de ponto flutuante de quatro bits da Nvidia. Sua documentação identifica representações diferentes para outros componentes do modelo. Descrever o modelo inteiro como uniformemente armazenado ou calculado em precisão de quatro bits exageraria esse relato.

Para leitores que avaliam IA privada, a questão importante é o que a mudança de memória remove do caminho de execução. Se uma solicitação precisa de um especialista armazenado fora da memória da placa, mover esses dados introduz outra dependência. Compressão adicional introduz um compromisso diferente, que requer sua própria avaliação de qualidade.

Nenhum dos compromissos torna automaticamente um sistema inadequado. Sua importância depende da aplicação, da latência aceitável e das evidências sobre a qualidade da saída. Mermiges escolheu hardware adicional porque queria a representação de especialistas selecionada residente nas placas.

Essa escolha torna mais nítida a principal comparação em toda esta matéria: um sistema personalizado otimizado para a carga de trabalho de um indivíduo versus sistemas compactos que atendem necessidades mais amplas. Ela não estabelece que hardware adicional seja sempre a melhor resposta.

A atualização deve, portanto, ser avaliada como uma configuração distinta. Os resultados da máquina anterior de oito placas não descrevem automaticamente esta versão de doze placas. Da mesma forma, nem todas as melhorias podem ser atribuídas à capacidade quando o software e as configurações operacionais também mudaram.

Para um avaliador independente, essa é a primeira linha divisória útil. Verifique o que reside na memória antes de interpretar os números de velocidade. Caso contrário, duas implantações de modelo aparentemente semelhantes podem representar compromissos significativamente diferentes.

O ganho prático é esperar menos pelos documentos

No trabalho com documentos, o atraso antes de uma resposta começar pode importar mais do que a manchete sobre a geração mais rápida.

Mermiges publicou suas medições principais como testes de 19 de novembro, com o modo de raciocínio desativado e 1.024 tokens de saída solicitados. Tokens são as unidades de texto que um modelo processa e gera. Os números relatados são a média de duas execuções, o que os torna um conjunto inicial de medições, e não um estudo estatístico amplo.

Suas medições de latência de documentos informam que um prompt de código de 128K começou a responder após aproximadamente 28,1 segundos. Com esse documento já em cache, a espera relatada cai para aproximadamente 0,4 segundo. Um cache preserva o estado de processamento reutilizável de material que o sistema já leu.

Esses números descrevem situações diferentes. A espera menor não significa que a máquina lê um documento novo quase instantaneamente. Significa que uma solicitação de acompanhamento pode reutilizar trabalho, desde que o cache permaneça disponível e a solicitação corresponda a conteúdo reutilizável.

Essa diferença importa no fluxo de trabalho que Mermiges descreve: análise privada de primeira passagem de seus próprios arquivos de casos. Um profissional frequentemente retorna ao mesmo material com perguntas sucessivas. Pagar repetidamente todo o atraso de processamento do documento interromperia essa interação, mesmo que a resposta final aparecesse rapidamente.

Considere uma sequência hipotética envolvendo uma longa coleção de contratos. A primeira solicitação pede obrigações, a seguinte pergunta sobre exceções e outra solicita trechos de apoio. Se cada solicitação reutiliza o estado do documento, o usuário experimenta uma ferramenta diferente de outra que recomeça repetidamente do zero.

Esta é uma interpretação de fluxo de trabalho, não um resultado medido de produtividade jurídica. O tempo publicado não estabelece quanto tempo profissional o sistema economiza. Ler respostas, verificar referências e corrigir erros continuam fazendo parte do trabalho.

A distinção entre processamento inicial e geração de resposta também evita um mal-entendido comum sobre benchmarks. Prefill é o processamento inicial de um prompt de entrada. Decodificação é a geração subsequente de tokens de saída. Um sistema pode se destacar em qualquer estágio sem liderar em ambos.

A cobertura da atualização do servidor da Tom’s Hardware identifica a redução da espera pelo primeiro token como uma melhoria central em relação à montagem anterior. Ela relata que um prompt de código de 256K caiu de 108,4 segundos para aproximadamente 58 segundos. Essa comparação acompanha mudanças nas configurações de energia e no software, limitando explicações simples.

Para desenvolvedores que criam aplicações de documentos, a lição é examinar toda a interação. Uma demonstração curta pode ocultar o carregamento inicial do documento. Um teste de partida a frio pode deixar de captar os benefícios do trabalho repetido com material inalterado.

A pressão sobre sistemas concorrentes é, portanto, específica. Compradores precisam de medições de latência que se pareçam com sessões reais, incluindo documentos novos e perguntas de acompanhamento. Uma única taxa máxima de geração deixa grande parte da experiência do usuário sem explicação.

V100s antigas reduzem tráfego de memória, não cálculos de quatro bits

A velocidade relatada da montagem depende de software e movimentação de dados, apesar de as placas não terem hardware nativo de computação de quatro bits.

A V100 não adquire capacidades aritméticas mais recentes porque um modelo usa armazenamento NVFP4. Mermiges explica que os valores dos especialistas armazenados são desempacotados para FP16, um formato de ponto flutuante de dezesseis bits, antes do cálculo relevante. A representação compacta reduz os bytes lidos; ela não cria execução FP4 nativa.

A documentação de modelo NVFP4 da Nvidia fornece a referência para o pacote de especialistas selecionado. Isso estabelece um artefato de modelo identificável para pesquisadores examinarem. Não valida de forma independente a implementação, o desempenho ou a qualidade de aplicação deste servidor.

Esse mecanismo ajuda a explicar por que um acelerador antigo pode continuar útil para um formato de modelo mais recente. Armazenamento e aritmética são decisões separadas. Um processador pode se beneficiar de ler menos dados mesmo quando o software precisa convertê-los antes do cálculo.

Há um limite correspondente para essa inferência. Reduzir o tráfego de memória não elimina a sobrecarga de conversão, a sobrecarga de comunicação ou as diferenças de eficiência energética. A mesma técnica pode criar uma implantação útil sem tornar a arquitetura mais antiga equivalente a hardware mais novo.

A disposição física acrescenta outra camada. Mermiges divide o modelo em três estágios de pipeline, o que significa que grupos sucessivos de camadas são executados em grupos separados de placas. Dentro de cada grupo, o paralelismo de tensor divide os cálculos entre quatro placas. Ambas as técnicas distribuem o trabalho, mas introduzem requisitos de comunicação e agendamento.

NVLink, a conexão da Nvidia entre aceleradores compatíveis, conecta placas dentro de cada placa-mãe. As transferências entre placas-mãe seguem um caminho diferente pela infraestrutura de expansão do host. Isso torna a topologia parte do resultado, em vez de um detalhe incidental abaixo da contagem de placas.

Para alguém que avalia a reprodutibilidade, “doze V100s” é, portanto, uma especificação incompleta. A disposição, as modificações do mecanismo, a alocação de memória e as configurações operacionais pertencem à configuração. Outra máquina com o mesmo número de placas não precisa produzir os mesmos tempos.

O esforço de software também altera o significado de acessibilidade. Um componente usado pode ter um custo de aquisição atraente, ao mesmo tempo em que exige trabalho substancial de integração. Se esse trabalho vale a pena depende das habilidades do proprietário, do tempo disponível e da tolerância à manutenção.

Esta é uma análise da escolha de implantação, e não uma comparação medida de horas de engenharia. As evidências publicadas não atribuem um custo completo de mão de obra à montagem. Os leitores devem resistir a tratar um total de equipamentos como um orçamento de aquisição concluído.

Para o mercado mais amplo de IA privada, o desafio interessante é prático. Hardware antigo pode continuar competitivo em tarefas selecionadas quando desenvolvedores visam o gargalo real. Fornecedores de sistemas mais novos ainda precisam explicar o que os compradores ganham em eficiência, suporte, confiabilidade e cobertura mais ampla de cargas de trabalho.

DeepSeek V4.1 Flash fornece a carga de trabalho neste exemplo. O princípio maior de engenharia é identificar qual recurso limita uma implantação específica antes de presumir que o acelerador mais recente determina a melhor experiência.

A comparação com o DGX Spark tem escopo restrito

A vantagem relatada refere-se a resultados selecionados de decodificação de solicitação única, não a uma classificação controlada de sistemas completos de IA.

A comparação de solicitação única de Mermiges posiciona sua máquina ao lado de configurações publicadas de DGX Spark com três e quatro unidades. Ele observa explicitamente que esses sistemas usam seus próprios mecanismos e pesos. Essa ressalva deve acompanhar a afirmação, porque o software e a representação do modelo afetam o resultado.

Sua máquina de doze placas supostamente gera código a 157 a 184 tokens por segundo em contextos de 1K a 128K. Texto jurídico chega a 92 a 102 tokens por segundo, enquanto prosa alcança 83 a 95. A diferença entre categorias de conteúdo já mostra por que o número máximo exige contexto.

A comparação do criador também reconhece resultados mais fortes do Spark em alguns testes de processamento de prompts e vantagens à medida que as cargas de atendimento se tornam mais simultâneas. Essas concessões restringem consideravelmente a narrativa. Elas descrevem pontos fortes distintos de cada sistema, e não um vencedor universal.

Uma pessoa esperando por uma resposta tem um objetivo diferente de uma organização que atende solicitações sobrepostas. O indivíduo valoriza a rapidez com que a tarefa atual termina. Uma organização também precisa considerar filas, equidade entre usuários, throughput sustentado e o comportamento durante picos de demanda.

O processamento em lote combina o trabalho de várias solicitações para melhorar o uso de recursos. Seus benefícios dependem de um mecanismo de atendimento projetado para explorar essa carga de trabalho. Uma máquina otimizada para uma interação sequencial específica não se torna automaticamente um serviço compartilhado de alta capacidade.

Isso torna “V100 vs DGX Spark” uma pergunta útil apenas depois de especificar a tarefa. A comparação trata de iniciar uma resposta, finalizar uma resposta ou atender usuários simultâneos? Envolve documentos novos ou armazenados em cache? Os requisitos de qualidade da saída são equivalentes?

Essas perguntas também importam para agentes de IA, aplicações que alternam respostas do modelo com ações ou chamadas de ferramentas. Algumas interações têm dependências sequenciais que impedem simplesmente agrupar cada etapa em lote. Outras aplicações geram trabalho independente suficiente para manter um servidor compartilhado ocupado.

As evidências analisadas não medem todas essas aplicações. Aplicar o benchmark a fluxos de trabalho de agentes continua sendo uma hipótese que requer testes diretos. Um resultado de geração de código, isoladamente, não pode estabelecer a conclusão mais rápida de uma tarefa inteira de desenvolvimento.

Uma comparação adequada entre V100 e DGX Spark preservaria prompts, artefatos do modelo, configurações de geração e limites de medição sempre que possível. Quando as configurações precisarem diferir, o avaliador deverá explicar o motivo. Caso contrário, o teste compara sistemas de software montados sem isolar a contribuição do hardware.

Isso não torna os números publicados irrelevantes. Eles identificam uma implementação que vale investigar e oferecem a outros criadores um alvo concreto. Também desafiam suposições simplistas de que apenas a idade do produto prevê a capacidade de resposta.

No entanto, os resultados disponíveis não estabelecem superioridade de compra. Um comprador que escolhe um sistema precisa de evidências que cubram sua carga de trabalho real. A pressão relevante sobre as configurações Spark é demonstrar seus pontos fortes sob condições equivalentes, em vez de responder a uma manchete com outra manchete sem equivalência.

Energia, Privacidade e Qualidade Continuam Sendo Testes Separados

A geração local rápida responde apenas parte da questão que um comprador profissional precisa resolver.

Os requisitos operacionais da máquina são substanciais. Mermiges afirma que as placas podem consumir até 2.100 watts sob seus limites de 175 watts, excluindo outros componentes do sistema. Ele também descreve ruído e uma instalação distante de espaços de trabalho ocupados.

Isso cria uma restrição prática evidente. Um servidor pode ser útil para trabalho privado e, ao mesmo tempo, inadequado ao lado de uma mesa. Espaço, refrigeração, capacidade elétrica e manutenção contínua devem entrar na avaliação junto com a capacidade de resposta.

O argumento dele sobre custo de aquisição também exige interpretação cuidadosa. O cálculo de destaque reflete o que ele pagou por componentes usados ao longo do tempo. Separadamente, ele fornece uma estimativa mais alta para adquirir o hardware aos preços atuais. Compras históricas não estabelecem o que outro comprador consegue reproduzir.

Nenhum dos totais, isoladamente, resolve a economia de propriedade. Uma comparação exigiria tratamento consistente de equipamentos de suporte, instalação, energia, manutenção e tempo de inatividade. O material analisado não estabelece uma vantagem padronizada de custo de propriedade que cubra todos esses fatores.

A privacidade exige um limite igualmente preciso. Mermiges afirma que os documentos de seus casos permanecem dentro de seu escritório enquanto usa o servidor local. Trata-se de uma declaração do operador sobre sua configuração. Não é evidência independente de que toda configuração comparável mantenha todas as categorias de dados localmente.

Uma organização ainda precisaria inspecionar o comportamento da aplicação ao redor. Registros, integrações, backups e acesso administrativo podem importar mesmo quando a inferência do modelo é executada nas instalações. São questões de avaliação, não alegações sobre esta máquina específica.

A distinção se torna especialmente importante quando uma interface conhecida se conecta a um backend diferente. Alterar o endpoint do modelo não documenta, por si só, o comportamento de todos os serviços ao redor. As evidências analisadas não fornecem uma auditoria completa desse ambiente mais amplo.

A qualidade das respostas é outra questão independente. Manter especialistas em uma representação selecionada reduz um compromisso específico de compressão. Isso não estabelece que as respostas geradas estejam corretas, tenham fundamentação suficiente ou sejam adequadas para uso profissional.

Da mesma forma, verificações numéricas contra outra configuração não substituem avaliações em tarefas realistas. Um sistema pode preservar o comportamento computacional esperado e ainda produzir uma interpretação incorreta. Uma resposta rápida cria pouco valor quando verificá-la exige mais esforço do que executar a tarefa original.

Para usuários de documentos, a organização das informações também permanece distinta da velocidade do modelo. Uma base de conhecimento pesquisável aborda como o material se torna disponível para recuperação. Ela não valida, por si só, um modelo subjacente nem estabelece as propriedades de privacidade deste servidor.

As evidências, portanto, sustentam decisões separadas. Avalie capacidade de resposta, adequação operacional, tratamento de dados e qualidade das tarefas por seus próprios critérios. Combiná-los em um único rótulo de “IA privada” ocultaria as questões mais importantes.

Três Resultados Tornariam a Alegação Mais Útil

A replicação independente, testes realistas de atendimento e evidências de qualidade das tarefas devem determinar até onde esse resultado se aplica além de um único escritório.

O primeiro sinal a observar é a reprodução independente das faixas de latência e geração relatadas. Outro operador deveria identificar os artefatos exatos do modelo, a versão do mecanismo, a topologia de hardware e os limites operacionais. A correspondência desses detalhes tornaria a concordância mais significativa.

Os testes com documentos novos e documentos armazenados em cache devem permanecer separados. Relatar ambos esclareceria se a replicação confirma o processamento inicial, a capacidade de resposta em interações subsequentes ou ambos. Os resultados também devem distinguir código, material jurídico e prosa, em vez de tratar a categoria mais rápida como representativa.

Uma reprodução bem-sucedida fortaleceria a confiança de que a configuração oferece uma vantagem repetível para a carga de trabalho declarada. Resultados materialmente diferentes não desacreditariam automaticamente o criador. Eles identificariam dependências que o relato público atual ainda não isolou completamente.

A reprodução também exige atenção ao que está disponível publicamente. O repositório descreve mudanças no mecanismo e medições, ao mesmo tempo em que identifica componentes que não são fornecidos como um pacote completo pronto para execução. Isso limita a facilidade com que outro operador pode reproduzir o ambiente exato.

O segundo sinal é uma comparação realista de atendimento simultâneo. O teste útil acompanharia as solicitações desde a chegada até a conclusão, incluindo o tempo de espera. Taxas de geração somadas, isoladamente, podem deixar de captar atrasos introduzidos antes do início da geração.

Um exercício equivalente deveria incluir um profissional trabalhando sozinho e um pequeno grupo compartilhando o servidor. Deveria preservar requisitos equivalentes de documentos e saída. Isso revelaria onde a configuração personalizada permanece responsiva e onde uma abordagem diferente de atendimento se torna preferível.

Se o trabalho mais recente de processamento em lote melhorar o uso compartilhado sem prejudicar a latência de solicitações individuais, o escopo prático da montagem se ampliará. Se a simultaneidade introduzir espera substancial, o posicionamento original voltado ao usuário individual continuará sendo a interpretação mais defensável.

O terceiro sinal são evidências de qualidade das tarefas vinculadas a documentos representativos. As medições de velocidade devem vir acompanhadas de avaliações sobre correção das respostas, evidências de suporte e omissões. Essas avaliações precisam de critérios claramente declarados, em vez de impressões de que um modelo parece comparável a outro produto.

Para trabalho jurídico privado, uma avaliação útil testaria se as respostas representam com precisão o material fornecido e identificam passagens relevantes. Princípios semelhantes se aplicam a registros de engenharia ou pesquisas internas. As tarefas exatas devem refletir os usuários pretendidos, em vez de uma demonstração conveniente.

Resultados sólidos de qualidade sustentariam discussões sobre adoção mais ampla. Resultados fracos limitariam o valor da vantagem de velocidade, mesmo que todas as medições de tempo fossem reproduzidas. Desempenho de hardware e utilidade profissional se sobrepõem, mas não são intercambiáveis.

DeepSeek V4.1 Flash em doze V100s é, portanto, um resultado específico relatado que vale testar. Ele sugere que hardware mais antigo, cuidadosamente organizado, pode continuar relevante quando a capacidade de memória e a capacidade de resposta individual dominam a carga de trabalho. Não resolve a disputa mais ampla entre servidores personalizados e sistemas compactos de IA.

Antes de tratar esta máquina como um modelo de compra, peça uma carga de trabalho que se pareça com a sua. Examine a espera por documentos frios, perguntas repetidas, qualidade da saída e o comportamento quando outra pessoa começa a trabalhar. Compare o ônus de manutenção com o valor de manter esse fluxo de trabalho local. Depois, examine as evidências por trás de cada vantagem alegada, incluindo as partes que outro operador pode realmente reproduzir. A próxima pergunta útil não é simplesmente se doze placas antigas conseguem executar o modelo. É se uma configuração reproduzida de forma independente pode oferecer respostas confiáveis, requisitos operacionais aceitáveis e capacidade de resposta consistente para o trabalho que você precisa concluir.

 
 

Comece grátis

Um assistente de IA local-first com gestão de conhecimento pessoal

Para oferecer uma experiência de IA melhor,

atualmente, o remio é compatível apenas com Windows 10+ (x64) e M-Chip Macs.

Seu parceiro de IA no trabalho
Faça mais com o remio

Planeje. Crie. Entregue.
Tudo em um só lugar.

bottom of page