RedNote abre o código do dots tts, desafiando a rota de TTS baseada em tokens

A RedNote lançou o dots tts, um modelo de fala de 2 bilhões de parâmetros que desafia a arquitetura de tokens discretos por trás de muitos dos principais sistemas de text-to-speech. A empresa afirma que seu pipeline totalmente contínuo alcançou a melhor média de precisão de conteúdo e similaridade de locutor em três subconjuntos do Seed-TTS-Eval. Essa combinação é relevante porque desenvolvedores de TTS aberto normalmente precisaram equilibrar fidelidade, geração estável e velocidade prática de inferência.

O lançamento de junho inclui código de treinamento e inferência, modelos pré-treinados e pós-treinados, além de um checkpoint destilado sob a licença Apache 2.0. A RedNote também publicou um relatório técnico em 5 de junho e o revisou em 10 de agosto. O pacote resultante oferece aos desenvolvedores mais do que uma demonstração refinada. Ele fornece uma base reproduzível para clonagem de voz, síntese multilíngue, fine-tuning e serviço de baixa latência.

A disputa central é arquitetural. Modelos como Qwen3-TTS usam tokens de fala aprendidos, enquanto o dots tts mantém a fala em um espaço latente contínuo ao longo de sua principal rota de geração. O VoxCPM2 também segue uma rota de latentes contínuos, o que torna o lançamento da RedNote parte de um teste mais amplo. A indústria agora avalia se representações contínuas podem escalar sem sacrificar controle, cobertura de idiomas ou eficiência de implantação.

O que a RedNote realmente lançou

A mudança importante não é mais uma demonstração de voz, mas o lançamento de uma base de TTS treinável e implantável sob uma licença permissiva.

A equipe dots da RedNote lançou três versões iniciais da mesma arquitetura de 2 bilhões de parâmetros. O checkpoint base representa o modelo pré-treinado e oferece suporte a fine-tuning adicional. O checkpoint SOAR adiciona pós-treinamento autocorretivo e busca maior similaridade de locutor. A versão destilada MeanFlow reduz a carga de amostragem acústica para aplicações sensíveis à latência.

O lançamento completo inclui pesos do modelo, código de inferência, código de fine-tuning e o processo necessário para destilar um novo checkpoint MeanFlow. O código e os checkpoints lançados usam a licença Apache 2.0. Esse escopo diferencia o projeto de lançamentos que fornecem pesos, mas mantêm privadas etapas essenciais de treinamento ou adaptação.

O modelo gera áudio de 48 kHz e oferece suporte à clonagem de voz zero-shot. A clonagem zero-shot significa reproduzir um locutor a partir de áudio de referência sem retreinar o modelo para essa pessoa. Seu modo de continuação recomendado usa tanto uma amostra curta de áudio quanto a transcrição exata da amostra. Um modo x-vector pode funcionar apenas com áudio, embora a RedNote diga que o método com transcrição emparelhada produz melhor similaridade.

O relatório técnico que o acompanha foi submetido pela primeira vez em 5 de junho de 2026. Sua revisão de agosto adicionou experimentos, resultados de eficiência e detalhes técnicos atualizados. A RedNote descreve o sistema como multilíngue, mas não divulga o tamanho do corpus de treinamento no relatório. Essa omissão limita comparações diretas de escala com concorrentes que publicam totais de horas de treinamento.

Seus resultados de destaque no Seed-TTS-Eval abrangem inglês, chinês e um subconjunto difícil de chinês. O checkpoint SOAR registrou taxas de erro de 1,30%, 0,94% e 6,60% nesses respectivos conjuntos. Suas pontuações de similaridade de locutor foram 77,1, 81,0 e 79,5.

A média desses resultados publicados dá ao dots tts uma taxa de erro de 2,95% e uma pontuação de similaridade de 79,2. A RedNote afirma que ambas são as melhores médias entre os sistemas em sua comparação. A alegação se refere a uma tabela de benchmark montada a partir de publicações originais ou lançamentos open-source padrão, e não a uma nova avaliação independente de cada concorrente.

Essas ressalvas não anulam o resultado. Elas o definem. A RedNote lançou um sistema aberto cujo equilíbrio reportado em benchmarks é incomumente forte, ao mesmo tempo em que expõe o código necessário para que outros testem esse equilíbrio.

Por que o dots tts evita tokens de fala

O dots tts trata a representação contínua de fala como base, e não como uma etapa final de reconstrução após a geração de tokens.

Muitos sistemas modernos de TTS convertem áudio em códigos discretos. Esses códigos se assemelham a um vocabulário que um modelo de linguagem pode prever. Esse design se encaixa na infraestrutura existente de modelos de linguagem, mas a quantização pode descartar detalhes acústicos e dividir a fala entre vários codebooks.

A RedNote, por outro lado, treina um AudioVAE, um autoencoder variacional que comprime formas de onda em representações acústicas contínuas. Seu design usa múltiplos objetivos para que o espaço latente retenha tanto a estrutura linguística quanto informações finas de áudio. O modelo prevê essas representações diretamente, sem inserir tokens discretos de fala na cadeia de geração.

O pipeline começa com um codificador semântico e uma base de modelo de linguagem baseada em Qwen2.5. Em seguida, uma cabeça acústica autorregressiva prevê o próximo trecho contínuo de fala. Flow matching, um método generativo que aprende um caminho do ruído aos dados, transforma cada previsão em um latente acústico para o decodificador de 48 kHz.

A autorregressão ainda dá ao modelo uma dependência sequencial. Cada trecho gerado depende do contexto anterior. No entanto, o objeto previsto é uma representação acústica contínua, em vez de uma entrada de codebook. Essa estrutura permite que o dots tts retenha os pontos fortes de modelagem de sequência de um LLM, evitando ao mesmo tempo um vocabulário separado de codec discreto.

A cabeça acústica recebe o histórico completo de geração, em vez de uma janela recente estreita. A RedNote argumenta que esse condicionamento ajuda a preservar a consistência do locutor e da acústica em longo alcance. Ele também busca reduzir a deriva, quando uma voz clonada ou estilo de fala muda gradualmente durante uma passagem mais longa.

Um design contínuo cria seu próprio problema computacional. A geração acústica baseada em fluxo pode exigir várias avaliações para cada trecho de saída. Um sistema pode soar bem em um teste offline e ainda assim permanecer lento demais para um assistente, ferramenta de tradução ao vivo ou personagem interativo.

A RedNote enfrenta esse problema por meio da destilação MeanFlow com reconhecimento de classifier-free guidance. A destilação treina um processo de geração menor ou mais rápido para imitar outro mais caro. Nesse caso, o checkpoint MF reduz a geração acústica para quatro avaliações recomendadas, preservando grande parte do desempenho do modelo original em benchmarks.

O relatório afirma uma latência até o primeiro pacote de 85 milissegundos no modo de streaming de saída e de 54 milissegundos no modo de streaming duplo. Esses números descrevem a configuração experimental dos autores e não devem ser interpretados como latência universal de produção. Hardware, concorrência, comprimento do prompt, compilação e buffering de áudio podem alterar o resultado.

A RedNote posteriormente adicionou uma rota de inferência otimizada. Seu repositório informa fatores medianos de tempo real entre 0,13 e 0,20 para configurações selecionadas somente de texto e de clonagem. Um fator de tempo real inferior a um significa que a geração é concluída mais rapidamente do que a duração do áudio resultante.

A arquitetura, portanto, aposta em algo específico. Representações contínuas podem preservar mais informações acústicas, enquanto a destilação e o serviço otimizado podem tornar gerenciável seu custo mais alto de decodificação. Se essa aposta se confirmar em implantações independentes, tokens discretos de fala deixarão de parecer a única rota prática para TTS neural escalável.

A vitória no benchmark é sobre equilíbrio

O argumento mais forte da RedNote não é que o dots tts vence em todas as colunas, mas que evita uma troca média severa entre palavras e vozes.

O Seed-TTS-Eval mede duas propriedades diferentes. A taxa de erro de palavras estima se um reconhecedor automático de fala recupera o conteúdo pretendido. A similaridade de locutor compara o áudio gerado com o locutor de referência usando um modelo de verificação de locutor. Erro menor e similaridade maior são desejáveis.

O dots tts não lidera todos os subconjuntos individuais. Seu checkpoint SOAR registra uma taxa de erro de 0,94% em chinês, enquanto o MiniMax-Speech registra 0,83% na tabela da RedNote. O Qwen3-TTS chega a 6,76% no chinês difícil, perto dos 6,60% do dots tts. O Seed-TTS registra similaridade de 79,6 em chinês, em comparação com 81,0 para o dots tts.

A média conta uma história diferente. A RedNote informa 2,95% de erro médio e 79,2 de similaridade média para o SOAR. Sua tabela coloca o modelo à frente de CosyVoice 3, F5-TTS, FireRedTTS-2, IndexTTS 2, Qwen3-TTS, Seed-TTS e VoxCPM2 na média combinada.

O checkpoint pré-treinado produz, na verdade, um erro médio ligeiramente menor, de 2,92%, enquanto o SOAR melhora a similaridade média de locutor. Essa diferença ilustra a troca trazida pelo pós-treinamento do modelo. O alinhamento pode fortalecer a preservação de identidade sem melhorar todas as métricas de conteúdo.

A RedNote afirma que o SOAR usa pós-treinamento autocorretivo sem recompensa. O sistema gera candidatos de fala, identifica saídas difíceis ou defeituosas e aprende correções sem depender de um modelo de recompensa treinado separadamente. Essa abordagem concentra o treinamento em casos de falha, ao mesmo tempo que evita o viés de modelos de recompensa.

A comparação de benchmark também pressiona sistemas abertos mais conhecidos. O relatório do Qwen3-TTS descreve uma família treinada em mais de 5 milhões de horas, distribuídas por 10 idiomas. Sua arquitetura usa tokenizadores discretos de fala e oferece design de voz, clonagem e geração em streaming. A RedNote informa resultados médios fortes sem revelar uma quantidade comparável de horas de treinamento.

O CosyVoice 3 fornece outra referência de escala. Seus autores expandiram o treinamento de dezenas de milhares de horas para 1 milhão de horas, aumentaram o tamanho do modelo para 1,5 bilhão de parâmetros e cobriram nove idiomas, além de 18 dialetos chineses. Seu estudo de pós-treinamento enfatiza o design do tokenizador e um modelo de recompensa diferenciável.

Essa comparação torna o resultado do dots tts mais interessante, mas não decisivo. O Seed-TTS-Eval enfatiza a clonagem zero-shot a partir de prompts de cerca de três segundos. Ele não cobre a experiência completa do produto em torno de seguimento de instruções, design de voz, conversas longas, custo operacional ou controles de segurança.

A similaridade automatizada também é um proxy imperfeito para o julgamento humano. Um modelo pode preservar um embedding de locutor enquanto falha em cadência, contenção emocional, pronúncia ou estilo de gravação. Da mesma forma, uma pontuação de erro baseada em ASR depende em parte do reconhecedor usado pelo benchmark.

A RedNote fornece demonstrações de áudio e comandos de avaliação reproduzíveis, oferecendo aos pesquisadores uma forma de examinar suas alegações. Reexecuções independentes em hardware fixo e com configurações compartilhadas de decodificação continuam mais valiosas do que simplesmente reproduzir uma posição em um leaderboard.

O resultado imediato ainda é significativo. O dots tts coloca um modelo contínuo perto da dianteira em fidelidade de conteúdo e preservação de locutor ao mesmo tempo. Os concorrentes agora precisam responder a esse equilíbrio, e não apenas produzir uma amostra atraente.

O TTS contínuo se tornou uma rota concorrente real

A pressão competitiva recai sobre o TTS baseado em tokens porque os modelos contínuos agora combinam qualidade crível, pesos abertos e serviço cada vez mais prático.

O Qwen3-TTS ilustra claramente a rota dos tokens. Seu tokenizador de 12 Hz comprime a fala em um fluxo de baixa taxa, enquanto um modelo de linguagem de trilha dupla oferece suporte à síntese em streaming. O relatório afirma um primeiro pacote de 97 milissegundos e oferece modelos de 0,6 bilhão e 1,7 bilhão de parâmetros.

Essa estrutura se beneficia de ferramentas maduras de modelos de linguagem autorregressivos. Tokens discretos podem ser agrupados em lotes, armazenados em cache, amostrados e servidos por infraestrutura já projetada para geração de texto. Eles também criam uma representação compartilhada que pode conectar a geração de fala a tarefas mais amplas de áudio e linguagem.

dots tts aceita mais trabalho dentro do caminho acústico. Seu backbone de modelo de linguagem prevê condições para uma cabeça de flow matching, que gera patches contínuos antes da decodificação da forma de onda. Isso pode preservar detalhes acústicos, mas complica o agendamento e adiciona vários cálculos por patch.

VoxCPM2 mostra que RedNote não está sozinha. Sua arquitetura contínua também evita um tokenizador de fala discreto externo. O modelo de 2 bilhões de parâmetros combina síntese multilíngue, design de voz, clonagem com controle de estilo e clonagem por continuação. Seus autores relatam treinamento com mais de 2 milhões de horas cobrindo 30 idiomas.

VoxCPM2, portanto, oferece uma cobertura declarada de idiomas mais ampla e controles mais integrados. dots tts responde com médias relatadas mais fortes no Seed-TTS-Eval, latentes contínuos de 48 kHz, condicionamento de histórico completo e um caminho de destilação focado. Nenhum dos modelos resolve sozinho a disputa arquitetural.

CosyVoice 3 ocupa uma posição híbrida. Ele usa um tokenizador de fala aprendido para geração semântica e um modelo de flow matching para reconstrução acústica. Seu design mostra por que o debate não se resume a autorregressão versus difusão. A distinção importante diz respeito a onde a informação se torna discreta, ao que o modelo prevê sequencialmente e a como a acústica final é recuperada.

A infraestrutura de implantação está começando a reduzir a desvantagem da abordagem contínua. O lançamento do dots tts fornece um endpoint de fala compatível com OpenAI por meio do SGLang Omni, com batching contínuo para suas variantes MeanFlow e de passos fixos. A saída PCM em streaming também permite que os aplicativos iniciem a reprodução antes que a forma de onda completa esteja pronta.

A integração publicada pelo SGLang relata pico de throughput de 4,76 solicitações por segundo e 19,86 segundos de áudio gerado por segundo com concorrência de 16. Esse teste usou uma H100, o checkpoint MF de quatro passos e Seed-TTS-Eval em inglês. A taxa de erro relatada foi de 1,35%.

Esses números de serving vêm de uma pilha e carga de trabalho específicas. Eles não podem estabelecer paridade de custo com todos os modelos baseados em tokens. Mas mostram que TTS autorregressivo contínuo avançou além da inferência de pesquisa isolada.

Essa mudança importa para desenvolvedores que selecionam uma base. Tokens discretos ainda oferecem manipulação de sequências mais simples e um caminho mais claro para a unificação multimodal de tokens. Sistemas contínuos oferecem a chance de evitar perda por quantização e preservar traços acústicos sutis. A destilação determina se essa qualidade sobrevive sob restrições de produção.

A competição provavelmente dependerá de resultados de implantação reproduzíveis. As equipes compararão throughput concorrente, demanda de memória, latência até o primeiro áudio, estabilidade em textos longos e qualidade após quantização. Uma média de leaderboard abre a disputa, mas essas medições operacionais decidirão a adoção.

O Que os Números Não Comprovam

O lançamento sustenta uma alegação técnica crível, mas ainda não estabelece qualidade universal entre idiomas, segurança em produção ou liderança independente em benchmarks.

A primeira limitação aparece nos resultados multilíngues da RedNote. Em um benchmark de 24 idiomas, SOAR registra a maior média de similaridade de locutor, com 83,9. Sua taxa média de erro de palavras é de 6,8%, em comparação com 2,8% para MiniMax e 3,7% para Fish Audio S2 na mesma tabela.

O desempenho também varia bastante por idioma. SOAR relata taxas de erro de palavras de 36,19% para árabe, 14,24% para hindi, 4,96% para turco e 3,89% para vietnamita. Vários idiomas europeus apresentam erros muito menores, enquanto a similaridade de locutor frequentemente permanece forte nos subconjuntos mais fracos.

A RedNote atribui parcialmente essa lacuna ao backbone textual BPE. A codificação por pares de bytes divide o texto em unidades de subpalavras aprendidas, e a cobertura de idiomas depende fortemente dos dados de treinamento disponíveis. Escritas ou idiomas sub-representados durante o treinamento exigem mais dados antes que o modelo converta texto em fala de forma confiável.

Isso cria um alerta prático. Um rótulo multilíngue não significa prontidão uniforme. Um desenvolvedor poderia clonar de forma convincente a identidade vocal de um locutor, ao mesmo tempo em que gera palavras incorretas em um idioma com menos recursos. Similaridade e inteligibilidade devem ser avaliadas separadamente para cada mercado-alvo.

O modelo lançado também é fortemente voltado à fala. Seu AudioVAE pode ser amplamente capaz em princípio, mas o backbone foi treinado principalmente para fala. A RedNote afirma que o lançamento não cobre canto nem geração unificada de fala e som. Equipes de produto não devem inferir essas capacidades a partir da representação contínua de áudio.

O desempenho em textos longos exige mais escrutínio. O condicionamento de histórico completo busca reduzir deriva, mas um histórico mais longo também levanta questões de memória e inferência. Benchmarks públicos construídos em torno de enunciados curtos não podem estabelecer narração estável ao longo de capítulos, reuniões ou sessões interativas contínuas.

As evidências de benchmark vêm principalmente dos autores do modelo. A RedNote afirma que as baselines usam publicações originais ou configurações padrão de código aberto, mas versões de modelo e configurações de decodificação podem influenciar a comparação. Sistemas proprietários também impedem a replicação completa de suas condições de treinamento e inferência.

A avaliação de expressividade adiciona outra incerteza. A RedNote relata resultados do EmergentTTS-Eval, em que Gemini avalia amostras em relação a uma referência de TTS da OpenAI em seis cenários. A avaliação automatizada por modelos ajuda a escalar a análise, mas não substitui testes de escuta humanos às cegas entre sotaques, dispositivos e condições de gravação.

A clonagem de voz cria o risco não técnico mais claro. Três segundos de fala podem bastar para imitar uma voz reconhecível. Isso possibilita ferramentas personalizadas de acessibilidade, mídia localizada e personagens digitais autorizados. Também reduz o esforço necessário para personificação, fraude, assédio e evidências fabricadas.

As orientações de risco do projeto pedem políticas de referência sensíveis ao consentimento, detecção de fala sintética, marca d’água e rotulagem clara. Essas recomendações não são salvaguardas integradas. A licença Apache concede ampla liberdade aos desenvolvedores downstream, deixando a implementação e a aplicação a cargo de cada implantação.

Portanto, um sistema sério de produção precisa de mais do que um endpoint de modelo. Precisa de comprovação de consentimento para áudio de referência, restrições sobre identidades sensíveis, registros auditáveis de geração, monitoramento de abuso e um processo de resposta. A marca d’água também deve sobreviver a edições e compressões comuns antes de oferecer proteção significativa.

Essas restrições não anulam o lançamento. Elas impedem que um resultado de benchmark se transforme em uma alegação sem suporte sobre todos os idiomas ou implantações. dots tts é uma base crível, mas seus adotantes ainda carregam o ônus da validação e da governança.

Três Sinais Que Decidirão a Aposta no dots tts

A próxima etapa trata de evidências do ecossistema, não de mais uma pontuação de manchete.

O primeiro sinal é a reprodução independente dos resultados de Seed-TTS-Eval e multilíngues. Pesquisadores precisam executar novamente dots tts, Qwen3-TTS, CosyVoice 3, VoxCPM2 e outros modelos abertos sob políticas de hardware e decodificação equivalentes. Testes de escuta humanos devem acompanhar as métricas automatizadas de conteúdo e locutor.

Uma reprodução bem-sucedida fortaleceria a alegação central da RedNote de que a modelagem contínua de fala melhora o equilíbrio de qualidade. Uma grande mudança no ranking enfraqueceria a narrativa do benchmark, embora o lançamento continuasse útil como base aberta de pesquisa.

O segundo sinal é o desempenho de implantação fora dos próprios scripts da RedNote. O SGLang Omni já oferece suporte ao dots tts com áudio em streaming e batching contínuo. Projetos da comunidade também produziram portas Python e Swift MLX para Apple Silicon, além de uma integração com ComfyUI.

A coleção oficial de modelos agora inclui variantes base, SOAR, MeanFlow, de um passo, dois passos e double-streaming. Essa gama crescente de checkpoints pode reduzir a latência, mas cada etapa de compressão deve preservar pronúncia e identidade do locutor em cargas de trabalho reais.

Os desenvolvedores devem acompanhar throughput concorrente sustentado, latência até o primeiro áudio, uso de memória e taxas de falha em entradas longas. O amplo suporte de frameworks de serving fortaleceria a tese de que a geração contínua pode igualar sistemas baseados em tokens operacionalmente. A dependência estreita de aceleradores caros a enfraqueceria.

O terceiro sinal é se a RedNote fecha suas lacunas de idioma e segurança. Melhor precisão de conteúdo em árabe, hindi, turco e vietnamita mostraria que a arquitetura pode escalar além de suas regiões de dados mais fortes. Publicar a composição do corpus ou detalhes de avaliações direcionadas também tornaria essas melhorias mais fáceis de avaliar.

O progresso em segurança deve ser igualmente concreto. Evidências úteis incluem uma marca d’água durável, uma interface pública de consentimento para clonagem, restrições de identidade e desempenho de detecção testado após compressão. A documentação, por si só, não responderá se a clonagem aberta de voz pode ser implantada com responsabilidade.

A RedNote já ampliou a família com edição de fala controlada por instruções e checkpoints com menos passos. Essas adições sugerem que dots tts está sendo desenvolvido como uma base de fala reutilizável, e não como um lançamento pontual de leaderboard. Elas também ampliam a superfície para testes de qualidade e uso indevido.

Para desenvolvedores, a ação prática é direta. Teste o checkpoint, idioma, voz, hardware e extensão de passagem exatos exigidos pelo produto. Compare separadamente a identidade clonada e a precisão do conteúdo e, em seguida, meça a latência sob concorrência realista.

Para pesquisadores, dots tts fornece um experimento valioso: a modelagem acústica contínua pode se tornar a base padrão para TTS escalável? O lançamento oferece código e pesos suficientes para testar essa questão diretamente. Suas médias de benchmark tornam o teste válido, enquanto suas limitações multilíngues e de segurança impedem um veredito prematuro.

A história do dots tts não será decidida pelo fato de uma demonstração soar natural. Ela será decidida quando equipes independentes puderem reproduzir seu equilíbrio, servi-lo de forma econômica e controlar como vozes clonadas são usadas.