RedNote ouvre dots tts en open source, défiant la voie du TTS fondé sur les tokens
RedNote a publié dots tts, un modèle de parole de 2 milliards de paramètres qui remet en question l’architecture à tokens discrets derrière nombre des principaux systèmes de synthèse vocale. L’entreprise affirme que son pipeline entièrement continu a obtenu les meilleures moyennes de précision du contenu et de similarité avec le locuteur sur trois sous-ensembles de Seed-TTS-Eval. Cette combinaison compte, car les développeurs de TTS open source ont généralement dû arbitrer entre fidélité, stabilité de génération et vitesse d’inférence pratique.
La publication de juin comprend le code d’entraînement et d’inférence, des modèles préentraînés et post-entraînés, ainsi qu’un checkpoint distillé sous licence Apache 2.0. RedNote a également publié un rapport technique le 5 juin, puis l’a révisé le 10 août. L’ensemble qui en résulte offre aux développeurs plus qu’une démonstration soignée. Il fournit une base reproductible pour le clonage vocal, la synthèse multilingue, le fine-tuning et le déploiement à faible latence.
L’enjeu central est architectural. Des modèles tels que Qwen3-TTS utilisent des tokens de parole appris, tandis que dots tts conserve la parole dans un espace latent continu tout au long de son parcours principal de génération. VoxCPM2 suit lui aussi une voie à espace latent continu, faisant de la publication de RedNote une partie d’un test plus large. Le secteur mesure désormais si les représentations continues peuvent passer à l’échelle sans sacrifier le contrôle, la couverture linguistique ou l’efficacité de déploiement.
Ce que RedNote a réellement publié
Le changement important n’est pas une nouvelle démo vocale, mais la publication d’une base TTS entraînable et déployable sous une licence permissive.
L’équipe dots de RedNote a publié trois versions initiales de la même architecture à 2 milliards de paramètres. Le checkpoint de base représente le modèle préentraîné et permet un fine-tuning ultérieur. Le checkpoint SOAR ajoute un post-entraînement autocorrectif et vise une meilleure similarité avec le locuteur. La version distillée MeanFlow réduit la charge d’échantillonnage acoustique pour les applications sensibles à la latence.
La publication complète comprend les poids du modèle, le code d’inférence, le code de fine-tuning et le processus nécessaire pour distiller un nouveau checkpoint MeanFlow. Le code et les checkpoints publiés utilisent la licence Apache 2.0. Cette portée distingue le projet des publications qui fournissent des poids tout en gardant privés des stades clés d’entraînement ou d’adaptation.
Le modèle génère de l’audio à 48 kHz et prend en charge le clonage vocal zero-shot. Le clonage zero-shot consiste à reproduire un locuteur à partir d’un audio de référence sans réentraîner le modèle pour cette personne. Son mode de continuation recommandé utilise à la fois un court échantillon audio et la transcription exacte de cet échantillon. Un mode x-vector peut fonctionner à partir de l’audio seul, bien que RedNote indique que la méthode associant transcription et audio produit une meilleure similarité.
Le rapport technique associé a été soumis pour la première fois le 5 juin 2026. Sa révision d’août a ajouté des expériences, des résultats d’efficacité et des détails techniques actualisés. RedNote décrit le système comme multilingue, mais ne révèle pas la taille du corpus d’entraînement dans le rapport. Cette omission limite les comparaisons directes d’échelle avec les concurrents qui publient leurs totaux d’heures d’entraînement.
Ses principaux résultats Seed-TTS-Eval couvrent l’anglais, le chinois et un sous-ensemble chinois difficile. Le checkpoint SOAR a enregistré des taux d’erreur de 1,30 %, 0,94 % et 6,60 % sur ces ensembles respectifs. Ses scores de similarité avec le locuteur étaient de 77,1, 81,0 et 79,5.
La moyenne de ces résultats publiés donne à dots tts un taux d’erreur de 2,95 % et un score de similarité de 79,2. RedNote affirme que ces deux valeurs sont les meilleures moyennes parmi les systèmes de sa comparaison. Cette affirmation renvoie à un tableau de benchmark compilé à partir de publications originales ou de versions open source par défaut, et non à une nouvelle évaluation indépendante de chaque concurrent.
Ces réserves n’effacent pas le résultat. Elles le définissent. RedNote a publié un système ouvert dont l’équilibre de benchmark rapporté est inhabituellement fort, tout en exposant le code nécessaire pour que d’autres puissent tester cet équilibre.
Pourquoi dots tts évite les tokens de parole
dots tts traite la représentation continue de la parole comme un fondement, et non comme une étape finale de reconstruction après la génération de tokens.
De nombreux systèmes TTS modernes convertissent l’audio en codes discrets. Ces codes ressemblent à un vocabulaire qu’un modèle de langage peut prédire. Cette conception s’intègre aux infrastructures existantes de modèles de langage, mais la quantification peut éliminer des détails acoustiques et répartir la parole entre plusieurs codebooks.
RedNote entraîne à la place un AudioVAE, un autoencodeur variationnel qui compresse les formes d’onde en représentations acoustiques continues. Sa conception utilise plusieurs objectifs afin que l’espace latent conserve à la fois la structure linguistique et des informations audio fines. Le modèle prédit directement ces représentations, sans insérer de tokens de parole discrets dans la chaîne de génération.
Le pipeline commence par un encodeur sémantique et une base de modèle de langage fondée sur Qwen2.5. Une tête acoustique autorégressive prédit ensuite le patch de parole continue suivant. Le flow matching, une méthode générative qui apprend un chemin du bruit vers les données, transforme chaque prédiction en latent acoustique pour le décodeur 48 kHz.
L’autorégression confère toujours au modèle une dépendance séquentielle. Chaque patch généré dépend du contexte antérieur. Toutefois, l’objet prédit est une représentation acoustique continue plutôt qu’une entrée de codebook. Cette structure permet à dots tts de conserver les atouts de modélisation séquentielle d’un LLM tout en évitant un vocabulaire de codec discret distinct.
La tête acoustique reçoit l’historique complet de génération au lieu d’une fenêtre récente étroite. RedNote soutient que ce conditionnement aide à préserver la cohérence à longue portée du locuteur et de l’acoustique. Il cible également la dérive, lorsque la voix clonée ou le style de parole change progressivement au cours d’un passage plus long.
Une conception continue crée son propre problème de calcul. La génération acoustique fondée sur le flow peut nécessiter plusieurs évaluations pour chaque patch de sortie. Un système peut bien sonner dans un test hors ligne tout en restant trop lent pour un assistant, un outil de traduction en direct ou un personnage interactif.
RedNote répond à ce problème par une distillation MeanFlow tenant compte du classifier-free guidance. La distillation entraîne un processus de génération plus petit ou plus rapide à imiter un autre, plus coûteux. Dans ce cas, le checkpoint MF réduit la génération acoustique à quatre évaluations recommandées tout en conservant une grande partie des performances de benchmark du modèle original.
Le rapport revendique une latence du premier paquet de 85 millisecondes en mode de streaming de sortie et de 54 millisecondes en mode de double streaming. Ces chiffres décrivent la configuration expérimentale des auteurs et ne doivent pas être interprétés comme une latence de production universelle. Le matériel, la concurrence, la longueur du prompt, la compilation et la mise en mémoire tampon de l’audio peuvent tous modifier le résultat.
RedNote a ensuite ajouté un chemin d’inférence optimisé. Son dépôt indique des facteurs temps réel médians entre 0,13 et 0,20 pour certaines configurations de texte seul et de clonage. Un facteur temps réel inférieur à un signifie que la génération s’achève plus vite que la durée de l’audio obtenu.
L’architecture fait donc un pari précis. Les représentations continues peuvent préserver davantage d’informations acoustiques, tandis que la distillation et le déploiement optimisé peuvent rendre leur coût de décodage plus élevé gérable. Si ce pari se confirme dans des déploiements indépendants, les tokens de parole discrets cesseront d’apparaître comme la seule voie pratique vers un TTS neuronal scalable.
La victoire de benchmark porte sur l’équilibre
L’argument le plus solide de RedNote n’est pas que dots tts gagne chaque colonne, mais qu’il évite un compromis moyen sévère entre les mots et les voix.
Seed-TTS-Eval mesure deux propriétés différentes. Le taux d’erreur sur les mots estime si un système automatique de reconnaissance vocale restitue le contenu voulu. La similarité avec le locuteur compare l’audio généré au locuteur de référence au moyen d’un modèle de vérification du locuteur. Une erreur plus faible et une similarité plus élevée sont souhaitables.
Dots tts ne domine pas chaque sous-ensemble individuel. Son checkpoint SOAR affiche un taux d’erreur chinois de 0,94 %, tandis que MiniMax-Speech enregistre 0,83 % dans le tableau de RedNote. Qwen3-TTS atteint 6,76 % sur le chinois difficile, près de dots tts à 6,60 %. Seed-TTS enregistre une similarité de 79,6 en chinois, contre 81,0 pour dots tts.
La moyenne raconte une autre histoire. RedNote rapporte 2,95 % d’erreur moyenne et 79,2 de similarité moyenne pour SOAR. Son tableau place le modèle devant CosyVoice 3, F5-TTS, FireRedTTS-2, IndexTTS 2, Qwen3-TTS, Seed-TTS et VoxCPM2 sur la moyenne combinée.
Le checkpoint préentraîné produit en réalité un taux d’erreur moyen légèrement inférieur de 2,92 %, tandis que SOAR améliore la similarité moyenne avec le locuteur. Cette différence illustre le compromis du post-entraînement du modèle. L’alignement peut renforcer la préservation de l’identité sans améliorer chaque métrique de contenu.
RedNote indique que SOAR utilise un post-entraînement autocorrectif sans récompense. Le système génère des échantillons de parole candidats, identifie les sorties difficiles ou défectueuses, puis apprend des corrections sans dépendre d’un modèle de récompense entraîné séparément. Cette approche concentre l’entraînement sur les cas d’échec tout en évitant le biais d’un modèle de récompense.
La comparaison de benchmark met également sous pression des systèmes ouverts mieux connus. Le rapport Qwen3-TTS décrit une famille entraînée sur plus de 5 millions d’heures dans 10 langues. Son architecture utilise des tokenizeurs de parole discrets et propose la conception vocale, le clonage et la génération en streaming. RedNote rapporte de solides résultats moyens sans révéler un nombre d’heures d’entraînement comparable.
CosyVoice 3 fournit un autre repère d’échelle. Ses auteurs ont étendu l’entraînement de dizaines de milliers d’heures à 1 million d’heures, porté la taille du modèle à 1,5 milliard de paramètres et couvert neuf langues ainsi que 18 dialectes chinois. Son étude de post-entraînement met l’accent sur la conception du tokenizer et un modèle de récompense différentiable.
Cette comparaison rend le résultat de dots tts plus intéressant, mais pas décisif. Seed-TTS-Eval met l’accent sur le clonage zero-shot à partir de prompts d’environ trois secondes. Il ne couvre pas l’expérience produit complète autour du suivi des instructions, de la conception vocale, des longues conversations, du coût opérationnel ou des contrôles de sécurité.
La similarité automatisée reste également un indicateur imparfait du jugement humain. Un modèle peut préserver une empreinte de locuteur tout en manquant la cadence, la retenue émotionnelle, la prononciation ou le style d’enregistrement. De même, un score d’erreur fondé sur l’ASR dépend en partie du système de reconnaissance utilisé par le benchmark.
RedNote fournit des démonstrations audio et des commandes d’évaluation reproductibles, ce qui donne aux chercheurs un moyen d’examiner ses affirmations. Des réexécutions indépendantes sur du matériel fixe et avec des réglages de décodage partagés restent plus utiles que la simple reprise d’un rang dans un classement.
Le résultat immédiat reste significatif. dots tts place simultanément un modèle continu près de la tête pour la fidélité du contenu et la préservation du locuteur. Les concurrents doivent désormais répondre à cet équilibre, et non se contenter de produire un échantillon séduisant.
Le TTS continu est devenu une véritable voie opposée
La pression concurrentielle pèse sur le TTS fondé sur les tokens, car les modèles continus combinent désormais une qualité crédible, des poids ouverts et un déploiement de plus en plus pratique.
Qwen3-TTS illustre clairement la voie des tokens. Son tokenizer à 12 Hz compresse la parole en un flux à faible débit, tandis qu’un modèle de langage à double piste prend en charge la synthèse en streaming. Le rapport revendique un premier paquet de 97 millisecondes et propose des modèles de 0,6 milliard et 1,7 milliard de paramètres.
Cette structure bénéficie d’outils matures pour les modèles de langage autorégressifs. Les tokens discrets peuvent être traités par lots, mis en cache, échantillonnés et servis par une infrastructure déjà conçue pour la génération de texte. Ils créent également une représentation partagée susceptible de relier la génération vocale à des tâches audio-langage plus larges.
dots tts accepte davantage de travail au sein de la chaîne acoustique. Son backbone de modèle de langage prédit les conditions d’une tête de flow matching, qui génère des patches continus avant le décodage de la forme d’onde. Cela peut préserver les détails acoustiques, mais complexifie l’ordonnancement et ajoute plusieurs calculs par patch.
VoxCPM2 montre que RedNote n’est pas seul. Son architecture continue évite elle aussi un tokenizer vocal discret externe. Le modèle de 2 milliards de paramètres combine synthèse multilingue, conception de voix, clonage contrôlé par le style et clonage de continuation. Ses auteurs indiquent l’avoir entraîné sur plus de 2 millions d’heures couvrant 30 langues.
VoxCPM2 offre donc une couverture linguistique déclarée plus large et des contrôles davantage intégrés. dots tts répond par de meilleures moyennes rapportées sur Seed-TTS-Eval, des latents continus à 48 kHz, un conditionnement sur l’historique complet et une voie de distillation ciblée. Aucun des deux modèles ne tranche à lui seul le débat architectural.
CosyVoice 3 occupe une position hybride. Il utilise un tokenizer vocal appris pour la génération sémantique et un modèle de flow matching pour la reconstruction acoustique. Sa conception montre pourquoi le débat ne se résume pas à l’autorégression contre la diffusion. La distinction importante concerne l’endroit où l’information devient discrète, ce que le modèle prédit séquentiellement et la manière dont les acoustiques finales sont reconstruites.
L’infrastructure de déploiement commence à réduire le désavantage de l’approche continue. La version de dots tts fournit un endpoint vocal compatible OpenAI via SGLang Omni, avec du batching continu pour ses variantes MeanFlow et à nombre d’étapes fixe. La sortie PCM en streaming permet également aux applications de commencer la lecture avant que la forme d’onde complète ne soit prête.
L’intégration publiée par SGLang indique un débit de pointe de 4,76 requêtes par seconde et de 19,86 secondes d’audio généré par seconde avec une concurrence de 16. Ce test utilisait un H100, le checkpoint MF à quatre étapes et Seed-TTS-Eval English. Son taux d’erreur rapporté était de 1,35 %.
Ces chiffres de service proviennent d’une pile et d’une charge de travail précises. Ils ne peuvent pas établir une parité de coût avec tous les modèles à tokens. Ils montrent toutefois que le TTS autorégressif continu a dépassé le stade de l’inférence de recherche isolée.
Ce changement compte pour les développeurs qui sélectionnent une fondation. Les tokens discrets offrent toujours une gestion de séquence plus simple et une voie plus claire vers l’unification multimodale des tokens. Les systèmes continus offrent la possibilité d’éviter les pertes de quantification et de préserver des traits acoustiques subtils. La distillation détermine si cette qualité survit aux contraintes de production.
La concurrence se jouera probablement sur des résultats de déploiement reproductibles. Les équipes compareront le débit concurrent, les besoins mémoire, la latence jusqu’au premier audio, la stabilité sur les contenus longs et la qualité après quantification. Une moyenne de classement ouvre la compétition, mais ce sont ces mesures opérationnelles qui détermineront l’adoption.
Ce que les chiffres n’établissent pas
La version publiée étaye une affirmation technique crédible, mais elle n’établit pas encore une qualité universelle dans toutes les langues, une sécurité de production ou un leadership indépendant dans les benchmarks.
La première limite apparaît dans les résultats multilingues de RedNote. Sur un benchmark de 24 langues, SOAR enregistre la meilleure similarité moyenne de locuteur, à 83,9. Son taux d’erreur moyen sur les mots est de 6,8 %, contre 2,8 % pour MiniMax et 3,7 % pour Fish Audio S2 dans le même tableau.
Les performances varient aussi fortement selon les langues. SOAR rapporte des taux d’erreur sur les mots de 36,19 % pour l’arabe, 14,24 % pour l’hindi, 4,96 % pour le turc et 3,89 % pour le vietnamien. Plusieurs langues européennes produisent des erreurs bien plus faibles, tandis que la similarité de locuteur reste souvent élevée dans les sous-ensembles les moins performants.
RedNote attribue en partie cet écart au backbone textuel BPE. Le byte-pair encoding découpe le texte en unités de sous-mots apprises, et la couverture linguistique dépend fortement des données d’entraînement disponibles. Les écritures ou langues sous-représentées durant l’entraînement nécessitent davantage de données avant que le modèle ne convertisse le texte en parole de manière fiable.
Cela crée un avertissement pratique. Une étiquette multilingue ne signifie pas une préparation uniforme. Un développeur pourrait reproduire de manière convaincante l’identité vocale d’un locuteur tout en générant des mots incorrects dans une langue disposant de moins de ressources. La similarité et l’intelligibilité doivent être évaluées séparément pour chaque marché cible.
Le modèle publié est également très orienté parole. Son AudioVAE peut en principe être largement capable, mais le backbone a été entraîné principalement pour la parole. RedNote indique que cette version ne couvre pas le chant ni la génération unifiée de parole et de sons. Les équipes produit ne devraient pas déduire ces capacités de la représentation audio continue.
Les performances sur les contenus longs nécessitent un examen plus approfondi. Le conditionnement sur l’historique complet vise à limiter la dérive, mais un historique plus long soulève aussi des questions de mémoire et d’inférence. Les benchmarks publics fondés sur de courtes énonciations ne peuvent pas établir une narration stable sur des chapitres, des réunions ou des sessions interactives continues.
Les preuves issues des benchmarks proviennent principalement des auteurs du modèle. RedNote indique que les références utilisent les publications originales ou les configurations open source par défaut, mais les versions de modèles et les paramètres de décodage peuvent influencer la comparaison. Les systèmes propriétaires empêchent également une réplication complète de leurs conditions d’entraînement et d’inférence.
L’évaluation de l’expressivité ajoute une autre incertitude. RedNote rapporte des résultats d’EmergentTTS-Eval, où Gemini évalue des échantillons par rapport à une référence OpenAI TTS dans six scénarios. L’évaluation automatisée par modèle aide à passer à l’échelle, mais ne remplace pas des écoutes humaines à l’aveugle sur différents accents, appareils et conditions d’enregistrement.
Le clonage vocal crée le risque non technique le plus clair. Trois secondes de parole peuvent suffire à imiter une voix reconnaissable. Cela permet des outils d’accessibilité personnalisés, des médias localisés et des personnages numériques autorisés. Mais cela réduit aussi l’effort nécessaire pour l’usurpation d’identité, la fraude, le harcèlement et la fabrication de preuves.
Les consignes de risque du projet appellent à des politiques de référence tenant compte du consentement, à la détection de parole synthétique, au watermarking et à un étiquetage clair. Ces recommandations ne constituent pas des garde-fous intégrés. La licence Apache accorde une grande liberté aux développeurs en aval, laissant la mise en œuvre et l’application à chaque déploiement.
Un système de production sérieux nécessite donc plus qu’un endpoint de modèle. Il exige une preuve de consentement pour l’audio de référence, des restrictions sur les identités sensibles, des registres de génération auditables, un suivi des abus et un processus de réponse. Le watermarking doit aussi résister aux modifications courantes et à la compression avant d’offrir une protection significative.
Ces contraintes n’annulent pas la version publiée. Elles empêchent qu’un résultat de benchmark devienne une affirmation non étayée concernant chaque langue ou chaque déploiement. dots tts est une fondation crédible, mais ses adoptants portent toujours la charge de la validation et de la gouvernance.
Trois signaux qui décideront du pari dots tts
La prochaine étape porte sur les preuves issues de l’écosystème, et non sur un nouveau score phare.
Le premier signal sera la reproduction indépendante des résultats de Seed-TTS-Eval et des résultats multilingues. Les chercheurs doivent réexécuter dots tts, Qwen3-TTS, CosyVoice 3, VoxCPM2 et d’autres modèles ouverts avec du matériel et des politiques de décodage comparables. Des tests d’écoute humaine devraient accompagner les métriques automatisées de contenu et de locuteur.
Une reproduction réussie renforcerait l’affirmation centrale de RedNote selon laquelle la modélisation continue de la parole améliore le compromis de qualité. Un changement de classement important affaiblirait le récit des benchmarks, même si la version resterait utile comme base de recherche ouverte.
Le deuxième signal sera la performance de déploiement en dehors des scripts de RedNote. SGLang Omni prend déjà en charge dots tts avec audio en streaming et batching continu. Des projets communautaires ont également produit des ports Python et Swift MLX pour Apple Silicon, ainsi qu’une intégration ComfyUI.
La collection officielle de modèles inclut désormais des variantes base, SOAR, MeanFlow, à une étape, à deux étapes et double streaming. Cette gamme croissante de checkpoints peut réduire la latence, mais chaque étape de compression doit préserver la prononciation et l’identité du locuteur dans des charges de travail réelles.
Les développeurs devraient surveiller le débit concurrent soutenu, la latence jusqu’au premier audio, l’utilisation mémoire et les taux d’échec sur des entrées longues. Une large prise en charge par les frameworks de service renforcerait l’idée que la génération continue peut rivaliser opérationnellement avec les systèmes à tokens. Une dépendance étroite à des accélérateurs coûteux l’affaiblirait.
Le troisième signal sera de savoir si RedNote comble ses lacunes en matière de langues et de sécurité. Une meilleure précision du contenu en arabe, hindi, turc et vietnamien montrerait que l’architecture peut s’étendre au-delà de ses régions de données les plus solides. La publication de la composition du corpus ou de détails d’évaluation ciblés rendrait également ces améliorations plus faciles à évaluer.
Les progrès en matière de sécurité devraient être tout aussi concrets. Des preuves utiles incluent un watermark durable, une interface publique de consentement au clonage, des restrictions d’identité et des performances de détection testées après compression. La documentation seule ne répondra pas à la question de savoir si le clonage vocal ouvert peut être déployé de manière responsable.
RedNote a déjà étendu la famille avec l’édition vocale contrôlée par instructions et des checkpoints à moins d’étapes. Ces ajouts suggèrent que dots tts est développé comme une fondation vocale réutilisable plutôt que comme une publication unique destinée aux classements. Ils élargissent aussi la surface de test pour la qualité et les usages abusifs.
Pour les développeurs, l’action pratique est simple. Testez le checkpoint, la langue, la voix, le matériel et la longueur de passage exacts requis par le produit. Comparez séparément l’identité clonée et la précision du contenu, puis mesurez la latence dans des conditions de concurrence réalistes.
Pour les chercheurs, dots tts fournit une expérience précieuse : la modélisation acoustique continue peut-elle devenir la base par défaut d’un TTS évolutif ? La version fournit suffisamment de code et de poids pour tester directement cette question. Ses moyennes de benchmark rendent le test digne d’être mené, tandis que ses limites multilingues et de sécurité empêchent un verdict prématuré.
L’histoire de dots tts ne sera pas tranchée par le caractère naturel d’une démonstration. Elle le sera lorsque des équipes indépendantes pourront reproduire son équilibre, le servir à un coût raisonnable et contrôler l’usage fait des voix clonées.
