RedNote rende open source dots tts, sfidando l'approccio TTS basato sui token

RedNote ha rilasciato dots tts, un modello vocale da 2 miliardi di parametri che mette in discussione l'architettura a token discreti alla base di molti sistemi di sintesi vocale leader di mercato. L'azienda afferma che la sua pipeline interamente continua ha ottenuto la migliore media in accuratezza del contenuto e somiglianza del parlante su tre sottoinsiemi di Seed-TTS-Eval. Questa combinazione è significativa perché gli sviluppatori di TTS open source hanno di norma dovuto bilanciare fedeltà, stabilità della generazione e velocità pratica di inferenza.

Il rilascio di giugno include codice per addestramento e inferenza, modelli preaddestrati e post-addestrati, oltre a un checkpoint distillato con licenza Apache 2.0. RedNote ha inoltre pubblicato un rapporto tecnico il 5 giugno e lo ha rivisto il 10 agosto. Il pacchetto risultante offre agli sviluppatori più di una dimostrazione rifinita: fornisce una base riproducibile per clonazione vocale, sintesi multilingue, fine-tuning e serving a bassa latenza.

La competizione centrale è architetturale. Modelli come Qwen3-TTS usano token vocali appresi, mentre dots tts mantiene il parlato in uno spazio latente continuo lungo tutto il suo percorso di generazione principale. Anche VoxCPM2 segue una strada a latenti continui, rendendo il rilascio di RedNote parte di una verifica più ampia. Il settore sta ora misurando se le rappresentazioni continue possano crescere di scala senza sacrificare controllo, copertura linguistica o efficienza di distribuzione.

Cosa ha effettivamente rilasciato RedNote

Il cambiamento importante non è un'altra demo vocale, bensì il rilascio di una base TTS addestrabile e distribuibile con una licenza permissiva.

Il team dots di RedNote ha rilasciato tre versioni iniziali della stessa architettura da 2 miliardi di parametri. Il checkpoint base rappresenta il modello preaddestrato e supporta ulteriore fine-tuning. Il checkpoint SOAR aggiunge post-addestramento autocorrettivo e punta a una maggiore somiglianza con il parlante. La versione distillata MeanFlow riduce il carico di campionamento acustico per le applicazioni sensibili alla latenza.

Il rilascio completo include pesi del modello, codice di inferenza, codice di fine-tuning e il processo necessario per distillare un nuovo checkpoint MeanFlow. Il codice e i checkpoint rilasciati utilizzano la licenza Apache 2.0. Questa portata distingue il progetto dai rilasci che forniscono i pesi ma mantengono privati passaggi fondamentali di addestramento o adattamento.

Il modello genera audio a 48 kHz e supporta la clonazione vocale zero-shot. La clonazione zero-shot consiste nel riprodurre un parlante a partire da audio di riferimento senza riaddestrare il modello per quella persona. La modalità di continuazione consigliata utilizza sia un breve campione audio sia la trascrizione esatta del campione. Una modalità x-vector può funzionare con il solo audio, sebbene RedNote affermi che il metodo con trascrizione abbinata produca una somiglianza migliore.

L'accompagnante rapporto tecnico è stato presentato per la prima volta il 5 giugno 2026. La revisione di agosto ha aggiunto esperimenti, risultati di efficienza e dettagli tecnici aggiornati. RedNote descrive il sistema come multilingue, ma non comunica nel rapporto la dimensione del corpus di addestramento. Questa omissione limita i confronti diretti di scala con concorrenti che pubblicano il totale delle ore di addestramento.

I risultati di punta su Seed-TTS-Eval coprono inglese, cinese e un difficile sottoinsieme cinese. Il checkpoint SOAR ha registrato tassi di errore dell'1,30%, 0,94% e 6,60% nei rispettivi set. I suoi punteggi di somiglianza del parlante sono stati 77,1, 81,0 e 79,5.

La media di questi risultati pubblicati assegna a dots tts un tasso di errore del 2,95% e un punteggio di somiglianza del 79,2. RedNote afferma che entrambi sono le migliori medie tra i sistemi inclusi nel confronto. L'affermazione si riferisce a una tabella di benchmark assemblata a partire da pubblicazioni originali o release open source predefinite, non a una nuova valutazione indipendente di ogni concorrente.

Queste precisazioni non cancellano il risultato. Lo definiscono. RedNote ha rilasciato un sistema aperto il cui equilibrio di benchmark dichiarato è insolitamente forte, esponendo al contempo il codice necessario affinché altri possano testare tale equilibrio.

Perché dots tts evita i token vocali

dots tts considera la rappresentazione continua del parlato come fondamento, non come fase finale di ricostruzione dopo la generazione dei token.

Molti moderni sistemi TTS convertono l'audio in codici discreti. Questi codici assomigliano a un vocabolario che un modello linguistico può predire. Questo design si adatta all'infrastruttura esistente dei modelli linguistici, ma la quantizzazione può eliminare dettagli acustici e dividere il parlato tra più codebook.

RedNote addestra invece un AudioVAE, un autoencoder variazionale che comprime le forme d'onda in rappresentazioni acustiche continue. Il suo design utilizza più obiettivi affinché lo spazio latente conservi sia la struttura linguistica sia informazioni audio fini. Il modello predice direttamente tali rappresentazioni, senza inserire token vocali discreti nella catena di generazione.

La pipeline parte da un encoder semantico e da una base di modello linguistico basata su Qwen2.5. Una testa acustica autoregressiva predice poi la successiva patch vocale continua. Il flow matching, un metodo generativo che apprende un percorso dal rumore ai dati, trasforma ciascuna previsione in un latente acustico per il decoder a 48 kHz.

L'autoregressione conferisce comunque al modello una dipendenza sequenziale. Ogni patch generata dipende dal contesto precedente. Tuttavia, l'oggetto predetto è una rappresentazione acustica continua anziché una voce di codebook. Questa struttura consente a dots tts di mantenere i punti di forza di modellazione delle sequenze di un LLM, evitando al contempo un vocabolario di codec discreto separato.

La testa acustica riceve l'intera cronologia di generazione anziché una stretta finestra recente. RedNote sostiene che questo condizionamento aiuti a preservare la coerenza del parlante e dell'acustica a lungo raggio. Mira inoltre a contrastare la deriva, ossia il cambiamento graduale di una voce clonata o di uno stile di parlato durante un passaggio più lungo.

Un design continuo crea un proprio problema computazionale. La generazione acustica basata sul flow può richiedere diverse valutazioni per ogni patch in uscita. Un sistema può suonare bene in un test offline, ma restare troppo lento per un assistente, uno strumento di traduzione in tempo reale o un personaggio interattivo.

RedNote affronta questo problema attraverso la distillazione MeanFlow consapevole della classifier-free guidance. La distillazione addestra un processo generativo più piccolo o più rapido a imitare uno più costoso. In questo caso, il checkpoint MF riduce la generazione acustica a quattro valutazioni consigliate, mantenendo gran parte delle prestazioni di benchmark del modello originale.

Il rapporto dichiara una latenza del primo pacchetto di 85 millisecondi in modalità output-streaming e di 54 millisecondi in modalità dual-streaming. Queste cifre descrivono la configurazione sperimentale degli autori e non dovrebbero essere interpretate come latenza universale in produzione. Hardware, concorrenza, lunghezza del prompt, compilazione e buffering audio possono tutti modificare il risultato.

RedNote ha successivamente aggiunto un percorso di inferenza ottimizzato. Il suo repository riporta fattori mediani in tempo reale tra 0,13 e 0,20 per configurazioni selezionate di solo testo e clonazione. Un fattore in tempo reale inferiore a uno significa che la generazione si completa più rapidamente della durata dell'audio risultante.

L'architettura punta quindi su una scommessa specifica. Le rappresentazioni continue possono preservare più informazioni acustiche, mentre la distillazione e il serving ottimizzato possono rendere gestibile il loro maggiore costo di decodifica. Se questa scommessa reggerà in distribuzioni indipendenti, i token vocali discreti smetteranno di apparire come l'unica strada pratica verso un TTS neurale scalabile.

La vittoria nel benchmark riguarda l'equilibrio

L'argomento più forte di RedNote non è che dots tts vinca ogni colonna, ma che eviti un grave compromesso medio tra parole e voci.

Seed-TTS-Eval misura due proprietà diverse. Il word error rate stima se un riconoscitore vocale automatico recuperi il contenuto previsto. La somiglianza del parlante confronta l'audio generato con il parlante di riferimento usando un modello di verifica del parlante. Sono desiderabili un errore inferiore e una somiglianza superiore.

dots tts non guida ogni singolo sottoinsieme. Il suo checkpoint SOAR registra un tasso di errore in cinese dello 0,94%, mentre MiniMax-Speech ottiene lo 0,83% nella tabella di RedNote. Qwen3-TTS raggiunge il 6,76% sul cinese difficile, vicino al 6,60% di dots tts. Seed-TTS registra una somiglianza di 79,6 sul cinese, contro l'81,0 di dots tts.

La media racconta una storia diversa. RedNote riporta per SOAR un errore medio del 2,95% e una somiglianza media di 79,2. La sua tabella colloca il modello davanti a CosyVoice 3, F5-TTS, FireRedTTS-2, IndexTTS 2, Qwen3-TTS, Seed-TTS e VoxCPM2 nella media combinata.

Il checkpoint preaddestrato produce in realtà un errore medio leggermente inferiore, pari al 2,92%, mentre SOAR migliora la somiglianza media del parlante. Questa differenza illustra il compromesso del post-addestramento del modello. L'allineamento può rafforzare la conservazione dell'identità senza migliorare ogni metrica di contenuto.

RedNote afferma che SOAR utilizza post-addestramento autocorrettivo senza ricompensa. Il sistema genera parlato candidato, identifica output difficili o difettosi e apprende correzioni senza dipendere da un modello di ricompensa addestrato separatamente. Questo approccio concentra l'addestramento sui casi di fallimento evitando al contempo il bias del modello di ricompensa.

Il confronto di benchmark mette sotto pressione anche sistemi open più noti. Il rapporto Qwen3-TTS descrive una famiglia addestrata su oltre 5 milioni di ore in 10 lingue. La sua architettura usa tokenizer vocali discreti e offre progettazione vocale, clonazione e generazione in streaming. RedNote riporta risultati medi solidi senza divulgare una cifra comparabile di ore di addestramento.

CosyVoice 3 fornisce un altro riferimento di scala. I suoi autori hanno ampliato l'addestramento da decine di migliaia di ore a 1 milione di ore, aumentato la dimensione del modello a 1,5 miliardi di parametri e coperto nove lingue più 18 dialetti cinesi. Il suo studio sul post-addestramento sottolinea il design del tokenizer e un modello di ricompensa differenziabile.

Questo confronto rende il risultato di dots tts più interessante, ma non decisivo. Seed-TTS-Eval enfatizza la clonazione zero-shot da prompt di circa tre secondi. Non copre l'intera esperienza di prodotto relativa al rispetto delle istruzioni, alla progettazione vocale, alle conversazioni lunghe, al costo operativo o ai controlli di sicurezza.

Anche la somiglianza automatizzata è un proxy imperfetto del giudizio umano. Un modello può preservare un embedding del parlante mancando però cadenza, moderazione emotiva, pronuncia o stile di registrazione. Analogamente, un punteggio di errore basato su ASR dipende in parte dal riconoscitore utilizzato dal benchmark.

RedNote fornisce dimostrazioni audio e comandi di valutazione riproducibili, offrendo ai ricercatori un modo per esaminare le sue affermazioni. Riesecuzioni indipendenti su hardware fisso e con impostazioni di decodifica condivise restano più preziose della semplice replica di una posizione in classifica.

Il risultato immediato è comunque significativo. dots tts colloca un modello continuo vicino ai primi posti per fedeltà del contenuto e preservazione del parlante allo stesso tempo. I concorrenti devono ora rispondere a questo equilibrio, non limitarsi a produrre un campione attraente.

Il TTS continuo è diventato una reale strada alternativa

La pressione competitiva ricade sul TTS basato su token perché i modelli continui ora combinano qualità credibile, pesi aperti e un serving sempre più pratico.

Qwen3-TTS illustra chiaramente l'approccio a token. Il suo tokenizer a 12 Hz comprime il parlato in un flusso a basso bitrate, mentre un modello linguistico a doppio binario supporta la sintesi in streaming. Il rapporto dichiara un primo pacchetto di 97 millisecondi e offre modelli da 0,6 miliardi e 1,7 miliardi di parametri.

Questa struttura beneficia di strumenti maturi per modelli linguistici autoregressivi. I token discreti possono essere elaborati in batch, memorizzati in cache, campionati e serviti tramite infrastrutture già progettate per la generazione di testo. Creano inoltre una rappresentazione condivisa che potrebbe collegare la generazione vocale a compiti più ampi di audio-linguaggio.

dots tts accetta più lavoro all'interno del percorso acustico. Il suo backbone di modello linguistico predice le condizioni per una testa di flow matching, che genera patch continue prima della decodifica della forma d'onda. Questo può preservare il dettaglio acustico, ma complica la pianificazione e aggiunge più calcoli per ogni patch.

VoxCPM2 dimostra che RedNote non è sola. Anche la sua architettura continua evita un tokenizer vocale discreto esterno. Il modello da 2 miliardi di parametri combina sintesi multilingue, progettazione della voce, clonazione controllata dallo stile e clonazione per continuazione. I suoi autori riferiscono un addestramento su oltre 2 milioni di ore in 30 lingue.

VoxCPM2 offre quindi una copertura linguistica dichiarata più ampia e controlli più integrati. dots tts risponde con medie riportate più elevate su Seed-TTS-Eval, latenti continui a 48 kHz, condizionamento sull'intera cronologia e un percorso di distillazione mirato. Nessuno dei due modelli risolve da solo il confronto architetturale.

CosyVoice 3 occupa una posizione ibrida. Utilizza un tokenizer vocale appreso per la generazione semantica e un modello di flow matching per la ricostruzione acustica. Il suo design mostra perché il dibattito non è semplicemente autoregressione contro diffusione. La distinzione importante riguarda dove l'informazione diventa discreta, cosa il modello predice in sequenza e come vengono recuperate le acustiche finali.

L'infrastruttura di deployment sta iniziando a ridurre lo svantaggio dell'approccio continuo. La release di dots tts fornisce un endpoint vocale compatibile con OpenAI tramite SGLang Omni, con batching continuo per le varianti MeanFlow e a numero fisso di passaggi. L'output PCM in streaming consente inoltre alle applicazioni di avviare la riproduzione prima che la forma d'onda completa sia pronta.

L'integrazione pubblicata da SGLang riporta un throughput di picco di 4,76 richieste al secondo e 19,86 secondi di audio generato al secondo con concorrenza 16. Il test ha usato un H100, il checkpoint MF a quattro passaggi e Seed-TTS-Eval in inglese. Il tasso di errore riportato era dell'1,35%.

Questi numeri di serving provengono da uno stack e da un carico di lavoro specifici. Non possono dimostrare la parità di costo con ogni modello basato su token. Mostrano però che il TTS autoregressivo continuo è andato oltre l'inferenza di ricerca isolata.

Questo cambiamento conta per gli sviluppatori che scelgono una base tecnologica. I token discreti offrono ancora una gestione delle sequenze più semplice e un percorso più chiaro verso l'unificazione multimodale dei token. I sistemi continui offrono la possibilità di evitare la perdita da quantizzazione e preservare tratti acustici sottili. La distillazione determina se questa qualità resiste ai vincoli di produzione.

La competizione probabilmente dipenderà da risultati di deployment ripetibili. I team confronteranno throughput concorrente, richiesta di memoria, latenza del primo audio, stabilità sui contenuti lunghi e qualità dopo la quantizzazione. Una media in classifica apre la gara, ma saranno queste misurazioni operative a decidere l'adozione.

Cosa i Numeri Non Dimostrano

La release supporta una credibile affermazione tecnica, ma non dimostra ancora una qualità universale in tutte le lingue, sicurezza in produzione o leadership nei benchmark indipendenti.

La prima limitazione emerge dai risultati multilingue di RedNote. In un benchmark su 24 lingue, SOAR registra la più alta similarità media del parlante, pari a 83,9. Il suo tasso medio di errore sulle parole è del 6,8%, rispetto al 2,8% di MiniMax e al 3,7% di Fish Audio S2 nella stessa tabella.

Le prestazioni variano inoltre in modo netto a seconda della lingua. SOAR riporta tassi di errore sulle parole del 36,19% per l'arabo, 14,24% per l'hindi, 4,96% per il turco e 3,89% per il vietnamita. Diverse lingue europee producono errori molto più bassi, mentre la similarità del parlante spesso rimane elevata anche nei sottoinsiemi più deboli.

RedNote attribuisce in parte questo divario al backbone testuale BPE. La codifica byte-pair divide il testo in unità di sottoparole apprese, e la copertura linguistica dipende fortemente dai dati di addestramento disponibili. Scritture o lingue sottorappresentate durante l'addestramento richiedono più dati prima che il modello trasformi il testo in parlato in modo affidabile.

Questo crea un avvertimento pratico. Un'etichetta multilingue non implica una prontezza uniforme. Uno sviluppatore potrebbe clonare in modo convincente l'identità vocale di un parlante generando al contempo parole errate in una lingua con meno risorse. Similarità e intelligibilità devono essere valutate separatamente per ogni mercato di destinazione.

Il modello rilasciato è inoltre fortemente orientato al parlato. Il suo AudioVAE può essere in linea di principio ampiamente capace, ma il backbone è stato addestrato soprattutto per il parlato. RedNote afferma che la release non copre il canto né la generazione unificata di parlato e suoni. I team di prodotto non dovrebbero dedurre tali capacità dalla rappresentazione audio continua.

Le prestazioni sui contenuti lunghi richiedono ulteriore esame. Il condizionamento sull'intera cronologia mira a contrastare la deriva, ma una cronologia più lunga solleva anche interrogativi su memoria e inferenza. I benchmark pubblici costruiti attorno a enunciati brevi non possono dimostrare una narrazione stabile attraverso capitoli, riunioni o sessioni interattive continue.

Le evidenze dei benchmark provengono soprattutto dagli autori del modello. RedNote afferma che le baseline usano pubblicazioni originali o configurazioni open source predefinite, ma le versioni dei modelli e le impostazioni di decodifica possono influenzare il confronto. I sistemi proprietari impediscono inoltre la piena replica delle loro condizioni di addestramento e inferenza.

La valutazione dell'espressività aggiunge un'altra incertezza. RedNote riporta risultati di EmergentTTS-Eval, in cui Gemini valuta i campioni rispetto a un riferimento OpenAI TTS in sei scenari. La valutazione automatizzata da parte di modelli aiuta a scalare l'analisi, ma non sostituisce l'ascolto umano in cieco su accenti, dispositivi e condizioni di registrazione diverse.

La clonazione vocale crea il rischio non tecnico più evidente. Tre secondi di parlato possono essere sufficienti per imitare una voce riconoscibile. Ciò abilita strumenti di accessibilità personalizzati, media localizzati e personaggi digitali autorizzati. Riduce anche lo sforzo necessario per impersonificazione, frode, molestie e prove fabbricate.

Le linee guida sui rischi del progetto invitano a politiche per i riferimenti attente al consenso, rilevamento del parlato sintetico, watermarking ed etichettatura chiara. Queste raccomandazioni non sono salvaguardie integrate. La licenza Apache offre agli sviluppatori downstream ampia libertà, lasciando implementazione e applicazione a ciascun deployment.

Un sistema di produzione serio richiede quindi più di un endpoint del modello. Richiede prova del consenso per l'audio di riferimento, restrizioni sulle identità sensibili, registri di generazione verificabili, monitoraggio degli abusi e un processo di risposta. Il watermarking deve inoltre sopravvivere alle modifiche comuni e alla compressione prima di offrire una protezione significativa.

Questi vincoli non negano la release. Impediscono che un risultato di benchmark diventi un'affermazione non supportata su ogni lingua o deployment. dots tts è una base credibile, ma i suoi adottanti continuano a sostenere l'onere della validazione e della governance.

Tre Segnali che Decideranno la Scommessa su dots tts

La prossima fase riguarda le evidenze dell'ecosistema, non un altro punteggio da prima pagina.

Il primo segnale è la riproduzione indipendente di Seed-TTS-Eval e dei risultati multilingue. I ricercatori devono rieseguire dots tts, Qwen3-TTS, CosyVoice 3, VoxCPM2 e altri modelli aperti con hardware e politiche di decodifica comparabili. I test di ascolto umano dovrebbero accompagnare le metriche automatizzate relative a contenuto e parlante.

Una riproduzione riuscita rafforzerebbe l'affermazione centrale di RedNote secondo cui la modellazione continua del parlato migliora l'equilibrio qualitativo. Un grande cambiamento nella classifica indebolirebbe la narrazione del benchmark, anche se la release resterebbe utile come base di ricerca aperta.

Il secondo segnale è la prestazione di deployment al di fuori degli script di RedNote. SGLang Omni supporta già dots tts con audio in streaming e batching continuo. Progetti della comunità hanno inoltre prodotto port Python e Swift MLX per Apple Silicon, oltre a un'integrazione ComfyUI.

La collezione ufficiale di modelli include ora varianti base, SOAR, MeanFlow, a un passaggio, a due passaggi e a doppio streaming. Questa gamma crescente di checkpoint può ridurre la latenza, ma ogni passaggio di compressione deve preservare pronuncia e identità del parlante nei carichi di lavoro reali.

Gli sviluppatori dovrebbero monitorare throughput concorrente sostenuto, latenza del primo audio, uso della memoria e tassi di errore su input lunghi. Un ampio supporto da parte dei framework di serving rafforzerebbe l'idea che la generazione continua possa eguagliare operativamente i sistemi a token. Una dipendenza ristretta da acceleratori costosi la indebolirebbe.

Il terzo segnale è se RedNote colmerà le proprie lacune linguistiche e di sicurezza. Una migliore accuratezza dei contenuti in arabo, hindi, turco e vietnamita dimostrerebbe che l'architettura può espandersi oltre le sue regioni di dati più forti. Pubblicare la composizione del corpus o dettagli di valutazioni mirate renderebbe inoltre più facile valutare tali miglioramenti.

I progressi nella sicurezza dovrebbero essere altrettanto concreti. Evidenze utili includono un watermark durevole, un'interfaccia pubblica per il consenso alla clonazione, restrizioni sulle identità e prestazioni di rilevamento testate dopo la compressione. La sola documentazione non risponderà alla domanda se la clonazione vocale aperta possa essere implementata in modo responsabile.

RedNote ha già esteso la famiglia con editing del parlato controllato da istruzioni e checkpoint con meno passaggi. Queste aggiunte suggeriscono che dots tts venga sviluppato come base vocale riutilizzabile, anziché come una release da classifica una tantum. Espandono anche la superficie per i test di qualità e di uso improprio.

Per gli sviluppatori, l'azione pratica è semplice. Testate l'esatto checkpoint, lingua, voce, hardware e lunghezza del passaggio richiesti dal prodotto. Confrontate separatamente identità clonata e accuratezza dei contenuti, quindi misurate la latenza in condizioni di concorrenza realistiche.

Per i ricercatori, dots tts offre un esperimento prezioso: la modellazione acustica continua può diventare la base predefinita per un TTS scalabile? La release fornisce codice e pesi sufficienti per testare direttamente questa domanda. Le sue medie nei benchmark rendono il test degno di essere eseguito, mentre i suoi limiti multilingue e di sicurezza impediscono un verdetto prematuro.

La storia di dots tts non sarà decisa dal fatto che una singola dimostrazione suoni naturale. Sarà decisa quando team indipendenti riusciranno a riprodurne l'equilibrio, offrirlo a costi sostenibili e controllare il modo in cui vengono usate le voci clonate.