RedNote libera dots tts como código abierto y desafía la ruta de TTS basada en tokens

RedNote ha lanzado dots tts, un modelo de voz de 2.000 millones de parámetros que desafía la arquitectura de tokens discretos detrás de muchos de los principales sistemas de texto a voz. La empresa afirma que su canalización totalmente continua logró la mejor media de precisión de contenido y similitud de locutor en tres subconjuntos de Seed-TTS-Eval. Esta combinación importa porque los desarrolladores de TTS abierto normalmente han tenido que elegir entre fidelidad, generación estable y velocidad de inferencia práctica.

El lanzamiento de junio incluye código de entrenamiento e inferencia, modelos preentrenados y postentrenados, y un checkpoint destilado bajo Apache 2.0. RedNote también publicó un informe técnico el 5 de junio y lo revisó el 10 de agosto. El paquete resultante ofrece a los desarrolladores más que una demostración pulida. Proporciona una base reproducible para clonación de voz, síntesis multilingüe, ajuste fino y servicio de baja latencia.

La disputa central es arquitectónica. Modelos como Qwen3-TTS usan tokens de voz aprendidos, mientras que dots tts mantiene la voz dentro de un espacio latente continuo a lo largo de su ruta central de generación. VoxCPM2 también sigue una vía de latentes continuos, por lo que el lanzamiento de RedNote forma parte de una prueba más amplia. La industria está midiendo ahora si las representaciones continuas pueden escalar sin sacrificar control, cobertura lingüística o eficiencia de despliegue.

Lo que RedNote realmente lanzó

El cambio importante no es otra demostración de voz, sino el lanzamiento de una base de TTS entrenable y desplegable bajo una licencia permisiva.

El equipo de dots de RedNote lanzó tres versiones iniciales de la misma arquitectura de 2.000 millones de parámetros. El checkpoint base representa el modelo preentrenado y permite realizar ajustes finos posteriores. El checkpoint SOAR añade postentrenamiento autocorrectivo y busca una mayor similitud de locutor. La versión destilada con MeanFlow reduce la carga de muestreo acústico para aplicaciones sensibles a la latencia.

El lanzamiento completo incluye pesos del modelo, código de inferencia, código de ajuste fino y el proceso necesario para destilar un nuevo checkpoint MeanFlow. El código y los checkpoints publicados utilizan la licencia Apache 2.0. Ese alcance distingue al proyecto de los lanzamientos que proporcionan pesos pero mantienen privadas etapas clave de entrenamiento o adaptación.

El modelo genera audio a 48 kHz y admite clonación de voz zero-shot. La clonación zero-shot consiste en reproducir a un locutor a partir de audio de referencia sin volver a entrenar el modelo para esa persona. Su modo de continuación recomendado utiliza tanto una muestra de audio corta como la transcripción exacta de la muestra. Un modo x-vector puede funcionar únicamente con audio, aunque RedNote afirma que el método de transcripción emparejada produce una mejor similitud.

El informe técnico que lo acompaña se envió por primera vez el 5 de junio de 2026. Su revisión de agosto añadió experimentos, resultados de eficiencia y detalles técnicos actualizados. RedNote describe el sistema como multilingüe, pero no revela en el informe el tamaño del corpus de entrenamiento. Esa omisión limita las comparaciones directas de escala con competidores que publican los totales de horas de entrenamiento.

Sus resultados principales de Seed-TTS-Eval abarcan inglés, chino y un subconjunto chino difícil. El checkpoint SOAR registró tasas de error de 1,30%, 0,94% y 6,60% en esos respectivos conjuntos. Sus puntuaciones de similitud de locutor fueron 77,1, 81,0 y 79,5.

El promedio de esos resultados publicados otorga a dots tts una tasa de error del 2,95% y una puntuación de similitud de 79,2. RedNote afirma que ambos son los mejores promedios entre los sistemas de su comparación. La afirmación se refiere a una tabla de referencia elaborada a partir de publicaciones originales o lanzamientos open source predeterminados, no a una nueva evaluación independiente de cada competidor.

Estas salvedades no eliminan el resultado. Lo definen. RedNote ha lanzado un sistema abierto cuyo equilibrio de referencia reportado es inusualmente sólido, al tiempo que expone el código necesario para que otros pongan a prueba ese equilibrio.

Por qué dots tts evita los tokens de voz

dots tts trata la representación continua de voz como base, no como un paso final de reconstrucción tras la generación de tokens.

Muchos sistemas modernos de TTS convierten el audio en códigos discretos. Esos códigos se asemejan a un vocabulario que un modelo de lenguaje puede predecir. Este diseño encaja con la infraestructura existente de modelos de lenguaje, pero la cuantización puede descartar detalle acústico y dividir la voz entre varios libros de códigos.

RedNote, en cambio, entrena un AudioVAE, un autoencoder variacional que comprime formas de onda en representaciones acústicas continuas. Su diseño utiliza múltiples objetivos para que el espacio latente conserve tanto la estructura lingüística como información fina de audio. El modelo predice esas representaciones directamente, sin insertar tokens discretos de voz en la cadena de generación.

La canalización comienza con un codificador semántico y una base de modelo de lenguaje basada en Qwen2.5. A continuación, una cabeza acústica autorregresiva predice el siguiente parche de voz continuo. Flow matching, un método generativo que aprende una trayectoria del ruido a los datos, convierte cada predicción en un latente acústico para el decodificador de 48 kHz.

La autorregresión sigue otorgando al modelo una dependencia secuencial. Cada parche generado depende del contexto anterior. Sin embargo, el objeto predicho es una representación acústica continua, en lugar de una entrada de un libro de códigos. Esta estructura permite a dots tts conservar las fortalezas de modelado de secuencias de un LLM mientras evita un vocabulario de códec discreto independiente.

La cabeza acústica recibe el historial completo de generación en lugar de una ventana reciente limitada. RedNote sostiene que este condicionamiento ayuda a preservar la coherencia acústica y del locutor a largo plazo. También apunta a la deriva, cuando una voz clonada o un estilo de habla cambia gradualmente durante un pasaje más largo.

Un diseño continuo crea su propio problema computacional. La generación acústica basada en flujo puede requerir varias evaluaciones por cada parche de salida. Un sistema puede sonar bien en una prueba offline y, aun así, seguir siendo demasiado lento para un asistente, una herramienta de traducción en directo o un personaje interactivo.

RedNote aborda ese problema mediante destilación MeanFlow consciente de la guía sin clasificador. La destilación entrena un proceso de generación más pequeño o rápido para imitar otro más costoso. En este caso, el checkpoint MF reduce la generación acústica a cuatro evaluaciones recomendadas mientras conserva gran parte del rendimiento de referencia del modelo original.

El informe afirma una latencia del primer paquete de 85 milisegundos en modo de streaming de salida y de 54 milisegundos en modo de streaming dual. Estas cifras describen la configuración experimental de los autores y no deben interpretarse como una latencia de producción universal. El hardware, la concurrencia, la longitud del prompt, la compilación y el almacenamiento en búfer de audio pueden modificar el resultado.

RedNote añadió posteriormente una ruta de inferencia optimizada. Su repositorio informa de factores de tiempo real medianos entre 0,13 y 0,20 para configuraciones seleccionadas de solo texto y clonación. Un factor de tiempo real inferior a uno significa que la generación termina más rápido que la duración del audio resultante.

Por tanto, la arquitectura apuesta de forma concreta. Las representaciones continuas pueden preservar más información acústica, mientras que la destilación y el servicio optimizado pueden hacer manejable su mayor coste de decodificación. Si esa apuesta se confirma en despliegues independientes, los tokens discretos de voz dejarán de parecer la única ruta práctica hacia un TTS neuronal escalable.

La victoria en benchmarks trata sobre equilibrio

El argumento más sólido de RedNote no es que dots tts gane cada columna, sino que evita una grave compensación promedio entre palabras y voces.

Seed-TTS-Eval mide dos propiedades diferentes. La tasa de error de palabras estima si un reconocedor automático de voz recupera el contenido previsto. La similitud de locutor compara el audio generado con el locutor de referencia mediante un modelo de verificación de locutor. Son deseables un menor error y una mayor similitud.

dots tts no lidera cada subconjunto individual. Su checkpoint SOAR logra una tasa de error en chino del 0,94%, mientras que MiniMax-Speech registra un 0,83% en la tabla de RedNote. Qwen3-TTS alcanza un 6,76% en chino difícil, cerca del 6,60% de dots tts. Seed-TTS registra una similitud de 79,6 en chino, frente al 81,0 de dots tts.

El promedio cuenta una historia distinta. RedNote informa de un error promedio del 2,95% y una similitud promedio de 79,2 para SOAR. Su tabla sitúa al modelo por delante de CosyVoice 3, F5-TTS, FireRedTTS-2, IndexTTS 2, Qwen3-TTS, Seed-TTS y VoxCPM2 en el promedio combinado.

El checkpoint preentrenado produce en realidad un error promedio ligeramente inferior, del 2,92%, mientras que SOAR mejora la similitud promedio de locutor. Esa diferencia ilustra la compensación del postentrenamiento del modelo. La alineación puede reforzar la preservación de identidad sin mejorar todas las métricas de contenido.

RedNote afirma que SOAR utiliza postentrenamiento autocorrectivo sin recompensas. El sistema genera voz candidata, identifica salidas difíciles o defectuosas y aprende correcciones sin depender de un modelo de recompensa entrenado por separado. Este enfoque concentra el entrenamiento en casos de fallo mientras evita el sesgo del modelo de recompensa.

La comparación de benchmarks también pone presión sobre sistemas abiertos más conocidos. El informe de Qwen3-TTS describe una familia entrenada con más de 5 millones de horas en 10 idiomas. Su arquitectura utiliza tokenizadores de voz discretos y ofrece diseño de voz, clonación y generación en streaming. RedNote informa de resultados promedio sólidos sin revelar una cifra comparable de horas de entrenamiento.

CosyVoice 3 proporciona otra referencia de escala. Sus autores ampliaron el entrenamiento desde decenas de miles de horas hasta 1 millón de horas, aumentaron el tamaño del modelo a 1.500 millones de parámetros y cubrieron nueve idiomas más 18 dialectos chinos. Su estudio de postentrenamiento enfatiza el diseño del tokenizador y un modelo de recompensa diferenciable.

Esta comparación hace que el resultado de dots tts sea más interesante, pero no concluyente. Seed-TTS-Eval enfatiza la clonación zero-shot a partir de prompts de unos tres segundos. No cubre la experiencia completa de producto en torno al seguimiento de instrucciones, el diseño de voz, las conversaciones largas, el coste operativo o los controles de seguridad.

La similitud automatizada también es un indicador imperfecto del juicio humano. Un modelo puede preservar una incrustación de locutor mientras no reproduce la cadencia, la contención emocional, la pronunciación o el estilo de grabación. Del mismo modo, una puntuación de error basada en ASR depende en parte del reconocedor utilizado por el benchmark.

RedNote proporciona demostraciones de audio y comandos de evaluación reproducibles, lo que ofrece a los investigadores una forma de examinar sus afirmaciones. Las repeticiones independientes con hardware fijo y ajustes de decodificación compartidos siguen siendo más valiosas que copiar una posición en una clasificación.

El resultado inmediato sigue siendo significativo. dots tts sitúa un modelo continuo cerca de la vanguardia en fidelidad de contenido y preservación de locutor al mismo tiempo. Los competidores ahora deben responder a ese equilibrio, no limitarse a producir una muestra atractiva.

El TTS continuo se ha convertido en una ruta alternativa real

La presión competitiva recae sobre el TTS basado en tokens porque los modelos continuos ahora combinan calidad creíble, pesos abiertos y un servicio cada vez más práctico.

Qwen3-TTS ilustra claramente la ruta de los tokens. Su tokenizador de 12 Hz comprime la voz en un flujo de baja tasa, mientras que un modelo de lenguaje de doble pista admite síntesis en streaming. El informe afirma un primer paquete de 97 milisegundos y ofrece modelos de 600 millones y 1.700 millones de parámetros.

Esa estructura se beneficia de herramientas maduras para modelos de lenguaje autorregresivos. Los tokens discretos pueden agruparse por lotes, almacenarse en caché, muestrearse y servirse mediante infraestructura ya diseñada para la generación de texto. También crean una representación compartida que puede conectar la generación de voz con tareas más amplias de audio y lenguaje.

dots tts acepta más trabajo dentro de la ruta acústica. Su columna vertebral de modelo de lenguaje predice las condiciones para una cabeza de flow matching, que genera parches continuos antes de la decodificación de la forma de onda. Esto puede preservar el detalle acústico, pero complica la planificación y añade múltiples cálculos por parche.

VoxCPM2 demuestra que RedNote no está sola. Su arquitectura continua también evita un tokenizador de voz discreto externo. El modelo de 2.000 millones de parámetros combina síntesis multilingüe, diseño de voz, clonación controlada por estilo y clonación por continuación. Sus autores informan de un entrenamiento con más de 2 millones de horas que abarcan 30 idiomas.

Por tanto, VoxCPM2 ofrece una cobertura lingüística declarada más amplia y controles más integrados. dots tts responde con promedios reportados más sólidos en Seed-TTS-Eval, latentes continuos a 48 kHz, condicionamiento de historial completo y una ruta de destilación enfocada. Ninguno de los dos modelos resuelve por sí solo la competencia arquitectónica.

CosyVoice 3 ocupa una posición híbrida. Utiliza un tokenizador de voz aprendido para la generación semántica y un modelo de flow matching para la reconstrucción acústica. Su diseño demuestra por qué el debate no se reduce simplemente a autorregresión frente a difusión. La distinción importante se refiere a dónde la información se vuelve discreta, qué predice el modelo de forma secuencial y cómo se recupera la acústica final.

La infraestructura de despliegue está empezando a reducir la desventaja de la ruta continua. El lanzamiento de dots tts proporciona un endpoint de voz compatible con OpenAI mediante SGLang Omni, con procesamiento por lotes continuo para sus variantes MeanFlow y de pasos fijos. La salida PCM en streaming también permite que las aplicaciones inicien la reproducción antes de que esté lista la forma de onda completa.

La integración publicada por SGLang informa de un rendimiento máximo de 4,76 solicitudes por segundo y 19,86 segundos de audio generados por segundo con una concurrencia de 16. Esa prueba utilizó un H100, el checkpoint MF de cuatro pasos y Seed-TTS-Eval en inglés. Su tasa de error reportada fue del 1,35%.

Esas cifras de servicio proceden de una pila y una carga de trabajo específicas. No pueden establecer paridad de costes con todos los modelos basados en tokens. Sí demuestran que el TTS autorregresivo continuo ha avanzado más allá de la inferencia aislada de investigación.

Este cambio importa a los desarrolladores que seleccionan una base tecnológica. Los tokens discretos siguen ofreciendo un manejo de secuencias más sencillo y un camino más claro hacia la unificación multimodal de tokens. Los sistemas continuos ofrecen la oportunidad de evitar la pérdida por cuantización y preservar rasgos acústicos sutiles. La destilación determina si esa calidad se mantiene bajo restricciones de producción.

Es probable que la competencia se defina por resultados de despliegue repetibles. Los equipos compararán rendimiento concurrente, demanda de memoria, latencia hasta el primer audio, estabilidad en formatos largos y calidad tras la cuantización. Un promedio de leaderboard abre la competición, pero esas mediciones operativas decidirán la adopción.

Lo que las cifras no establecen

El lanzamiento respalda una afirmación técnica creíble, pero aún no establece una calidad lingüística universal, seguridad de producción ni liderazgo independiente en benchmarks.

La primera limitación aparece en los resultados multilingües de RedNote. En un benchmark de 24 idiomas, SOAR registra la mayor similitud media de hablante, con 83,9. Su tasa media de error de palabras es del 6,8%, frente al 2,8% de MiniMax y el 3,7% de Fish Audio S2 en la misma tabla.

El rendimiento también varía marcadamente según el idioma. SOAR informa de tasas de error de palabras del 36,19% para árabe, 14,24% para hindi, 4,96% para turco y 3,89% para vietnamita. Varios idiomas europeos producen errores mucho menores, mientras que la similitud de hablante suele mantenerse sólida entre los subconjuntos más débiles.

RedNote atribuye parcialmente esta brecha a la columna vertebral de texto BPE. La codificación por pares de bytes divide el texto en unidades de subpalabras aprendidas, y la cobertura lingüística depende en gran medida de los datos de entrenamiento disponibles. Las escrituras o idiomas infrarepresentados durante el entrenamiento requieren más datos antes de que el modelo convierta el texto de forma fiable en voz.

Esto genera una advertencia práctica. Una etiqueta multilingüe no implica preparación uniforme. Un desarrollador podría clonar de manera convincente la identidad vocal de un hablante mientras genera palabras incorrectas en un idioma con menos recursos. La similitud y la inteligibilidad deben evaluarse por separado para cada mercado objetivo.

El modelo publicado también está centrado en la voz. En principio, su AudioVAE puede ser ampliamente capaz, pero la columna vertebral se entrenó principalmente para voz. RedNote afirma que el lanzamiento no cubre el canto ni la generación unificada de voz y sonido. Los equipos de producto no deberían inferir esas capacidades a partir de la representación de audio continua.

El rendimiento en formatos largos exige un análisis adicional. El condicionamiento de historial completo busca reducir la deriva, pero un historial más extenso también plantea preguntas sobre memoria e inferencia. Los benchmarks públicos basados en expresiones cortas no pueden establecer una narración estable a lo largo de capítulos, reuniones o sesiones interactivas continuas.

La evidencia de los benchmarks procede principalmente de los autores del modelo. RedNote afirma que las líneas base utilizan publicaciones originales o configuraciones predeterminadas de código abierto, pero las versiones de los modelos y los ajustes de decodificación pueden influir en la comparación. Los sistemas propietarios también impiden replicar plenamente sus condiciones de entrenamiento e inferencia.

La evaluación de expresividad añade otra incertidumbre. RedNote informa de resultados de EmergentTTS-Eval, donde Gemini evalúa muestras frente a una referencia de OpenAI TTS en seis escenarios. La evaluación automatizada por modelos ayuda a escalar la evaluación, pero no sustituye pruebas de escucha humanas a ciegas entre acentos, dispositivos y condiciones de grabación.

La clonación de voz crea el riesgo no técnico más claro. Tres segundos de voz pueden bastar para imitar una voz reconocible. Esto permite herramientas de accesibilidad personalizadas, medios localizados y personajes digitales autorizados. También reduce el esfuerzo necesario para la suplantación, el fraude, el acoso y las pruebas fabricadas.

La guía de riesgos del proyecto pide políticas de referencias basadas en el consentimiento, detección de voz sintética, marca de agua y etiquetado claro. Esas recomendaciones no son salvaguardas integradas. La licencia Apache otorga amplia libertad a los desarrolladores posteriores, dejando la implementación y la aplicación en manos de cada despliegue.

Por tanto, un sistema de producción serio necesita más que un endpoint de modelo. Necesita pruebas de consentimiento para el audio de referencia, restricciones sobre identidades sensibles, registros auditables de generación, supervisión de abusos y un proceso de respuesta. La marca de agua también debe sobrevivir a ediciones y compresión habituales antes de ofrecer una protección significativa.

Estas restricciones no invalidan el lanzamiento. Evitan que un resultado de benchmark se convierta en una afirmación sin respaldo sobre cada idioma o despliegue. dots tts es una base creíble, pero quienes lo adopten siguen cargando con la responsabilidad de la validación y la gobernanza.

Tres señales que decidirán la apuesta por dots tts

La siguiente etapa trata de evidencia del ecosistema, no de otra puntuación llamativa.

La primera señal es la reproducción independiente de los resultados de Seed-TTS-Eval y multilingües. Los investigadores deben volver a ejecutar dots tts, Qwen3-TTS, CosyVoice 3, VoxCPM2 y otros modelos abiertos con hardware y políticas de decodificación equivalentes. Las pruebas de escucha humana deberían acompañar las métricas automatizadas de contenido y hablante.

Una reproducción exitosa reforzaría la afirmación central de RedNote de que el modelado continuo de voz mejora el equilibrio de calidad. Un gran cambio en la clasificación debilitaría la narrativa del benchmark, aunque el lanzamiento seguiría siendo útil como base abierta de investigación.

La segunda señal es el rendimiento de despliegue fuera de los propios scripts de RedNote. SGLang Omni ya admite dots tts con audio en streaming y procesamiento por lotes continuo. Los proyectos de la comunidad también han producido implementaciones en Python y Swift MLX para Apple Silicon, además de una integración con ComfyUI.

La colección oficial de modelos incluye ahora variantes base, SOAR, MeanFlow, de un paso, de dos pasos y de doble streaming. Esta creciente gama de checkpoints puede reducir la latencia, pero cada paso de compresión debe preservar la pronunciación y la identidad del hablante en cargas de trabajo reales.

Los desarrolladores deberían vigilar el rendimiento concurrente sostenido, la latencia hasta el primer audio, el uso de memoria y las tasas de fallo con entradas largas. Un amplio soporte de los frameworks de servicio reforzaría la idea de que la generación continua puede igualar operativamente a los sistemas de tokens. Una dependencia limitada de aceleradores costosos la debilitaría.

La tercera señal es si RedNote cierra sus brechas de idioma y seguridad. Una mayor precisión de contenido en árabe, hindi, turco y vietnamita demostraría que la arquitectura puede escalar más allá de sus regiones de datos más sólidas. Publicar la composición del corpus o detalles de evaluación específicos también facilitaría la valoración de esas mejoras.

El progreso en seguridad debería ser igual de concreto. La evidencia útil incluye una marca de agua duradera, una interfaz pública de consentimiento para clonación, restricciones de identidad y rendimiento de detección probado tras la compresión. La documentación por sí sola no responderá si la clonación abierta de voz puede desplegarse de manera responsable.

RedNote ya ha ampliado la familia con edición de voz controlada por instrucciones y checkpoints de menos pasos. Estas incorporaciones sugieren que dots tts se está desarrollando como una base de voz reutilizable, en lugar de como un lanzamiento puntual para leaderboard. También amplían la superficie de prueba para calidad y uso indebido.

Para los desarrolladores, la acción práctica es sencilla. Prueben el checkpoint, idioma, voz, hardware y longitud de pasaje exactos que requiere el producto. Comparen por separado la identidad clonada y la precisión del contenido, y después midan la latencia bajo concurrencia realista.

Para los investigadores, dots tts ofrece un experimento valioso: ¿puede el modelado acústico continuo convertirse en la base predeterminada para TTS escalable? El lanzamiento proporciona suficiente código y pesos para probar esa cuestión directamente. Sus promedios de benchmark hacen que valga la pena realizar la prueba, mientras que sus límites multilingües y de seguridad impiden un veredicto prematuro.

La historia de dots tts no se decidirá por si una demostración suena natural. Se decidirá cuando equipos independientes puedan reproducir su equilibrio, servirlo de forma económica y controlar cómo se utilizan las voces clonadas.