RedNote 开源 dots tts，挑战基于 Token 的 TTS 路线

RedNote 发布了 dots tts，这是一款 20 亿参数语音模型，对许多领先文本转语音系统所采用的离散 Token 架构提出挑战。该公司称，其全连续流水线在三个 Seed-TTS-Eval 子集上的内容准确性和说话人相似度平均表现最佳。这一组合之所以重要，是因为开放 TTS 开发者通常不得不在保真度、稳定生成和实际推理速度之间做出取舍。

此次 6 月发布包括训练和推理代码、预训练及后训练模型，以及采用 Apache 2.0 许可证的蒸馏检查点。RedNote 还于 6 月 5 日发布技术报告，并于 8 月 10 日进行了修订。由此形成的套件不只是一个打磨完善的演示，而是为开发者提供了可复现的基础，可用于声音克隆、多语言合成、微调和低延迟服务。

核心竞争在于架构。Qwen3-TTS 等模型使用学习得到的语音 Token，而 dots tts 在其核心生成路径中始终将语音保留在连续潜在空间内。VoxCPM2 同样采用连续潜在表示路线，这使 RedNote 的发布成为更广泛验证的一部分。业界如今正在衡量：连续表示能否在不牺牲可控性、语言覆盖范围或部署效率的前提下实现规模化。

RedNote 实际发布了什么

关键变化并非又一个声音演示，而是在宽松许可证下发布了一个可训练、可部署的 TTS 基础模型。

RedNote 的 dots 团队发布了同一套 20 亿参数架构的三个初始版本。基础检查点代表预训练模型，并支持进一步微调。SOAR 检查点加入自我纠正式后训练，目标是提高说话人相似度。经 MeanFlow 蒸馏的版本则减少了对延迟敏感应用的声学采样工作量。

完整发布包含模型权重、推理代码、微调代码，以及蒸馏新 MeanFlow 检查点所需的流程。代码和已发布检查点均采用 Apache 2.0 许可证。这一范围使该项目区别于那些仅提供权重、却将关键训练或适配阶段保密的发布。

该模型生成 48 kHz 音频，并支持零样本声音克隆。零样本克隆是指无需针对某个人重新训练模型，即可根据参考音频复现其声音。推荐的续写模式同时使用短音频样本和该样本的准确转录文本。x-vector 模式仅凭音频也可运行，但 RedNote 表示，配对转录文本的方法能产生更高的相似度。

随附的技术报告最初于 2026 年 6 月 5 日提交。其 8 月修订版加入了实验、效率结果和更新后的技术细节。RedNote 将该系统描述为多语言模型，但未在报告中披露训练语料规模。这一缺失限制了其与公开训练小时数竞争对手之间的直接规模比较。

其主打的 Seed-TTS-Eval 结果涵盖英语、中文及一个较困难的中文子集。SOAR 检查点在这三个数据集上的错误率分别为 1.30%、0.94% 和 6.60%，说话人相似度得分则分别为 77.1、81.0 和 79.5。

对这些已发布结果求平均后，dots tts 的错误率为 2.95%，相似度得分为 79.2。RedNote 称，这两项均是其对比系统中的最佳平均成绩。这一说法指向的是基于原始论文或默认开源发布版本汇编的基准表，而非对每个竞争对手进行的新一轮独立评测。

这些限定并未抹去结果，反而界定了结果的意义。RedNote 发布了一个开放系统，其报告中的基准平衡表现异常强劲，同时也公开了让其他人检验这一平衡所需的代码。

为什么 dots tts 避开语音 Token

dots tts 将连续语音表示视为基础，而不是在 Token 生成之后才进行最终重建的步骤。

许多现代 TTS 系统会将音频转换为离散编码。这些编码类似于语言模型可以预测的词表。该设计适配既有语言模型基础设施，但量化可能丢失声学细节，并将语音拆分到多个码本中。

RedNote 则训练了一个 AudioVAE，即一种将波形压缩为连续声学表示的变分自编码器。其设计采用多个目标，使潜在空间同时保留语言结构和精细音频信息。模型直接预测这些表示，而不在生成链路中插入离散语音 Token。

该流水线由语义编码器和基于 Qwen2.5 的语言模型骨干网络开始。随后，自回归声学头预测下一个连续语音片段。流匹配是一种学习从噪声到数据路径的生成方法，它将每次预测转换为供 48 kHz 解码器使用的声学潜变量。

自回归仍为模型带来序列依赖：每个生成片段都依赖于此前上下文。不过，预测对象是连续声学表示，而不是码本条目。这种结构使 dots tts 能保留 LLM 的序列建模优势，同时避开独立的离散编解码词表。

声学头接收完整的生成历史，而非狭窄的近期窗口。RedNote 认为，这种条件化有助于保持长程说话人和声学一致性，也旨在解决漂移问题，即克隆声音或说话风格在较长段落中逐渐发生变化。

连续设计也带来其自身的计算问题。基于流的声学生成可能需要对每个输出片段进行多次评估。一个系统或许在离线测试中听起来很好，却仍可能慢到无法用于助手、实时翻译工具或交互式角色。

RedNote 通过具备 classifier-free guidance 感知能力的 MeanFlow 蒸馏来解决这一问题。蒸馏会训练一个更小或更快的生成过程，以模仿成本更高的过程。在这里，MF 检查点将声学生成降至建议的四次评估，同时保留原始模型的大部分基准性能。

该报告称，输出流模式下的首包延迟为 85 毫秒，双流模式下为 54 毫秒。这些数字描述的是作者的实验配置，不应被理解为普遍的生产环境延迟。硬件、并发量、提示词长度、编译和音频缓冲都会改变结果。

RedNote 后来加入了优化后的推理路径。其代码仓库报告称，在部分纯文本和克隆配置下，中位实时因子介于 0.13 到 0.20 之间。实时因子低于 1 意味着生成完成速度快于生成音频的时长。

因此，该架构做出了一项明确押注：连续表示可以保留更多声学信息，而蒸馏和优化服务能够让其更高的解码成本变得可控。如果这一押注能在独立部署中成立，离散语音 Token 将不再像是实现可扩展神经 TTS 的唯一实用途径。

基准胜出关乎平衡

RedNote 最有力的论点并不是 dots tts 赢下每一列，而是它避免了词语准确性与声音还原之间严重的平均取舍。

Seed-TTS-Eval 衡量两种不同性质。词错误率用于估计自动语音识别系统能否恢复预期内容。说话人相似度则使用说话人验证模型，将生成音频与参考说话人进行比较。更低的错误率和更高的相似度都更理想。

dots tts 并未领先每个单独子集。其 SOAR 检查点的中文错误率为 0.94%，而 MiniMax-Speech 在 RedNote 的表格中达到 0.83%。Qwen3-TTS 在困难中文集上达到 6.76%，与 dots tts 的 6.60% 接近。Seed-TTS 的中文相似度为 79.6，而 dots tts 为 81.0。

平均值讲述了不同的故事。RedNote 报告称，SOAR 的平均错误率为 2.95%，平均相似度为 79.2。其表格显示，该模型在综合平均表现上领先于 CosyVoice 3、F5-TTS、FireRedTTS-2、IndexTTS 2、Qwen3-TTS、Seed-TTS 和 VoxCPM2。

预训练检查点实际上给出了略低的 2.92% 平均错误率，而 SOAR 提升了平均说话人相似度。这一区别说明了模型后训练中的权衡：对齐能够强化身份保留，但未必改善每一项内容指标。

RedNote 称，SOAR 使用无需奖励模型的自我纠正式后训练。系统生成候选语音，识别困难或有缺陷的输出，并在不依赖单独训练奖励模型的情况下学习修正。这种方法将训练集中于失败案例，同时避免奖励模型偏差。

这一基准比较也给更知名的开放系统带来压力。Qwen3-TTS 报告介绍了一个覆盖 10 种语言、训练时长超过 500 万小时的模型家族。其架构使用离散语音 Tokenizer，并提供声音设计、克隆和流式生成能力。RedNote 在未披露可比训练小时数的情况下，报告了强劲的平均成绩。

CosyVoice 3 提供了另一项规模参照。其作者将训练规模从数万小时扩大至 100 万小时，将模型规模提升至 15 亿参数，并覆盖九种语言和 18 种中文方言。其后训练研究强调 Tokenizer 设计和可微分奖励模型。

这一比较令 dots tts 的结果更有意思，但并非决定性证据。Seed-TTS-Eval 强调基于约三秒提示音频的零样本克隆，未涵盖围绕指令遵循、声音设计、长对话、运营成本或安全控制的完整产品体验。

自动相似度也是人类判断的不完美代理指标。模型可能保留说话人嵌入，却遗漏节奏、情绪克制、发音或录音风格。同样，基于 ASR 的错误分数也部分取决于基准所使用的识别器。

RedNote 提供了音频演示和可复现的评测命令，使研究人员能够检验其说法。与复制排行榜名次相比，在固定硬件和共享解码设置下进行独立复跑仍更有价值。

眼下的结果依然意义重大。dots tts 同时将连续模型置于内容保真度和说话人保留能力的前列。竞争对手现在需要回应这种平衡，而不只是生成一个吸引人的样本。

连续 TTS 已成为真正的对立路线

竞争压力落在基于 Token 的 TTS 上，因为连续模型如今已结合可信质量、开放权重和日益实用的服务能力。

Qwen3-TTS 清晰展示了 Token 路线。其 12 Hz Tokenizer 将语音压缩为低速率流，而双轨语言模型支持流式合成。该报告称首包时间为 97 毫秒，并提供 6 亿和 17 亿参数版本。

这一结构受益于成熟的自回归语言模型工具链。离散 Token 可以通过专为文本生成设计的基础设施进行批处理、缓存、采样和服务。它们还形成了一种共享表示，或许能够将语音生成与更广泛的音频语言任务连接起来。

dots tts 将更多工作纳入声学路径。其语言模型骨干网络为 flow-matching 头预测条件，后者会在波形解码前生成连续补丁。这种方式能够保留声学细节，但也会增加调度复杂度，并为每个补丁带来多次计算。

VoxCPM2 表明，RedNote 并非唯一的探索者。其连续架构同样不依赖外部离散语音分词器。这个拥有 20 亿参数的模型集成了多语言合成、音色设计、风格可控克隆与续写式克隆。其作者称，训练数据覆盖 30 种语言，时长超过 200 万小时。

因此，VoxCPM2 提供了更广的宣称语言覆盖范围和更一体化的控制能力。dots tts 则以更高的 Seed-TTS-Eval 平均成绩、48 kHz 连续潜变量、全历史条件建模和聚焦的蒸馏路径作为回应。仅凭两款模型，都不足以为这场架构之争盖棺定论。

CosyVoice 3 处于混合路线的位置。它使用学习式语音分词器进行语义生成，并使用 flow-matching 模型进行声学重建。其设计说明，这场讨论并非简单的自回归与扩散之争。关键区别在于信息在何处变为离散形式、模型按序预测什么，以及最终声学结果如何恢复。

部署基础设施正开始缩小连续路线的劣势。dots tts 发布版本通过 SGLang Omni 提供兼容 OpenAI 的语音端点，并为其 MeanFlow 和固定步数变体提供连续批处理。流式 PCM 输出也让应用能在完整波形生成前开始播放。

SGLang 发布的集成报告显示，在并发数为 16 时，峰值吞吐量达到每秒 4.76 个请求，以及每秒 19.86 秒生成音频。该测试使用一张 H100、四步 MF checkpoint 和 Seed-TTS-Eval English。报告的错误率为 1.35%。

这些服务数据来自特定的技术栈和工作负载，无法证明其与所有 token 模型具备成本对等性。但它们确实表明，连续自回归 TTS 已不再只是孤立的研究推理实验。

这一转变对选择基础模型的开发者很重要。离散 token 仍提供更简单的序列处理方式，以及通向多模态 token 统一的更清晰路径。连续系统则有机会避免量化损失，并保留细微的声学特征。蒸馏决定了这种质量能否在生产约束下得以保留。

竞争很可能将取决于可复现的部署结果。团队会比较并发吞吐量、内存需求、首段音频延迟、长文本稳定性，以及量化后的质量。排行榜平均成绩开启了竞争，但这些运营层面的指标将决定采用与否。

这些数字无法证明什么

此次发布支持一项可信的技术主张，但尚不足以证明其具备普遍的语言质量、生产安全性或独立基准领先地位。

第一个局限体现在 RedNote 的多语言结果中。在一项覆盖 24 种语言的基准测试中，SOAR 以 83.9 取得最高平均说话人相似度。其平均词错误率为 6.8%，而同一表格中的 MiniMax 为 2.8%，Fish Audio S2 为 3.7%。

不同语言间的性能差异也十分显著。SOAR 报告称，阿拉伯语词错误率为 36.19%，印地语为 14.24%，土耳其语为 4.96%，越南语为 3.89%。多种欧洲语言的错误率低得多，而即便在表现较弱的子集上，说话人相似度往往仍然较高。

RedNote 将这一差距部分归因于 BPE 文本骨干网络。字节对编码会将文本划分为学习得到的子词单元，而语言覆盖能力高度依赖可用训练数据。训练中代表性不足的文字系统或语言，需要更多数据，模型才能将文本可靠地映射为语音。

这带来了一个实践层面的警示：多语言标签并不意味着各语言已具备同等成熟度。开发者或许可以令人信服地克隆说话人的声线身份，却会在低资源语言中生成错误词语。相似度和可懂度必须针对每个目标市场分别评估。

已发布的模型也主要聚焦于语音。其 AudioVAE 在原理上或许具备更广泛能力，但骨干网络主要针对语音训练。RedNote 表示，此次发布不涵盖歌唱或统一的语音与声音生成。产品团队不应从连续音频表征中推断出这些能力。

长文本性能仍需进一步审视。全历史条件建模旨在解决漂移问题，但更长的历史也会带来内存与推理方面的疑问。围绕短句构建的公开基准，无法证明模型能在章节、会议或持续交互会话中实现稳定叙述。

基准证据大多来自模型作者。RedNote 表示，基线模型采用原始论文或默认开源配置，但模型版本和解码设置都可能影响对比结果。专有系统也无法完整复现其训练与推理条件。

表现力评估还增加了另一重不确定性。RedNote 报告了 EmergentTTS-Eval 的结果，其中 Gemini 会在六种场景下，将样本与 OpenAI TTS 参考进行对照评判。自动化模型评判有助于扩大评估规模，但无法替代针对不同口音、设备和录音条件开展的盲听测试。

语音克隆带来了最明确的非技术风险。仅三秒语音就可能足以模仿可辨识的声音。这使个性化无障碍工具、本地化媒体和经授权的数字角色成为可能，但也降低了冒充、欺诈、骚扰和伪造证据所需的门槛。

该项目的风险指引呼吁采用重视同意的参考音频政策、合成语音检测、水印和清晰标识。这些建议并非内置防护措施。Apache 许可证赋予下游开发者广泛自由，将实施与执行责任留给每个部署方。

因此，严肃的生产系统需要的不只是一个模型端点。它还需要参考音频的同意证明、对敏感身份的限制、可审计的生成记录、滥用监控和响应流程。水印还必须经受住常见编辑和压缩，才能提供有意义的保护。

这些约束并不否定此次发布。它们防止基准结果被扩展为对每种语言或每种部署情境都缺乏支撑的主张。dots tts 是一个可信的基础，但其采用者仍需承担验证与治理责任。

决定 dots tts 成败的三个信号

下一阶段取决于生态系统证据，而不是又一个醒目的分数。

第一个信号是对 Seed-TTS-Eval 与多语言结果的独立复现。研究人员需要在匹配的硬件和解码策略下，重新运行 dots tts、Qwen3-TTS、CosyVoice 3、VoxCPM2 及其他开放模型。人类听测也应与自动化内容和说话人指标一同开展。

成功复现将强化 RedNote 的核心主张，即连续语音建模改善了质量平衡。若排名发生显著变化，基准叙事将被削弱，尽管此次发布作为开放研究基础仍然具有价值。

第二个信号是 RedNote 自有脚本之外的部署表现。SGLang Omni 已支持 dots tts 的流式音频和连续批处理。社区项目还为 Apple Silicon 推出了 Python 和 Swift MLX 移植版本，以及 ComfyUI 集成。

官方模型合集现已包含 base、SOAR、MeanFlow、one-step、two-step 和 double-streaming 变体。不断扩展的 checkpoint 范围可降低延迟，但每一步压缩都必须在真实工作负载中保持发音和说话人身份。

开发者应关注持续并发吞吐量、首段音频延迟、内存使用，以及长输入上的失败率。服务框架的广泛支持，将强化连续生成能够在运营层面匹配 token 系统的论据；若狭隘依赖昂贵加速器，则会削弱这一论据。

第三个信号是 RedNote 是否弥合其语言与安全缺口。提高阿拉伯语、印地语、土耳其语和越南语的内容准确性，将表明该架构能够扩展到其最强数据区域之外。公开语料组成或有针对性的评估细节，也将使这些改进更易于评估。

安全进展也应同样具体。有效证据包括耐久水印、公开的克隆同意界面、身份限制，以及压缩后经过测试的检测性能。仅靠文档，无法回答开放语音克隆能否被负责任地部署。

RedNote 已通过指令控制的语音编辑和更低步数 checkpoint 扩展了该系列。这些新增内容表明，dots tts 正被开发为可复用的语音基础，而非一次性的排行榜发布。它们也扩大了质量和滥用测试的范围。

对开发者而言，实际行动很直接：测试产品所需的确切 checkpoint、语言、音色、硬件和文本长度。分别比较克隆身份与内容准确性，再在真实并发条件下测量延迟。

对研究者而言，dots tts 提供了一个有价值的实验：连续声学建模能否成为可扩展 TTS 的默认基础？此次发布提供了足够的代码和权重，可直接检验这一问题。其基准平均成绩让这项测试值得开展，而其多语言与安全局限则阻止人们过早下结论。

dots tts 的故事不会由某一次演示是否听起来自然来决定。它将取决于独立团队何时能够复现其平衡、以经济方式提供服务，并控制克隆声音的使用方式。