RedNoteがdots ttsをオープンソース化、トークンベースTTS路線に挑む
RedNoteは、多くの主要なテキスト読み上げシステムを支える離散トークン型アーキテクチャに挑戦する、20億パラメータの音声モデルdots ttsを公開した。同社によれば、完全連続型のパイプラインはSeed-TTS-Evalの3つのサブセットで、コンテンツ精度と話者類似度の平均において最高成績を達成した。この組み合わせが重要なのは、オープンTTSの開発者が通常、忠実度、安定した生成、実用的な推論速度のいずれかを犠牲にする必要があったためだ。
6月のリリースには、学習・推論コード、事前学習済みおよびポストトレーニング済みモデル、Apache 2.0ライセンスの蒸留済みチェックポイントが含まれる。RedNoteは6月5日に技術レポートも公開し、8月10日に改訂した。このパッケージは、洗練されたデモにとどまらない。音声クローン、多言語合成、ファインチューニング、低レイテンシー配信のための再現可能な基盤を開発者に提供する。
中心となる競争はアーキテクチャにある。Qwen3-TTSのようなモデルは学習済み音声トークンを使う一方、dots ttsは中核の生成経路全体で音声を連続潜在空間に保持する。VoxCPM2も連続潜在表現のアプローチを採用しており、RedNoteのリリースはより広範な検証の一部となる。業界は現在、制御性、言語カバレッジ、デプロイ効率を損なうことなく、連続表現がスケールできるかを測っている。
RedNoteが実際に公開したもの
重要な変化は、単なる新たな音声デモではなく、寛容なライセンスの下で学習・デプロイ可能なTTS基盤を公開したことにある。
RedNoteのdotsチームは、同じ20億パラメータアーキテクチャの初期版を3種類公開した。ベースチェックポイントは事前学習済みモデルに相当し、追加のファインチューニングをサポートする。SOARチェックポイントは自己修正型のポストトレーニングを追加し、より高い話者類似度を目指す。MeanFlow蒸留版は、レイテンシーに敏感なアプリケーション向けに音響サンプリングの負荷を減らす。
完全なリリースには、モデルウェイト、推論コード、ファインチューニングコード、新しいMeanFlowチェックポイントを蒸留するために必要なプロセスが含まれる。コードと公開チェックポイントはApache 2.0ライセンスを採用している。この範囲は、ウェイトのみを提供し、主要な学習・適応段階を非公開にするリリースと一線を画す。
このモデルは48 kHz音声を生成し、ゼロショット音声クローンをサポートする。ゼロショットクローンとは、特定人物向けにモデルを再学習せず、参照音声からその話者を再現することを意味する。推奨される継続モードでは、短い音声サンプルと、そのサンプルの正確な文字起こしの両方を使用する。x-vectorモードは音声だけでも動作するが、RedNoteによれば、文字起こしを組み合わせる方法の方が高い類似度を得られる。
付随する技術レポートは2026年6月5日に初めて投稿された。8月の改訂では、実験、効率性の結果、更新された技術的詳細が追加された。RedNoteはこのシステムを多言語対応と説明しているが、レポート内で学習コーパスの規模は開示していない。この欠落により、学習時間の総量を公開している競合との直接的な規模比較は制限される。
注目されるSeed-TTS-Evalの結果は、英語、中国語、難易度の高い中国語サブセットを対象とする。SOARチェックポイントは、それぞれのセットで1.30%、0.94%、6.60%のエラー率を記録した。話者類似度スコアは77.1、81.0、79.5だった。
公表結果を平均すると、dots ttsのエラー率は2.95%、類似度スコアは79.2となる。RedNoteは、いずれも比較対象のシステム群で最高の平均値だとしている。この主張は、各競合の原著論文またはデフォルトのオープンソースリリースから作成されたベンチマーク表に基づくものであり、すべての競合を新たに独立評価した結果ではない。
こうした留保が結果を無効にするわけではない。結果の意味を定義するものだ。RedNoteは、報告されたベンチマーク上のバランスが際立って強いオープンシステムを公開し、他者がそのバランスを検証するために必要なコードも明らかにした。
dots ttsが音声トークンを避ける理由
dots ttsは、トークン生成後の最終的な再構成手段ではなく、連続音声表現を基盤として扱う。
現代の多くのTTSシステムは、音声を離散コードへ変換する。これらのコードは、言語モデルが予測できる語彙に似ている。この設計は既存の言語モデル基盤と相性がよいが、量子化によって音響の詳細が失われ、音声が複数のコードブックに分割される可能性がある。
RedNoteは代わりに、波形を連続的な音響表現へ圧縮する変分オートエンコーダーAudioVAEを学習させる。その設計は複数の目的関数を用い、潜在空間に言語的構造と精細な音声情報の両方を保持させる。モデルは、離散音声トークンを生成チェーンに挿入せず、これらの表現を直接予測する。
パイプラインは、意味エンコーダーとQwen2.5ベースの言語モデルバックボーンから始まる。次に自己回帰型の音響ヘッドが、次の連続音声パッチを予測する。ノイズからデータへの経路を学習する生成手法であるフローマッチングが、各予測を48 kHzデコーダー向けの音響潜在表現に変換する。
自己回帰は依然としてモデルに逐次的な依存関係を与える。生成される各パッチは先行する文脈に依存する。しかし、予測対象はコードブックのエントリではなく、連続的な音響表現だ。この構造によりdots ttsは、LLMの系列モデリングの強みを維持しつつ、別個の離散コーデック語彙を回避できる。
音響ヘッドは、狭い直近ウィンドウではなく、生成履歴全体を受け取る。RedNoteは、この条件付けが長距離にわたる話者・音響の一貫性の維持に役立つとしている。また、長い文章の途中でクローン音声や話し方が徐々に変化するドリフトの抑制も狙う。
連続設計には、独自の計算上の課題がある。フローベースの音響生成では、出力パッチごとに複数回の評価が必要となる場合がある。オフラインテストで高音質でも、アシスタント、ライブ翻訳ツール、インタラクティブなキャラクターには遅すぎる可能性がある。
RedNoteは、classifier-free guidanceに対応したMeanFlow蒸留でこの問題に対処する。蒸留とは、より高コストな生成プロセスを模倣するよう、より小型または高速な生成プロセスを学習させる手法だ。この場合、MFチェックポイントは元モデルのベンチマーク性能の多くを保ちながら、音響生成を推奨される4回の評価に削減する。
レポートは、出力ストリーミングモードで85ミリ秒、デュアルストリーミングモードで54ミリ秒の最初のパケットのレイテンシーを主張している。これらの数値は著者らの実験構成を示すものであり、普遍的な本番レイテンシーとして解釈すべきではない。ハードウェア、同時実行数、プロンプト長、コンパイル、音声バッファリングはすべて結果を変えうる。
RedNoteは後に最適化された推論パスを追加した。そのリポジトリは、選択されたテキストのみおよびクローン設定において、中央値のリアルタイム係数が0.13から0.20の範囲にあると報告している。リアルタイム係数が1未満であれば、生成が得られる音声の長さより速く完了することを意味する。
したがって、このアーキテクチャは明確な賭けに出ている。連続表現はより多くの音響情報を保存でき、蒸留と最適化された配信により、より高いデコードコストを管理可能にできるというものだ。この賭けが独立したデプロイでも成立すれば、離散音声トークンは、スケーラブルなニューラルTTSへの唯一の実用的な道には見えなくなる。
ベンチマークでの勝利はバランスにある
RedNoteの最も強い主張は、dots ttsがすべての列で勝つことではなく、言葉と声の間に深刻な平均的トレードオフを生まない点にある。
Seed-TTS-Evalは異なる2つの特性を測定する。単語誤り率は、自動音声認識器が意図された内容を復元できるかを推定する。話者類似度は、話者検証モデルを用いて生成音声と参照話者を比較する。エラーは低いほど、類似度は高いほど望ましい。
Dots ttsは個々のサブセットすべてで首位ではない。SOARチェックポイントの中国語エラー率は0.94%だが、RedNoteの表ではMiniMax-Speechが0.83%を記録している。Qwen3-TTSは難しい中国語で6.76%に達し、dots ttsの6.60%に近い。Seed-TTSは中国語で79.6の類似度を記録しており、dots ttsの81.0と比較される。
平均値は異なる物語を示す。RedNoteは、SOARについて平均エラー率2.95%、平均類似度79.2を報告している。同社の表では、このモデルは総合平均でCosyVoice 3、F5-TTS、FireRedTTS-2、IndexTTS 2、Qwen3-TTS、Seed-TTS、VoxCPM2を上回る位置に置かれている。
事前学習済みチェックポイントは実際には平均エラー率がわずかに低く、2.92%となっている。一方、SOARは平均話者類似度を改善する。この違いは、モデルのポストトレーニングにおけるトレードオフを示している。アラインメントは、すべてのコンテンツ指標を改善せずとも、アイデンティティ保持を強化できる。
RedNoteによれば、SOARは報酬不要の自己修正型ポストトレーニングを用いる。システムは候補音声を生成し、困難または欠陥のある出力を特定し、別途学習した報酬モデルに依存せずに修正を学習する。このアプローチは、報酬モデルのバイアスを避けつつ、失敗ケースに学習を集中させる。
ベンチマーク比較は、より広く知られたオープンシステムにも圧力をかける。Qwen3-TTSレポートは、10言語で500万時間超のデータにより学習されたモデル群を説明している。そのアーキテクチャは離散音声トークナイザーを使用し、ボイスデザイン、クローン、ストリーミング生成を提供する。RedNoteは、比較可能な学習時間を明らかにせずに強い平均成績を報告している。
CosyVoice 3は別の規模の基準を提供する。著者らは学習データを数万時間から100万時間へ拡大し、モデル規模を15億パラメータに増やし、9言語と18の中国語方言をカバーした。そのポストトレーニング研究は、トークナイザー設計と微分可能な報酬モデルを重視している。
この比較はdots ttsの結果をより興味深くするが、決定的なものにはしない。Seed-TTS-Evalは、およそ3秒のプロンプトからのゼロショットクローンを重視する。指示追従、ボイスデザイン、長時間の会話、運用コスト、安全制御を含む完全な製品体験は対象にしていない。
自動化された類似度も、人間の判断を完全に代替する指標ではない。モデルは話者埋め込みを維持しつつ、リズム、感情表現の抑制、発音、録音スタイルを取り逃がす可能性がある。同様に、ASRベースのエラースコアは、ベンチマークで使用される認識器にも一部依存する。
RedNoteは音声デモと再現可能な評価コマンドを提供しており、研究者が主張を検証する手段を与えている。固定ハードウェアと共通のデコード設定による独立した再実行は、リーダーボード順位をそのまま引用するより依然として価値が高い。
それでも、当面の結果には意味がある。dots ttsは、コンテンツの忠実度と話者保持の両方で、連続モデルを同時に先頭集団近くへ押し上げた。競合は今後、魅力的なサンプルを出すだけでなく、このバランスに答える必要がある。
連続型TTSは現実的な対抗路線になった
トークンベースTTSに競争圧力がかかるのは、連続モデルが今や信頼に足る品質、オープンウェイト、そして実用性を増す配信能力を兼ね備えているためだ。
Qwen3-TTSはトークン路線を明確に示している。その12 Hzトークナイザーは音声を低レートのストリームに圧縮し、デュアルトラック言語モデルがストリーミング合成を支える。レポートは97ミリ秒の最初のパケットを主張し、6億および17億パラメータのモデルを提供している。
この構造は、成熟した自己回帰型言語モデルのツール群から恩恵を受ける。離散トークンは、テキスト生成向けにすでに設計されたインフラストラクチャを通じて、バッチ処理、キャッシュ、サンプリング、配信が可能だ。また、音声生成をより広範な音声言語タスクと結びつけうる共有表現も生み出す。
dots tts は、音響経路の内部でより多くの処理を担う。言語モデルのバックボーンがフローマッチングヘッドの条件を予測し、そのヘッドが波形デコード前に連続パッチを生成する。この方式は音響ディテールを保持できる一方、スケジューリングを複雑にし、パッチごとに複数の計算を追加する。
VoxCPM2 は、RedNote だけがこの方向性を採っているわけではないことを示している。その連続アーキテクチャも、外部の離散音声トークナイザーを使わない。20億パラメータのこのモデルは、多言語音声合成、音声デザイン、スタイル制御付きクローン、継続クローンを組み合わせる。著者らによれば、30言語を対象とする200万時間超のデータで学習された。
したがって VoxCPM2 は、宣言された言語カバレッジの広さと、より統合された制御機能を提供する。一方 dots tts は、より高いと報告されている Seed-TTS-Eval 平均、48 kHz の連続潜在表現、全履歴コンディショニング、そして焦点を絞った蒸留経路で応える。どちらのモデルも、アーキテクチャをめぐる競争に単独で決着を付けるものではない。
CosyVoice 3 はハイブリッドな位置にある。意味生成には学習済み音声トークナイザーを、音響再構成にはフローマッチングモデルを用いる。その設計は、議論が単純に自己回帰か拡散かという二項対立ではない理由を示す。重要なのは、情報がどこで離散化されるか、モデルが何を逐次予測するか、そして最終的な音響をどう復元するかである。
デプロイメント基盤は、連続経路の不利を縮め始めている。dots tts のリリースは、SGLang Omni を通じた OpenAI 互換の音声エンドポイントを提供し、MeanFlow および固定ステップ版で連続バッチ処理を実現する。ストリーミング PCM 出力により、アプリケーションは波形全体の完成前に再生を開始できる。
SGLang が公表した統合結果では、同時実行数16でピークスループットは毎秒4.76リクエスト、生成音声は毎秒19.86秒だった。このテストでは H100 を1基、4ステップの MF チェックポイント、Seed-TTS-Eval English を使用した。報告されたエラー率は1.35%である。
これらのサービング指標は、特定のスタックとワークロードに基づくものだ。あらゆるトークンモデルとのコスト同等性を証明するものではない。ただし、連続自己回帰 TTS が孤立した研究推論の段階を超えたことは示している。
この変化は、基盤技術を選定する開発者にとって重要だ。離散トークンは依然として、より単純なシーケンス処理と、マルチモーダルトークン統合への明確な道筋を提供する。連続システムには、量子化による損失を避け、繊細な音響特性を維持できる可能性がある。その品質が本番環境の制約下でも保たれるかどうかは、蒸留によって決まる。
競争の行方は、再現可能なデプロイメント成果によって決まる可能性が高い。チームは、同時実行時のスループット、メモリ需要、最初の音声までのレイテンシー、長文での安定性、量子化後の品質を比較するだろう。リーダーボードの平均値が競争の幕を開ける一方、採用を決めるのはこうした運用上の測定値である。
数値が示していないこと
このリリースは信頼できる技術的主張を裏付けるが、普遍的な言語品質、本番環境での安全性、あるいは独立ベンチマークでの首位をまだ確立するものではない。
最初の制約は、RedNote の多言語結果に表れている。24言語ベンチマークでは、SOAR が平均話者類似度83.9で最高値を記録した。同じ表における平均単語誤り率は6.8%で、MiniMax の2.8%、Fish Audio S2 の3.7%と比べると高い。
性能は言語によっても大きく異なる。SOAR は、アラビア語で36.19%、ヒンディー語で14.24%、トルコ語で4.96%、ベトナム語で3.89%の単語誤り率を報告している。複数の欧州言語でははるかに低い誤り率となる一方、話者類似度は弱いサブセットでも高水準を維持する場合が多い。
RedNote は、この差の一因を BPE テキストバックボーンにあるとしている。Byte-pair encoding はテキストを学習済みのサブワード単位に分割するため、言語カバレッジは利用可能な学習データに大きく依存する。学習時に十分表現されていない文字体系や言語では、モデルがテキストを確実に音声へ変換するまでに、より多くのデータが必要となる。
これは実務上の警告を生む。多言語対応というラベルは、均一な実用性を意味しない。開発者は、低リソース言語で誤った単語を生成しながら、話者の声のアイデンティティだけは説得力をもって再現する可能性がある。類似度と了解性は、対象市場ごとに分けて評価しなければならない。
公開モデルも音声寄りである。AudioVAE は原理上は幅広い能力を持つ可能性があるが、バックボーンは主に音声向けに学習されている。RedNote は、このリリースが歌唱や、音声と音響を統合した生成を対象としていないと述べている。プロダクトチームは、連続音声表現だけからそうした能力を推測すべきではない。
長文性能にはさらなる検証が必要だ。全履歴コンディショニングはドリフトを抑えることを目的とするが、より長い履歴はメモリと推論に関する課題も増やす。短い発話を中心に構成された公開ベンチマークでは、章、会議、継続的なインタラクティブセッションにわたる安定したナレーションを立証できない。
ベンチマークの証拠の大半は、モデルの著者によるものだ。RedNote はベースラインに原著論文またはデフォルトのオープンソース設定を使用したとしているが、モデルのバージョンやデコード設定は比較に影響しうる。プロプライエタリなシステムでは、学習条件と推論条件を完全に再現することもできない。
表現力の評価にも別の不確実性がある。RedNote は EmergentTTS-Eval の結果を報告しており、そこでは Gemini が6つのシナリオで OpenAI TTS の参照音声とサンプルを比較して判定する。自動化されたモデル評価は評価の規模拡大に役立つが、アクセント、デバイス、録音条件をまたぐブラインドの人間試聴に取って代わるものではない。
音声クローンは、最も明確な非技術的リスクを生む。わずか3秒の音声でも、認識可能な声を模倣するには十分な場合がある。これはパーソナライズされたアクセシビリティツール、ローカライズされたメディア、許可を得たデジタルキャラクターを可能にする。同時に、なりすまし、詐欺、嫌がらせ、捏造証拠に必要な労力も下げる。
プロジェクトのリスクガイダンスでは、同意を意識した参照ポリシー、合成音声検出、透かし、明確なラベル付けを求めている。こうした推奨は組み込みの安全策ではない。Apache ライセンスは下流の開発者に広い自由を与えるため、実装と執行は各デプロイメントに委ねられる。
したがって、本格的な本番システムにはモデルエンドポイント以上のものが必要だ。参照音声に関する同意の証明、センシティブなアイデンティティへの制限、監査可能な生成記録、不正利用の監視、対応プロセスが求められる。透かしも、有意義な保護を提供するには、一般的な編集や圧縮に耐えなければならない。
これらの制約はリリース自体を否定するものではない。ベンチマーク結果を、あらゆる言語やデプロイメントに関する裏付けのない主張へと拡大解釈することを防ぐものだ。dots tts は信頼できる基盤だが、採用者は依然として検証とガバナンスの責任を負う。
dots tts の賭けを左右する3つのシグナル
次の段階で問われるのは、さらなる見出しを飾るスコアではなく、エコシステムによる証拠である。
第1のシグナルは、Seed-TTS-Eval と多言語結果の独立再現だ。研究者は、dots tts、Qwen3-TTS、CosyVoice 3、VoxCPM2、その他のオープンモデルを、同一条件のハードウェアとデコード方針で再実行する必要がある。自動化されたコンテンツ指標と話者指標には、人間による試聴テストを併用すべきだ。
再現に成功すれば、連続音声モデリングが品質バランスを改善するという RedNote の中心的主張は強まる。順位が大きく変わればベンチマークの物語は弱まるが、それでもリリースはオープンな研究基盤として有用であり続けるだろう。
第2のシグナルは、RedNote 自身のスクリプト以外でのデプロイメント性能だ。SGLang Omni はすでに、ストリーミング音声と連続バッチ処理で dots tts をサポートしている。コミュニティプロジェクトからは、Apple Silicon 向けの Python および Swift MLX ポートに加え、ComfyUI 統合も登場している。
公式のモデルコレクションには現在、base、SOAR、MeanFlow、one-step、two-step、double-streaming の各バリアントが含まれる。この拡大するチェックポイント群はレイテンシーを下げうるが、圧縮の各段階で、実際のワークロードにおける発音と話者アイデンティティを維持しなければならない。
開発者は、持続的な同時実行スループット、最初の音声までのレイテンシー、メモリ使用量、長い入力における失敗率を注視すべきだ。サービングフレームワークから広範なサポートを得られれば、連続生成が運用面でもトークンシステムに匹敵できるという主張を強める。高価なアクセラレータへの限定的な依存は、その主張を弱めるだろう。
第3のシグナルは、RedNote が言語と安全性のギャップを埋められるかどうかだ。アラビア語、ヒンディー語、トルコ語、ベトナム語におけるコンテンツ精度の改善は、このアーキテクチャが最も強いデータ地域を超えて拡張できることを示す。コーパス構成やターゲット評価の詳細を公表すれば、こうした改善も評価しやすくなる。
安全性の進展も同様に具体的であるべきだ。有用な証拠には、耐久性のある透かし、公開されたクローン同意インターフェース、アイデンティティ制限、圧縮後の検出性能に関する検証が含まれる。文書だけでは、オープンな音声クローンを責任を持ってデプロイできるかという問いに答えられない。
RedNote はすでに、指示制御型の音声編集と、より少ないステップ数のチェックポイントでファミリーを拡張している。これらの追加は、dots tts が一度限りのリーダーボード向けリリースではなく、再利用可能な音声基盤として開発されていることを示唆する。同時に、品質と不正利用のテスト対象も広げる。
開発者にとって、実務上の行動は明快だ。製品に必要な正確なチェックポイント、言語、声、ハードウェア、文章長をテストする。クローンされたアイデンティティとコンテンツ精度を別々に比較し、その後、現実的な同時実行条件でレイテンシーを測定する。
研究者にとって dots tts は、連続音響モデリングがスケーラブルな TTS の標準的な基盤になり得るかという、価値ある実験を提供する。このリリースは、その問いを直接検証するのに十分なコードと重みを提供している。ベンチマーク平均は試験を実施する価値を示す一方、多言語性と安全性の限界は早期の結論を妨げる。
dots tts の評価は、ひとつのデモが自然に聞こえるかどうかで決まるものではない。独立したチームがそのバランスを再現し、経済的に提供し、クローン音声の利用を制御できるようになったときに決まる。
