top of page

KittenML 發布適用於 CPU 語音生成的 Kitten TTS 2 Mini

36 分鐘前
讀畢需時 11 分鐘
Illustrative photograph. Photo: cottonbro studio / Pexels.

KittenML 已發布 Kitten TTS 2 Mini,這是一個擁有 8,200 萬個參數的語音模型,提供毋須依賴 PyTorch 的 CPU 部署途徑。文字轉語音(TTS)可將書面文字轉換為語音音訊。這次發布為開發者提供另一個選項,讓他們能在不以遙距服務作為應用程式核心的情況下加入語音功能。

眼前的問題很實際:從下載精簡模型到交付可靠的語音輸出,中間還有多少工作?小型檔案降低了入門門檻,卻不能證明發音準確度、回應速度,或長篇文件的聆聽體驗。

Kokoro 已為精簡語音模型提供一個參考點。KittenML 則以多語言支援及不同執行格式加入這場討論。有用的比較應涵蓋整個應用程式:安裝、語音品質、資源使用量及維護。僅憑模型列表,不能視這些面向已經有定論。

Kitten TTS 2 Mini 新增多語言 CPU 選項

根據其多語言語音模型文件,Mini 支援 16 種語言、118 種聲音,並以 24 kHz 取樣音訊。這個取樣率描述音訊訊號以數碼形式呈現的頻率,並不衡量自然度或發音準確性。

KittenML 提供採用 int8 權重的 ONNX 版本,以及獨立的 float32 PyTorch 版本。ONNX 是模型交換格式;int8 使用八位元整數儲存數值。PyTorch 是一個機器學習框架,而 float32 使用 32 位元浮點數值。

具體改變是新增一個可下載的語音選項,並明確記錄了 CPU 執行途徑。

這很重要,因為開發者可在承諾採用特定託管服務前,先把語音作為應用程式元件來評估。這次發布增加了一個部署選擇。這個選擇能否改善產品,取決於模型周邊的需求。

設想一個供員工閱讀內部指引的文件閱讀器。其設計者可能重視即使網絡中斷,語音仍可使用。他們亦可能需要部門名稱、設備標籤及技術縮寫的發音保持一致。

下載模型令這類實驗成為可能,卻不會自動解決這些需求。產品團隊仍需要以自身材料取得證據,包括鮮少出現在精心製作示範中的棘手文字。

這項區別改變了閱讀此次發布的方式。Mini 對正在評估語音基礎設施的開發者而言是有用消息,但並非證據顯示每個應用程式都應取代現有的語音供應商。

多語言目錄亦不代表各種語言的表現相同。覆蓋範圍只識別發布者所提供的內容。要判斷品質,必須由理解相關語言的人士進行聆聽、理解檢查及測試。

聲音可用性同樣需要審慎解讀。可供選擇的聲音目錄,與利用參考素材重現說話者聲音的語音複製不同。本文核實的規格並未證實具備複製能力。

同樣的審慎態度適用於串流,即音訊在生成過程中逐步可用。已發布的模型及音訊生成示例,並不能證實其具備對話互動所需的時間表現。

這些界線留下了一個清晰而有用的故事:KittenML 已提供一個具備文件記錄部署選項的特定語音模型。開發者現在有實體可按其實際限制進行評估,而毋須面對只能等待存取權限的公告。

下一個問題是,他們需要在這個實體周邊安裝甚麼。

82.7 MB 的數字只涵蓋權重

Mini 的模型檔案列表列出一個 82.7 MB 的 ONNX 檔案,並附有獨立的語音包、設定、詞彙及發音資源,亦另行列出 float32 權重。

權重檔案的大小並不等於完整應用程式的佔用空間。

當模型下載大小成為其部署需求的簡寫時,這項區別尤其重要。一個產品包括準備輸入、執行模型、管理輸出及向用戶提供控制項所需的資源。

因此,評估 Mini 的開發者應區分幾個問題:安裝程式必須分發甚麼?甚麼需要稍後下載?語音運行時有甚麼會留在記憶體中?應用程式切換語言時會發生甚麼?

這些問題反映不同的資源需求。將它們視為可互換,可能造就一張吸引人的規格表,卻帶來意料之外繁瑣的安裝體驗。

對桌面應用程式而言,關鍵界線是交付給用戶的功能。用戶感受到的是啟用語音所需時間,以及其後佔用的空間。他們很少在意哪一部分屬於模型權重。

對內部管理的應用程式而言,管理員還會關注可重現性。他們需要知道哪些資源屬於同一組合,以及部署能否在不依賴持續變動的上游預設值下重建。

精簡模型仍可很好地符合這項要求。重點是在把標題檔案大小寫進產品承諾前,先確定完整套件。

記憶體值得另行關注。儲存空間描述靜態檔案;記憶體描述應用程式運行時消耗的資源。小型下載本身並不能回答運行中的程序需要多少記憶體。

同樣的區分也適用於啟動。下載資源、載入模型、準備文字及產生音訊是不同活動。把它們混合成未經解釋的速度宣稱,會掩蓋用戶實際要等候的事情。

這對偶爾使用的語音功能尤其相關。一個不常啟用的文件閱讀器,可能把大部分感知延遲花在準備說話上。持續運行的服務則面對不同的工作負載。

兩種安排本身都沒有高下之分。正確評估取決於產品預期行為,包括用戶是否容許播放開始前的準備時間。

更新也是另一個問題。若語音資源改變,團隊需要了解哪些內容必須更新,以及舊有輸出能否保持可重現。這項責任應納入部署決定之中。

這些是評估標準,不是對 Mini 已量度的不足之處。本文並未安裝完整套件或量度其資源消耗。

可辯護的詮釋比承諾以極小下載提供整個語音系統的標題更為收窄。KittenML 提供精簡權重,而周邊資源仍是工程評估的一部分。

這仍然很有意義,只是把優勢放在正確層面。

較小模型改變部署選擇

KittenML 的Nano 語音模型為該系列提供另一個參考點。其文件列出每個語言模型有 1,700 萬個參數、支援八種語言、37 種聲音及 24 kHz 輸出。所列的 int8 ONNX 權重佔用 17.4 MB。

「每個語言模型」這個說法很重要。當開發者比較部署需求時,應保留這個修飾語於參數數量之上。特定語言元件與更廣泛的多語言模型,是不同的比較單位。

這個系列提供了覆蓋範圍與封裝方式的選擇,但並未建立品質排名。

在有限語言範圍內推出語音功能的團隊,可能會先評估較小的選項。另一個團隊則可能優先考慮更廣泛的語言目錄。僅憑參數數量,無法作出任何一項決定。

參數是塑造模型行為的已學習數值。其數量描述規模,卻不能直接為特定任務的發音、表達力或可靠性排名。

更廣泛市場提供了一個有用的歷史參考。Kokoro 語音模型同樣有 8,200 萬個參數,並採用 Apache 授權的權重。其已發布的資訊列出 1.0 版本支援八種語言及 54 種聲音。

這些規格確立比較點,而非勝負。相同的參數數量不代表相同的架構、訓練材料、輸出品質或執行行為。

對開發者而言,壓力落在「語音必須作為遙距能力購買」這一預設假設上。當部署控制很重要時,可下載的替代方案令這個假設值得重新檢視。

這並不表示託管語音失去合理性。產品團隊可能偏好服務,因為希望由另一個組織管理模型運作。另一個團隊則可能接受更多工程工作,以便在本機控制執行。

這是本文的核心取捨:部署控制權帶來交付體驗的責任。

遙距服務可透過其整合及運作行為判斷。下載模型還必須透過封裝、相容性及團隊維護能力來判斷。

當比較附帶具體產品時,會更有用。想像一個讀出已核准教學文字的培訓應用程式。其優先事項可能包括易懂語音、可預測的播放及易於管理的安裝。

再想像一個預期在人們等候時作出回應的互動助理。其優先事項會更重視回應時機及中斷處理。適合第一個應用程式的模型,未必自動符合第二個。

這些是假設情景,並非經核實的 KittenML 客戶部署。它們說明為何通用排名會掩蓋讀者真正面對的決定。

同樣的邏輯亦適用於模型系列內部。當較小元件的範圍符合應用程式時,便值得考慮;當語言需求有充分理由時,更廣泛的覆蓋範圍亦值得考慮。

因此,這次發布擴大了評估範圍,卻沒有免除在比較候選方案前界定成功含義的需要。

量化改變儲存需求,而非證據標準

量化以較低的數值精度表示模型數值。ONNX 量化文件說明,這可能帶來準確性變化,而效能收益取決於模型及硬件。

這項一般指引對解讀 Mini 的部署格式很重要。降低精度是會帶來後果的工程決定,值得量度。它不應成為宣稱聲音完全相同或普遍加速的捷徑。

精簡執行格式確立了可測試的選項,而非已驗證的效能結果。

對語音而言,有用的評估必須把數值選擇與聽眾實際聽到的內容連繫起來。輸出檔案即使技術上有效,仍可能包含令人分心的停頓、不清晰的詞語或不一致的傳遞方式。

公平的比較應在各個可用執行途徑中使用相同輸入材料,亦應清楚記錄環境,讓另一位開發者能重現結果。

其目的在於回答一個具體的部署問題:較小型的表示方式,能否為這項應用保留可接受的輸出品質?它能否在應用程式的資源限制內產生這些輸出?

這是兩個不同的問題。可接受的聲音品質不代表回應時間同樣可接受。生成速度較快,也不能合理化令使用者難以聽懂的語音。

本文沒有就 Mini 的不同執行格式進行聆聽比較,亦沒有重現延遲結果,即量度已過去的回應時間。因此,本文不主張品質相等或速度優勢。

CPU 執行同樣需要審慎表述。與某處理器相容,只能證明存在一條受支援的路徑,並不說明該路徑在產品可能支援的每部機器上表現如何。

背景文件匯出可容忍的等候方式,與互動式閱讀按鈕不同。共用工作站的表現,亦可能與專為語音生成而設的機器不同。產品要求決定哪種分別最重要。

ONNX Runtime 的 CPU 執行緒管理 文件說明可設定的平行執行及資源取捨。其指引再次突顯,在報告結果時有需要記錄運行時設定。

欠缺這些細節的基準測試,可能令讀者無法分辨模型行為與配置選擇。同一模型名稱可存在於採用不同資源政策的應用程式中。

開發人員亦應分辨開始播放與完成生成。一個能有效率地完成音訊檔案的系統,使用者在聽到任何內容前,仍可能需要承受不舒適的等候。

相反,預先準備旁白的產品,可能更重視總處理時間,而非即時播放。評估應配合預期的使用體驗。

這正是該版本的部署主張值得留意、但不應加以渲染的原因。它為在 CPU 上實驗開闢了一條路徑。接下來要做的是確立這條路徑最適合哪些工作負載。

獨立且可重現的量度,將令這項評估容易得多。在此之前,規格與量度結果應保持分開。

語言覆蓋範圍需要聆聽證據

語言標籤只告訴開發人員應從何處開始測試,並不能說明使用者會否在真實工作流程中接受所產生的語音。

最有力的評估,是檢視聽眾能否準確而舒適地理解內容。

對文件閱讀器而言,這不只是辨認一般詞語。姓名、縮寫、日期、技術標記及標點符號,都可能決定語音版本能否保留原文含義。

例如,一款為工程用途而設的閱讀器,可能會遇上產品識別碼及縮寫單位。即使某把聲音在對話句子中聽起來悅耳,仍需以這些材料作評估。

行政內容亦是如此。錯讀一個識別碼,可能比稍為不自然的轉折更重要。錯誤的影響取決於音訊所承擔的工作。

這些例子說明評估的優先事項,並非 Kitten TTS 2 Mini 已被報告的問題,亦不應被誤當作測試結果。

語言評估亦需要合適的聽眾。英語評估者可以察覺另一種語言中的靜音或失真,卻無法可靠地判斷每一個發音或措辭錯誤。

因此,多語言產品需要的不只是中央團隊批准一批樣本。其驗收標準應反映預期使用各種語言的人士。

聲音描述帶來另一項分別。暗示傳達風格的標籤可協助使用者挑選候選聲音,卻不能取代實際聆聽該聲音如何處理產品本身的內容。

較長篇幅的材料亦值得注意。一把聲音可能留下良好的第一印象,卻會在持續播放時令人疲累。這是產品體驗問題,需要具代表性的聆聽環節才能回答。

該版本沒有確立 Mini 在這類環節中的表現。讀者不應以熱情或假定的失敗來填補這個空白。

一個公平而審慎的立場是具體的:已公開的工件足以支持評估,但現有規格未足以斷定其在整個受支援目錄中的聆聽品質。

這個立場亦避免憑空製造爭議。本文沒有提出任何已核實的獨立背書或批判性聆聽研究。缺乏這些材料,限制了可得出的結論。

對知識應用程式而言,潛在關聯相當直接。只要語音版本保持忠實且可用,語音便可成為消費書面內容的另一種方式。

使用技術知識庫的團隊,可將語音評估視為下游產品問題。先確立來源內容,再判斷旁白能否保留其中的資訊。

這種連結並不表示 KittenML 與 remio 已整合。它指出讀者共同關注的問題:如何在不失去資訊可信賴所依賴的細節下,讓有用資訊更易取得。

因此,實際利害關係仍然具體。開發人員需要知道,在其使用者所需的語言及部署限制下,模型能否把其內容讀得足夠好。

廣泛的目錄展開了這項調查。來自具代表性使用情境的證據,決定它會通向何處。

甚麼能加強本機語音的理據

下一階段應以可觀察的證據判斷,而非更多吸引眼球的規格。以下幾項發展可協助開發人員判斷 Mini 是否適合用於正式產品。

最有用的訊號依次是可重現的效能、可信的語言評估,以及可維護的整合。

首先,獨立效能報告應列明機器、模型修訂版本、執行格式及工作負載,並分辨準備時間、可供播放的時間及完成時間。

如結果在具代表性的硬件上仍然實用,便可加強部署理據。若結果僅限於異常有利的條件,模型值得考慮的應用範圍便會收窄。

負面發現同樣有用。清楚交代一項限制,可協助開發人員避免重複不合適的實驗。可重現性比結果是否令該版本顯得出色更重要。

其次,聆聽評估應涵蓋具代表性的內容,並包括有資格評估每種測試語言的人士。比較應說明聽眾評估了甚麼,以及他們聽過哪些替代方案。

如輸出持續清晰易懂,便可加強多語言部署的理據。若錯誤集中在特定語言或文字類別,便可識別團隊需要謹慎處理或改用其他選項的範圍。

重要成果是建立一幅適用性地圖。應用程式可圍繞已知限制作出穩妥決定;當廣泛主張掩蓋語音仍然可靠的條件時,則難以作出判斷。

第三,持續維護的整合應展示初步示範以外的情況。有用證據包括完整封裝、可預期的更新、已有文件記載的失敗行為,以及支援產品實際使用的文字。

這項訊號可加強模型能成為可靠元件的理據。然而,孤立的示範不論多吸引,仍會令維護問題懸而未決。

這些觀察應保持分開。持續維護的封裝程式不代表發音出色。良好的聆聽結果亦不能證明安裝體驗可接受。

目前而言,Kitten TTS 2 Mini 為開發人員提供了一個具體的替代選項以供研究。其重要性在於提供了一種部署選擇,而其適合程度仍屬應用程式層面的判斷。

在選擇語音引擎前,先選擇一份具代表性的文件。納入使用者實際遇到的姓名、縮寫、語言轉換及棘手格式。比較完整的應用程式行為,包括安裝過程及播放前的等候時間。請合資格的聽眾判斷語音版本是否保留原意,並維持舒適的聆聽體驗。把這些發現連同現有語音選項一併保存,並記錄所測試的模型修訂版本及環境。Kitten TTS 2 Mini 值得這種立足實況的比較,因為可下載的語音能改變功能運行的位置及負責維護的人。把這個版本視為蒐集證據的理由,然後讓使用者所需的體驗決定部署選擇。

 
 

為每個智能代理提供更完整的背景,提升工作表現

讓智能代理連接 remio 已整理好的知識、決策和歷史紀錄。

remio 目前支援 Windows 10+(x64) 及配備 Apple 晶片的 Mac。

你的 AI 工作夥伴
和 remio 一起高效工作

規劃、創作、交付
一站式完成

bottom of page