top of page

DeepL Aure 語音模型突破固定聲音樣本限制

1 小時前
讀畢需時 11 分鐘
Illustrative photograph. Photo: cottonbro studio / Pexels.

DeepL 於 11 月 11 日發布 Aure,承諾提供能跟隨聲音表達變化的即時翻譯,而非依賴開場時的固定樣本。DeepL Aure 語音模型初期支援八種語言。其核心主張關乎文字稿無法完整捕捉的事:說話者聽來是猶豫、強調、興奮,還是突然變得嚴肅。

這項差異改變了評估語音翻譯的標準。辨識說話者固然有用,但在整段對話中保留其表達方式,對系統提出更高要求。翻譯後的句子即使字詞正確,仍可能令聽者留下錯誤印象。

DeepL 進入這個階段時,Google Meet 與 Microsoft Teams 已提供具保留聲音功能的翻譯語音。核心張力在於:合成聲音既要容易辨認,又要忠實呈現不斷變化的表達方式。對企業買家而言,Aure 令這項差異在評估多語言對話時更值得關注。

DeepL Aure 語音模型會隨對話改變表達方式

根據 DeepL 的 Aure 語音模型公告,系統會持續運用原始音訊及翻譯後的文字來塑造語音輸出,目標是捕捉語調、情感、重點與節奏的變化。

Aure 會自動套用於 DeepL Voice for Online Meetings、In-Person Conversations 及供開發者使用的軟件介面 Voice API。初期支援英語、德語、西班牙語、法語、意大利語、日語、葡萄牙語及韓語。其他獲 Voice 支援的語言則繼續使用既有模型。

這項改變關乎翻譯語音如何在對話中發展,而不只是說話者是否仍然容易辨認。

這使是次發布成為既有產品的升級。讀者不應將公告理解為 DeepL 首次涉足語音翻譯,也不應假設產品中其他獲支援的語言均可使用新模型。

這個歷史上的區別很重要,因為 DeepL 在 Aure 之前已描述過具表達力的語音功能。其 9 月 15 日的聲音保留更新提到保留身份、語調、情感及節奏。該公告亦推出可配合主要會議平台使用的桌面應用程式。

9 月的措辭因此與 11 月的承諾有所重疊。真正有意義的區別,並非從無情感翻譯轉向具表達力翻譯,而是 DeepL 現在所描述的系統會跟隨表達方式的變化,而非只在對話開首確立翻譯聲音。

對現有客戶而言,這項差異帶來一個具體的評估問題:原始說話者的表達方式改變時,翻譯是否也會作出恰當調整?在整通電話中聽到熟悉的聲音,並不足以回答這個問題。

設想一段示例性的項目討論:經理起初語氣隨意,然後在解釋截止日期不能延後時變得堅定。翻譯需要保留這個轉變,同時不能令經理聽來帶有敵意。

反過來的情況同樣重要。說話者在察覺同事的憂慮後,可能會放柔語氣;若翻譯語音仍然強硬,儘管用詞準確,聽者接收到的人際訊息便會不同。

這些例子說明買家應檢視的能力,而非有記錄可查的 Aure 客戶成果。它們亦解釋了為何模型更新值得關注,不能只看示範音訊是否悅耳。

這項公告讓客戶有理由重新檢視評估翻譯會議的方式,但單憑公告本身,尚不足以證明新行為能有多一致地發揮作用。

容易辨認的聲音不保證傳達正確意思

聲音身份與聲音表達回答的是不同問題。身份有助聽者辨認誰在說話;表達則有助他們理解說話者當下的意思。

韻律,即說話的節奏、重音及語調,承載了部分這種表達。要保留韻律,不能只為翻譯句子選用一把可信的聲音;隨着對話改變,表達方式也必須維持恰當。

翻譯語音可以聽起來像原說話者,卻錯誤呈現其確定程度、急切性或憂慮。

試想一句:「我們明天可以討論。」放鬆的說法可能傳達彈性;簡短生硬的說法可能表示討論已告一段落;猶豫的版本則可能顯示不確定明天是否可行。

單靠措辭無法判定這些差異。文字翻譯可能保留字面命題,卻失去字詞與說話方式之間的關係。這正是更具表達力的語音翻譯可發揮作用的實際空間。

然而,忠實傳遞表達並不一定等於逐字逐項複製每個聲學特徵。不同語言組織句子的方式不同,重點需要落在相應的意思上。若只是複製重音模式而缺乏這層關聯,便是不完整的解決方案。

這為評估建立了嚴格標準。聽者需要判斷翻譯後的陳述是否傳達相同立場,而不只是聽來是否生動。有更多變化,並不自動代表變化更忠實。

對假設性的客戶支援通話而言,這種區別立即可見。客戶可能感到挫折,但仍然保持禮貌;若把這種挫折淡化,客服人員可能低估問題;若加以誇大,交流則可能變得不必要地對立。

理想的輸出介乎兩種錯誤之間:它應傳達相關的表達,同時不加入原說話者未有支持的詮釋。這比生成聽來吸引的語音更難達成。

諷刺尤其能說明這個界線。一句愉快的說話若帶着明顯不滿的語氣,可能與其字面意思相矛盾。然而,系統能否重現某個聲音提示,並不代表每位聽者都會正確理解。

語境同樣重要。熟悉的同事可能聽得出冷面笑話,但初次認識說話者的人可能會感到困惑。語音翻譯系統無法消除原始交流中本已存在的所有含糊之處。

因此,DeepL Aure 語音模型引出了更廣闊的翻譯品質定義。正確字詞仍然不可或缺,但聽者亦需要對說話者的立場有合理忠實的理解。

這個較廣的定義不應成為含糊評估的藉口。買家可檢視聽者能否辨識原意中的保留、區分請求與要求,以及察覺確定性何時改變。

這些是建議的評估準則,而非已報告的 Aure 結果。其價值在於將聲音表達與溝通成果連繫起來,而非把自然的音訊視為充分證據。

會議平台提高專業翻譯的門檻

DeepL 的發布正值保留聲音的翻譯已出現在廣泛使用的會議產品中。這個背景令具表達力的傳遞方式與競爭更相關,但並不能據此判定哪個供應商表現最佳。

Google 於 10 月 22 日公布的語音翻譯擴展,宣布 Meet 支援 63 種語言。更新包括自動偵測口語語言、個別參與者控制功能,以及與翻譯音訊同步的字幕。

Microsoft 的 Interpreter 語音模擬文件描述以使用者本人聲音生成的翻譯語音。其會議介面亦會顯示參與者何時仍在聆聽傳譯。

聲音相似度已是競爭格局的一部分,因此買家需要知道相似度以外會發生甚麼。

不應把這些產品簡化為語言數量的競賽。Google 的支援語言總數與 Aure 的初始模型涵蓋範圍描述的是不同範疇;若不作區分便加以比較,會混淆整體可用性與特定能力的可用性。

較有用的比較應跟隨同一段對話:每個系統能否保留相同的限定條件、對表達方式變化作出恰當反應,並讓參與者在不混亂的情況下輪流發言?公開功能描述無法解答這項比較。

對 DeepL 而言,策略壓力很直接:專業翻譯產品必須讓客戶有理由將它與會議環境中已有的功能一併評估。具表達力的忠實度或可成為一個理由,前提是使用者能察覺有意義的改善。

對會議平台而言,壓力則朝另一方向發展。一旦使用者期望翻譯語音能保留不斷變化的立場,容易辨認的聲音便只是整體體驗的一部分。聆聽控制和輪流發言提示亦變得重要。

Microsoft 的等候指示器突顯了這種關聯。翻譯可以容易理解,卻仍會影響參與者應在何時發言。對話既包括生成的音訊,也包括告訴人們如何圍繞它互動的訊號。

開發者面對的是同一決定的另一個版本。透過軟件介面存取服務帶來彈性,但亦令應用程式設計者必須為周邊體驗負責。翻譯語音需要清晰的控制方式及容易理解的行為。

例如,假設性的支援應用程式應清楚表明翻譯何時啟用,亦應讓參與者能夠澄清不確定的陳述。這些是設計上的啟示,而非對特定 Aure 整合的主張。

因此,競爭問題不止於哪家公司做出最令人信服的示範。買家需要了解完整互動,包括語言覆蓋、參與者控制,以及對話變得困難時的行為。

本文檢視的資料中,沒有經驗證的比較顯示 Aure 領先 Google 或 Microsoft。它們有文件記錄的功能提供市場背景,並非排名依據。Aure 的意義建基於 DeepL 現在所稱已改善的特定行為。

具表達力的語音不只需要令人信服的示範

具說服力的示範可以顯示系統在選定例子中生成具表達力的音訊,但無法證明系統能否在不同說話者、環境及對話情況下可靠地保留意思。

DeepL 的發布未有提供獨立的 Aure 品質比較或量度得出的時延結果。時延是指原始說話與其翻譯輸出之間的延遲。這些缺乏的證據限制了對效能的結論。

自然流暢的語音與忠實的詮釋,需要分開判斷。

關於聲音情感的研究提供了一個有用的警示,儘管它並未直接評估 Aure。VocalAffectBench study 探討音訊模型能否從錄製的英語語音中辨識所表達的情感。

研究人員報告指出,不同情感類別的表現並不均衡,並形容所評估基準模型的辨識能力較為脆弱。這是一項分類任務,即模型選擇情感標籤。它並非對 Aure 或多語言表達式翻譯的測試。

這個區分避免了看似直接、實則無效的結論。該研究無法證明 Aure 成功或失敗。不過,它確實說明,關於情感理解的聲稱應有明確定義的任務、公開的方法,以及超越精美示例的證據。

對 Aure 而言,評估目標應與產品聲稱相符。聽眾判斷翻譯後的說話者聽起來是否自然,與判斷翻譯後的表達方式是否與原聲一致,是兩個不同問題。

有價值的比較應將這些判斷分開。評估者可以分別評估措辭、所表達的立場,以及對話節奏。否則,悅耳的聲音可能影響人們對準確性的看法,卻未必真正提升準確性。

困難的示例應包括對話中的變化。一位說話者在短樣本中始終保持熱情,對適應能力提供的證據有限。從熱情轉為關切的變化,則更直接檢驗所聲稱的改進。

背景條件同樣重要。評估應披露參與者是在安靜房間、使用共用咪高峰,還是在一般辦公環境中進行。缺乏這些背景資料,讀者便無法判斷示範與自身通話情境有多接近。

諷刺與猶豫尤其值得審慎處理。它們不應只因能成為令人印象深刻的示例而變成標題式聲稱。對它們的解讀可能依賴短音訊片段所不包含的語境。

買家亦應區分保留表達方式與偵測某人的內在情緒狀態。系統可以重現可聽見的表達,卻不代表知道一個人的感受。把這些能力交替描述,會誇大輸出結果所能證明的內容。

當翻譯後的聲音聽起來充滿信心時,這點尤其重要。聽眾可能自然地將這份信心視為線索,即使原有陳述其實包含不確定性。評估應檢視輸出是否同時保留限定語與風格。

實際上的責任,是在已披露的條件下證明溝通忠實。獨立聆聽測試可加強 DeepL 的論據。在此之前,這項公告支持的是對該能力的報道性描述,而非經驗證的效能結論。

私隱與會議記錄需要分開決定

DeepL 表示,Voice 不會永久儲存會議逐字稿或翻譯,並會在會話結束時從記憶體中刪除會話資料。這項說明處理的是所描述服務內的資料保留問題。

資料保留聲稱無法回答機構如何處理整場會議的所有問題。

公司仍需理解其完整工作流程。參與者可能使用獨立錄音工具、撰寫筆記,或將翻譯文字複製到其他地方。這些行動涉及翻譯模型本身以外的決策。

這個區分很重要,因為即時傳譯與持久文件記錄有不同用途。傳譯協助參與者在交流發生時理解內容。會議記錄則讓他們在交流結束後重溫決定。

多語言專案團隊可能兩者都需要,但應分別定義。翻譯音訊不應只因參與者在討論期間聽到它,便悄然成為具權威性的記錄。

想像一個供應商談判的例子。一名參與者表達暫時同意,同時要求另一個團隊確認。翻譯後的表達有助聽眾理解這項保留,但書面跟進亦應清楚保留它。

若摘要記錄為無條件批准,所造成的問題便不同於翻譯聲音不夠流暢。更好的聲音表達,不能取代核對實際作出了甚麼決定的需要。

這與個人知識管理自然相關。長遠的工作,是整理已確認的決定、待解問題及支持性背景資料,讓人們日後可以找回。

該工作流程應尊重會議的許可與錄音規則。團隊可以選擇保留獲批准的摘要,而不假設每一段口頭交流都需要永久儲存。合適的記錄取決於用途。

對開發者而言,同樣的區分有助避免含糊的產品行為。應用程式應說明它是否翻譯即時串流、保留逐字稿,或建立可搜尋記錄。用戶不應需要從一項能力推斷另一項能力。

機構亦需要一套處理誤解的方法。若參與者對翻譯後的陳述有分歧,下一步應是向說話者澄清。看似可信的合成表達不應終結爭議。

這些是使用表達式翻譯的營運影響,而非某項 Aure 具體缺陷的證據。隨着輸出承載愈來愈多個人可辨識的表達特徵,它們便愈見重要。

翻譯後的語音愈接近某個人,工作流程便愈應小心區分生成的傳譯與該人士已確認的承諾。信任取決於能否讓人理解這項區分。

因此,Aure 的資料保留聲明雖然有用,卻有其界限。買家應將其與自身的會議實務及已連接應用程式的行為一併理解,而非把它視作完整的工作流程政策。

關注報道、獨立測試與持續使用

DeepL Aure 聲音模型為客戶帶來一項具體的新能力,可供檢視。未來三個月,最有價值的證據將涉及語言擴展、獨立評估及持續使用情況。

進展應體現在有文件支持的覆蓋範圍及可重複的溝通成果,而非愈來愈具表現力的宣傳樣本。

第一個訊號是新增 Aure 語言支援。DeepL 表示會陸續加入更多語言,但公告未提供附日期的擴展時間表。已發布的支援更新可釐清新行為在哪些地方可用。

隨着列表改變,整體 Voice 覆蓋範圍與 Aure 覆蓋範圍之間的區別應保持清晰。買家需要知道其實際工作語言是否獲得該模型,而不只是整體產品是否支援翻譯。

擴展將加強 Aure 可服務更多多語言團隊的論據。即使標題中的語言總數持續增加,若模型覆蓋情況不清晰,這項論據仍會減弱。可用性需要準確描述該能力。

第二個訊號是對表達、翻譯準確度與時序的獨立評估。一項有用的評估應說明參與者、語言配對、音訊條件及評分方法,亦應區分自然度與忠實度。

若結果顯示聽眾能更好理解確定性或強調語氣的變化,便支持核心產品聲稱。若結果只顯示人們偏好悅耳的聲音,則只能證明較狹窄的好處。

時序亦應納入評估,因為傳譯發生於互動之中。參與者需要知道翻譯回合何時完成,以及何時可以回應。單靠音訊品質無法反映這種體驗。

與替代系統進行已披露的比較,會提供有用背景。比較應使用等效材料及可比較條件,而非混合無關的供應商示範。缺乏這些控制,表面上的差異可能只是示例本身造成。

第三個訊號是在日常工作中的重複使用。最有參考價值的客戶描述,會說明哪些對話受益、參與者仍會在哪些地方釐清意思,以及初次試用後使用是否持續。

產品發布時的背書無法回答這些問題。熟悉的客戶名稱也不能證明 Aure 改善了該機構的成果。證據需要把模型與特定使用情境及所報告結果連繫起來。

如果團隊指出交流更清晰且限制可控,重複使用的報告將加強論據。若對語氣或輪流發言持續感到混亂,則會削弱論據。兩種結果都比籠統表達熱情更有資訊價值。

對開發者而言,這些訊號應引導他們決定在多大程度上依賴生成的表達。對企業買家而言,它們應在具說服力的示範變成採購假設前,塑造評估準則。

先從團隊已覺得困難的一段對話開始,例如附帶條件的批准,或仍然保持禮貌的分歧。請雙語參與者判斷翻譯後的措辭與表達是否傳達相同立場。將聆聽品質與其後所記錄決定的準確性分開處理。以相同材料比較不同方案,並記錄參與者在哪些地方需要澄清。當語言支援或評估證據改變時,重新檢視這項評估。DeepL Aure 聲音模型將變化中的表達列為具體產品聲稱;下一步應是根據團隊需要理解的對話來檢驗這項聲稱。翻譯是否保留了說話者原本的意思,包括他們沒有用言語明說的保留?

 
 

為每個智能代理提供更完整的背景,提升工作表現

讓智能代理連接 remio 已整理好的知識、決策和歷史紀錄。

remio 目前支援 Windows 10+(x64) 及配備 Apple 晶片的 Mac。

你的 AI 工作夥伴
和 remio 一起高效工作

規劃、創作、交付
一站式完成

bottom of page