top of page

DeepL Aure 语音模型不再依赖固定语音样本

43分钟前
讀畢需時 12 分鐘
Illustrative photograph. Photo: cottonbro studio / Pexels.

DeepL 于 11 月 11 日发布 Aure,承诺实时翻译将能跟随说话者不断变化的语音表达,而非依赖开场时的固定样本。DeepL Aure 语音模型初期支持八种语言。其核心主张关乎文字稿无法完全传达的内容:说话者听起来是否犹豫、强调、兴奋,或突然变得严肃。

这种差异改变了评判语音翻译的标准。识别出说话者固然有用,但在整段对话中保留其表达方式,对系统提出了更高要求。译文或许用词正确,却仍可能让听众形成错误印象。

DeepL 进入这一阶段时,Google Meet 和 Microsoft Teams 已提供具备声音保留功能的语音翻译。核心张力在于:既要维持可辨识的合成声音,又要忠实呈现不断变化的表达。对于企业买家而言,在评估多语言对话时,Aure 让这种区别变得更具现实意义。

DeepL Aure 语音模型会在对话过程中改变表达方式

根据 DeepL 的 Aure 语音模型公告,该系统会持续利用源语音频和翻译后的文字来塑造语音输出。它旨在呈现语调、情绪、重音和语速的变化。

Aure 会自动应用于 DeepL Voice for Online Meetings、In-Person Conversations 和 Voice API——一项面向开发者的软件接口。首批支持的语言为英语、德语、西班牙语、法语、意大利语、日语、葡萄牙语和韩语。其他已获 Voice 支持的语言则继续使用现有模型。

这项变化关乎译语语音在对话中如何发展,而不只是说话者是否仍然可被辨识。

这意味着该发布是对既有产品的升级。读者不应将这一公告理解为 DeepL 首次进入语音翻译领域,也不应认为产品中其他已支持的每一种语言都将获得新模型。

这种历史上的区分很重要,因为 DeepL 在 Aure 之前就已介绍过富有表现力的语音功能。其 9 月 15 日的语音保留更新提到保留身份、语调、情绪和语速。该公告还推出了一款可与主流会议平台协同工作的桌面应用。

9 月的表述与 11 月的承诺因此存在重叠。真正有意义的区别,比从无情感翻译迈向富有表现力的翻译要更细微。DeepL 现在描述的是一个会随表达变化而调整的系统,而不是仅在对话开场时确定译语声音。

对于现有客户而言,这一差异带来了一个具体的评估问题:原说话者表达方式的变化,是否会在译文中引发恰当的变化?在整场通话中听到熟悉的声音,并不能回答这个问题。

以一个假设的项目讨论为例:一位经理起初轻松随意,随后在解释截止日期不能调整时语气变得坚定。翻译需要保留这种变化,同时不能让这位经理显得充满敌意。

反向情形同样重要。说话者在意识到同事的担忧后,可能会缓和表达。如果译语声音依然强硬,尽管措辞准确,听众接收到的人际信息仍会不同。

这些例子说明了买家应当考察的能力,而非已获记录的 Aure 客户成果。它们也解释了为什么一次模型更新值得关注,而不只是看其音频样本是否悦耳。

该公告给了客户重新审视其评估翻译会议方式的理由,但其本身并不能证明这一新行为能以何种一致性发挥作用。

可辨识的声音并不保证传达正确含义

声音身份与语音表达回答的是不同问题。身份有助于听众识别谁在说话;表达则帮助他们理解说话者此刻的意思。

韵律,即语音的节奏、重音和语调,承载了部分表达。要保留韵律,不能只为翻译后的句子选择一个令人信服的声音。随着对话变化,表达方式也必须保持恰当。

译语声音可能像原说话者,却错误呈现其确定性、紧迫感或担忧程度。

设想这样一句话:“我们明天可以讨论这件事。”轻松的表达或许传达了灵活性;简短生硬的表达可能暗示讨论已经结束;犹豫的版本则可能表明说话者不确定明天是否可行。

仅凭措辞无法判定这些差异。文字翻译或许保留了字面命题,却丢失了词语与其表达方式之间的关系。这正是更具表现力的语音翻译的实际切入点。

不过,忠实传递表达并不一定意味着逐字逐项复现每一种声学特征。不同语言组织句子的方式不同,重音也需要落在对应的含义上。脱离这种关系去复制重音模式,仍是不完整的解决方案。

这为评估设立了很高的标准。听众需要判断译文是否传达了相同的立场,而不只是听起来是否生动。更多变化并不自动意味着更忠实的变化。

对于一个假设的客户支持通话而言,这种区别立刻可见。客户可能听起来沮丧,但仍保持礼貌。淡化这种沮丧,可能使客服低估问题;夸大它,则可能让交流变得不必要地对立。

理想的输出应位于这两种错误之间。它应传达相关的表达信息,而不加入原说话者并未支持的解读。这比生成听起来引人入胜的语音更难实现。

讽刺尤其能说明这一边界。一句用明显不满语气说出的愉快话语,可能与其字面含义相矛盾。然而,系统能够复现某种语音线索,并不意味着每位听众都会正确理解它。

语境同样重要。熟悉的同事可能听得出一个冷幽默,而第一次见到说话者的人则可能感到困惑。语音翻译系统无法消除原始交流中本就存在的所有歧义。

因此,DeepL Aure 语音模型促使人们以更广泛的方式定义翻译质量。正确的词语仍然至关重要,但听众也需要对说话者的立场形成合理忠实的理解。

这种更广泛的定义不应成为模糊评估的借口。买家可以考察听众是否识别出预期的保留态度,能否区分请求与要求,以及是否能察觉确定性的变化。

这些是建议的评估标准,而不是已报告的 Aure 结果。它们的价值在于将语音表达与沟通结果联系起来,而非将自然的音频视为充分证据。

会议平台提高了专业翻译的门槛

DeepL 的发布正值语音保留翻译已出现在广泛使用的会议产品中。这一背景使富有表现力的表达与竞争相关,但并不能证明哪家提供商表现最佳。

Google 于 10 月 22 日发布的语音翻译扩展公告称,Meet 已支持 63 种语言。此次更新包括自动口语语言检测、单个参会者控制功能,以及与翻译音频同步的字幕。

Microsoft 的 Interpreter voice simulation文档描述了以用户本人声音生成的译语语音。其会议界面还会提示参会者何时仍在聆听口译内容。

声音相似性已是竞争格局的一部分,因此买家需要了解相似性之外会发生什么。

不应将这些产品简化为语言数量的竞争。Google 的支持语言总数与 Aure 的初始模型覆盖范围描述的是不同维度。若不作区分地比较,会将整体可用性与获得某项特定能力混为一谈。

更有用的比较应围绕同一段对话:每个系统能否保留相同的限定语,能否恰当地回应表达方式的变化,又能否让参会者在不困惑的情况下轮流发言?公开的功能描述无法解决这一比较。

对于 DeepL 而言,战略压力很直接。专业翻译产品必须给客户一个理由,使其在已有会议环境中的功能之外加以评估。富有表现力的忠实度提供了一个可能的理由,前提是用户能察觉到有意义的改进。

对于会议平台而言,压力则来自另一个方向。一旦用户期待译语语音能保留不断变化的立场,可辨识的声音就只构成整体体验的一部分。聆听控制与轮流发言提示也变得相关。

Microsoft 的等待指示器凸显了这种联系。翻译可以被理解,却仍会影响参会者何时应当发言。对话不仅包含生成的音频,也包含指引人们如何围绕它互动的信号。

开发者还面临同一决策的另一种形式。通过软件接口访问提供了灵活性,但也使应用设计者需负责周边体验。译语声音需要清晰的控制方式和可理解的行为表现。

例如,一个假设的支持应用应清楚表明翻译何时处于启用状态。它也应让参与者能够澄清不确定的陈述。这些是设计层面的影响,而非对某个特定 Aure 集成的主张。

因此,竞争问题比哪家公司能做出最令人信服的演示更广泛。买家需要理解完整的交互体验,包括语言覆盖范围、参会者控制,以及在对话变得困难时的系统行为。

本文审阅的内容中,没有经过验证的对比能够证明 Aure 领先于 Google 或 Microsoft。它们已记录在案的功能提供的是市场背景,而非排名。Aure 的意义取决于 DeepL 现在所称其改进的具体行为。

富有表现力的语音需要的不只是有说服力的演示

一场有说服力的演示可以展示系统在选定示例中生成富有表现力的音频,却无法证明系统在不同说话者、环境和对话场景下保留含义的可靠程度。

DeepL 的发布并未提供独立的 Aure 质量对比或测量所得的延迟结果。延迟指原始语音与其翻译输出之间的时间差。缺少这些证据限制了对性能的结论。

自然的语音与忠实的理解需要分别判断。

关于语音情感的研究提供了一个有益的警示,尽管它并未直接评估 Aure。VocalAffectBench study 考察了音频模型能否从录制的英语语音中识别表达出的情绪。

研究人员报告称,不同情绪类别的表现并不均衡,并将所评估基线模型的识别能力描述为脆弱。这是一项分类任务,即模型选择情绪标签。它并非对 Aure 或多语言表达性翻译的测试。

这一差异避免了一个看似顺理成章、实则无效的结论。该研究无法证明 Aure 成功或失败。它确实说明,关于情感理解的主张需要明确的任务定义、公开的方法,以及超出精致示例之外的证据。

对于 Aure,评估目标应与产品主张相匹配。听众判断译后说话者的声音是否自然,回答的问题不同于译后表达是否与原始表达相符。

有价值的比较应将这些判断分开。评估者可以分别衡量措辞、表达出的立场和对话时机。否则,悦耳的声音可能会影响人们对准确性的看法,却未必真正提升准确性。

困难示例应包含对话中的变化。在简短样本中始终保持热情的说话者,对适应能力提供的证据有限。从热情转为担忧,则更直接地检验所宣称的改进。

背景条件同样重要。评估应公开参与者是在安静房间、使用共享麦克风,还是处于普通办公室环境。没有这些背景信息,读者无法判断演示与自身通话场景有多接近。

讽刺和犹豫尤其需要谨慎对待。不应仅因它们构成令人印象深刻的示例,就将其写成标题式主张。它们的解读可能依赖于短音频片段未包含的上下文。

买方还应区分保留表达方式与识别某人的内在情绪状态。系统可以复现可听见的表达方式,却并不意味着它知道一个人的感受。将这两种能力混为一谈,会夸大输出实际能够证明的内容。

当译后的声音显得自信时,这一点尤为重要。听众可能会自然地将这种自信视为判断线索,即便底层陈述包含不确定性。评估应检验输出是否同时保留限定语和风格。

实际需要承担的责任,是在公开条件下证明沟通的忠实性。独立听测将增强 DeepL 的论据。在此之前,这一公告只能支持对该能力的报道性描述,而非经过验证的性能结论。

隐私与会议记录需要分别作出决策

DeepL 表示,Voice 不会永久存储会议转录或翻译内容,并会在会话结束时从内存中删除会话数据。这一说法涉及所描述服务内的数据留存。

一项留存声明无法回答组织如何处理周边会议流程的所有问题。

企业仍需了解其完整工作流程。参与者可能使用独立录音工具、撰写笔记,或将译文复制到其他地方。这些行为涉及翻译模型本身之外的决策。

这一区别很重要,因为实时口译和长期保存的文档服务于不同目的。口译帮助参与者在交流发生时理解内容。会议记录则帮助他们在交流结束后回顾决策。

多语言项目团队可能两者都需要,但应分别界定。译后的音频不应仅因参与者在讨论期间听到了它,就悄然成为权威记录。

设想一场说明性的供应商谈判。一名参与者表达了暂时同意,同时要求另一团队确认。译后的表达有助于听众理解这份保留意见,但书面跟进也应明确保留它。

将其概括为无条件批准,会造成与译后声音生硬不同的问题。更好的语音表达并不能免除核实实际作出何种决定的必要。

这自然关联到个人知识管理。长期任务是整理已确认的决定、未决问题和支持性上下文,以便人们日后检索。

该工作流程应尊重会议的许可和录制规则。团队可以选择保存一份获准的摘要,而不应假定每一段口头交流都需要永久存储。合适的记录取决于其用途。

对于开发者而言,同样的区分有助于避免含糊的产品行为。应用应说明其是翻译实时音频流、保留转录文本,还是创建可搜索记录。用户不应必须从一种能力推断另一种能力。

组织还需要一种化解误解的方式。如果参与者对一段译文存在分歧,下一步应是向说话者澄清。一段看似可信的合成表达不应成为解决争议的依据。

这些是使用表达性翻译的运营层面影响,而非某项具体 Aure 缺陷的证据。随着输出承载越来越多一个人可辨识的表达方式,它们也会变得更为相关。

译后的语音越接近某个个体,工作流程就越应谨慎区分生成式口译与该个体确认过的承诺。信任取决于让这种区别易于理解。

因此,Aure 的留存声明是有用的,但范围有限。买方应结合自身会议实践和所连接应用的行为来理解它,而不应将其视为完整的工作流程政策。

关注覆盖范围、独立测试与持续使用

DeepL Aure 语音模型为客户提供了一项可具体考察的新能力。未来三个月中,最有价值的证据将涉及语言扩展、独立评估和持续使用。

进展应体现在有文档支持的覆盖范围和可重复的沟通成果上,而非越来越富于表达力的宣传样本。

第一个信号是 Aure 增加语言支持。DeepL 表示将陆续支持更多语言,但公告未提供带日期的扩展时间表。公开的支持更新将明确新行为可在哪些场景中使用。

随着该列表变化,整体 Voice 覆盖范围与 Aure 覆盖范围之间的区别应保持清晰。买方需要知道模型是否覆盖其实际工作语言,而不只是更广泛的产品是否支持翻译。

扩展将增强 Aure 能服务更多多语言团队的论据。即便标题中的语言总数持续增加,模型覆盖范围不清晰仍会削弱这一论据。可用性需要准确描述该能力。

第二个信号是对表达方式、翻译准确性和时机的独立评估。一项有价值的评估应说明其参与者、语言对、音频条件和评分方法,也应区分自然度与忠实度。

若结果显示听众能更好地理解确定性或强调程度的变化,将支持核心产品主张。若结果只表明人们偏好悦耳的声音,则只能证明更有限的益处。

时机也应纳入评估,因为口译发生在互动之中。参与者需要知道译后的发言何时结束,以及自己何时可以回应。仅靠音频质量无法捕捉这种体验。

与替代系统进行公开比较将补充有用的背景。它应使用等价材料和可比条件,而非混合不相关的供应商演示。没有这些控制因素,表面差异可能反映的是示例本身。

第三个信号是在日常工作中的重复使用。最具参考价值的客户案例应说明哪些对话从中受益、参与者仍在哪些地方需要澄清含义,以及初次试用后是否仍持续使用。

一次发布背书无法回答这些问题。一个熟悉的客户名称同样无法证明 Aure 为该组织改善了结果。证据需要将模型与具体用途及所报告的结果联系起来。

若重复使用报告显示团队识别出了更清晰的交流和可管理的局限性,将增强这一论据。若对语气或轮次衔接的困惑持续存在,则会削弱它。这两种结果都比笼统表达热情更具信息价值。

对于开发者而言,这些信号应指导他们将多少责任交给生成的表达方式。对于企业买方而言,它们应在一场令人信服的演示变成采购假设之前,塑造评估标准。

从团队已感到困难的一段对话开始,例如附带保留条件的批准,或仍保持礼貌的分歧。请双语参与者判断,译后的措辞和表达是否传达了相同立场。将聆听质量与随后记录决策的准确性分开。使用相同材料比较替代方案,并记录参与者在哪些地方需要澄清。当语言支持或评估证据发生变化时,重新审视这一评估。DeepL Aure 语音模型将表达方式的变化作为一项明确产品主张;下一步有价值的做法,是用团队需要理解的真实对话来检验这一主张。翻译是否保留了说话者的本意,包括他们未用言语明确说出的保留意见?

 
 

免费开始使用

一款本地优先的AI助手

为了获得更好的人工智能体验,

remio 目前仅支持Windows 10+ (x64)和M-Chip Mac 。

你的 AI 工作伙伴

和 remio 一起高效工作

规划、创作、交付

一站式完成

bottom of page