Vidu S2 实时视频从虚拟形象扩展至实时编辑

Vidu 发布了两款 Vidu S2 实时视频模型，在对话式虚拟形象之外进一步拓展至实时编辑，同时展示了通向空间视频的路径。此次发布包括 Vidu S2-Avatar 与 Vidu S2-Editing，二者均旨在于会话仍在进行时生成或转换画面。

这很重要，因为多数生成式视频产品仍基于“提交请求、等待结果”的工作流程。用户输入提示词，等待完整视频片段生成，查看结果后再开始新一轮生成。相比之下，Vidu S2 将视频视为持续运行的交互界面，可在人们说话、移动或引入新的视觉参考时作出响应。

此次发布也让 Vidu 加入了与 Runway、PixVerse、Odyssey 及其他追求交互式视频的开发者之间日益激烈的竞争。关键区别并不只是哪个系统能生成最吸引人的演示内容，而是实时生成能否在持续使用中保持可控、一致、可负担且安全。

Vidu 的技术论文报告了显著提升，包括以每秒 25 至 42 帧生成 720p 虚拟形象视频。论文还介绍了实时风格迁移、虚拟试穿、角色替换和背景替换。不过，许多评估由作者自行完成或自行挑选。

空间视频工作则仍处于更早阶段。Vidu 将其描述为面向 VR 头显的可行性探索，而非已有舒适度研究或独立立体画质测试支持的成熟产品。这种雄心勃勃的交互界面与尚不完整的现实验证之间的落差，定义了此次发布。

Vidu S2 实时视频分为两款模型

Vidu S2 将产品从单一交互式虚拟形象系统，扩展为更广泛的实时视频技术栈。

Vidu 于 2026 年 9 月 16 日宣布发布，相关技术论文则于 9 月 10 日公布。论文将系统划分为 Vidu S2-Avatar 和 Vidu S2-Editing，而不是通过一个公开界面强行处理两类任务。

Vidu S2-Avatar 根据身份图像、语音和指令生成数字角色。与固定的“会说话头像”视频不同，该角色可以在持续会话中不断作出回应。用户还可在视频流开始后引入新的参考图像。

这种动态参考可以代表物体、服装或场景。用户可以向角色展示一件夹克，并要求它穿上该物品。另一张参考图则可引导角色进入不同的背景或视觉语境。

早期的 Vidu S1 更专注于“会说话头像”交互。根据 Vidu S2 paper，S1 生成 540p 视频，并且难以处理幅度较大的身体动作。其定义参考在视频流开始后也始终固定不变。

S2-Avatar 将所称输出分辨率提升至 720p，同时保持每秒 25 至 42 帧的报告范围。Vidu 表示，该模型还能遵循涉及更大幅度肢体运动的指令，包括跳舞。

第二款模型处理的是不同类型的输入。Vidu S2-Editing 接收现有视频流，并在保留源视频动作与时序的同时改变其外观。它并非根据虚拟形象指令生成全部动作。

Vidu 列出了四类编辑能力。该系统可迁移视觉风格、替换服装、替换人物或角色，以及更换背景。指令可以包含文本和一张可选参考图像，以展示所需外观。

这一差异使产品的应用不再局限于虚拟主持人。直播主播可在无需录制多个版本的情况下预览服装。表演者也可以在保留原始动作时序的同时，以虚构角色形象出现。

同一系统还可为摄像头画面应用一致的插画风格。它也可以将主体置于不同环境中，而无需采用传统绿幕工作流程。这些仍是产品应用场景，并不能证明其具备生产环境的可靠性。

Vidu 的公开模型文档展示了两个分支如何纳入更大的服务体系。虚拟形象版本可接受角色图像、音频、动作指令和实时通信通道的组合。编辑版本则接受源视频流和替换素材。

文档还区分了高度集成式部署与组件化部署。托管版本提供更多通信、语音、语言和声音技术栈。组件版本则允许客户接入自有的实时通信和语音系统。

这一架构是此次发布的重要组成部分。Vidu 展示的不仅是一款研究模型或经过精心编排的演示，而是将实时生成式视频定位为可由开发者嵌入客户服务、教育、商业、游戏和娱乐产品的基础设施。

不过，此次发布不应被误认为是通用型世界模拟器。S2-Avatar 仍以生成角色为核心，S2-Editing 则跟随输入视频流。空间扩展增加了立体呈现，但并未建立持久的三维理解能力。

真正的转变是从渲染走向持续控制

核心机制是因果生成，即在未知未来的视频流尚未出现时生成下一段内容。

传统扩散视频系统通常通过反复去噪步骤处理完整视频片段。这种方法有助于模型在固定序列中协调各帧，但也使即时交互变得困难，因为系统必须等待整段视频完成。

实时模型面临相反的限制。它必须仅利用已经可用的参考、指令和历史信息生成下一批画面，无法查看尚未发生的动作或镜头运动。

这种因果过程会引入累积误差。身份、比例、动作或背景上的微小变化，都可能从一个片段传递到下一个片段。一段令人信服的开场内容，可能会在较长的对话过程中逐渐失稳。

Vidu 将其训练应对方案称为 Self-Replay Forcing。系统首先生成一段较长的自回归推演，也就是说，它生成片段时会部分依赖自身先前的输出。随后，系统为这段生成历史加入噪声，并在训练中重放该轨迹。

重放使这些片段在基于梯度的学习中保持连接。简单来说，序列后期出现的错误可以影响对早期片段的修正方式。Vidu 认为，这更贴近模型在实际视频流中遇到的情况。

该方法扩展了此前使用干净历史帧或带噪生成状态训练模型的方法。Vidu 表示，这些方法在优化过程中并未完全连接较长的生成轨迹。其重放阶段旨在提升效率和长会话稳定性。

分辨率带来了另一项限制。在主生成模型内以 720p 生成每一帧将需要更多计算资源并增加延迟。因此，Vidu 改为采用轻量级单步细化器来提升较低分辨率的输出。

这让因果主干模型专注于动作与连续性。独立的细化步骤会在画面到达观众之前恢复细节。这一设计类似于快速时序生成与紧凑型超分辨率之间的分工。

Vidu 还调整了用于角色动作的训练数据。团队加入了单人舞蹈素材以及二维和三维动画。对于更多带有移动镜头的素材，团队通过稳定背景来保留它们，而不是将这些样本丢弃。

字幕按照事件发生顺序组织。这一点很重要，因为流式指令会随时间展开。按时间顺序排列的描述可让模型更清楚地了解哪一种动作应先发生。

Vidu 表示，基于人类偏好的强化训练进一步改善了自然动作、表情和指令遵循能力。不过，论文并未单独说明每项训练改动的贡献。最终结果综合了新数据、重放训练、细化、偏好优化和服务改进。

Vidu S2-Editing 引入了另一项称为帧对齐注意力的机制。每一帧生成的目标画面都会读取同一时刻的源画面。参考图像则在整个编辑序列中始终可访问。

这一限制有助于保留原始动作和时序。如果源视频流中的人物抬起手臂，替换后的角色也应在同一时刻抬起手臂。系统会改变外观，而不会凭空生成无关的动作安排。

在生成匹配的目标帧后，源帧将从活动缓存中移除。这限制了持续视频流中的内存增长。若没有这一限制，随着会话时间延长，处理需求可能不断增加。

这些机制解释了为何此次发布不只是功能组合。Vidu 正试图将基于扩散的视频转变为持续运行的计算界面。每次交互都会创造一个新状态，模型必须在不暂停会话的情况下对其进行理解。

这种设计也提出了更严格的成功定义。预录视频可借助进度条掩盖生成延迟，而实时角色会立即暴露延迟、漂移、遗漏指令和视觉不稳定等问题。

Runway 和 PixVerse 已在同一交互界面施加压力

Vidu 正进入一场以响应式视频会话取代成品视频片段的激烈竞争。

Runway 于 2025 年 12 月推出 GWM-1，这是一系列面向世界、角色和机器人技术的实时模型。其角色系统可根据参考图像生成可对话的人物，其世界模型则强调可导航环境和动作条件模拟。

Runway 随后将 Characters 描述为一款视频智能体 API，能够生成表情、眼球运动、唇形同步和手势。该公司报告称，其系统可达到每秒 24 帧，并会在说话者停止讲话后于服务器端作出响应。

这些指标无法与 Vidu 报告的帧率直接比较。每秒帧数衡量的是输出吞吐量，而对话响应速度衡量的是响应延迟。一个模型可以渲染流畅视频，却依然对新指令反应缓慢。

Runway 更新的 interactive worlds 增加了连续镜头控制、文本引导动作和生成音频。该系统面向可探索环境，而非 Vidu 更为聚焦的角色与视频流编辑组合。

PixVerse R1 提出了更广泛的主张。PixVerse 将 R1 描述为一款实时世界模型，可生成连续的 1080p 视频并响应多模态输入。其所称应用包括游戏、现场娱乐、培训模拟和商业。

PixVerse R1 launch 强调持久的视听世界。Vidu S2 则更强调在现有实时视频期间改变角色、服装、视觉风格和背景。

Odyssey 选择了另一条路径。其模型生成用户可通过动作进行导航的开放式环境。该公司将产品定位为世界模拟器，而非虚拟形象或实时摄像头编辑服务。

这些差异形成了主要的竞争分野。Runway、PixVerse 和 Odyssey 销售的是模拟世界的不同版本。Vidu 则围绕响应式角色和可编辑视频流构建交互界面，并将这些视频流进一步扩展至立体显示。

这种更聚焦的定位在商业上可能更实用。开发辅导角色、购物主播、游戏角色或互动表演者的开发者，并不总是需要一个完整的模拟世界。他们需要的是稳定的身份、一致的语音同步、可预测的动作，以及可控的延迟。

Vidu S2-Editing 也带来了一个务实的竞争维度。许多实时视频产品在内部生成场景。编辑外部摄像头或上传的视频流，可以保留用户真实的节奏、肢体动作和表演。

以直播电商主播为例。生成一个完全合成的主播，需要模型控制语音、表情、姿态和与产品的互动。编辑主播的真实视频流，则可由真人提供动作，而模型负责更换服装或周围环境。

这种分工可以减少一部分控制难题。但它也带来了其他问题，包括双手在产品周围是否保持连贯，以及服装是否能在动作过程中做出正确反应。Vidu 的论文展示了若干精选案例，但这些案例无法代表每一种姿势或物体交互。

娱乐领域也面临同样的取舍。角色替换或许能让表演者无需进行传统动作捕捉准备，就能驱动一个动画角色。不过，制作团队会关注边缘闪烁、身份泄露，以及快速运动后的恢复能力。

Vidu 宣称的 720p 输出分辨率也低于 PixVerse 所称的 1080p。分辨率本身并不能决定质量，尤其是在不同公司采用不同硬件和测试条件发布声明时。延迟、一致性、指令响应能力和运营成本同样重要。

各家公司对“实时”的定义也不同。有些报告模型处理速度，有些报告显示帧数，另一些则描述用户感知到的响应速度。没有统一的延迟协议，标题参数就可能造成虚假的比较。

这使开发者访问权限变得重要。公开演示能暴露明显的视觉缺陷，但 API 能够支持在不同网络条件和会话时长下进行可重复测试。企业买家需要测试自己的语言、角色、摄像头输入和安全要求。

Vidu 的模型图谱将社交陪伴、教育、电商、游戏角色、视频制作和直播编辑列为预期用途。这种广度体现了商业机会，也意味着一次精心打磨的演示无法验证整个产品能力范围。

Vidu 的基准测试前景可观，但并非独立评估

论文呈现了亮眼的数据，但大多数结论仍依赖于公司自行开展的评估和精选对比。

Vidu 报告称，S2-Editing 在 StreamAV-Bench 上获得了 3.74 的总体得分。它还报告称，其在指令遵循、前景运动、背景动态和视觉质量方面取得领先分数。

在综合 OpenVE 和 RefVIE 的评估中，Vidu 报告的 Joint Overall 得分为 4.26。按其报告的设置，最强的离线基线 Bernini-R 14B 得分为 3.92，两者相差 0.34 分。

该模型报告的 RefVIE 总体得分为 3.78，比流式 Decart-Lucy2.5 的结果高出 0.07。如此微小的差距值得进行不确定性分析，尤其是模型版本和评估器设置都可能影响结果。

在虚拟试穿方面，论文报告其在 ViViD 测试集上的 VFID 得分为 9.9515。对于这一分布距离指标，分数越低越好。同一张表中，CatV²TON 得分为 19.5131，ViViD 得分为 21.8032。

这些结果表明，该论文选定的设置下可能存在显著优势。但它们并不能证明在直播零售画面中也能达到同等表现。不可控的光照、叠穿服装、快速转身、镜面和手部遮挡，都可能导致不同的失败模式。

虚拟形象评估包含公开系统和商业产品。Vidu 报告称，在整体质量方面，相比 Runway Character GWM-1 的偏好率最高达到 85.7%。它还报告称，在与 PixVerse 和 HeyGen 的一些对比中获得了一致偏好。

如果不展示分母，百分比可能显得很有决定性。85.7% 的结果通常反映了少量配对判断，或是由有限案例得出的比例。阅读这篇论文时，应将其样本设计纳入考量。

内部编辑基准包含 150 个配对案例。Vidu 报告的时间一致性得分为 3.56，而 Decart-Lucy2.5 为 2.59，XMax-X2.0 为 1.67。作者使用了匹配的源视频、参考素材、提示词和时间采样。

这一受控设置提高了测试内部的公平性，但并不意味着该基准是独立的。公司仍然负责选择案例、配置系统并报告分析结果。

Vidu 的定性示例有助于理解其针对的失败模式。它们展示了运动过程中的服装替换、角色替换、背景变化和水彩风格渲染。对比突出了竞争产品输出中多出人物、服装错误、模糊和身份漂移等问题。

读者应将这些图示视为模型在特定条件下能够完成的演示，而非失败率估计。论文没有报告在不受限制的实时会话中，系统产生类似伪影的频率。

延迟报告仍是另一处缺口。所述的每秒 25 至 42 帧范围描述的是生成吞吐量，并未完整说明从指令到画面的延迟、网络开销、流初始化，或连接问题后的恢复能力。

相比之下，Runway 已为其角色系统发布了帧率和服务器周转时间数据。即便这些数字也无法构成完整的跨厂商基准，因为硬件、地理位置、输入长度和服务负载仍存在差异。

音频处理同样需要澄清。Vidu S2-Avatar 围绕音频驱动的交互构建，但编辑模型主要关注视觉变换。论文没有完整解释编辑后的视频流如何保留语音、环境声或唇形同步。

内容审核也带来另一个运营问题。Vidu 的开发者文档包含审核选项，但产品团队需要更详细地了解被禁止使用的身份、冒充控制、生物识别同意和事件审查机制。

角色和服装替换可以支持合法的创意工作，同样的能力也可能被用于冒充或欺骗性直播。企业部署需要以流式速度运行的控制措施，而不是仅在录制完成后才进行处理。

因此，对现有证据最合理的解读应保持审慎。Vidu 已发布了一套实质性的技术系统，并在多项测试中取得了有竞争力的结果。独立评估者仍需复现其延迟、一致性和偏好率方面的主张。

空间视频是一项可行性研究，而非成熟的 VR 平台

Vidu 的空间视频流程拓展了其愿景，但论文为沉浸感提供的证据少于对虚拟形象和编辑功能的证明。

空间视频会向观看者的左眼和右眼提供不同视图。细微的视角差异能在兼容头显中产生深度感。一段令人信服的视频流必须保留这些差异，同时避免出现不稳定的几何结构。

Vidu 描述了两种生成这类输出的路径。虚拟形象路径从单目生成视频流开始，系统为每一帧估算深度，并将该视频流转换为同步的左眼和右眼视图。

编辑路径可以接收单目或立体输入。对于单目视频，S2-Editing 会先变换视频流，再进行立体转换。对于已有的立体输入，系统会将配对视图合并处理，并在之后将其分离。

这些输出可以被传输至 VR 头显。原则上，用户可以与一个看似置身于具有可见深度场景中的生成角色交谈，也可以为沉浸式视频流应用风格或角色变化。

“探索”一词在这里很关键。论文展示了定性的空间视频示例，但没有报告基于头显的用户研究，也缺少对立体视差准确性和左右画面时间一致性的量化测量。

这些并非无关紧要的遗漏。平面视频可以容忍一定的深度误差，而不会引发生理反应。相互冲突的立体线索则可能在头显中导致眼疲劳、不适，或削弱临场感。

运动到光子延迟同样重要。该指标涵盖用户动作与相应显示更新之间的延迟。Vidu 的视频帧率并不能证明其运动到光子性能达到可接受水平。

系统还需要在头发、双手、透明物体和移动边界周围保持稳定的深度。深度错误可能导致前景和背景之间出现错误分离。立体转换可能会放大在普通显示器上看似轻微的伪影。

一个更深层的问题涉及场景表征。将单目视频流转换为两个视图，并不等同于维持一个持续存在的三维世界。它可以创造立体深度，却无法支持围绕每个物体自由移动。

Runway 和 Odyssey 将可导航环境作为核心目标。Vidu 的空间工作则强调虚拟形象生成和编辑的立体呈现。这些方法有所重叠，但解决的是不同问题。

Vidu 的路线仍可能具有价值。许多沉浸式应用采用坐姿或正面视角。培训角色、导购体验、表演和社交互动，并不总是需要不受限制的导航。

实时编辑对于现有空间相机也可能变得实用。一个能可靠地跨配对视图更换服装或背景的系统，可以省去大量后期制作工作。要让这一流程成功，双眼必须获得相匹配的编辑结果。

Vidu 目前的证据尚不足以证明这种可靠性。论文展示了具有代表性的左眼和右眼输出，但没有提供广泛的立体基准，也未展示涵盖多样动作的持续头显测试。

商业可用性同样尚不明确。Vidu 已发布可体验的虚拟形象和编辑功能，而空间视频部分更像是一个研究方向。买家不应假定这三个部分具有同等成熟度。

因此，空间工作发挥的是一种战略信号作用。Vidu 希望其流式架构超越浏览器角色和摄像头特效，并表明其有意成为面向沉浸式显示器的实时生成层。

这种雄心只有在新证据出现后才会更具可信度。有价值的测试包括立体一致性、端到端延迟、头显舒适度、深度稳定性以及长时间会话中的性能表现。与专用空间视频系统进行独立对比，将进一步有所帮助。

三个信号将决定 Vidu S2 能否走出演示阶段

下一阶段取决于可复现的延迟表现、持续的开发者使用，以及经过验证的空间性能。

第一个信号是标准化的延迟报告。Vidu 应在每秒帧数之外，公布从指令到可见响应的时间。结果应标明硬件、网络区域、分辨率、会话时长和延迟百分位数。

这将揭示一个角色究竟只是播放流畅，还是确实能够快速响应。它还将显示动态参考素材如何影响响应时间。新的服装或背景可能比普通的一轮语音对话需要更多处理。

独立测试应衡量冷启动时间和长时间会话中的表现，还应跟踪系统在快速指令、相互矛盾的参考素材和网络中断后的恢复情况。稳定的平均表现可能掩盖严重的尾部延迟问题。

如果这些结果持续强劲，Vidu 基于机制的主张就更具说服力。如果流畅的输出掩盖了缓慢的交互，产品仍将更适合演示和轻度交互体验。

第二个信号是真实的开发者通过 Vidu API 采用该产品。产品团队应说明 S2 是否可与外部语音识别、语言模型、语音系统及实时通信服务商协同工作。

成功的集成将表明，这些组件版本提供的不只是配置选项。它们将证明开发者能够掌控整个流程，同时不牺牲时序、身份一致性或审核覆盖范围。

最具参考价值的部署将涉及重复会话，而非宣传片段。教育、商业、游戏和客户支持提出的需求各不相同。它们会暴露口音、中断、身体运动、产品操作以及不可预测的用户指令等问题。

评估这些部署的团队应在一个可搜索的知识库中保留提示词、观察记录和失败案例。这些记录有助于团队比较模型更新，而不是依赖对孤立演示的主观印象。

持续使用的证据将增强 Vidu 对抗 Runway Characters 和 PixVerse R1 的竞争地位。若只是需要高强度监督的有限试点，则说明其运营可靠性仍有待完善。

第三个信号是量化的空间视频发布。Vidu 需要的不只是并排立体样片，还应公布深度准确度、双眼一致性、运动到光子延迟，以及兼容头显的舒适度测试结果。

公开的空间演示将使研究人员能够测试快速运动、精细边界、反光物体和拥挤场景。它还会明确系统究竟只支持固定视角体验，还是能够实现更灵活的沉浸式交互。

出色的头显测试结果将拓展 Vidu S2 实时视频的含义。该系统将成为连接生成式角色、实时编辑和沉浸式显示的可信桥梁。若结果不佳，空间视频仍将只是一个具有前景的延伸方向。

竞争对手的回应将提供有益背景。Runway 正朝着可控的音视频世界发展，而 PixVerse 和 Odyssey 则强调持续性模拟。Vidu 必须证明，实时编辑和动态参考能够带来可持续的差异化优势。

对开发者而言，实际问题已很明确：应用需要生成的世界、可对话的角色，还是对真实表演进行转换？Vidu S2 在第三类场景中最具差异化优势，尤其是在该类别与虚拟形象重叠的场景中。

对企业买家而言，评估应从延迟和一致性入手，而非分辨率。测试生产环境中预期会出现的最复杂身体动作、参考素材、服装和背景。在引入可识别人物之前，应纳入安全审查。

Vidu 已使其流媒体系统超越了固定虚拟形象参考，并新增了一条颇具吸引力的编辑路径。此次发布将持续控制作为核心产品理念，同时借助空间视频将这一理念延伸至 VR。

现有证据令人期待，但并不均衡。虚拟形象和编辑方面的主张配有基准测试、架构细节和可访问的界面。空间视频的主张仍处于早期技术方向，诸多重要指标尚未公布。

未来一到三个月将显示，Vidu 是否会发布可比的延迟数据、吸引重复的 API 集成，并开放其空间流程供有意义的测试。这些信号将决定 S2 是成为基础设施，还是停留在令人印象深刻的演示阶段。