top of page

Google Genie 4 为交互式世界加入音频与实时操控

3小时前
讀畢需時 12 分鐘

Google 于 10 月 27 日发布 Google Genie 4,为其交互式模拟加入原生音频和实时场景编辑功能。这一研究预览版扩展了用户在生成世界持续运行时可修改的内容。其核心承诺是带来更直接的创作流程:在场景展开过程中调整,而非反复请求生成替换片段。

世界模型是一类模拟环境及其对操作如何响应的 AI 系统。Genie 3 已支持导航和通过提示词改变环境。新版本将声音、角色行为和场景导向整合为更连贯的体验。

这对创意团队熟悉的“提示、生成、审阅”工作流构成了挑战。Google 提出了一种人们可以持续导向的环境。它是否真正实用,取决于该世界能否可靠地保留用户希望延续的选择。

Google Genie 4 将声音带入持续运行的场景

Google 的交互式模拟公告介绍了可在展开过程中生成音乐、环境音和对话的环境。用户还可以使用自然语言指令改变天气、镜头位置或角色。

首批研究预览版正向受信任的测试者开放。Google 表示,后续将通过面向 Google AI Ultra 订阅者和部分开发者合作伙伴的 Project Genie 提供访问。计划中的开发者接入渠道包括 Gemini API(允许软件连接至 Google 模型)和 Google AI Studio。

关键变化在于,场景导向正越来越同时涵盖发生什么,以及听众会听到什么。

不妨比较一下修改成片与修改持续进行中的场景。成片让创作者能够在生成后评估结果;而持续运行的环境则让创作者可以在想法仍在发展时作出回应。

对创作工作而言,这一区别很重要,因为各种决定很少会同时出现。一个镜头运动可能带来不同的表演构想;表演又会改变所需的节奏;声音则能改变同一场景给人平静、拥挤、威胁或亲密的感受。

Genie 4 原生音频让这些关系成为其所提出体验的一部分。它为系统增添了表达正在展开事件的另一条通道,也为用户增添了发现不一致之处的另一条通道。

一个场景在视觉上可能令人信服,但其声音却讲述了不同的故事。脚步声暗示地面材质;人声意味着距离;背景噪声则确立了镜头之外存在什么。当这些信号彼此矛盾时,额外的真实感反而可能让这种矛盾更容易被察觉。

因此,这项新增功能既扩展了模型的表现范围,也增加了其责任。音频不能只是在开头看似可信地配合画面;当用户改变情境时,它也必须持续保持恰当。

这对于对话尤其重要。角色的回应会让人期待该角色知道、理解并记得什么。对话的可信度因而与周围环境的连续性相连。

这些是该功能带来的分析性影响,而非既有的性能结果。公告说明了 Google 正在推出什么,但并未证明语音、运动和干预的每一种组合都能可靠运作。

该产品仍是预览版,而非普遍可用的生产服务。这一区别应影响当下评估者的预期。公布的访问渠道描述了这项技术的发展方向,并不保证某个具体工作流能够立即使用。

对读者而言,实际结论很直接。Google 扩大了交互式世界能够接收的决策范围。这一范围是否有用,将取决于这些决策能否在整个会话过程中始终可辨识。

实时导向改变了创作瓶颈

Genie 4 实时操控的吸引力,在于它让创意想法能够在修改呈现方式的同时持续推进。这改变了创意团队向 AI 系统提出的问题。

团队不再只问一个提示词能否生成合适的结果,也可以问既有结果能否接受有用的导向。关键差异在于保留性:一次修改只有在改变目标元素、同时保留已获认可元素时才有意义。

创作控制不仅取决于能否接受新指令,同样取决于能否保留既有决定。

设想一位电影人在繁忙街道旁探索一段对话。移动镜头不应随意改变说话者的身份;加入雨水不应抹去已确立的门口;改变氛围也不应悄然替换预期动作。

这些例子是假设性的评估情境,而非已有报道的生产部署。它们说明了为何实时编辑提出了严苛标准。每一次干预都是在请求改变场景的一部分,同时尊重其余部分。

对个人创作者而言,早期探索阶段出现小的连续性错误或许可以接受。对团队来说,同样的错误却可能打断讨论。人们在讨论下一步要改什么时,需要一个稳定的参照。

这给围绕反复生成组织的工具带来了压力。如果一个可导向环境能保留足够多的上下文,重启整个场景就会变得不那么有吸引力。其优势将来自于在多次修改间保留有用工作。

不过,这是一种工作流比较,而非证明某一产品已经取代另一产品的证据。不同任务需要不同程度的控制。短暂的视觉实验与获批的生产序列,承担着截然不同的要求。

直接受众包括导演、设计师、创意技术人员,以及在实施前沟通想法的人。他们的共同需求是一个能够吸收反馈的共享表达。视觉质量固然重要,但响应能力决定了这种表达能否支持对话。

仅有速度还不够。一次快速修改若改变了无关细节,就会制造新的审阅问题。当协作者需要作出决定时,一次较慢但能保留意图的修改可能更有用。

同样的道理也适用于声音。讨论地点氛围的团队,需要与所测试导向相对应的音频变化。否则,参与者同时比较的是多项未经控制的变化。

这也是为何此次发布值得获得超越个别示例外观的关注。其提出的价值在于指令与保留上下文之间的关系。场景成为推演决策的场所。

评估这些工具的知识工作者还会面临文档记录问题。他们必须区分观察与假设,并保留结果背后的条件。一套可搜索知识库可以为跨实验与审阅的记录提供支持。

这些记录之所以重要,是因为令人印象深刻的演示可能主导后续讨论。关于哪些内容改变、哪些内容保留、哪些内容失败的笔记,能为采用决策提供更有价值的依据。

对 Google 而言,商业机会正源于这一实际收益。一个帮助团队达成决策的系统,能够在其流程中赢得位置;而一个仅能生成吸引人变化的系统,则更容易被视为偶尔使用的实验工具。

Gemini 将规划加入视觉生成循环

Google 的技术说明将 Gemini 与 Genie 并列,而不是将世界生成器视作孤立系统。在其世界模拟研究中,Google 描述了 Gemini 如何观察生成帧、将目标拆分为步骤,并随事件变化调整计划。

该公司还展示了一个实验性机器人示例:Apptronik 的 Apollo 人形机器人下跳棋。Gemini 4 Argon 提供任务步骤,而 Genie 渲染场景。这是研究演示,并非实体机器人成功部署的证据。

这一架构思路将决定应该发生什么,与生成其如何呈现分离开来。

规划系统可以明确表达预期序列。视觉生成器则可以生成围绕该序列的感官细节。将两者连接起来,便形成了一种将展开中的场景与其背后目标进行比较的方式。

这很重要,因为一个吸引人的序列未必完成了所请求的任务。角色可以看似合理地移动,却没有完成预期动作;物体也可以出现在正确场景中,却没有与任何事物正确互动。

规划循环旨在处理这一区别。它引入了能够评估进展并修订方向的观察者。Google 将其描述为通向更连贯事件序列的一条路径。

这一主张仍需谨慎解读。一个模型审阅另一个模型的输出,并不等同于独立测量。如果两个系统都接受了误导性的视觉线索,表面上的一致可能掩盖错误。

当场景表现实体工作时,这一点尤其重要。一个被描绘的动作可以满足观众的预期,却未必满足真实任务的约束。视觉完成与物理完成需要不同的证据。

对于创意探索,这种差距或许可以接受。其目的可能是传达一个想法、确立调度,或讨论一个序列。即使不适合工程验证,输出仍可能有用。

对于机器人技术,所需证据更加严格。训练环境应支持在生成场景之外仍然有用的学习。这要求测试模拟结果与真实结果之间的关系。

一个研究示例可以证明组件以有趣的方式沟通,却不能单凭自身证明由此产生的环境能够支持可靠训练。更广泛的结论需要围绕预期部署进行评估。

该机制也引出了一个关于用户控制的产品问题。当系统在指令之间调整计划时,它正在决定什么应当继续。用户需要了解这些选择是否反映其意图。

能够保持推进势头的助手可以帮助创作者维持投入;悄然重定向场景的助手则可能让环境更难管理。其价值取决于干预是否仍然清晰可理解且可逆。

这正是 Genie 4 实时操控与一个熟悉的软件设计问题相遇的地方。当人们能够理解自动化的后果时,自动化最能发挥作用。一个响应迅速的世界仍需要在请求与后续变化之间建立可理解的关系。

因此,对 Google 方法最有力的解读是具体的:它在交互过程中结合了规划与感官生成。这种组合能否带来可靠控制,仍是一个有待评估的问题。

竞争对手也在连接对话与视觉交互

Google 正与探索相关交互式生成形式的公司一道进入世界建模阶段。Runway 的对话式角色文档介绍了由其 GWM-1 通用世界模型驱动的角色。

Runway 记录了对声音、个性、知识和动作的控制方式。其示例包括教育对话、品牌体验和交互式角色。这些产品形态比自由变化的环境更聚焦,但它们解决的需求存在重叠。

竞争压力来自让生成式体验变得可用,而不只是让它们看起来更精致。

对话式角色为开发者提供了可集成的明确对象。世界模型则提供了拥有更多潜在交互的更广泛环境。更广阔的界面带来灵活性,同时也增加了必须保持连贯的关系数量。

没有哪一种方法会自动胜出。聚焦的应用可以从明确边界中受益。探索性的创意过程可以从自由度中受益。真正相关的比较,应从用户希望完成的任务开始。

例如,学习应用可能优先考虑稳定的角色和可预测的对话。探索场景设定的创意团队,可能更看重镜头自由度和环境变化。这些优先级会导向不同的评估标准。

Genie 4 的原生音频让 Google 的环境更接近对话与视觉行为同步发生的体验。这与交互式角色产品形成了更直接的重叠。但这并不意味着两者具有同等性能或同等的开发者能力。

没有依据可以据此宣布基准测试赢家。产品描述无法提供受控比较。访问方式、交互设计和预期用途的差异,使得随意排名尤其不可靠。

更有价值的比较在于每个系统如何开放控制能力。开发者能否指定哪些内容必须保持不变?用户能否修改某个特定元素?团队能否充分审查结果,以理解故障发生的原因?

这些问题之所以重要,是因为集成会带来演示所没有的责任。应用必须处理意外输入、中断,以及偏离预期路径的会话。模型最吸引人的示例很少覆盖如此广泛的情况。

这让专业化产品即使面对能生成视觉上更宏大环境的大模型,仍有竞争空间。受约束的体验可能更容易解释、评估并纳入现有应用。

Google 的机会在于将广泛生成能力与同样易于理解的控制方式连接起来。如果用户能够自由探索,同时保留关键决策,这种环境就能服务更广泛的创意任务。

同样的广度也带来了挑战。不同行业对成功有不同定义。引人入胜的虚构角色、教育模拟和机器人实验,无法共享同一套可接受准确度标准。

因此,对买家而言,这一竞争格局要求基于具体任务进行判断。应以相同的预期结果和相同的失败条件来比较产品。品牌知名度和视觉精致度不能替代这种一致性。

对既有创意工作流程的压力仍是核心故事。竞争对手通过展示将生成与交互连接起来的多种方式,强化了这一压力。实际竞争在于哪种方法能帮助用户做出并保留有用的决策。

两分钟的说法需要清晰定义

标题中的时长比较值得更精确地说明。TechCrunch 报道称场景一致性最长可达两分钟,是前代所称上限的两倍。

不过,Google 最初的 Genie 3 能力说明区分了交互时长与视觉记忆。其 2025 年 8 月的公告称,环境可以在数分钟内大体保持一致,视觉记忆则可延续约一分钟。

这些指标不应被视为可互换。会话长度描述交互持续多久。记忆描述相关细节可回溯多远。一致性描述世界是否保留应当稳定的关系。

时长数据只有在读者知道该时段内什么能够持续存在时才有意义。

一个世界可以继续生成,同时忘记之前的变化。它可以保留地点的大致外观,却改变特定物体。它可以保留物体的外观,却改变其与周围几何结构的关系。

当物体离开视野后仍保持存在和稳定,这一区别被称为对象恒存性。对于交互式环境而言,只要用户会回到此前遇到的事物,这就是一项实际要求。

Google 的当前模型局限性承认,细节和物体可能发生漂移,尤其是在更长会话和复杂编辑中。该公司还将音频准确性、可读文本、空间准确性和多智能体交互列为持续研究领域。

这一披露为真实性主张提供了必要的平衡。更美观的输出可以与不稳定的关系并存。更自然的移动可以与错误的后果并存。看似合理的场景并不能证明它是物理上可靠的模拟。

对于探索氛围的电影创作者而言,一定程度的不稳定或许可以接受。对于审查特定交互的设计师而言,这可能削弱整个练习。对于工程工作,未经衡量的不稳定性可能使输出不适合作为证据。

因此,相关问题并不是模型是否偶尔犯错,而是其错误是否仍处于拟议用途的边界之内。不同应用需要不同边界。

用于传达情绪的场景无需精确地理信息也可能成功。作为历史证据呈现的重建则不能依赖同样的容忍度。生成的细节必须与经过验证的信息保持可区分。

同样的原则也适用于语音。令人信服的声音并不能证明角色陈述是准确的。在教育或专业场景中,对话需要独立于视听审查之外进行事实核查。

团队还应区分请求的结果与观察到的结果。要求实现逼真碰撞的提示词,并不能证明生成的碰撞是逼真的。指令记录的是意图,而输出仍需评估。

这种区分有助于防止过度解读这次发布。Google 已引入额外能力,并说明了其预期价值。现有证据不足以将该模型视为成熟模拟系统的通用替代品。

若谨慎表述,时长提升仍然重要。更长的有效连续性将拓展人们可在一次会话中探索的决策范围。关键在于“有效”:仅凭经过的时间无法说明任务是否仍保持连贯。

访问、连续性测试与重复使用将厘清其价值

Google Genie 4 的下一阶段应通过访问情况、持续行为和重复使用来评判。这些信号将发布内容与其所提出的工作流程变化联系起来。

更广泛的可用性,只有在带来用户可可靠保留和改变什么的证据时才最重要。

第一个信号是通过已宣布的访问渠道交付。实际可用将让更多人在自己的条件下测试系统。延迟或狭窄的访问范围,会限制独立证据积累的速度。

开发者访问尤为重要,因为应用展现的需求不同于演示。集成会将输入处理、会话管理和恢复能力纳入视野。在团队围绕其构建之前,文档应清楚说明支持边界。

第二个信号是将连续性与视觉质量分开的评估。有效测试应重访地点、检查早先的变化,并引入连续编辑。其目的在于观察世界变化后哪些内容仍然稳定。

这类评估应保留失败运行与成功运行。否则,观看者无法区分日常行为与精挑细选的示例。不中断的会话比短暂的精彩片段提供更多背景。

比较还应区分交互时间、记忆和任务完成情况。只有在相关决策得以保留时,更长的会话才能强化论点。反复漂移会削弱“实时引导改善实际控制力”的说法。

第三个信号是针对明确任务的重复使用。团队在同一工作阶段反复使用该系统,比最初的热情提供更有力的证据。任务及其验收标准需要明确。

对创意团队而言,这可能意味着使用生成环境来达成场景调度决策。对开发者而言,这可能意味着实现某种特定的交互体验。这些是可能的评估目标,而非已确认的采用结果。

重复使用将强化“响应式生成改变创意过程”的论点。持续的手动重建则会削弱它。区别在于,系统是否减少了不确定性,还是仅仅产出了更多待审查的材料。

目前,这次发布确立的是可信方向,而不是已定型的工作流程。Google 正围绕持续生成的环境,结合声音、实时指令和规划。由此形成的体验值得据此审视。

当访问范围扩大时,请以你已经熟悉的任务来评估 Google Genie 4。保留原始目标,记录每次干预,并检查之后发生了什么变化。将视觉吸引力与连续性分开,也将连续性与事实或物理准确性分开。将失败会话与令人信服的会话一并保留,让同事能够评估相同证据。将结果与你团队目前采用的流程进行比较,包括修复非预期变化所需的工作量。决策应取决于该环境是否帮助人们做出能够保留的选择。一次受引导的会话能否将有用工作延续下去,还是每条新指令都会迫使团队重建共同理解?

 
 

免费开始使用

一款本地优先的AI助手

为了获得更好的人工智能体验,

remio 目前仅支持Windows 10+ (x64)和M-Chip Mac 。

你的 AI 工作伙伴

和 remio 一起高效工作

规划、创作、交付

一站式完成

bottom of page