top of page

上海 AI Lab W0 为世界模型加入触觉,但物理能力才是考验

9月15日
讀畢需時 16 分鐘

据报道,上海 AI Lab 于 9 月 14 日发布了 W0,将 Shanghai AI Lab W0 模型定位为面向实体机器人的力觉与触觉理解模型。

这一重点为世界模型带来了明确考验。生成一段逼真的视频,并不等同于预测夹爪按压、打滑、弯折或损坏物体时会发生什么。

W0 加入了一场已在超越纯视觉系统的机器人竞赛。研究人员日益希望模型能够表征接触、预测物理结果,并帮助机器人在微小误差演变为故障前调整动作。

现有公开报道确认了该模型的发布及其力觉—触觉方向。不过,用于判断其性能的详细文档仍然有限。当前可公开访问的材料尚未提供完整模型卡、训练数据构成,或标准化的独立评估。

这一验证缺口很重要,因为物理交互会暴露精致演示所能掩盖的错误。一个生成场景可能看起来合理,却给出了错误的摩擦力、受力、动量或形变。

因此,真正相关的竞争并非 Shanghai AI Lab 与某一家特定公司之间的较量,而是以力觉为基础的物理建模与以视觉为主导的世界模型之间的较量;后者往往将接触视为可见事件,而非可测量过程。

Google DeepMind 的 Genie 工作展示了更广泛的视觉中心路径。其交互式世界模型可根据提示生成可导航环境。W0 据称强调的则是另一项要求:机器人必须推理交互过程中的力,而不仅仅是其视觉外观。

这种差异使 W0 值得关注,也提高了 Shanghai AI Lab 必须达到的标准。

Shanghai AI Lab W0 瞄准视觉不再足够的关键时刻

重要变化在于,据报道,W0 试图将力觉与触觉纳入物理世界建模之中;在这里,仅凭外观只能提供不完整的证据。

世界模型预测环境如何随时间变化,以及动作如何影响该环境。在机器人领域,这些预测可支持规划、合成训练、故障检测或直接动作选择。

多数关于世界模型的公开讨论都从视频开始。模型接收图像、动作或文本,并生成一段看似合理的未来序列。这种方法能够捕捉运动、布局,以及可见的因果关系。

接触密集型操作提出了更难的问题。当夹爪触碰光滑物体、工具勾住边缘,或连接器遇到阻力时,决定性的状态可能并不直观可见。

力觉传感用于测量作用于机器人或工具上的载荷。触觉传感则捕捉局部接触信息,其中可能包括压力、形状、振动或滑移。

这些信号彼此重叠,但并不能互相替代。安装在腕部的力矩传感器可以揭示机械臂承受的综合载荷,而指尖触觉传感器能够显示接触发生的位置。

机器人插入插头的过程说明了这一差别。摄像头可能显示插头看似已经对齐,但不断上升的横向力可能表明它卡在了插座壁上。

机器人需要在继续动作前获得这一信息。继续加大推力可能损坏连接器、夹具或机器人本身。

擦拭是另一个例子。可见轨迹可能看似正确,但施加的压力可能过低,无法清洁;也可能对表面而言过高。

装配也会产生类似的隐蔽状态。从一个摄像头角度看,两个部件可能似乎对齐,但接触力却显示出卡滞、错位或仅部分插入。

据报道,W0 的方向之所以重要,是因为它将这些信号视为待预测物理状态的一部分。这比生成视觉上连贯的动作提出了更高要求。

Shanghai AI Lab 已运营一套更广泛的具身智能技术栈。其机器人工具链列出了仿真、导航、操作、人形机器人控制、空间推理和世界模型组件。

该机构此前将 InternWorldModel 描述为结合了重建、预测与规划。它还重点介绍了基于动作条件的视频预测和动态四维重建。

W0 看起来正将这一轨迹延伸至直接物理交互。其名称暗示了它在一个模型系列中的早期定位,但仅凭公开报道尚无法确立正式的能力层级。

这种不确定性应当保持明确。产品名称并不能证明某一架构能够在不同机器人、传感器、物体和任务中解决力觉感知规划问题。

这次发布改变了讨论,因为它为评估创建了一个明确对象。Shanghai AI Lab 现在需要展示,相比现有的视觉—语言—动作系统和传统反馈控制,力觉—触觉建模能带来什么增益。

它还需要说明 W0 如何提供使用。一个已发布的研究模型可能意味着开放权重、代码、API、技术预览,或演示套件。

这些形式对开发者具有不同价值。可复现的代码和评估资产允许审查,而受控演示主要表明一种研究方向。

目前,可以作出的稳妥结论很有限。据报道,Shanghai AI Lab 已将力觉与触觉信息置于 W0 的物理世界主张核心,但其可访问程度仍待确认。

为什么力觉—触觉机器人改变了世界模型问题

触觉将世界建模从视觉预测挑战转变为具有安全后果的闭环控制问题。

视频模型通常在帧或学习得到的视觉特征层面运行。它们能够预测一只手会移动、一个物体会坠落,或一扇门会打开。

机器人还必须决定施加多少力,以及何时停止。这些决策的演变速度快于语言层面的推理,而且往往依赖摄像头无法可靠恢复的信号。

以机器人抓取一颗成熟水果为例。它需要足够的法向力来防止打滑,但过大的力可能使物体碰伤或压坏。

因此,同一动作计划可能以成功、打滑或损坏告终。结果取决于材料属性、接触几何形状、传感器延迟,以及控制器的响应。

物理世界模型应当充分表征这些隐藏变量,以预测有意义的结果。它不需要复现每一个原子,但必须保留决定动作质量的动力学规律。

这一要求带来了多层技术挑战。系统必须先同步视频、关节状态、力觉和触觉数据流,才能学习到一致的关系。

传感器的运行频率也各不相同。高频力变化可能发生在摄像头帧之间,而触觉阵列能够产生密集的空间测量数据。

随后,模型需要一种共享表征。仅仅将力向量附加到视觉特征上,未必能在正确的推理阶段保留该信号。

与 Shanghai AI Lab 相关的近期工作展示了一种方法。ForceVLA2 研究描述了一种视觉—语言—动作系统,将具备力觉意识的任务概念与混合力—位置控制相结合。

其配套数据集包含 1,000 条轨迹,覆盖五项接触密集型任务。列出的场景包括擦拭、按压和装配,并包含图像、提示、机器人状态和力觉信号。

这些细节并不能证明 W0 的架构。它们说明了该实验室所报道方向在技术上的合理性,也展现了力觉感知研究与普通动作预测的区别。

ForceVLA2 的设计目标是在执行过程中调节力。当世界模型预测可能动作下未来的物理状态时,它承担的是相关但不同的功能。

将这些层结合起来,可能让机器人在内部模拟一项动作,估计由此产生的接触,并选择更安全的轨迹。随后,它可以依据真实传感器反馈更新计划。

这种闭环才是更大的机会。世界模型提供预判,而控制器提供快速校正。

两者都无法取代对方。缺少快速反馈的学习型预测器可能错过意外接触;缺少预测的反应式控制器则可能难以处理更长的动作序列。

触觉数据还能够减少歧义。摄像头可能无法显示一根细电缆是否被物体压住,但局部压力模式能够揭示这种接触。

同样,视觉运动并不总能区分滑动和滚动。力的方向与触觉位移可提供有关底层状态的额外线索。

这些优势也伴随着集成成本。力觉信号会随机器人校准、工具几何形状、负载、安装方式和控制设置而变化。

触觉传感器的差异更大。不同设备通过彼此不兼容的硬件编码压力、形变、光流、振动或电信号。

在一种传感器上训练的模型,可能学习到无法迁移至另一种传感器的模式。因此,一个可靠的 Shanghai AI Lab W0 系统需要标准化输入,或一种可信的适配方法。

延迟是另一项约束。高层模型可能需要时间生成未来状态,但夹爪在检测到滑移后,无法等待一个漫长的推理周期。

实际系统很可能会在不同时间尺度上划分职责。快速的本地控制器处理即时接触,较慢的模型则推理任务阶段和预测结果。

这一架构使 W0 的故事不只是新增一个传感器通道。真正的问题在于,模型能否在不过于缓慢或依赖特定硬件的前提下,将触觉、力、动作与时间连接起来。

视觉优先的世界模型如今面临物理保真度测试

W0 通过将比较标准从可信场景转向可测量的交互结果,向视觉优先的世界模型施加压力。

主流世界模型叙事一直强调可扩展的视频生成。海量图像和视频数据集提供了广泛覆盖,无需为每个训练样本配备实体机器人。

这一优势很大。机器人运行成本高,演示采集耗时,而现实世界的失误可能损坏硬件。

视频也提供了有用的先验。模型可以学习物体恒常性、常见运动模式、场景结构,以及动作和可见结果之间的关系。

Google DeepMind 将 Genie 3 描述为一种生成交互环境的通用模型。该系统强调实时导航、一致性和基于提示的世界创建。

对机器人而言,这些特性有助于构建多样化训练环境。但视觉一致性并不保证接触动力学正确。

一个球可能沿着平滑却不准确的轨迹运动。布料可能产生吸引人的形变,却违背材料行为。生成的机器人手可能看起来抓住了物体,尽管其压力分布不可能成立。

这种差异正变得可衡量。GAUGE 基准通过真实实验评估物理引擎和视频世界模型,而不是只依赖视觉质量分数。

其评估包括刚体、电缆、布料和可变形物体。研究人员考察了涉及碰撞、摩擦、动量传递、振荡、自接触和形变的行为。

对于数值仿真引擎,GAUGE 覆盖 14 类任务。对于视频世界模型,它评估了六个模型在五类刚体任务上的表现。

该基准测试生成的运动是否遵循正确规律,以及推断出的物理参数是否保持稳定。视频的曲线形状可以正确,但斜率仍可能错误。

这种失败正是 W0 命题的核心。机器人需要的是正确幅度的运动与力,而不只是可识别的运动类型。

上海 AI Lab 也为基于仿真的规模化扩展作出了贡献。SIM1 项目提出了一套面向可变形物体操作、与物理规律对齐的 real-to-sim-to-real 系统。

Real-to-sim-to-real 指的是在仿真中复现物理任务的若干方面,在其中训练,再将结果迁移回机器人。该方法旨在降低对高成本真实演示数据的依赖。

可变形物体让这一过程变得困难。布料、线缆、软性材料和容器会在交互中改变形状,从而形成庞大且连续的状态空间。

力觉与触觉信号可以为这些仿真提供锚定依据。如果模拟的接触模式与机器人的测量结果存在明显差异,训练环境就需要校正。

这也构成了本文的核心竞争:视觉主导的模型优化广泛的生成覆盖能力,而以力为基础的模型优先保障交互保真度。

两条路线可以汇合。未来的系统或许会使用大型视频模型处理多样化场景,并通过触觉测量进行局部物理校正。

不过,不应在一个宽泛的标签下评估它们。“世界模型”可以指可导航的视觉生成器、学习得到的动力学模型、模拟器,或动作规划组件。

开发者需要追问模型表征了什么状态、接受什么动作条件,以及哪些输出可以被测量。他们还需要了解预测是否支持控制,还是仅服务于可视化。

上海 AI Lab 对 W0 的发布之所以有价值,是因为它让这些问题更加明确。如果力和触觉是核心输入或预测目标,基准测试就应衡量接触准确性与任务结果。

仅看成功率仍然不够。机器人可能完成任务,却施加了不安全的峰值力、耗费过多时间,或在失败试验中损坏物体。

相关指标包括力跟踪、接触时机、滑移恢复、峰值载荷、完成质量以及跨传感器迁移能力。当一次早期接触会改变后续状态时,长时程稳定性同样重要。

在这些测试下,视觉优先模型并不会失去价值。它们只是需要面对对物理智能更严格的定义。

证据缺口仍大于这则发布公告

在公开材料证明其能在不同机器人、传感器和陌生物体上实现可重复表现之前,W0 的核心主张仍只是一个研究命题。

现有报道确认了一次发布和一个方向,但尚未提供足够可供独立获取的细节来判断该模型的能力边界。

对于新的研究发布而言,这并不罕见。演示和概述文章往往早于完整论文、代码、检查点、数据集或模型卡发布。

不过,在机器人领域,这些缺失细节比许多软件任务更重要。语言模型出错可能只是给出糟糕答案,而力控出错则可能损坏设备或造成人员受伤。

第一个尚未回答的问题涉及 W0 的输入和输出。目前尚不清楚该系统使用的是原始触觉阵列、处理后的接触特征、六轴力-力矩测量,还是它们的组合。

同样不清楚 W0 是预测未来传感状态、生成训练轨迹、选择动作,还是向另一项策略提供表征。

每种设计都需要不同的验证方式。预测模型应依据校准后的未来状态评分,而控制模型则需要真实机器人任务与安全性测量。

第二个问题涉及硬件覆盖范围。一个能在单一机械臂和单一传感器配置上运行的力感知模型依然可能有价值,但它并非通用机器人模型。

跨平台迁移很困难,因为传感器位置、信号范围、关节动力学和控制频率都存在差异。即使只是更换夹爪,也可能改变所记录力数据的含义。

第三个问题涉及数据构成。开发者需要了解有多少信息来自真实机器人、仿真、遥操作、公开数据集或生成轨迹。

合成数据可以低成本扩展,但其价值取决于仿真保真度。在错误的接触动力学上训练,会让错误变得系统化,而非随机化。

上海 AI Lab 先前的具身 AI 发布称,其系统支持超过 10 种机器人类型,并覆盖 20,000 多个场景中的 500 万个仿真样本。

这些数字描述的是更广泛的 Intern-Robotics 系统,而非 W0。它们表明该实验室具备异构仿真和数据生成的基础设施。

但这并不能证明力觉和触觉信号能在这些机器人类型之间可靠迁移。W0 的文档必须将通用平台规模与该特定模型的训练和评估建立联系。

第四个问题是比较是否使用了匹配的信息条件。具备力觉能力的模型应当优于视觉基线,但这种比较必须隔离新增信号本身的价值。

研究人员应尽可能保持架构、数据量和训练预算一致。否则,更大的力感知系统可能因与触觉无关的原因获胜。

消融研究尤其重要。它们应展示仅使用视觉、仅使用力、仅使用触觉,以及组合感知时的表现。

测试还应包含受损或延迟的信号。真实传感器会漂移、失去校准、饱和,并遭遇通信问题。

假设触觉输入始终完美的模型,可能在实验室之外突然失效。更安全的设计应当检测不确定性,并将控制权交给保守的备用方案。

第五个问题是任务多样性。接触密集型演示往往集中于一小组精心准备的活动。

按压按钮、擦拭表面或插入组件可以展现有用能力,但不能证明其能在易损材料、杂乱环境、移动人员或不断变化的工具之间具备通用能力。

可信的评估应包括陌生的物体形状、摩擦水平、柔顺性、负载和接触位置。它还应区分记忆化的任务模板与真正的物理适应能力。

第六个问题是可复现性。公开代码、评估脚本、传感器校准流程和测试数据,可让外部团队检验所报告的提升。

在此之前,读者应将 W0 描述为一次已报道的发布,而非经验证的标准。“已上线”不应被自动理解为广泛的生产可用性。

这里的审慎并非反对力觉-触觉世界模型。它直接源于这类模型的预期作用。

模型对物理控制影响越大,所需证据就必须越充分。有效的报道应随着证据出现而持续跟踪,而不是将一次发布公告转化为既定结论。

竞争系统正向接触感知预测汇合

上海 AI Lab 并非唯一将触觉视为缺失层的机构,因此,执行能力与开放程度比这一理念本身更重要。

多条研究路线如今正将触觉感知与世界建模、规划或动作策略相连接。这种汇合表明,底层问题确实存在。

例如,FeelWorld 是一款面向分层接触预测与规划的视觉-触觉模型。该系统可针对涉及直接操作的任务,同时预测视觉与触觉未来状态。

其报告的实验包括芯片抓取、水果抓取和 USB 插入。这些场景测试了精细定位、敏感接触,以及从自由运动到受约束交互的转变。

根据 FeelWorld 论文,该模型在其报告的设置中实现了平均 81.7% 的零样本规划成功率。

这是一项研究结果,而非普适性能主张。该数字取决于作者所采用的任务、硬件、评估协议和基线定义。

ViTacWorld 采取了另一种方法。它利用动作条件下的视觉和触觉预测,支持可扩展的接触密集型操作。

研究人员认为,触觉信号与图像相比可能具有更小的仿真到现实差距,因为接触测量与物理交互直接关联。这一前提很有前景,但也取决于传感器。

ForceVLA2 则更接近控制。它将力感知概念与一个输出混合力-位置指令的动作专家结合起来。

这些项目共同勾勒出未来机器人技术栈的三个层次:模型可以预测接触、围绕该预测进行规划,并在执行过程中调节力。

W0 的竞争地位将取决于它统一了哪些层次。能够连接世界预测与力感知动作的广泛模型,比狭窄的传感编码器更具意义。

反过来,如果一个聚焦模型能实现强大的迁移能力和低延迟,它同样重要。当通用性削弱控制可靠性时,它便没有价值。

Alibaba 的 Qwen-Robot 系列提供了一个更大的竞争参照。它将导航、操作和物理世界预测拆分为彼此关联的模型。

这种模块化策略降低了对任何单一组件的负担,也让开发者能够使用任务特定指标评估不同能力。

上海 AI Lab 似乎通过 Intern-Robotics 倾向于全栈方向。其平台覆盖仿真、数据、训练、评估和部署工具。

全栈方案可以改善组件之间的协同。同一组织可以对齐数据格式、模拟器、模型接口和机器人部署。

但它也可能掩盖性能来源。开发者需要组件级结果,才能判断 W0 本身是否带来了价值,还是主要受益于周边系统。

这种区别会影响采用决策。机器人团队可能想要的是可迁移的模型,而不是一整套纵向整合的平台。

因此,开放接口可能成为竞争优势。标准化传感器模式、校准工具和评估环境,会让 W0 更容易在外部硬件上测试。

该生态系统还需要更好的数据溯源。力觉和触觉记录可能编码了操作员行为、硬件特性以及任务专用夹具。

团队应记录演示数据如何收集和筛选,也应记录失败轨迹,因为这些示例包含重要的安全和恢复信息。

商业买家不会只看基准胜利。他们会关注系统是否缩短部署时间、能否从变化中恢复,以及能否在长期部署中维持可接受的失败率。

工厂还关心维护问题。触觉表面会磨损,线缆会松动,力传感器会在反复载荷下发生漂移。

一套在新近校准硬件上表现良好的模型,可能在数月后退化。因此,长时程测试应成为比较的一部分。

对于开发者而言,这一新兴领域带来了信息管理挑战。论文、传感器规格、实验和部署日志可能很快在团队之间分散。

可检索的技术知识库可以帮助团队保留测试条件,并追溯为何一个模型的表现与另一个不同。

这种工作流无法解决机器人问题本身,但它能让集成决策背后的证据更容易被检索和审计。

W0 若能提供更准确的预测或更安全的行动,就会赢得关注;若团队能在自身硬件约束下复现这些收益,它就会获得采用。

W0 接下来必须证明什么

三项信号将决定上海 AI Lab W0 会成为有用的基础设施,还是停留在一个有趣的发布宣称。

第一个信号是完整的技术发布。这意味着应提供论文或模型卡,明确界定 W0 的架构、感知输入、训练目标、数据来源及预期部署角色。

开发者应关注世界建模与控制之间是否存在清晰边界。他们需要了解 W0 是预测结果、生成动作,还是协调独立模块。

访问方式的细节同样重要。开放权重将允许最广泛的审查;如果 API 能提供可重复的输出,也仍可支持评估。

仅展示演示的发布会削弱 W0 已经交付的说法。它只能展示一个研究方向,无法让外部团队进行测试。

第二个信号是基于测量的评估。W0 应面对这样的任务:视觉上看似合理的预测,可能在物理层面是错误的。

这些测试应包括力跟踪、摩擦变化、滑移、碰撞、形变和恢复能力,并在完成率之外报告安全结果。

GAUGE 为检验物理保真度提供了一个有用框架。以接触为核心的机器人基准测试可借助真实硬件补充直接的任务证据。

最有力的结果应将两者联系起来:准确预测应带来更好的机器人行为,而不只是更低的离线误差。

评估还应揭示失败分布。平均分数可能掩盖罕见但危险的力峰值或不稳定行为。

置信度估计将帮助操作人员判断模型何时应采取行动。能够识别陌生接触条件的系统,比始终给出自信预测的系统更安全。

第三个信号是跨硬件复现。至少应有一个外部团队在不同机器人或传感器配置上运行该模型。

这项测试将显示 W0 学到的是可迁移的物理关系,还是仅仅内化了某一实验室的配置。它也会暴露校准与适配的真实成本。

如果 W0 能在多种具身形态上表现良好,以力为基础的路线就会获得支持。共享模型可能减少接触密集型工作所需的任务专用工程量。

如果传感器或夹爪一变,性能就大幅下降,那么更广泛的主张便会被削弱。W0 仍可能是一个有用的专用系统,但尚不能称为通用物理世界模型。

未来一到三个月内,这些信号应比精心打磨的演示更值得关注。文档、可复现的基准测试和独立部署将揭示模型的真实定位。

即使 W0 未达预期,更大的行业问题依然存在。机器人需要能够将视觉意图与接触中隐藏的力学机制连接起来的表征。

视觉提供范围与上下文;力和触觉则提供交互是否如预期展开的证据。

可信的物理世界模型必须结合这些优势,同时不牺牲速度、可迁移性或控制安全性。这正是上海 AI Lab W0 以及所有竞争系统面临的标准。

评估该发布的开发者应从具体问题开始:哪些信号输入模型?它预测怎样的未来?这一预测又如何改变动作?

随后,他们应检查失败案例:哪些材料、传感器、任务或控制频率会破坏已学习的关系?

企业买家应要求部署证据,而不应将“世界模型”这一标签视为能力保证。对于一个边界明确的工作流,可重复的改进比宏大却无法验证的承诺更有价值。

上海 AI Lab 将力觉与触觉机器人置于 W0 故事的核心。下一步,是让这个故事变得可衡量、可复现,并能在实验室之外发挥价值。

首批公开评估会否显示 W0 能够在真实硬件上准确预测接触,还是会暴露另一个令人信服的世界与可靠物理智能之间的鸿沟?

 
 

免费开始使用

一款本地优先的AI助手

为了获得更好的人工智能体验,

remio 目前仅支持Windows 10+ (x64)和M-Chip Mac 。

你的 AI 工作伙伴

和 remio 一起高效工作

规划、创作、交付

一站式完成

bottom of page