top of page

NVIDIA Isaac ROS 5.0 开放机器人开发,同时加深与 CUDA 的绑定

1天前
讀畢需時 13 分鐘

NVIDIA 发布了 NVIDIA Isaac ROS 5.0,带来智能体技能、全新的 ROS 基础架构,以及一个重要的矛盾:软件免费且开源,但其最高效的路径依然通向 NVIDIA GPU 和 Jetson 计算机。

该版本在多伦多的 ROSCon 上公布,将 AI 编程智能体引入此前需要大量手动配置的机器人工作流。同时,Isaac ROS 迁移至 ROS 2 Lyrical 和 Ubuntu 24.04。开发者可获得更新的标准、可复用的工作流,以及覆盖整个 Jetson 产品家族的更广部署路径。

核心竞争并非 NVIDIA 与某一家机器人公司之间的较量,而是硬件中立的 ROS 互操作性与 NVIDIA 垂直整合的 physical AI 技术栈之间的博弈。NVIDIA 正在向上游贡献实用接口,但只要开放机器人软件让 CUDA 加速更容易被采用,这家公司同样会从中受益。

这种组合之所以重要,是因为机器人开发仍然高度碎片化。一个可运行的应用必须连接摄像头、感知模型、规划软件、控制系统和实体硬件。智能体辅助可以减少集成工作,但无法消除机器在不断变化环境中运行的不确定性。

NVIDIA Isaac ROS 5.0 改变开发层

该版本将 AI 智能体视为机器人开发的参与者,而不只是通用编程助手。

NVIDIA Isaac ROS 是一组面向感知、建图、导航和操控的 GPU 加速 ROS 2 软件包。ROS 2 提供通用通信框架,使这些软件组件能够交换消息并协调机器人行为。

Isaac ROS 版本新增了面向智能体的文档,以及用于环境设置、迁移、感知和操控任务的可复用技能。这些技能采用开放格式,兼容的编程智能体可将其作为结构化指令读取。

这一差异使该版本不同于仅仅在代码编辑器旁放置聊天机器人。通用助手可以推荐命令或生成代码片段;智能体技能则能够描述受支持的流程、预期工具、必需输入和完成条件。

NVIDIA 的首批技能涵盖激活开发环境、协助开发者迁移现有项目等任务。更广泛的目录还包括与 physical AI 开发相关的工作流。

其中一个示例面向 NVIDIA 的立体感知模型 FoundationStereo。该技能引导智能体针对开发者的摄像头、运行环境和应用,对模型进行微调。立体感知通过比较两台摄像头的图像来估算深度。

另一个工作流将抓取与放置打包为独立的、面向智能体的技能。抓取与放置结合了目标检测、深度估计、位姿计算、运动规划和操控。每个组件都可能独立失败,因此完整工作流可作为检验智能体辅助集成的有效测试。

FoundationPose 也获得了面向智能体的推理库。该模型估算物体的位置和朝向,随后在物体或摄像头移动时追踪这些数值。NVIDIA 表示,更新后的实现可将这项工作提速最高 5.5 倍。

这一数据来自 NVIDIA,而非独立基准测试。其实际价值取决于物体、摄像头、GPU、软件配置和精度要求。生产团队应审视延迟分布和失败案例,而不应只关注峰值倍数。

NVIDIA 表示,Isaac ROS 通过免费且熟悉的工具触达近 130 万 ROS 用户。这个数字反映潜在开发者基础的规模,但并不衡量活跃的 Isaac ROS 部署数量。

该版本现已推出,NVIDIA 已将其软件包发布为 5.0.0 版本。直接变化很明确:智能体工作流如今已纳入受支持的机器人工具链,而不再只是外部实验。

这一变化也造成本篇文章更大的张力:AI 智能体获得了进入机器人开发的更清晰路径,而开发者也多了一个让软件与 NVIDIA 加速计算环境保持一致的理由。

ROS 2 Lyrical 让 GPU 加速更具可移植性

最具影响力的变化或许是 ROS 接口,而不是 AI 智能体功能。

NVIDIA Isaac ROS 5.0 迁移至 ROS 2 Lyrical Luth,这是最新的长期支持 ROS 发行版。Lyrical 于 2026 年 5 月推出,计划支持至 2031 年 5 月。

长期支持对机器人至关重要,因为机器的服役周期通常远长于消费级软件。制造商在整个部署期间都需要安全修复、兼容的软件包和可预测的维护窗口。

Lyrical 还引入了 rosidl::Buffer,这是一种无需不必要复制即可交换消息数据的标准机制。NVIDIA 与 Open Source Robotics Alliance 合作开发该接口,并贡献了一个基于 CUDA 的实现。

传统 ROS 管道可能会在发布前将传感器数据从 GPU 内存转移至常规系统内存。接收组件随后又可能将数据复制回 GPU。大型图像、深度图和点云会让这些传输代价高昂。

新缓冲区接口使受支持的发布者和订阅者能够通过标准 ROS 消息引用数据,同时将其保留在加速器可访问的内存中。ROS 2 Lyrical 文档将此功能描述为一种无需从现有位置移动数据即可发布数据的方式。

CUDA 提供了当前可用的示例,但该接口并非专为 CUDA 定义。ROS 文档称,开发者可以为不同的硬件加速器或机器学习库实现其他缓冲区后端。

这一设计为开放生态系统提供了重要资产。机器人软件包可以面向统一的消息接口,而无需在整个应用代码中嵌入 NVIDIA 专有的传输类型。

不过,首个版本的可移植性仍有限制。ROS 文档称,零拷贝功能目前仅适用于使用 rmw_fastrtps_cpp 的发布者和订阅者。对于另一种通信层 Zenoh 的支持正在规划中。

Isaac ROS 5.0 还围绕 rosidl::Buffer 重建了其加速传输机制。NVIDIA 较早的 NITROS 软件包和类型已从主架构中移除。NITROS 先前用于优化加速 ROS 节点之间的消息传递。

官方 Isaac ROS 说明警告,直接调用 NITROS API 或类型的代码需要进行源代码级迁移。桥接层仍可使用,但 NVIDIA 已将其弃用,并计划在未来移除。

这不只是常规的软件包维护。与 NITROS 深度耦合的团队必须投入工程时间迁移至新标准。这一成本,是通往更干净、更具互操作性架构的代价。

NVIDIA 还新增了 Isaac ROS Buildfarm 仓库,其中提供适用于 Ubuntu 24.04 的 Lyrical 软件包。构建农场会编译和分发兼容的软件包,减少每位开发者在本地构建相同依赖项的需要。

结果是一场重大的架构转变。NVIDIA 正以一个上游标准取代专有 ROS 传输抽象,同时提供 CUDA 后端和打包环境,让其自身硬件成为最容易采用的加速器。

因此,硬件中立的接口并不保证硬件中立的采用。拥有可用驱动、经过测试的软件包、参考机器人和部署支持的供应商,仍然可以获取大部分生产使用量。

智能体技能将文档转化为可执行工作流

Isaac ROS 智能体技能旨在将开发者意图转化为可重复执行的操作,但并不会默认让机器人实现自主化。

当任务具备清晰的工具、已记录的状态和可验证的输出时,软件智能体最能发挥作用。机器人开发中存在许多此类任务,包括环境设置、软件包迁移、模型转换、摄像头标定和基准测试执行。

这些活动会消耗大量工程时间,却并不代表机器人的核心业务功能。能够可靠处理这些任务的智能体,可以缩短迭代周期,并让小型团队也能使用复杂软件包。

面向智能体的文档同样重要,原因也在于此。仅为人类编写的文档可能将先决条件分散在多个页面中。智能体则需要明确的命令、受支持的版本、预期产物和恢复步骤。

Isaac ROS 智能体技能将其中一部分操作知识打包为可复用流程。开发者可以表达目标,由智能体将目标映射至已知步骤和可用工具。

这种方法也带来新的维护负担。技能必须与软件包版本、操作系统、容器镜像和硬件依赖保持同步。一条过时指令可能生成看似合理、却会在部署时失败的配置。

机器人领域的风险高于普通应用开发。生成的网页界面可以在发布前检查;机器人则可能移动设备、与物体碰撞,或误读传感器数据。

因此,开发者需要为智能体权限设定边界。助手可以准备容器、修改启动文件或运行仿真测试,但不应在未经验证的情况下,悄然将配置推送到实际运行的工业单元中。

FoundationStereo 同时体现了价值与风险。针对特定摄像头的微调需要进行数据准备、训练设置、模型评估和部署打包。智能体可以协调这些步骤,但不能假定更高的基准准确率就能保证更安全的行为。

环境变化可能暴露开发数据集未覆盖的弱点。反光表面、光线不足、振动、遮挡和摄像头移动,均可能改变深度估计结果。

抓取与放置工作流带来了另一项挑战。成功的演示可能使用已知物体和受控工作空间。生产系统则要面对磨损零件、意外摆放、标定漂移,以及进入操作区域的人员。

AgenticROS 正将这一理念推向更高层级的机器人控制。这个由 RealSense 赞助的开源项目,将 ROS 2 能力暴露为推理智能体可选择的工具。

RealSense 描述了一个示例:用户要求机器人寻找并检查托盘。智能体确定自己需要哪些感知、导航和操控工具。AgenticROS 项目将这一推理层与 Isaac ROS、Nemotron 模型、NemoClaw 蓝图、Jetson 计算和 RealSense 感知相连接。

该模型将任务推理与底层机器人能力分离。智能体负责选择工具,而成熟的 ROS 组件负责定位、感知、规划和控制。

这种分离方式是合理的,但并未解决验证问题。推理模型可能选择不恰当的工具、误读其输出,或在条件变化后继续执行。团队仍需要在智能体决策循环之外配置确定性的安全系统。

因此,短期机会比完全自主的机器人编程更为有限。Isaac ROS agent skills 最可信的定位,是作为受监督的开发工具,自动完成可重复的工程工作,并产出供人工审查的成果。

开源扩大了可及性,但也强化了 NVIDIA 的技术栈

NVIDIA 的开源战略降低了软件使用门槛,同时提升了其硬件平台的吸引力。

Isaac ROS 5.0 免费且开源,其软件包可通过 GitHub 上的 NVIDIA Isaac ROS 组织获取。开发者无需购买软件许可证,即可查看代码、修改软件包、提交问题并构建集成。

这种开放性让更广泛的机器人社区受益。规模较小的团队能够使用持续维护的感知和导航组件。研究人员可以更轻松地复现工作流程。硬件厂商则可通过熟悉的 ROS 接口连接传感器和机器人。

该版本周边的生态系统已相当广泛。NVIDIA 列出的集成合作方包括 RealSense、Intrinsic、Seeed Studio、Magna、Foxglove、Flexiv、Ekumen、Ouster、Mentee Robotics、Universal Robots、ROBOTIS、FieldAI 和 Noble Machines。

这些合作伙伴涵盖摄像头、可视化、工业机械臂、人形机器人、自主系统和制造业。他们的参与为开发者提供了 NVIDIA 自身演示之外的参考依据。

Intrinsic 提供了一个跨平台合作的有用案例。其开源的 Intrinsic Core 将面向感知、运动规划、抓取、控制和仿真的 ROS 兼容服务打包在一起。

该公司的 Open Machine Tending 参考解决方案使用 NVIDIA FoundationPose 进行对象注册、姿态估计和跟踪。它还使用 Gazebo 仿真以及与硬件无关的实时控制框架。

Intrinsic Core 的设计表明,一个开放的机器人应用如何将 NVIDIA 的感知能力与其他厂商的工具结合。开发者无需接受一套完全封闭的技术栈,便可使用 FoundationPose。

不过,广泛的集成也为 NVIDIA 算力提供了分发渠道。每一份有文档记录的传感器、机器人或参考工作流程,都会降低新项目选择 Jetson 和 CUDA 的风险。

Jetson 覆盖从入门级 Orin Nano 设备到性能更高的 Jetson Thor 平台。Isaac ROS 5.0 支持这一范围,为具有不同计算需求的团队提供共同的软件环境。

这一模式与其他开放核心基础设施战略相似,尽管 Isaac ROS 本身是开源的。软件降低了采用成本,而商业机会则体现在处理器、加速器、系统及相关企业服务中。

这并非天然有害。开源项目往往依赖于资助工程开发、同时销售相邻产品的厂商。关键问题在于,当用户需求发生变化时,他们是否仍保有切实可行的替代选择。

新的 rosidl::Buffer 基础改善了这一处境,因为它欢迎其他加速器后端加入。机器人厂商可以为不同硬件实现该标准,而不必迫使应用开发者重写每一种消息类型。

但仅有接口并不等于成熟的替代方案。竞争性后端还需要驱动程序、软件包构建、文档、测试、示例,以及对常用 ROS 组件的支持。

NVIDIA 目前将所有这些层面结合在一起。它提供 GPU 硬件、CUDA、Jetson、Isaac ROS、基础模型、仿真工具、文档和合作伙伴集成。这种纵向覆盖能力,可能会在采购决策中胜过理论上的可移植性。

因此,主要对手并非另一个具名的机器人平台,而是开放标准与实际可移植性之间的鸿沟。Isaac ROS 5.0 在 API 层面缩小了这一差距,同时可能进一步扩大 NVIDIA 在打包交付能力上的领先优势。

迁移与真实环境验证仍是难点

该版本简化了重要工作流程,但并未消除迁移工作、安全测试或企业基准测试的局限。

现有 Isaac ROS 团队面临最直接的权衡。迁移至 ROS 2 Lyrical 可获得较长的支持周期和更新的接口。直接使用已移除 NITROS API 的用户也必须修改源代码。

所需工作量因应用而异。通过受支持接口使用高级软件包的团队,可能只会遇到可控的配置变更。使用自定义 NITROS 类型、传输逻辑或经修改容器的团队,则可能面临更深层的重写。

代理辅助迁移可以识别依赖关系并建议替代方案,但无法保证变更后具备等效的时序、内存使用、数值行为或可靠性。

机器人系统往往依赖隐含的性能假设。摄像头延迟略微增加,便可能改变控制行为。内存分配方式的变化可能引入抖动。新的中间件路径可能影响负载下的消息传递。

开发者应在迁移前后测量完整管线。实用检查项包括端到端延迟、丢帧情况、GPU 内存使用、CPU 负载、启动行为,以及组件发生故障后的恢复能力。

同样的谨慎也适用于 NVIDIA 的性能声明。该公司表示,新的 FoundationPose 库对象跟踪速度最高可提升至 5.5 倍。它还称,Ekumen 使用 isaac_ros_cumotion 规划无碰撞仓储机械臂路径,耗时约两至五毫秒。

这些数字体现了令人期待的技术能力,但并不能证明其具有普遍的生产环境效果。运动规划器可以快速生成路径,而整体系统仍可能受制于感知、网络、执行机构或安全检查。

除了速度,准确性同样重要。若姿态估计虽能更早到达,却会在反光或部分遮挡的物体上失效,它未必能改善生产线表现。

真实硬件会带来仿真和受控演示无法完全呈现的条件。摄像头会发生偏移,镜头会变脏,光照会改变,机械部件会磨损。工作人员也可能将物体移动到预期位置之外。

智能体工作流程增加了另一个变量。团队必须记录用于生成已部署成果的模型、skill 版本、提示词、工具输出和配置。否则,自动化变更将难以审计或复现。

安全性也需要同等关注。能够运行开发工具的智能体可能访问凭据、容器、软件包仓库、联网机器人和部署脚本。权限应限定为该智能体完成任务所必需的最小范围。

开源可见性有助于团队检查组件,但检查并不等于认证。工业用户仍需要符合其运行环境和监管义务的验证流程。

130 万 ROS 用户这一数字同样需要结合背景理解。NVIDIA 将其视为 Isaac ROS 可触达的社区规模,但这并不说明其中有多少用户拥有兼容 GPU、运行生产机器人,或计划采用智能体工作流程。

采用证据比可用性更重要。值得关注的信号包括持续维护的第三方软件包、已解决的迁移问题、重复部署,以及在 NVIDIA 合作伙伴网络之外发布的基准测试。

因此,Isaac ROS 5.0 应被视为基础设施,而非智能体构建的机器人已经到来的证明。它的价值取决于团队能否将更清晰的工作流程转化为稳定的机器,同时不失去对自身架构的控制。

三项信号将表明 NVIDIA Isaac ROS 5.0 是否兑现承诺

下一阶段将检验可移植性、采用情况和可靠性,而非发布日的功能清单。

第一项信号是非 CUDA rosidl::Buffer 后端的增长。该接口为 ROS 开发者提供了处理驻留在加速器中的数据的标准路径,CUDA 则提供了初始实现。

第二个达到生产质量的后端,将强化其硬件中立的解读。这将表明,软件包能够在多个加速器上使用相同的消息设计。

如果 CUDA 仍是唯一经过广泛测试的选项,NVIDIA 的贡献依然会改善 ROS。但它也将主要充当更顺畅进入 NVIDIA 技术栈的入口。

第二项信号是 Isaac ROS 用户的真实迁移体验。应关注问题跟踪器、版本更新和合作伙伴仓库中关于替换直接 NITROS 依赖的报告。

若迁移过程可控,并由可靠的 agent skills 和清晰文档支持,将验证 NVIDIA 的开发主张。反复出现的不兼容或性能回退则会削弱这些主张。

这一信号很重要,因为现有团队比新演示提供了更严苛的测试。他们带来了自定义节点、旧版容器、特殊传感器,以及历经多个版本积累的性能假设。

第三项信号是智能体创建工作流程的独立部署证据。开发者需要的不只是成功完成任务的案例。

有力的证据应说明机器人、环境、硬件、数据集、安全边界、故障率和人工监督情况。它还应区分开发阶段节省的时间与运行阶段实现的性能。

可重复的现场结果将支持 NVIDIA 关于智能体能够加速复杂机器人工作的论点。以受控演示为主,则意味着这项技术仍是有用的开发辅助工具,而非生产模式的变革。

NVIDIA Isaac ROS 5.0 仍代表着具体的一步。它将智能体指令引入一个持续维护的机器人平台,采用最新的 ROS 长期支持版本,并以更广泛的标准替代专用传输类型。

其最重要的贡献或许是连接这些变化的机制。标准缓冲区减少数据移动,打包的 CUDA 支持提供即时加速,而 agent skills 则帮助开发者驾驭由此形成的技术栈。

其权衡也同样具体。团队获得开源代码和更标准化的接口,但最完整的部署路径仍以 NVIDIA 硬件和软件为中心。

评估该版本的开发者应从一个边界明确的工作流程开始,测量整个管线,并在硬件部署前保留人工审批。他们还应记录每一项由智能体产生的变更。

有意义的问题并非 AI 智能体能否生成一个可运行的机器人演示,而是当环境发生变化后,同一工作流程是否仍然可理解、可移植且安全。

如果非 CUDA 后端逐步成熟、迁移保持可控,并且独立部署经受住真实运行条件的考验,NVIDIA 的方法将强化开放机器人生态。若这些信号未能实现,Isaac ROS agent skills 仍可节省配置时间,但更宏大的承诺仍有待证明。

 
 

免费开始使用

一款本地优先的AI助手

为了获得更好的人工智能体验,

remio 目前仅支持Windows 10+ (x64)M-Chip Mac

你的 AI 工作伙伴

remio 一起高效工作

规划、创作、交付

一站式完成

bottom of page