Gecko Robotics AI 安全将人类控制置于完全自主之前

Gecko Robotics 的 AI 安全如今有了一项实体测试：在美国海军舰艇甲板上，让自主巡检机器人始终处于人类定义的限制范围内。9 月 28 日，Gecko 宣布将与 NVIDIA 合作打造面向 AI 智能体的开放安全平台。核心矛盾十分直接：更高的自主性可以提升巡检能力，但一条不安全的指令就可能损坏设备或造成人员受伤。

Gecko CEO Jake Loosararian 在与 Bloomberg Technology 的一场节目讨论中阐述了这一矛盾。他的观点挑战了将 AI 安全视为部署阻力的常见叙事。Gecko 认为，可强制执行的控制机制能让企业在将关键决策权保留给人类的同时加快推进速度。

这一论点如今面对的标准，比围绕聊天机器人或办公智能体的安全主张更严苛。软件智能体可能泄露数据、删除文件，或联系错误的服务；机器人则可能越过实体边界、撞到人员，或危及关键基础设施。

NVIDIA 的 Open Agent Safety Platform 为 Gecko 的实验提供了技术基础。其 OpenShell 运行时将智能体的规划过程与约束其行动的权限分离开来。Gecko 正在 Komodo 上测试这种分离机制；Komodo 是一款用于检测船舶甲板防滑涂层下腐蚀情况的机器人。

因此，真正的竞争并非 Gecko 与其他机器人公司之间的较量，而是由策略强制执行的自主性，与主要依赖模型遵守指令的自主性之间的较量。前一种方法假定智能体有时会犯错，并试图限制这些错误能够造成的影响。

Gecko 的工作为这种架构提供了一个具体案例，但尚未给出定论。该系统仍未投入生产，受控的匹兹堡测试也无法代表每一个船厂或工业现场。接下来关键在于：当环境、设备和人类决策变得更难预测时，这些边界能否依然可靠。

Gecko Robotics AI 安全从承诺走向机器人控制

这项合作将 AI 安全从模型行为问题转变为运营控制问题。

Gecko 与 NVIDIA 的机器人合作覆盖了 AI 智能体与执行其指令的机器之间的完整链路。两家公司正在探索 OpenShell 如何为机器人行动设置可强制执行的边界。这些边界规定智能体可以访问什么、能够发出哪些指令，以及何时必须由人类批准变更。

OpenShell 是一个开源安全运行时，也就是说，它控制智能体运行的环境。智能体位于一个沙箱中，对文件、网络、凭证和机器接口的访问受到限制。独立的监管层会根据既定策略评估请求。

这种分离至关重要，因为不能指望 AI 模型可靠地自我约束。写在提示词中的指令仍属于智能体需要解释的推理上下文。运行时控制则处于该上下文之外；智能体无法仅靠推理绕过被拒绝的权限。

Gecko 将这一设计应用于 Komodo。这是一款采用电磁声换能器技术的机器人，用于船舶甲板巡检。该机器人通过采集材料厚度测量数据，识别防滑漆层下的腐蚀情况。其现场软件会跟踪位置、读取巡检探头，并控制在甲板上的扫描。

据 Gecko 介绍，Komodo 已完成十余次付费巡检，扫描甲板面积超过 10 万平方英尺。这些数据描述的是已成熟的巡检系统，而非自主 OpenShell 配置。Gecko 表示，受智能体控制的版本已在其匹兹堡设施内的一台真实机器人上测试，但尚未进入生产阶段。

这一区别至关重要。正在运行的巡检机器人与实验性的自主控制层，并不处于相同的产品状态。Gecko 拥有执行这项实体任务的经验，但安全架构仍在评估之中。

该试点为合作设定了清晰目标。Gecko 希望由一名操作员监管多台 Komodo 机器人，而不是在巡检过程中始终直接控制一台机器。这种安排可以扩大覆盖范围，但也会分散操作员的注意力。

因此，安全系统不能只拒绝明显无效的指令。当人类将注意力放在其他事项上时，它还需要维持本地运行规则。一项技术上可行的移动，在甲板边缘附近仍可能危险；更快的扫描也可能降低获得有效巡检结果所需的测量密度。

Gecko 的公告并未承诺让机器人自行决定什么是安全的。它描述的是一种系统：人们在任务开始前和执行过程中定义可接受的运行边界。智能体在这些限制内规划，而外部控制机制会拦截超出限制的行动。

这是这则报道中最重要的变化。人类控制成为执行架构的一部分，而不再只是“操作员仍会参与”的笼统承诺。

为什么实体 AI 需要外部护栏

实体 AI 提高了智能体出错的代价，因为软件决策会转化为现实世界中的移动、作用力和变化。

实体 AI 指的是能够感知环境、作出决策，并通过机器采取行动的系统。这一类别包括工业机器人、自动驾驶车辆、无人机，以及其他在电脑屏幕之外运行的设备。其安全要求远不止生成准确答案。

研究已表明，模型层面的拒答机制并不充分。一项 2024 年针对机器人越狱研究的论文，对三种由 LLM 控制的机器人系统进行了攻击测试。研究人员在白盒、灰盒和黑盒环境中诱导出了有害的实体行动。

该论文并未测试 Gecko 的机器人或 OpenShell，但它仍展示了其中的基础风险。当攻击者设计指令以绕过语言模型的行为防护时，这些防护可能失效。将这样的模型连接至移动机器，便为故障提供了实体路径。

Gecko 的设计假定模型具有非确定性，即相同的情境可能产生不同输出。该公司也假定智能体可能犯错。OpenShell 通过决定智能体能够接触哪些资源和机器能力，来限制错误带来的后果。

这一智能体安全平台将这一理念延伸至软件和硬件层面。NVIDIA 将 OpenShell 描述为 CPU 级运行时边界。其 Sentry 组件通过 BlueField-4 数据处理单元提供独立监控，并可隔离违反策略的智能体。

NVIDIA 表示，Sentry 可在毫秒级停止或隔离智能体。在独立测试证明其在不同工作负载和故障条件下的表现之前，这仍只是供应商的说法。即便响应速度足够快，如果传感器、策略或环境假设出现错误，也不能仅凭此保证安全。

通过甲板边缘场景，更容易理解 Gecko 的实体实现方式。机器人的控制接口开放了移动能力。OpenShell 监控智能体生成的指令，并将其与允许的运行区域进行比较。

如果某条拟议指令会让 Komodo 驶出安全范围，中间件便可拦截并修改该指令。随后，系统会告知智能体行动为何发生变化，使其能够制定另一套方案。这一结构在不授予无条件控制权的前提下保留了有用的自主性。

人员进入作业区域则构成另一项测试。Gecko 表示，其系统会检测动态物体、停止机器人，并同时向智能体和操作员发出警报。只有在操作员确认环境安全后，工作才会恢复。

这些例子揭示了人类控制的一种实用定义。它并不要求人类发出每一条移动指令，而是要求人类决定边界、批准具有重要影响的例外情况，并保留停止或恢复机器运行的权力。

这种方法还弥补了基于提示词安全机制的一项弱点。提示词可以要求智能体不要越过边界；外部控制器则可以阻止该指令抵达机器人。前者请求遵从，后者限制能力。

这一区别正是该项目的重要性超出单一巡检机器人的原因。工业自主化将取决于企业能否将现场知识转化为机器可强制执行的规则。即使 AI 误解目标或收到恶意指令，这些规则也必须保持有效。

真正的权衡是速度与决策权

Gecko 的主张是，企业能够在不放弃决策权的情况下快速部署自主化技术，但前提是执行机制始终与智能体规划相分离。

Loosararian 拒绝接受“失去对 AI 的控制是进步不可避免的代价”这一观点。他认为，工程师有责任设计出让智能体始终处于人类设定限制内的系统。这也将安全工作重新定义为推动部署的基础设施。

Gecko 的试点项目展现了这一观点背后的商业压力。该公司表示，甲板巡检需求正在上升。让一名操作员监管多台机器人，可以同时扩大甲板巡检面积。

这种运行模式看似带来一个选择：Gecko 可以让人类持续直接关注每台机器人，从而限制扩展规模；或者，它可以赋予智能体更多责任，并接受监管人员无法实时观察每一项行动这一事实。

外部强制执行提供了第三条路径。智能体负责常规规划和移动，而策略将特定选择保留给操作员。人类注意力从持续控制转向处理例外情况和进行授权。

Gecko 的Komodo 试点通过巡检速度说明了这一区别。一项日程变更可能产生“在一半时间内完成工作”的指令。智能体可以通过提高探头的栅格扫描速度作出回应。

然而，更快的移动可能降低数据密度。这种权衡会影响巡检价值，即使机器人在机械层面依然安全。OpenShell 可以拦截这一拟议变更，并在调整扫描速率前要求人类批准。

这一例子将 AI 安全的范围扩展到碰撞规避之外。系统必须保护工作的目的，而不仅是人员和设备。若机器人快速完成巡检，却收集到不足的测量数据，那么它就未能完成任务。

因此，人类控制还包括质量阈值、访问权限和运行优先级。每一类都需要不同的策略。移动边界可以利用位置数据，而巡检质量规则则可能取决于速度、传感器读数和现场要求。

这一设计也带来了新的工作。操作员和工程师必须将实践知识转化为明确的约束条件。他们必须识别哪些行动可以自动进行，哪些需要升级处理，以及哪些应始终被禁止。

这一过程可能暴露此前以非正式方式处理的分歧。现场操作人员可能明白，天气、地面状况或附近活动会改变可接受的风险水平。静态规则若没有额外的传感器和上下文信息，可能无法捕捉这种判断。

因此，快速部署与安全只有在特定条件下才能兼容。必须理解相关危险；政策必须准确反映这些危险；而执行必须发生在代理控制范围之外。

这种架构无法消除不确定性。它可以通过在人员介入前缩小代理的可执行范围，使不确定性更易于管理。这比承诺一个能力足够强的模型总能做出正确选择更可信。

Gecko Robotics 的 AI 安全能力在公司能够界定精确的物理和操作边界时最强。当安全依赖模糊的上下文或相互竞争的目标时，问题就会变得更难。该试点的价值将体现在揭示这条界线究竟落在哪里。

NVIDIA 正在整个代理市场构建控制层

NVIDIA 希望代理安全成为一层共享基础设施，而不是分别内建于每个模型和应用中的一组保障措施。

Open Agent Safety Platform 的范围比 Gecko 的机器人测试更广。NVIDIA 将其描述为一项开放参考设计，涵盖代理测试、部署、监控和硬件级执行。各组织可根据自身需求采用其中的单独组件。

OpenShell 采用默认拒绝模型。代理起初不具备广泛访问权限，策略只授予完成任务所需的权限。运行时会过滤系统调用、限制可访问的文件，并通过监管程序代理网络请求。

监管程序在代理沙箱之外运行。它会根据软件二进制文件、目标地址、方法和路径评估网络访问。NVIDIA 表示，策略变更可在代理运行期间生效，允许和拒绝决定都会被记录以供审计。

策略证明器增加了另一层保障。它使用形式化验证——一种用于检查系统是否满足既定属性的数学方法。NVIDIA 表示，该工具可以评估拟议规则是否仍处于获批准的访问边界内。

这些机制同时针对多种代理风险。隔离可限制受损代码造成的损害；严格权限可保护凭据和文件；审计记录可帮助调查人员重建代理曾尝试执行的操作。

该平台也让 NVIDIA 在模型与代理运行的基础设施之间占据了战略位置。它旨在支持开放或闭源模型，以及不同的代理框架。这种与模型无关的立场，可能使控制层在碎片化市场中具备跨平台价值。

NVIDIA 表示，已有超过 100 家组织正与平台中的技术合作。其公布的参与者涵盖 AI 公司、基础设施提供商、安全厂商、银行、工业运营商和政府相关客户。Figure、Gecko 和 Skild AI 位列 NVIDIA 点名的机器人开发商之中。

这些合作表明了兴趣，而非广泛采用的证明。“合作”可能包括集成、评估、贡献或生产部署。买家需要更精确的披露，才能把参与者数量视为运营成熟度的证据。

NVIDIA 还通过 Halos for Robotics 推进一项相关的物理安全战略。该系统结合了计算硬件、操作软件、外部感知和检测资源。OpenShell 则更直接地专注于控制代理的访问和行为。

这两项工作体现了分层安全观。安全运行时可以限制命令，而机器人安全栈则处理感知、计算和机器行为。任何一层都无法替代可靠的硬件、传感器、维护或现场流程。

这对竞争对手和企业买家都很重要。机器人公司必须决定是采用共享的 NVIDIA 控制层、构建专有保障措施，还是将两种方法结合。工业客户则必须确定这些控制措施如何融入现有安全和网络安全体系。

开放基础可以减少重复工作，并允许外部审查。但它也可能让架构影响力集中于 NVIDIA 的软件和硬件栈。开源并不会自动消除集成成本或对相邻组件的依赖。

该平台的成功将取决于可移植性和可验证性。开发人员需要能够跨模型和部署环境运作的策略。安全团队需要证据证明，执行机制能够在对抗条件下生效，而不只是在标准演示中表现良好。

Gecko 为 NVIDIA 提供了一个具体的物理应用场景。评估一个接近舰船甲板边界的机器人，比评估一项关于负责任代理的宽泛承诺更容易。真正的考验是，这种清晰性是否能在受控设施之外的部署中得以保持。

匹兹堡测试仍留下生产环境问题

主要的不确定性不在于 OpenShell 能否阻止一场预先准备的演示，而在于其策略能否在不断变化的工业环境中保持可靠。

Gecko 表示，所有已描述的 OpenShell 功能均已在其匹兹堡测试环境中的真实机器人上实现并测试。该公司还表示，自主配置尚未投入生产。这一差距应当影响对该项目的所有评估。

测试设施使工程师能够控制甲板布局、安全区域、网络条件以及进入工作区域的人员。海军舰艇或工业工厂则会引入变化中的设备、受限空间、异常表面、作业中的人员以及场地特定流程。

执行层的准确性取决于其接收的信息。若定位数据发生漂移，地理边界便无法保护机器人。若传感器漏检人员或错误分类物体，人员检测规则也可能失效。

策略之间也可能相互冲突。机器人可能接到快速完成任务的指令，同时还要保持测量质量并避开临时障碍物。系统需要在这些目标之间建立清晰的优先级，并在没有任何获准方案可行时作出安全响应。

人工升级处理本身也带来限制。一名同时监管多台机器人的操作员可能会面对同时出现的请求。如果每种异常情况都触发审批，系统可能失去更高自主性原本应带来的生产率优势。

相反的失败更为严重。宽松的策略可能让代理在情境需要人工判断时无需审核便继续执行。设计升级阈值将与底层沙箱同样重要。

网络安全增加了另一项挑战。将执行机制与代理分离，可降低提示注入覆盖规则的概率。但这并不会自动保护传感器、机器人固件、操作员账户、策略更新或通信链路。

NVIDIA 的 OpenShell architecture 涉及文件、网络、凭据、沙箱和策略执行。Gecko 的实现将控制扩展至机器人命令。独立评估必须审查当其中一个组件遭到破坏时，整条链路会如何表现。

军事和关键基础设施环境进一步提高了证据标准。客户会希望看到可重复的测试、故障日志、恢复流程，以及自动决策造成伤害时明确的责任归属。供应商演示无法取代这些流程。

平台的开放性能够支持审查，因为研究人员和客户可以检查部分软件。但已部署的系统还包括配置、传感器、硬件、网络和本地集成。仅审查源代码无法验证最终安装。

还存在将人工监督与人工控制混为一谈的风险。当不安全操作已经开始后才收到警报的操作员，可能只是在观察故障。真正有意义的控制，需要在后果变得不可逆之前具备足够的信息、决策时间和权限。

Gecko 的架构通过在执行前拦截某些命令来应对这一问题。生产环境的问题在于，工程师能多全面地识别这些具有决定性后果的命令。未知危险不会带着标签，说明应由哪项策略将其阻止。

这些问题都不会否定该试点。它们解释了为何真实机器人测试是验证的开始，而非结论。只有当实验产出有关故障、模糊情形和操作员工作负荷的证据时，它才真正具有价值。

三个信号将表明人工控制能否规模化

下一阶段必须证明，受边界约束的自主性能够在真实运营、独立评估和多机器人监管中发挥作用。

第一个信号是披露运行限制的生产部署。Gecko 已描述匹兹堡的一次现场测试，但尚未描述在海军舰艇上进行的主动自主检测。现场部署将检验该架构在更不可预测条件下的表现。

最有用的披露应明确代理究竟控制什么。读者应关注移动、扫描规划、速度变化、紧急停止和操作员审批等细节。清晰的限制将强化 Gecko 关于权力仍掌握在人手中的主张。

若生产公告不包含这些细节，其证据力度会较弱。“AI-assisted”可以描述从路线建议到直接机器控制的多种安排。自主程度决定了哪些安全主张具有意义。

第二个信号是独立技术评估。研究人员或客户应测试运行时能否阻止未经授权的操作、保持检测要求，并在传感器或策略不完整时安全失效。对抗性测试应包含恶意提示和受损组件。

结果应区分模型失效与执行失效。代理提出不安全操作令人担忧，但若边界将其阻止，则说明系统按设计发挥了作用。不安全命令到达机器人，则表明存在更深层的控制问题。

独立评估也将澄清 NVIDIA 的性能主张。毫秒级隔离听起来令人安心，但物理安全取决于总响应时间。传感器、网络、策略评估、机器人控制器和机械制动距离都会影响结果。

第三个信号是来自单操作员、多机器人工作的证据。这是 Gecko 为实现更广泛自主性设定的首个里程碑。它直接检验外部控制是减少工作负荷，还是仅仅用反复审批请求取代人工驾驶。

有用的指标包括人工干预次数、被阻止的命令、误报、检测覆盖率、数据质量和操作员注意力。Gecko 尚未公布自主试点的这些测量结果。缺少这些数据，限制了其与直接遥操作的比较。

如果一名操作员能够在不失去态势感知的情况下监管多台 Komodos，那么策略执行型自主性的理由将更强。如果升级请求压垮操作员，系统可能需要更好的规划、更保守的策略，或减少每位监管员负责的机器人数量。

这些信号的重要性不止于 Gecko。工业买家需要一种方法，将可部署的保障措施与精心打磨的演示区分开来。开发人员需要模式，以在不赋予模型对物理系统无限制访问权的同时保持其生产力。

正在形成的经验并不是人类必须手动控制每一项机器人操作。而是自主性需要一种权力结构。模型可以提出并执行常规步骤，外部系统则限制其权限范围，人类负责治理具有决定性后果的例外情况。

这种做法与其他技术领域成熟的安全实践相似。高风险系统采用分层控制，因为没有任何单一组件能够做到绝对可靠。物理 AI 同样需要这种纪律，只是必须针对能够规划、沟通并调整策略的智能体进行适配。

Gecko Robotics 的 AI 安全实践为这一原则提供了具体检验。其船舶甲板试点项目将抽象的智能体治理与一台在人群和高价值基础设施附近运行的机器联系起来，同时也揭示了基于受控试验得出的结论所存在的局限。

对于开发者和企业采购方而言，问题很实际：他们的运营知识能否被转化为机器无法绕过的规则？评估物理 AI 的团队应在提高自主性之前，明确禁止行为、所需审批以及可接受的故障状态。

未来数月，生产环境中的证据应比合作伙伴数量更具分量。独立测试应比供应商关于响应时间的说法更重要。操作人员的工作负担应与机器人的能力同等受到重视。

如果 Gecko 能在这些方面公布可信的结果，由人类控制的物理 AI 将呈现为一种可实施的架构，而不只是一句口号。若不能，行业仍将面对最初的矛盾：在尚未证明能够控制机器行为的情况下，加速部署自主系统。