top of page

theCUBE AI 韧性研究揭示信心与恢复能力之间的鸿沟

3小时前
讀畢需時 12 分鐘
Illustrative photograph: server racks. Photo: panumas nikhomkhai. Pexels License.

theCUBE Research 报告称,企业信心与经测试的恢复能力之间存在不匹配:在接受访谈的 25 家组织中,仅有 4 家演练过 AI 事件场景。这些演练包括部分测试。发表于 2026 年 11 月 8 日的 theCUBE AI 韧性研究向企业采购方提出了一个具体问题:当获得授权的自动化出错时,究竟什么支撑了他们的信心?

AI 智能体是利用模型选择行动并调用所连接工具的软件。允许此类软件开展工作,会改变错误答案造成的后果。错误的建议可能演变为被修改的客户记录、发出的外部消息,或一项运营决策。

Microsoft 和 Amazon Web Services 已经记录了针对智能体身份和执行监控的控制措施。它们的方法提供了有益的背景,但无论是权限设置还是执行轨迹,都不能证明受损的业务流程已经恢复。这一区别给安全负责人、应用程序所有者以及评估自主能力的采购方带来了压力。

theCUBE AI 韧性研究实际确立了什么

这些发现是在小规模访谈样本中识别出一个准备就绪问题,而非确立全行业的失败率。

Dave Vellante 和 Krista Case 介绍了与 Qualitate 开展的研究。这份 AI 韧性研究结果显示,两家组织广泛检测到了非预期的智能体行为,三家组织能够广泛重建活动过程。这些是访谈发现,并非对已部署系统的独立认证。

这些数字值得关注,因为它们涉及不同的能力。检测意外行动、重建其发生顺序,以及纠正其后果,是彼此独立的运营成就。在较早阶段取得成功,并不能证明在下一阶段同样成功。

然而,该样本并不支持“多数企业无法从 AI 事件中恢复”这样的标题。它同样无法确定哪一种平台、架构或行业表现最佳。读者在解读结果时应保留这一界限。

其有价值的变化在于,研究发布了从业者证据,使采购方能够据此审视自己的假设。如今,一项信心声明将面临具体的追问:组织究竟实际演练过哪一种相关事件?

即使智能体的任务范围很窄,这个问题也很重要。某项部署可能看似受控,因为其权限已有记录,且正常输出看上去可以接受。但这两项观察都无法回答:错误行动在通过这些控制后会发生什么。

设想一个用于更新配送地址并发送确认信息的示例客户服务流程。智能体选错了账户,但使用的是经批准的连接。认证成功,应用程序接受了更新,消息也离开了系统。

每个组件都可能依照自身配置运行,而整体结果仍然错误。该事件涉及一次有效操作与一个无效业务结果之间的关系。若安全调查仅限于未授权访问,就会忽略这一区别。

这个例子是假设性的,并非研究记录的事件。其目的在于区分采购方常常压缩成单一“准备就绪”主张的问题。访问控制关乎权限;恢复则关乎已行使权限的后果。

因此,最好将该研究视为一项证据挑战。组织可以通过相关演示来回应它,其中也包括揭示尚未解决限制的演示。与有记录且边界明确的恢复能力相比,缺乏依据的确定性提供的信息价值更低。

这种框架也避免将每一项智能体部署都视为具有同等后果。起草内部摘要与修改客户账户,所产生的责任不同。恢复证据的强度应反映实际授予的权限。

业务所有者要承担获授权错误的后果

压力落在必须接受纠正后业务结果的人身上,也落在运营智能体的人身上。

技术团队可以确认应用程序可用,却无法据此判断其记录是否仍具有商业准确性。这一区别在连接客户、交易和外部沟通的工作流中尤为明显。

在示例配送场景中,恢复地址字段只能解决部分问题。货物可能已经正在运往错误地点。客户也可能依赖一条如今需要更正的确认信息。

重要的分析要点是,恢复可能需要新的行动。有些后果无法仅靠还原来消除。业务所有者必须决定哪些纠正行动合适,以及哪些剩余例外情况需要处理。

这形成了一种产品演示很少能解决的组织依赖关系。智能体运营者可能了解其配置,却无权决定客户补救措施。应用程序所有者可能了解记录,却看不到外部承诺。

因此,采购面临一个要求更高的评估问题。供应商可以说明其产品如何停止智能体,但采购方仍需要安排如何纠正受影响的工作。责任跨越了软件能力与运营实践之间的边界。

这并不意味着每个供应商都应保证每一种可能的业务结果。这样的承诺将难以定义,也更难以证实。这意味着采购方需要清楚了解产品支持在哪里结束、组织责任从哪里开始。

同样的区别也适用于关于人工审批的主张。审批可以根据呈现的信息授权一项行动,但无法确保底层账户、文档或交易被正确选中。

设想一名审核者批准了一条措辞准确但引用了错误订单的客户消息。语言审核成功了,但账户关联仍然错误。审批记录确立了一项决定,却未解决由此产生的纠正工作。

对于知识工作者而言,这改变了将助手连接至工作场所系统的重要性。阅读文档、起草回复和发送该回复涉及不同的后果。当产品通过同一界面呈现这些操作时,便利性可能掩盖这些边界。

知识管理中也存在类似区别:查找信息和据此行动需要不同的判断。一段有用的检索内容可以为决策提供信息,却不能确立执行该决策的权限。

因此,企业采购方应在具有后果的行动层面审视自主能力。智能体的整体任务描述过于宽泛,无法解释其可能产生的每一项承诺。相关的问责单位是行动及其影响。

这正是 AI 智能体恢复成为业务问题的原因。问题不止于工程团队能否恢复服务,还包括组织能否识别受影响方、纠正承诺,并接受剩余状态。

身份与监控分别应对问题的不同部分

身份控制确立谁可以行动;监控则有助于解释该权限被使用后发生了什么。

Microsoft 发布的 智能体身份控制强调专用身份、指定所有者、范围严格限定的权限,以及受控的工具访问。最小权限原则是指仅授予完成既定任务所需的访问权限。Microsoft 还建议记录跨连接系统的行动并测试撤销机制。

AWS 则通过执行可见性应对相关问题。其 智能体工作流追踪文档描述了如何通过 AgentCore Observability 检查执行路径、中间输出和运营指标。可观测性是指利用已记录的系统活动来理解行为。AWS 记录了通过标准化遥测技术与现有监控系统集成的方式。

这些能力处于同一事件的不同位置。身份有助于确定智能体拥有哪些权限。执行记录有助于调查人员追踪智能体如何使用这些权限。

这一比较并不能确定 Microsoft 与 AWS 孰优孰劣。它们的文档涉及相互重叠但各不相同的要求,产品适用性取决于具体部署。两份来源均未独立验证采购方完整的恢复流程。

对于 theCUBE AI 韧性研究而言,这一区别提供了重要的市场背景。采购方已经拥有可供审查的、已记录的基础构件。尚未解决的问题是,他们组合而成的环境是否支持其预期的结果。

一个示例订单管理智能体说明了为什么组合这些部分很重要。其身份可能允许查询客户和修改配送信息。其执行记录可能显示,它选择了一个账户并成功提交了更新。

该记录有助于确立一个顺序,但要判断所选账户是否正确,还需要额外证据。应用程序可能需要历史记录或交易详情。客户运营团队可能需要审查沟通和履约活动。

因此,一次成功的工具调用只是中间观察结果。它表明某项请求到达了一个接受该请求的操作,但其本身并不能证明请求服务于正确的业务目的。

这一区别在评估产品主张时也很重要。揭示智能体行动顺序的演示可以支持关于可见性的主张。拒绝未授权操作的演示可以支持关于访问执行的主张。

关于恢复的主张需要不同的演示。评估者需要看到受影响的工作被识别、纠正已完成,以及最终结果获得接受。将较狭窄的演示延伸为这一更广泛的主张,会夸大证据。

对采购方而言,这形成了一个实用的比较框架,但并未将问题简化为功能清单。不同产品可在不同阶段贡献有用证据。组织仍有责任判断这些阶段是否衔接。

商业影响很直接:供应商面临着准确描述其保证范围的压力。明确的边界有助于采购方整合产品。关于信任的模糊主张则会使人更难确定哪些运营缺口仍属于客户。

行动权限带来的权衡无法靠提示词解决

核心权衡在于委托权限与组织能够检测、遏制和纠正的后果之间。

OWASP Gen AI Security Project 将过度代理定义为由过度功能、权限或自主性所导致的破坏性行动。其指导建议包括:限制工具能力、最小化权限、对重要行动要求审批,以及在下游系统中强制执行授权。

OWASP 还提出了一个电子邮件助手场景:原本用于总结邮件的软件获得了并不必要的发送能力。恶意邮件内容随后便可借助这一额外功能诱导信息泄露。在这个例子中,提示词注入——即嵌入不可信内容中的指令——提供了操纵手段。

这一场景说明的是边界问题,而不是将所有互联助手一概而论的理由。读取和发送带来的暴露面不同。将两者捆绑在同一产品中,会改变错误解读不可信内容所造成的后果。

更广泛的分析含义在于,指令与权限处于不同层面。提示词可以描述预期任务;周边系统则决定了当模型错误解读该任务时,哪些操作仍然可用。

设想一个假设性的文档助手,其职责是为内部政策提出修订建议。它的任务听起来并不复杂,但若拥有直接发布权限,便会产生另一层义务。一份错误草稿与一项错误发布的政策,需要采取不同的应对措施。

移除发布权限可以降低即时后果,同时保留其起草价值。对于经过严格限定的工作流,保留该权限或许有合理性。具体决定取决于执行的价值,以及组织处理例外情况的能力。

这是一项权衡,而非主张一律采用最低自主性的普遍论点。过度限制可能会削弱部署原本旨在提供的运营价值。过度授权则可能带来组织从未评估过的义务。

当代理安全测试检验错误决策下的这条边界时,才会真正提供有价值的信息。对预期工作流的成功演示说明了其实用性;受控失败演示则揭示了当实用性失效时,部署会如何表现。

这种区别改变了买方对精致演示的解读方式。正确执行证明系统能在演示条件下完成任务,却无法回答:当错误的目标或操作看似合理时,会发生什么。

反复审批并不能自动消除这种不确定性。审核者必须获得足够的相关信息,才能作出有意义的决定。隐藏受影响记录的审批界面,可能保留了控制的表象,却剥夺了判断所需的依据。

这不仅对安全架构,也对产品设计提出了要求。界面需要在关键决策真正发生的节点呈现其重要性。否则,组织便会通过审核者无法充分评估的流程授予权限。

对于 AI 代理恢复而言,关键启示是:可逆性应当属于自主性决策的一部分。组织在将执行视为起草的普通延伸之前,应先理解纠正所需的负担。收益与义务总是同时到来。

一项小型研究留下了大量未解问题

最有力的结论是,恢复能力主张需要更充分的证据,而更广泛问题的普遍程度和严重性仍不确定。

访谈研究能够揭示大规模问卷容易忽略的区别,但也可能反映术语、受访者知识和理解方式的差异。一个将部分演练描述为准备就绪的组织,所采用的门槛可能不同于另一个描述运营准备度的组织。

这种不确定性限制了受访者之间的比较,也限制了对行业进行排序或根据报告数量估算预期损失的尝试。这些判断需要为相应目的而设计的额外证据。

因此,theCUBE AI 韧性研究应当促使进一步调查,而不应被视作普遍性的结论。买方可以认真对待它提出的问题,同时对泛化保持谨慎。关注与统计确定性是不同的概念。

还有另一项解释限制:未报告演练,并不意味着所有相关控制都不存在。既有的交易保障措施可能会限制特定部署。它们是否足够有效,取决于具体工作流。

反向推论同样站不住脚。熟悉传统应用程序事故,并不能证明组织已准备好应对所有由代理驱动的行动序列。相关经验只是起点,但每一次权限扩展都会改变被评估的条件。

标准化工作也需要谨慎解读。NIST 国家网络安全卓越中心介绍了其探索代理授权的工作,包括基于标准的方法,用于识别代理并管理其访问权限和行动。这项工作为治理问题提供了背景;它并不认证某一特定企业部署。

对买方而言,这一区别避免了一种常见的类别错误。与指导原则保持一致可以描述设计选择;认证、独立验证和成功的运营演练,则是需要各自证据支持的不同主张。

同样,受控测试只能证明其条件所能支持的内容。涉及特定应用程序的演练,无法解答所有互联服务的问题。当组织同时记录已展示的能力和未测试的边界时,其价值才会提升。

假设性失败场景也需要明确标注。它们可以阐明某种机制,却不能证明它已在某个特定组织中发生。将说明性场景混同于已观察到的事故,会夸大现有证据。

因此,可信的分析应保留多种视角。研究人员有理由要求更有力的演示;供应商有理由说明其产品提供的能力;从业者也有理由指出运营约束和既有保障措施。

尚未解决的问题在于,这些视角如何在具体部署中相互衔接。买方需要足够细节来评估这种联系,同时不提出不可能的保证。证据应当让剩余的不确定性可见,而不是将其掩盖。

这也是审慎看待新恢复产品的恰当方式。一场有说服力的演示值得关注,但其范围必须与其主张相匹配。只有当有人将狭义的成功包装成更广泛问题的答案时,它才会产生误导。

下一阶段的证据应展示纠正,而不仅是控制

近期最有价值的信号,将涉及已验证的恢复、相互关联的证据,以及关于自主性的明确决策。

未来几个月,首先值得关注的信号是详细客户演练的发布。有价值的案例会说明工作流、错误行动、受影响记录以及被接受的纠正措施,也会披露演练尚未解决的问题。

这类证据将强化企业正在把担忧转化为运营能力的判断。仅限于信心表述的报告,则会让核心不确定性依然存在。买方应区分被描述的意图与实际观察到的结果。

第二个信号是,产品演示是否将事故的各个阶段串联起来。评估者应能够在同一场景中追踪权限、执行、后果和纠正。对每项功能分别进行演示,仍会留下集成方面的问题。

这并不要求单一供应商拥有所有组件。部署可以结合不同产品和组织流程。相关证据在于:这种组合能否在所声称的条件下发挥作用。

更有力的演示会在流程跨越产品边界时明确责任归属,展示由哪个团队提供下一步决策,以及哪些证据支撑该决策。缺失的衔接则会暴露仍需由客户承担的工作。

第三个信号是,组织是否将新增自主性与已验证的错误处理能力挂钩。一项有意义的决定会说明哪些操作获得了权限,以及为何支持性证据已足够。未经限定的扩权则难以提供保障。

这些信号会以不同方式强化或削弱文章的核心判断。有记录的纠正将支持对特定部署的信心;缺乏相应证据的额外权限,则会延续雄心与已验证能力之间的鸿沟。

对开发者而言,这会将注意力转向其应用在错误行动发生后能够证明什么。对企业买方而言,这改变了在接受运营依赖之前所要求的证据。对知识工作者而言,这也说明为何起草与执行应当采用不同的预期。

更广泛的含义在于,何为有说服力的企业 AI 演示正在发生变化。完成任务仍是评估实用性的必要条件;而在评估被授予的权限时,处理错误任务后果也成为必要条件。

theCUBE AI 韧性研究为买方审视第二项要求提供了具体理由。其小样本留下了许多未解问题,但它提出的疑问可以在单个部署中进行调查。因此,它具有可操作性,而无需被夸大为全行业结论。

在扩大代理权限之前,应要求查看与您计划委派工作相似的工作流证据。审视演示纠正了哪些后果,又有哪些仍需人工判断。询问业务负责人:什么条件能使最终状态被视为可接受。将这些答案与产品关于身份和监控的主张一并保留,因为它们分别对应决策的不同部分。真正有用的结果,是清晰说明部署目前能够处理什么,以及哪些内容仍未经测试。贵组织愿意首先审视哪项具有重要后果的工作流?又需要哪些证据,才能证明其恢复运营值得信赖?

 
 

免费开始使用

一款本地优先的AI助手

为了获得更好的人工智能体验,

remio 目前仅支持Windows 10+ (x64)和M-Chip Mac 。

你的 AI 工作伙伴

和 remio 一起高效工作

规划、创作、交付

一站式完成

bottom of page