top of page

AXA XL AI 治理警告:采用速度正超越监管能力

9月25日
讀畢需時 15 分鐘

AXA XL 表示,AI 的采用已跨过一个危险门槛:系统正进入关键工作流程,而治理、安全与事件响应仍落后数步。

AXA XL 于 9 月 23 日与情报及网络安全咨询公司 S-RM 联合发布报告,提出这一 AI 治理警告。报告认为,组织必须停止将 AI 风险视为狭义的合规项目。AI 如今已触及敏感信息、软件访问权限、业务决策以及与外部供应商的关系。

这造成了部署速度与运营控制之间的冲突。企业希望将智能体和生成式 AI 纳入日常工作流程,但许多企业无法可靠识别每一个系统、负责人、数据源或下游依赖关系。

这一警告之所以更具分量,是因为 AXA XL 从保险和风险咨询的视角审视这一问题。保险公司必须了解故障如何发生、可能造成多严重的后果,以及不同损失之间是否存在关联。AI 让这三个问题都变得更复杂。

因此,核心问题远不止模型偶尔给出错误答案。企业在尚未围绕这些访问权限建立持续监管机制之前,就赋予 AI 系统更多访问权限和决策权。

AXA XL AI 治理警告将风险置于合规之外

报告最重要的转变,是将 AI 故障视为企业韧性问题,而不只是模型质量问题。

AXA XL 是 AXA 旗下的财产、意外险和专业风险部门。S-RM 为组织提供网络安全、情报和企业风险咨询服务。双方联合发布的 resilient AI report 将 AI 部署与网络事件、欺诈、责任风险、业务中断及涉及第三方的故障联系起来。

这一时机反映出 AI 进入常规运营的速度之快。AXA XL 引述研究称,88% 的组织已在至少一项业务职能中使用 AI。AI 的采用如今已超出受控试验和孤立聊天机器人的范围。

员工使用生成式系统来汇总记录、起草沟通内容、分析文档和辅助决策。软件供应商也正将 AI 嵌入客户已在使用的产品中。因此,组织无需批准单独的 AI 项目,也可能引入新的 AI 依赖关系。

智能体系统进一步提高了风险。AI 智能体是能够通过多个步骤追求目标的软件,有时会使用外部工具或修改其他系统。其风险取决于它能够读取什么、能够改动什么,以及是否有人审查其行为。

AXA XL 为面临这一转型的组织提出五项优先事项。管理者需要对获准系统、内嵌 AI 功能和影子 AI 建立清晰的问责机制。他们必须在强化身份与访问控制的同时保护敏感数据。

组织还需要覆盖数据收集、开发、部署、监测和事件响应的全生命周期治理。供应商尽职调查必须考虑外部服务中的 AI 依赖关系。最后,企业应为跨越传统保险类别的损失做好准备。

最后一点尤其重要。单一事件可能始于模型被操纵,继而暴露机密信息、中断运营并引发责任索赔。同一事件可能同时涉及网络安全、隐私、专业服务和管理决策。

AXA XL 风险咨询负责人 Jonathan Salter 直接概括了这一冲突。他表示,AI 正进入组织赖以运转的系统,但治理并不总能跟上步伐。

他的表述将问题从“这个模型准确吗?”转变为“当这个系统失效时,企业会发生什么?”这一问题需要明确负责人、升级路径、经过测试的控制措施和恢复计划。

报告还否定了一种常见的捷径。上线前的安全审查并不能在部署后提供持续控制。模型会变化,供应商会更新服务,员工会发现新的用途,访问权限也会扩展。

AXA XL 表示,目前有 64% 的组织会在部署前评估 AI 工具的安全性,高于一年前的 37%。这一改进仍只涉及入口环节。工具通过首次审查后,风险依然持续存在。

这是 AXA XL AI 治理警告的第一个重要含义:批准不能充当永久的安全认证。监管必须贯穿系统的整个运行生命周期。

AI 采用引发清单与问责危机

企业无法治理那些自己无法发现、分类或分配给问责负责人的 AI 系统。

清单问题始于碎片化。一些 AI 应用通过正式技术项目引入,另一些则作为客户服务平台、生产力套件、安全产品或开发者工具中的功能出现。

员工也可能未经授权使用面向消费者的服务。这种通常被称为影子 AI 的做法,可能使业务信息暴露在获批控制措施之外。风险并不仅限于蓄意违反政策的行为。

员工可能合理地认为,普通软件功能已纳入企业现有审批范围。然而,该功能可能会将数据发送给不同的模型供应商、依据不同条款保留提示词,或通过外部服务生成内容。

因此,有效的清单不应只是模型名称列表。它必须将每个用例与业务负责人、技术负责人、用途、数据源、权限、供应商、受影响用户和恢复流程关联起来。

它还应记录系统是仅提出行动建议,还是能够执行行动。拥有只读权限的摘要工具,与能够发送消息、批准交易或修改生产记录的智能体,面临的风险截然不同。

AXA XL 网络风险咨询服务负责人 Rebiah Bardot-Girard 认为,组织需要了解 AI 在何处运行、能够访问哪些信息,以及会在何处影响行动。该清单将成为韧性的起点。

这一建议与美国国家标准与技术研究院维护的 AI risk framework 高度契合。NIST 将治理描述为贯穿 AI 系统整个生命周期的一项持续职能。

其框架要求建立机制,依据组织的风险优先级盘点 AI 系统。它还要求组织记录职责、监测控制措施、评估第三方组件,并为安全退役制定计划。

这些活动听起来偏行政化,却决定了企业能否在事件发生时作出响应。如果安全团队不知道智能体使用哪些凭证,就无法迅速撤销访问权限。如果法务团队不知道哪些记录进入了系统,也无法评估风险暴露。

业务负责人还需要足够的文档,以区分有意行为与故障。如果智能体发送了未经授权的通信,调查人员必须重建输入内容、模型版本、指令、工具调用、审批过程和最终行动。

这些证据可能散落在供应商控制台、本地应用、身份系统和员工消息中。如果没有既定记录,公司可能难以确定发生了什么,或同样的弱点是否仍存在于其他地方。

维护可搜索的知识库可以帮助团队整理政策和技术记录。然而,只有当负责人持续将文档与实时系统关联时,文档才会发挥作用。

问责是问题的另一半。AI 常常跨越组织边界,涉及安全、隐私、法务、采购、产品和运营。每个团队可能负责一项控制措施,但没有人对完整的业务结果负责。

模型开发人员可能负责测试,却不负责员工提供的信息。采购团队可能审查合同条款,却不负责运营权限。安全团队可能监测技术事件,却不了解错误业务决策造成的后果。

明确问责并不意味着将所有问题交给一个中央 AI 办公室。它意味着明确谁接受风险、谁维护控制措施、谁监测行为,以及谁能够暂停系统。

最后这项权限至关重要。团队需要预先确定减缓、隔离或停用 AI 工作流程的条件。否则,商业压力可能会让一个存在疑问的系统持续运行,而各部门仍在争论所有权。

因此,AXA XL 的 AI 治理信息并不只是“写一份政策”,而是“将每一项已部署能力与权限、证据和响应路径连接起来”。

真正的权衡是访问权限与控制能力

AI 获得更多上下文和权限后会变得更有用,但这些特性也会增加遭入侵或不可靠系统可能造成的损失。

独立的聊天机器人可能生成错误文本。集成式智能体则可以检索私密记录、调用内部工具并根据结果采取行动。后者可能带来更高的业务价值,却也打开了从错误到损失的更宽路径。

AXA XL 和 S-RM 将数据泄露、提示词注入、模型操纵、不可靠输出、影子 AI 和过度自治列为相关威胁。

提示词注入是指恶意或不可信内容将模型引离其预期指令。此类攻击可能出现在系统处理的文档、网页、电子邮件或数据源中。

当模型能够调用工具时,危险会进一步增大。被操纵的响应可能不再只是屏幕上的文本,而可能影响数据库查询、外发消息、工作流程决策或信息传输。

传统访问控制在这一环境中依然重要。AI 系统不应仅因用户认为更广泛的访问权限更方便,就获得过多权限。其身份只应获得经批准用例所需的资源。

权限也需要围绕行动设置边界。读取权限不等同于写入权限。起草回复不同于发送回复,而建议一项交易也不同于批准交易。

人工监督仍然重要,但这一说法可能掩盖薄弱的控制措施。如果数百项输出在缺乏相关上下文的情况下快速涌来,名义上的审查者无法提供有意义的监督。

组织需要定义哪些决策必须获得批准、审查者会收到哪些证据,以及无人响应时系统如何运行。它们还需要衡量审查者是否经常未经检查便接受输出结果。

随着企业将智能体连接到敏感业务流程,这种权衡会变得更加尖锐。系统的实用性可能取决于客户历史记录、技术文档、财务记录、合同或员工数据。

这些上下文可以提升相关性,也可能通过不安全集成、过度保留、遭入侵的账户或不谨慎的提示词暴露宝贵信息。

AXA XL 的五项安全设计基础通过数据治理、安全模型和应用、具韧性的供应商生态系统、访问控制及持续监测来应对这一问题。没有任何一项能够单独提供完整保护。

数据治理规定系统可以使用哪些信息。安全的应用设计约束输入、输出和工具连接。身份控制限制系统能够访问的范围。

随后,监控应能发现意外访问、异常工具使用、输出变化以及试图违反政策的行为。事件预案必须同时应对技术遏制和业务后果。

更广泛的 AXA 组织展示了这些控制措施如何支持部署,而非阻碍部署。AXA 描述了一项 AI 治理计划,其中包括 AI 风险库、公平性工具、专家评审和覆盖全集团的指导方针。

AXA 也一直在其全球业务中扩展共享 AI 基础设施。Insurance Business 报道称,截至 2026 年 9 月,其 Global AI Hub 已在五个实体中运营,其中包括涉及 AXA XL 的工作。

这形成了一个具有启发性的对比。AXA 并非在自身置身技术之外的同时警告企业远离 AI。它正在部署 AI,同时主张访问控制、治理和运营责任必须同步推进。

这并不能证明 AXA 自身的控制措施消除了所有风险。其公开说明无法替代独立测试或真实事件的证据。但这些说明表明,争论已不再是采用还是不采用的问题。

真正的较量在于受控采用与缺乏有效观察的采用之间。前者将访问视为与证据挂钩的有限权限;后者则将集成速度视为成功,随后才试图补加控制措施。

保险业揭示了治理框架尚无法衡量的问题

保险视角揭示了一个棘手事实:组织描述 AI 控制措施比保险公司量化由此产生的损失敞口更容易。

保险依赖于有关损失发生频率、严重程度,以及众多投保人是否可能同时遭受损失的信息。生成式 AI 几乎没有成熟的理赔历史来回答这些问题。

一个存在缺陷的系统也可能影响大量企业。许多组织依赖相同的基础模型、云服务商、软件服务或数据管道。一项共同弱点可能在许多投保公司中造成关联性损失。

这些关联使传统风险分摊变得复杂。保险公司可能认为自己已在不同行业间分散了风险敞口,而这些客户却依赖同一家底层 AI 提供商。

故障类别之间也可能重叠。幻觉式回答可能引发专业责任风险。数据暴露可能触发隐私和网络安全理赔。自动化决策可能招致监管行动或歧视指控。

影响依赖 AI 工作流的中断可能造成运营损失。涉及合成媒体的欺诈可能与犯罪保险、身份控制和内部授权程序相互交织。

这种复杂性解释了为何 AXA XL 要求企业为涵盖网络安全、欺诈、责任和业务中断的情景做好准备。组织必须审视完整的后果链条,而不仅是最初的技术事件。

战略与国际问题研究中心近期的一份保险市场分析描述了类似障碍。该分析认为,有限的部署数据和信息不对称限制了保险公司评估 AI 风险的能力。

信息不对称意味着客户比保险公司更了解自身的风险敞口。一家公司知道自己使用哪些模型、模型处理哪些信息、如何管理提示词,以及人工审查是否真正有效。

保险公司可能只收到问卷或高层级的控制措施说明。它无法轻易观察每一项部署在日常运行中的行为。

这为保险公司要求更充分的证据提供了有力理由。AI 资产清单、访问日志、事件记录、测试结果和供应商文档都能让风险更清晰可见。

然而,治理材料并不等同于治理绩效。一套完整政策不能证明员工会遵守它。一次测试结果也不能保证供应商更新后仍能保持此前行为。

对 AXA XL 建议持审慎解读的起点在于此。这五项优先事项是合理的,但该报告没有提供一套通用的衡量体系,以证明企业已有效落实这些事项。

不同组织的系统、监管义务、资源和使用场景差异很大。适用于起草营销文案的控制措施,可能不足以应对医疗保健、信贷、就业或关键基础设施领域。

AI 行为也可能随情境变化。系统可能通过受控测试,却在用户提供陌生输入或接入工具返回意外数据时失效。

NIST 强调,应在 AI 生命周期的各阶段开展测试、评估、验证和确认。其 2026 年工作包括一份框架草案,用于评估模型、多模态系统和智能体在现实世界中的结果。

这一方向十分重要,因为静态审查无法覆盖所有运行条件。组织需要与实际业务后果挂钩的可重复评估。

它们还必须决定接受、降低、规避或转移哪些剩余风险。保险可以承担部分财务损失,但无法恢复已泄露的信息、逆转有害决策,或立即修复受损的信任。

保险保障在网络安全、专业责任、犯罪险及其他保单之间也可能存在边界。跨越这些边界的 AI 事件,可能引发关于应由哪份保单响应的争议。

因此,企业不应将保险视为治理的替代品。与此同时,保险公司也不能假设一套治理框架就会自动使风险变得可衡量。

对 AXA XL AI 风险立场更有力的解读是有条件的:更好的治理会创造更好的证据,而更好的证据可以支持更明智的承保。二者都无法保证每一种 AI 风险敞口都变得可保。

监管提高了治理漂移的代价

当 AI 系统跨越司法辖区、业务职能和受监管的决策时,部署与监督之间的差距会变得更加昂贵。

AI 规则并非以单一的通用合规标准形式出现。组织必须考虑隐私、网络安全、消费者保护、知识产权、就业、行业监管和合同义务。

欧盟 AI Act 为其适用范围内的系统增加了基于风险的义务。其他司法辖区适用既有法律,或制定不同的 AI 专项规则。一家跨国公司可能针对同一工作流面临多项义务。

这种碎片化带来了运营压力。获准用于某一市场或用途的系统,在其他地区可能需要不同的文档、测试或人工监督。

供应商关系使问题更加困难。客户可能并不构建模型、不控制其训练数据,也不决定服务商何时更改模型。但客户仍决定系统如何影响人员和业务流程。

合同需要处理安全责任、事件通知、数据处理、审计权、分包商、模型变更、服务连续性和终止条款。采购团队也需要具备足够的技术背景,才能评估这些条款。

通用的软件审查可能遗漏 AI 特有的依赖关系。服务可能依赖多个模型提供商、检索系统、数据处理商和监控工具。每个组件都增加了行为或风险敞口可能发生变化的节点。

因此,AXA XL 对供应商尽职调查的建议,不止于核查供应商是否发布了负责任 AI 原则。采购方需要与实际服务和使用场景相关的证据。

他们应了解由哪一方监控模型行为、谁保留日志,以及服务商报告事件的速度。还应了解合同结束后客户数据会如何处理。

这并不意味着每个组织都能检查供应商的源代码或训练语料。许多供应商不会披露这些信息。它意味着采购方必须识别由此产生的不确定性,并决定使用场景是否能够容忍这种不确定性。

组织可能接受低风险起草辅助中有限的透明度。但在依赖同一服务商作出重大决策或执行自主行动之前,应要求更强的证据。

AXA 2025 年的未来风险调查结果表明,为何这一治理缺口已受到关注。专家将 AI 和大数据风险列为全球第四大风险。

在将 AI 选为主要风险的受访者中,43% 的专家将对人类利益或权利的威胁列为首要担忧。透明度不足和监管不一致紧随其后。

仅有 11% 的这些专家认为公共部门已充分准备好应对 AI 和大数据风险。受访者将更强的监管和更完善的风险治理框架列为公共应对措施的优先项。

这些数字并不衡量单个企业内部治理的质量。但它们确实显示,人们普遍担忧现有机构尚未跟上技术发展的速度。

当真实系统的变化速度快于其文档化控制环境时,就会发生治理漂移。新功能上线、模型版本变化、用户扩展工作流,或供应商增加一项集成。

原始审查可能仍存档在案,但其假设已然过时。在这种情况下,形式合规会制造虚假的信心。

因此,持续监督必须包括变更管理。当模型、数据、工具、权限或预期用途发生变化时,团队需要触发重新测试的机制。

他们还需要从事件和未遂事件中获取反馈。即使没有造成损失的事件,也可能暴露薄弱的访问控制、模糊的责任归属或不可靠的升级流程。

监管问题并不只是企业是否拥有 AI 政策,而是该政策是否仍准确描述其系统的实际行为。

三个信号将表明监督是否正在追赶

企业 AI 的下一阶段将由运营证据评判,而不是由企业发布多少治理原则评判。

第一个信号是企业是否建立了可靠的资产清单,涵盖嵌入式和未经授权的 AI。这一衡量标准不只是统计获批模型的数量。

一份可信的资产清单应将系统与数据、权限、供应商、负责人和业务后果关联起来。它还应识别能够采取行动的智能体,而不仅是生成内容的系统。

如果组织开始披露资产清单覆盖范围、审计结果或未知 AI 使用的减少情况,AXA XL 的诊断将获得实践支持。这将表明企业认识到,可见性是控制的基础。

如果大多数企业仍依赖自行申报的工具清单和一次性审批,治理缺口将持续存在。影子 AI 和嵌入式供应商功能将继续在正式审查之外扩张。

第二个信号是持续测试和事件演练的采用情况。部署前安全评估正在增加,但 AXA XL 认为上线审查并不足够。

组织应测试提示词注入、数据泄露、过度权限、不可靠输出和供应商宕机。演练应有法务、安全、运营、传播和业务负责人参与。

最有价值的测试将聚焦后果。企业能否发现未经授权的工具使用?能否隔离智能体的凭据?能否重建一项决策并通知受影响方?

不断增长的真实事件数据将同时强化治理和保险体系。它既能帮助组织比较控制措施,也能让承保方更准确地了解事件发生的频率与严重程度。

缺乏共享的事件证据将削弱信心。企业可能声称拥有更强的监督机制,却反复发生自身系统之外无人察觉的失败。

第三个信号是保险公司和监管机构是否要求提供可比的证据。应关注承保问卷是否涉及 AI 清单、访问控制、人工审查、供应商依赖关系及监控措施。

还应关注监管机构如何将宽泛原则转化为具体的文档记录和测试要求。更明确的证据要求能够降低采购方、供应商和保险公司的不确定性。

错误的应对方式是展开文书竞赛。企业可以制定大量政策,却无法真正控制正在运行的系统。证据应反映实际权限、行为、监控能力和响应能力。

更好的应对方式是将治理与部署决策联系起来。高风险系统应实施更严格的控制、更频繁的测试以及更明确的暂停规则。低风险用途则应得到与其风险相称的处理。

对开发者和产品团队而言,这意味着应在上线前就将可观测性和审查机制纳入工作流程。事件发生后才补充日志,可能无法还原缺失的上下文。

企业采购方应询问产品能够访问什么、能够更改什么,以及其提供商如何传达更新信息。他们还应明确集成完成后由谁对失败负责。

知识工作者应理解,便捷的 AI 功能可能带来组织层面的风险暴露。敏感记录、客户详情、内部战略和专有文件,都需要通过获批准的处理路径来处理。

AXA XL 对 AI 治理的警示,归根结底是在挑战一种常见的部署模式:先上线,之后再明确责任归属,并在问题发生后才补充监控。

企业不需要在使用这项技术前消除每一种 AI 风险。但它们确实需要了解自己正在接受哪些风险,以及当既有假设失效时,谁能够采取行动。

未来一到三个月将揭示,企业究竟是通过运营层面的改变来回应,还是只增加更多政策表述。应关注完整的系统清单、反复进行的生命周期测试,以及基于证据的承保提问。

这些信号的重要性将超过新一轮的 AI 原则宣示。贵组织是否已梳理出所有能够接触敏感数据或影响业务行动的 AI 系统,并且能否证明这份清单始终保持最新?

 
 

免费开始使用

一款本地优先的AI助手

为了获得更好的人工智能体验,

remio 目前仅支持Windows 10+ (x64)和M-Chip Mac 。

你的 AI 工作伙伴

和 remio 一起高效工作

规划、创作、交付

一站式完成

bottom of page