top of page

AI 智能体扩大企业安全影响半径

8月12日
讀畢需時 14 分鐘

本周,Google News 呈现出一场鲜明的企业级冲突:AI 智能体获得了更广泛的权限,而围绕它们的控制措施仍不完善。BankInfoSecurity 的标题从运营角度概括了这一担忧:智能体不再只是生成文本,它还能检索记录、调用软件、修改文件、发送消息并触发工作流。

这种组合改变了 AI 故障的含义。聊天机器人出错通常只会停留在对话之中;智能体出错则可能蔓延至每一个已连接的工具、凭证、数据存储和下游系统。其影响半径衡量的是一次遭入侵或误操作所能触及的全部损害。

因此,核心较量并非 AI 能力与旧式软件之间的竞争,而是智能体自主性与企业隔离能力之间的博弈。企业希望智能体以更少的中断完成多步骤工作;安全团队则需要这些智能体通过受限身份、最小权限、经验证的工具和可观测的审批路径运行。

Anthropic 在自身部署中也描述了同样的权衡。该公司表示,随着编程智能体变得更有用,足以干扰内部服务的访问权限已逐渐成为常态。但其工程师也得出结论:模型层面的防护无法提供完整保护。

这一转变的重要性不止于一家供应商。更强的推理能力可以减少明显错误,但也会帮助智能体找到更多通往目标的路径。企业如今必须保护那些能够解读信息、选择行动,并在执行过程中调整计划的系统。

Google News 警示实际改变了什么

当软件能够决定如何使用其访问权限,而不只是执行预先定义的指令时,安全边界便随之移动。

传统自动化遵循既定路径。薪资脚本会检索指定记录、执行定义好的计算,并将结果写入已知目的地。它的权限可能过大,但防御人员仍可绘制预期的执行序列。

AI 智能体则在请求与行动之间引入了决策层。它们会理解目标、拆分任务、选择工具、检查结果并修订计划。这种灵活性创造了价值,却也让行为更难预测。

NIST 将智能体系统定义为能够规划并采取影响现实环境的自主行动的软件。其 2026 年 1 月发布的智能体安全征询指出了三类不同问题:智能体可能处理对抗性数据、依赖被投毒的模型,或在没有外部攻击者的情况下损害安全。

第一个问题是间接提示注入。攻击者会将指令隐藏在智能体之后可能读取的内容中,例如电子邮件、网页、文档或支持工单。智能体可能误将这些恶意指令视为其既定任务的一部分。

这不同于用户直接要求聊天机器人违反规则。操作智能体的人甚至可能从未看到恶意内容。一项常规的消息摘要或文档审阅请求,也可能将攻击带入模型的工作上下文。

第二个问题是权限。注入的指令能造成多大影响,取决于智能体可用的访问权限。只读研究智能体可能返回被操纵的信息;而拥有电子邮件、云存储、代码执行和数据库权限的智能体,则可能泄露数据或更改系统。

第三个问题是持久性。一些智能体会跨任务维护记忆,或从知识库中检索先前上下文。被投毒的信息随后可能在原始会话结束后依然留存,并影响后续决策。

这些风险使企业内容成为执行攻击面的一部分。安全团队传统上会扫描文档中的恶意代码;如今还必须考虑文档中的普通语言是否会重定向一个已获授权的软件行动者。

Google News 并未制造这一问题,但它聚合 BankInfoSecurity 的警示,使这一转变为更广泛的商业受众所见。智能体安全已不再只是专门的模型安全议题,它如今属于身份、应用安全、云架构、数据治理和事件响应计划的一部分。

这一发展也改变了责任划分。模型提供商可以增强对恶意指令的抵抗力,但负责部署的企业控制着权限和集成;连接器开发者控制工具行为;安全团队定义监控,而业务负责人决定工作流应具备多大自主性。

没有任何单一参与方能够独自控制风险。可触及的系统形成一条链,其中限制最少的环节决定了很大一部分潜在损害。

智能体身份正在成为压力点

如果企业无法识别每个智能体、其负责人以及其访问权限背后的确切任务,就无法落实最小权限原则。

BankInfoSecurity 此前通过 Entrust CIO Rishi Kaushal 的评论强调了这一身份缺口。他认为,智能体需要独立身份、明确权限、审计轨迹和清晰问责。这些要求之所以听起来熟悉,是因为它们将既有的身份实践延伸到了一个更难预测的行动者身上。

困难在于执行。员工通常拥有稳定的身份、部门、经理和职能;一个智能体却可能为某个项目创建,随后复制到另一工作流,并在数小时内接入更多工具。

有些部署让多个智能体共用一个服务账户,另一些则继承启动它们的员工权限。这两种设计都会削弱可追溯性,因为日志只显示一个宽泛的凭证,而非具体的智能体和被委派的任务。

智能体泛滥进一步加剧了问题。Gartner 在 2026 年 4 月预测,到 2028 年,全球平均每家《财富》500 强企业将使用超过 150,000 个智能体。该机构将这一预测与 2025 年不足 15 个智能体的情况进行了对比。

这一预测并非实测部署数量,实际采用规模也可能低于预期。但它仍说明了治理挑战:为少量应用程序设计的人工审查,无法追踪数千个动态软件身份。

因此,每个智能体都应从创建到退役拥有唯一、可验证的身份。该记录应标明其业务负责人、技术负责人、获批准的工具、数据范围、运行环境和最高行动级别。

有用的身份还必须保留委派上下文。安全团队需要了解由哪个人或服务分配了任务,也需要知道所请求的目的、当前工作流阶段,以及附加在权限上的条件。

静态的基于角色的访问控制无法回答所有问题。采购智能体在供应商审查期间读取合同可能是合理的;但当它准备一份无关的日历摘要时,这种访问权限不应继续存在。

任务绑定授权能够缩小这一缺口。它为智能体在明确目的和有限期限内授予特定能力。高影响操作则可以在执行时要求单独的身份验证或策略决策。

NIST 的国家网络安全卓越中心提出,应将既有身份标准应用于软件和 AI 智能体。其身份概念文件聚焦于识别、授权和企业用例,而不是将智能体视为匿名后台进程。

这一方法给身份供应商、云服务商和应用开发者带来压力。他们必须在原本围绕人员和传统工作负载构建的产品中,将智能体表示为一等行动主体。

它同样给企业采购方带来压力。评估智能体平台的团队必须超越模型质量本身。采购方需要了解,每次工具调用是否携带可识别的主体、任务目的和可执行的权限范围。

审计日志必须记录的不只是提示词和响应。它们还应记录智能体检索了哪些数据、调用了哪些工具、每个工具修改了什么,以及哪项审批授权了该操作。

这些证据在事件发生时至关重要。如果调查人员只知道某个智能体处理过恶意文档,他们仍无法衡量暴露范围。他们必须重建此后接触过的每条记录、访问过的每项机密、发送过的每条消息以及变更过的每个系统。

可搜索的内部知识系统可以帮助员工保留决策和来源上下文。然而,任何与智能体相连的AI 知识库同样需要清晰的信任边界。检索到的内容仍然只是数据,而非可信权威。

因此,身份问题远不止于认证。它涵盖来源、所有权、委派、目的和问责。缺少这些要素,企业只能知道自动化采取了行动,却无法可靠说明是谁授权以及为何授权。

更强大的智能体带来更艰难的安全权衡

让智能体变得有用的访问权限,也决定了一次错误、劫持或工具遭入侵能够蔓延多远。

孤立的模型无法转账或修改生产环境。只有当开发人员将其连接到数据库、浏览器、代码仓库、通信系统和业务应用后,它才具有运营价值。

每一项连接都会扩大可触及图谱。该图谱包括直接工具、继承的凭证、检索的数据、网络目的地、共享记忆和其他智能体。影响半径就是在一项控制失效后,该图谱中可被访问的部分。

显而易见的应对方法是在每次敏感操作前询问人工。但频繁的提示可能流于形式。Anthropic 报告称,其遥测数据显示,Claude Code 用户批准了约 93% 的权限请求。

这一数字来自 Anthropic 自身的产品数据,因此并不代表所有企业。但它仍揭示了审批疲劳:当软件反复打断用户时,许多人会在未仔细检查命令或目标地址的情况下批准请求。

Anthropic 的隔离分析将行为监督与环境限制区分开来。行为防御试图影响智能体的选择;环境控制则无论其如何选择,都限制它能够触及的范围。

这种区分至关重要。系统提示词、分类器、训练和模型评估可以减少有害行为。然而,这些控制具有概率性,意味着它们可能遗漏陌生或自适应攻击。

隔离建立了更硬性的边界。沙箱限制进程和文件;虚拟机分隔工作负载;出口控制限制出站网络连接;凭证隔离使有价值的机密不进入该环境。

智能体无法泄露从未获得的凭证。它无法通过只读连接写入生产数据库。当出站流量遵循严格的允许列表时,它也无法将数据发送至任意服务器。

这带来了一项令人不安的权衡:最受限的环境通常最安全,但也会限制实用性。没有持久工作区、本地文件或网络访问权限的智能体,无法完成许多有价值的企业任务。

最强的设计不会仅仅因为模型看似有能力,就授予其广泛权限。它会将工作划分为多个隔离区。每个隔离区只暴露该阶段所需的数据和操作。

以客户支持代理为例。它需要读取工单并检索相关账户详情。它可以起草回复,但发送该回复应当被视为一项独立能力。

发起退款需要另一项设有明确额度的能力。更改账户所有者或导出客户数据应要求更严格的验证。代理绝不应通过一个永久凭证获得所有这些权限。

同样的原则也适用于编程代理。读取代码库不同于修改开发分支。合并代码、访问机密信息、变更基础设施以及部署到生产环境,应分别属于不同的信任区域。

可逆性同样重要。当低影响操作易于检查和撤销时,企业可以允许其自动执行。不可逆的变更则应设置更严格的关卡、更窄的权限边界以及独立记录。

这一框架降低了对代理表面意图的依赖。安全策略应评估所请求的操作、身份、资源、目标位置和任务上下文。控制机制无需判断模型是否“真诚”。

OWASP 的代理式风险框架反映了这一更广泛的威胁模型。其类别包括目标劫持、工具滥用、权限滥用、记忆投毒、不安全通信和级联故障。

这些类别说明,传统的提示词过滤无法独自承担全部防护责任。一个完全正常的用户请求仍可能触发被攻陷的工具。安全工具也可能返回被投毒的内容。功能正常的代理则可能继承过度权限。

核心安全问题并不是能否抽象地信任某个代理,而是当代理做出错误决定时,周边架构是否仍然安全。

提示词注入只是链条中的第一处失效

当过度访问权限、薄弱隔离或缺失验证让恶意指令造成实际后果时,一次成功的提示词注入才会演变为企业安全事件。

NIST 将代理劫持描述为未能将可信指令与不可信数据分离的失效。当前的代理架构往往将两者置于同一模型上下文中。这种设计使自然语言内容能够影响规划过程。

攻击者可能在研究代理访问的网页中植入隐藏指令。一封恶意邮件可以命令助手转发文档。被投毒的代码库文件则可能将编程代理引向不安全的命令。

代理无需具有恶意意图。它只需将攻击者的文本解读为相关授权。由此产生的工具调用在技术上可能看起来有效,因为它使用的是获批连接器和已认证账户。

NIST 通过 AgentDojo 测试了这一模式。AgentDojo 是一个包含模拟工作场所、旅行、Slack 和银行环境的研究框架。其劫持评估还加入了远程代码执行、数据库外泄和自动化钓鱼场景。

这些测试展示的是攻击路径,而非普遍适用的入侵率。结果取决于模型、工具、攻击方法、任务和尝试次数。企业不应将某一项基准分数当作安全保证。

自适应攻击者使这种谨慎变得必要。能够拦截某个已知短语的防御措施,可能会漏掉其改写版本。能够抵御一次尝试的模型,在反复变化的攻击下仍可能失败。

更深层的担忧在于可组合性。代理往往会调用其他服务,而这些服务拥有各自的权限和漏洞。因此,一次被操纵的决策可能跨越多个系统,而不必穿过明显的网络边界。

多代理工作流又增加了一层风险。规划代理可能将研究委派给一个代理,将执行委派给另一个代理。如果身份和消息完整性薄弱,受损参与者就可能伪造指令或结果。

记忆会让这条链随着时间延续。在一次任务中存储的虚假政策、供应商联系人或安全例外,可能影响后续工作。调查人员察觉影响时,最初的恶意来源可能早已消失。

工具供应链也带来了传统软件风险。代理连接器可能包含有漏洞的代码、不安全的默认设置或被攻陷的依赖项。模型防护措施无法修复这些缺陷。

这些不确定性削弱了“单一安全产品可以解决代理风险”的说法。提示词扫描器、代理网关、身份平台、可观测性工具和沙箱各自只能解决问题的一部分。没有任何一种方案能独自控制整条链路。

企业还面临衡量缺口。红队报告可能会称提示词注入成功,却没有记录代理之后能够访问什么。这一结果几乎无法说明业务影响。

有用的测试应记录受攻陷后的影响范围。调查人员需要了解调用了哪些工具、访问了哪些数据、暴露了哪些凭证、联系了哪些目标以及完成了哪些变更。这能将理论上的爆炸半径映射为可观察的后果。

测试还应区分尝试执行的操作与成功执行的操作。模型可能请求一笔被禁止的转账,但策略层将其拦截。这属于行为失效,却也是一次成功的遏制结果。

反过来,代理也可能生成看似无害、却跨越业务边界的请求。传统安全监控可能会批准它,因为凭证和 API 调用看起来都合法。

这正是业务上下文变得至关重要的地方。销售分析任务没有理由修改薪资数据。会议助手不应创建云访问密钥。策略必须将操作与其被分配的目的关联起来。

人工审查对于模糊或高影响案例仍然有价值,但审查者需要可用证据。一个笼统的确认对话框不会揭示来源、目标、受影响记录或可逆性。

有意义的检查点可能会说明,某代理想向外部地址发送五个文件。它应识别这些文件、收件人、触发指令和策略例外。审查者才能据此做出知情选择。

企业还应假设部分控制措施会失效。事件响应计划需要能够暂停某一个代理身份,而不必禁用整个共享服务账户。团队应撤销委派凭证,并隔离受影响的记忆。

日志必须在代理会话结束后仍然保留,并与其运行环境相互独立。否则,被攻陷的进程可能篡改防御者所需的证据。

审慎的结论很直接:没有任何公开基准或供应商声明证明提示词注入已被消除。安全依赖于重叠的控制措施,以防单次模型失效演变为企业范围的事件。

三个信号将显示企业是否正在遏制风险

代理采用的下一阶段将由更窄的权限、可衡量的遏制能力和事件证据来评判,而不只是看自主性。

第一个信号是对代理专属身份的广泛支持。云平台和软件平台应在每项敏感请求中识别代理、委派用户、业务负责人和当前任务。

这些信息必须跨连接器传递。接收工具调用的应用不应只看到一个共享 API 密钥,而应接收有关软件行为主体及其委派权限的可验证上下文。

如果供应商将这一上下文标准化,企业就能在多个代理平台上执行一致的策略。这将强化“身份能够遏制代理蔓延”的论点。若持续依赖共享凭证,则会削弱这一论点。

NIST 在 2026 年 5 月对公开意见的审查发现,各方普遍认同既有网络安全实践仍然适用,但需要调整。其安全响应摘要还指出,业界需要实施指南、信息共享和标准。

第二个信号是,供应商是否公布遏制结果,而不只公布模型安全评分。企业需要测试,以衡量代理遵从恶意指令后会发生什么。

一份有用的报告应说明代理是否接触到机密信息、修改了记录、联系了未经批准的目标,或跨越了租户边界。它应区分模型抵抗能力、策略执行和环境隔离。

这些证据能够改变采购决策。买方可以根据可达的最大损害进行部署比较,而不是根据笼统的可信赖性主张。安全团队也可以为每项业务工作流设定验收阈值。

公开披露仍会很困难,因为遏制架构可能暴露防御细节。但供应商仍可在不泄露可被利用配置的前提下,公布方法论、测试类别、汇总结果以及独立审查的发现。

如果此类报告成为常态,将支持企业正将爆炸半径视为可衡量工程属性的说法。如果供应商仍只报告任务成功率,安全缺口就会在很大程度上被隐藏。

第三个信号是第一波成熟的代理事件报告。组织需要能够区分用户滥用、模型异常行为、外部操纵、连接器被攻陷和授权失效的记录。

监管机构和行业组织可以帮助建立共同术语。没有共同术语,每起事件都会成为孤立轶事,企业也难以比较原因或控制措施。

事件报告应识别最初的入口点和后续操作路径。它们应描述哪些边界得以维持、哪些边界失效,以及如何修复凭证或记忆。

更好的报告在初期可能会让代理安全看起来更糟,因为更多失效会变得可见。但这种透明度仍代表进步。隐藏的事件无法改善标准或防御测试。

因此,Google News 转载的 BankInfoSecurity 警告应被视为一个架构问题,而非对不可避免灾难的预测。代理之所以扩大暴露面,是因为企业将推理系统连接到了真实权限。

遏制仍然可能实现。它需要独立身份、任务绑定权限、分区工具、受保护凭证、受限网络、可信日志以及审慎设置的审批关卡。

它还需要一份清单。安全团队无法治理那些由业务部门在未登记情况下创建的代理。每个代理都需要负责人、用途、权限配置、数据分类和退役流程。

组织应从最大损失有限且操作可逆的工作流开始。只有在测试表明身份、策略和环境边界能在攻击下保持有效后,才能扩大权限。

这种方法有时会放慢部署速度。但它也能避免一次本可避免的事件终结整个项目,从而维护采用进程。安全成为支撑受控使用的运营约束,而不是上线前的最终审查。

对于知识工作者而言,这个问题延伸到了日常工具。能够读取电子邮件、文档、会议内容和本地文件的助手,会跨越高度个人化的上下文。用户应了解它能够访问哪些来源,以及哪些操作需要确认。

对于开发者而言,相关的单位不再只是模型,而是完整的代理系统,包括提示词、记忆、工具、凭证、运行时、网络、策略和日志。

对企业采购方而言,决定性的问题很简单:当这个智能体的推理失效后,它还能做什么?无法划定这一边界的供应商,尚未定义产品真正的风险。

随着智能体进入更多工作流程,Google News 仍将不断呈现引人注目的案例。读者应越过最令人担忧的行为,审视其背后的权限。该智能体是否具有唯一身份标识、权限范围是否受到严格限制、是否处于隔离环境、能否被观察和审计?在授予下一个连接器、凭证或审批权限前,先问清这些问题。最安全的智能体并非承诺永不失败的那个,而是即使失败,其影响也无法扩散太远的那个。

 
 

免费开始使用

一款本地优先的AI助手

为了获得更好的人工智能体验,

remio 目前仅支持Windows 10+ (x64)和M-Chip Mac 。

你的 AI 工作伙伴

和 remio 一起高效工作

规划、创作、交付

一站式完成

bottom of page