top of page

已通过身份验证的 AI Agent 仍可能偏离目标、泄露数据或保留被投毒的记忆

8月31日
讀畢需時 16 分鐘

Google News 推送的一篇 VentureBeat 分析文章发出了明确警告:AI Agent 即使通过了身份验证,仍可能采取错误行动。凭证或许有效,API 调用也可能获得许可,但实际操作仍可能违背任务要求、暴露敏感数据,或将攻击者的指令保存在记忆中。

这一差异挑战了人们熟悉的一项安全假设。身份与访问管理能够验证请求访问的是谁或什么,但并不能自动判断一个自主系统是否仍在执行被分配的目标。

这篇 8 月 30 日的报道认为,企业在建立这些网关所需的上下文之前,就已经开始部署执行网关。比较的并非某一家安全厂商与另一家厂商,而是有效身份验证与合规行为之间的差别——这两个条件如今已不再等同。

Google News 报道真正改变了什么

该报道将 AI Agent 安全重新定义为一个部署顺序问题,而不只是身份验证问题。

VentureBeat 撰稿人 Nik Kale 描述了企业部署中反复出现的一种模式:团队往往先从运行时网关入手,由其检查 Agent 流量并应用访问策略。

但这类网关往往缺少关于 Agent 的上游信息。它可能不知道 Agent 的所有者、分配任务、获准工具、委托权限或完整的行动链路。

由此产生的盲区很容易被忽略。设想一个财务对账 Agent 尝试修改生产记录。网关可以验证员工令牌,并确认该令牌允许执行这一 API 操作。

两项检查都可能通过,但 Agent 仍然超出了其任务范围。员工可能拥有广泛的生产环境访问权限,而 Agent 获委托执行的却只是有限的对账任务。

Kale 的安全顺序将运行时执行控制置于由六部分构成的依赖链中的第五位。资产盘点、独立身份、范围受限的凭证和可归因的遥测数据必须先行完成。

行为监控和跨系统遏制路径则位于执行控制之后。这一顺序至关重要,因为每一项后续控制都依赖于前序控制建立的上下文。

文章并未声称网关毫无用处。它认为,只有当组织能够回答几个基本问题之后,网关才能真正发挥作用。

是哪一个 Agent 发起了请求?谁委托了这项任务?Agent 使用的是哪种权限?该任务应当产生什么结果?

传统网关通常只能看到令牌、目标地址和请求方法。面向 Agent 的控制平面还必须理解目标、来源链路以及下游影响。

这正是该事件带来的核心逆转。身份验证仍然必不可少,但验证成功已不再提供足够的信任依据。

时机同样重要。AI Agent 正在超越文本生成,进入调用 API、操作文件、修改数据库并与其他系统协同的工作流。

这些行动会造成持久影响。错误答案可以被纠正,但已完成的付款、已导出的数据集、已撤销的凭证或已修改的生产环境,则需要遏制和恢复。

因此,这则 Google News 内容指向了更广泛的运营变化。安全团队必须评估从委托意图到外部结果的完整路径。

他们不能止步于登录边界。真正重要的问题,如今始于 Agent 获准进入之后。

身份验证证明身份,而非意图

有效凭证能够识别获授权主体,却无法证明每一项 Agent 行动都服务于该主体当前的任务。

传统身份系统围绕相对稳定的行为主体构建。人员登录、获得权限,并执行会留在审计轨迹中的操作。

AI Agent 让这一模型的每个部分都变得更复杂。一名员工可以启动多个 Agent,而每个 Agent 又可调用多种工具并创建额外任务。

如果所有这些进程共用一名员工的令牌,日志就会将多个不同主体混为同一个身份。调查人员能看到凭证,却看不到真正的决策者。

共享服务账户也会带来类似问题。它们掩盖所有权,并使得当只有一个 Agent 变得不安全时,难以进行精准撤销。

独立的 Agent 身份能够改善归因,但仅有身份仍不完整。系统必须保留委托上下文,也就是分配任务的人员或服务,以及该任务被允许服务的目的。

设想一名员工拥有薪酬、采购、客户记录和财务报告的访问权限。被要求核对发票的 Agent 不应继承该员工完整的访问范围。

安全的权限应当是三项限制的交集:委托者的权限、Agent 获准使用的能力,以及当前任务所需的资源。

Kale 将这一原则称为单调委托。每一次权限转移都应维持或收缩访问范围,绝不能扩大。

这比授予一个角色更加严格。它要求使用任务范围限定的凭证,这些凭证会过期,且无法访问无关系统。

短期凭证也会降低被盗密钥的价值。攻击者即使获得一个令牌,也不应因此无限期访问该员工可用的所有资源。

随后,遥测数据必须将每次工具调用与其来源关联起来。一条有用的记录应标识 Agent、委托者、任务、父级操作、凭证、工具和结果。

缺少这条链路时,事件响应人员将面临两项代价高昂的延误:他们必须先发现有哪些 Agent 存在,然后才能确定这些 Agent 触及了哪些下游系统。

即使没有外部攻击者,已通过身份验证的 Agent 也可能发生偏离。行为偏离是指其行动逐渐脱离既定目标或获批的运行模式。

触发因素可能是模糊指令、不断变化的上下文、意外的工具响应,或一连串单独看来均被允许的决策不断累积。

这种行为不同于传统的账户失陷。Agent 可能完全按设计使用获批凭证和获批 API。

故障出现在行动与原始任务之间的关系上。标准身份验证不会评估这种关系。

Okta 的Agentic Enterprise 调查说明了这一治理缺口。只有 34% 的受访组织对数字劳动力和人类劳动力应用了相同的安全控制措施。

该调查还报告了信心与能力之间的不匹配。95% 的高管确信,其组织能够发现超出预期范围运行的 AI。

这些发现来自厂商赞助的研究,因此不应被视为对整个市场的独立衡量。不过,这种反差提出了一个可以检验的运营问题。

组织能否重建一项 Agent 任务从启动到每一个下游影响的完整过程?如果不能,其信心就领先于证据。

身份验证回答的是某项凭证能否进入。Agent 安全还必须回答,随之产生的行动是否仍属于被委托的目标范围。

Agent 记忆投毒让一次恶意输入持续生效

Agent 记忆投毒会将不受信任的内容从一次性的提示词,转化为可重复使用、能够影响后续会话的指令。

记忆帮助 Agent 保留偏好、项目上下文、任务历史和先前决策。这种连续性可以减少重复工作,并让长期运行的工作流更具价值。

但它也形成了持久的攻击面。Agent 可能存储从网页、文档、消息、工具响应或其他 Agent 获取的信息。

如果恶意内容进入这一存储,Agent 可能会在之后将其作为可信上下文取回。造成有害行动时,最初的攻击者可能早已不在场。

OWASP 将记忆投毒定义为被持久化的恶意信息,其目的是影响后续会话或用户。其Agent 安全指南将此威胁与目标劫持、工具滥用、数据暴露和过度自主性一并列出。

这种持久性改变了事件响应方式。删除原始消息或封锁来源,并不一定能移除已经保存的指令。

被投毒的记忆可以跨越多次对话持续存在,也可能影响数日后生成的摘要、检索记录、计划和决策。

一个实际场景始于 Agent 读取外部文档。隐藏文本错误地将攻击者控制的联系人标记为处理紧急请求时的获批供应商。

Agent 将这一说法作为组织知识保存下来。之后,一名合法用户在运营中断期间寻求帮助。

Agent 取回被投毒的条目,并推荐攻击者控制的联系人。它的输出看起来在内部逻辑上是一致的,因为它遵循的是已经被记忆接受的信息。

身份验证在这一场景中几乎提供不了保护。用户是合法的,Agent 是合法的,之后的请求也可能十分普通。

被破坏的要素是 Agent 保留的上下文。正是这一上下文决定了原本被允许的任务将如何完成。

记忆投毒也可能形成数据暴露路径。存储的指令可能要求 Agent 包含隐藏文件、将结果传送至未经批准的端点,或削弱未来的安全检查。

当多个 Agent 共享一个向量存储或知识层时,影响还可能扩散。一条被投毒的记录即可影响多个工作流,而无需逐一攻破每个 Agent。

Agent 记忆投毒也让责任归属更加复杂。有害输出可能看似是幻觉或模型故障,而实际原因却是被破坏的持久状态。

这种区分会影响修复措施。更换模型或重写即时提示词,无法修复被投毒的记忆存储。

安全团队需要为存储的上下文保留来源信息。来源信息记录某个条目来自何处、何时进入记忆、由哪个流程批准,以及后续任务如何使用它。

记忆还应携带信任标签。用户提供的内容、外部检索文本、系统批准的政策和经过验证的组织记录,不应被放入同一个毫无区分的池中。

同样的原则也适用于个人AI 知识库。持久上下文会随着积累而变得更有价值,但其来源和适用范围也同样重要。

OWASP 对持久记忆的讨论描述了一个名为 MemoryTrap 的 Claude Code 相关案例。Cisco 研究人员发现,常规开发流程可能将恶意内容写入持久且高信任的表面。

据 OWASP 称,Anthropic 后来修改了 Claude Code,将用户记忆从高信任的系统提示词路径中移除。这一修复解决了已识别的路径,而非整类风险。

这一教训并不局限于某一个编程 Agent。任何会写入可变状态、并在之后将其视作指导依据的系统,都需要针对记忆的专门控制措施。

这些控制措施包括存储前验证、完整性检查、范围限定的检索、变更监控,以及回滚至已知良好状态。

团队还必须区分事实性记忆与行为指令。存储的项目日期不应拥有与安全策略同等的权威性。

当智能体能够自行写入记忆时,这种区分尤为重要。遭入侵的规划流程不应悄然重定义未来的运行规则。

智能体记忆投毒表明,安全不能只关注进入模型的请求。防御者还必须保护在请求之间传递的状态。

为什么网关无法承载整个安全模型

网关可以执行策略,但无法凭空补齐缺失的身份、委托或归属数据。

运行时网关处于一个颇具吸引力的位置。它们可以观察工具调用、检查请求、应用规则,并阻止危险目的地。

这种可见性使其成为担忧 AI 智能体安全的组织合乎逻辑的采购选择。然而,网关本身也会成为特权基础设施。

2026 年 6 月的一起 LiteLLM 事件表明,为何这种权力集中值得审视。在发现存在活跃利用的证据后,CISA 将 CVE-2026-42271 添加至其已知被利用漏洞目录。

该漏洞影响了用于测试 Model Context Protocol 服务器配置的端点。Model Context Protocol,即 MCP,使 AI 应用能够连接工具和外部数据源。

根据 LiteLLM 披露信息,经身份验证的用户可提供命令详情,而存在漏洞的代理会在其主机上执行这些命令。

研究人员还将该漏洞与另一项主机验证漏洞串联利用。据报道,这一组合可在受影响的配置中实现无需凭据的远程命令执行。

LiteLLM 在 1.83.7 版本中修复了该命令注入问题。这一事件并不能证明每个网关都不安全。

它表明网关是攻击面的一部分,而非安全架构的替代品。将更多权力集中于单一控制点,会增加其遭攻破后的后果。

即使网关未遭入侵,它仍受限于其输入。策略引擎无法从不含任务上下文的持有者令牌中推断目的。

它也无法区分共用一个服务账户的二十个智能体。流量看似已获授权,是因为底层身份模型在执行前就抹除了这些差异。

这正是核心权衡。集中式执行可以提升一致性,但集中化无法修复上游的模糊性。

只有在组织建立智能体清单后,网关才能发挥其价值。每个生产环境智能体都需要明确负责人、既定用途、获批工具、凭据来源和生命周期状态。

下一项依赖是与委托关联的独立身份。工具应同时知道是哪个智能体调用它,以及该智能体代表谁的权限行事。

随后,凭据需要具备狭窄的权限范围和短暂的有效期。对账智能体应能访问所需账本,而不是其人类发起人可访问的每一个数据库。

接下来是可归属的遥测数据。安全团队必须能够追踪一项已完成任务经过的每次工具调用及下游结果。

只有这样,运行时策略才能做出具备上下文感知的决策。决策不再只是询问令牌是否允许写入数据库。

它可以询问:该智能体是否可以代表该主体,在此任务期间,对这条记录执行这次写入。

这些额外上下文也支持升级控制。即使智能体持有有效凭据,高影响操作仍可要求独立审批。

付款、删除、生产环境变更、数据导出和访问策略修改均属于这一类别。其后果足以证明需要外部授权边界。

智能体不应自行批准自己的行动。否则,注入式指令可能同时影响提议和防护措施。

企业还需要一条跨系统的终止路径。如果活跃令牌、运行中的任务和已连接工具仍可用,仅禁用一个身份是不够的。

遏制措施应撤销主凭据及派生凭据、停止当前任务、禁用工具访问,并隔离承载该智能体的工作负载。

这种能力无法在事件发生时临时拼凑。团队必须在授予智能体生产环境权限前对其进行测试。

因此,网关依然有价值,但其定位发生了变化。它成为更大依赖链中的一个执行层。

这比“保护每一个智能体请求”的承诺更为有限,但也更站得住脚。

最小权限有所帮助,但无法阻止行为漂移

减少访问权限可以限制智能体造成的损害,而行为控制则应对智能体在这一缩小边界内的实际行为。

最小权限仍是最清晰可用的保护措施之一。智能体无法泄露其凭据无法访问的数据库。

Teleport 委托开展了一项涵盖 205 位安全与基础设施负责人的研究。报告称 AI 系统权限过大的组织,其事件发生率为 76%;采用最小权限系统的组织则为 17%。

这是该调查所报告发生率中 4.5 倍的差异。该公司的身份调查由 Eleven Market Research 于 2025 年 12 月进行。

由供应商赞助的调查存在局限性。其对 AI 系统、事件和权限级别的定义,可能与其他组织的内部衡量标准不同。

但结果仍支持一项实用判断:更小的权限边界通常会减少错误或遭入侵的智能体可访问的系统数量。

不过,最小权限并不能证明行为正确。智能体仍可能滥用其合法持有的有限权限。

客户支持智能体可能获准读取一个账户。它仍可能在错误渠道中泄露该账户的数据。

日程安排智能体可能拥有日历写入权限。它仍可能因误读邀请中的恶意内容而取消已获批准的会议。

财务智能体可能可访问一个账本。它仍可能在完全处于技术权限范围内的情况下修改错误记录。

这正是行为基线发挥作用的地方。基线描述智能体通常使用的工具、目的地、操作频率、数据域和任务模式。

安全团队随后可以检测偏差。例如,意外的跨域访问、反复的审批失败、异常导出,或工具调用频率的变化。

基线必须依托可靠的身份和遥测数据。否则,来自不同智能体的数据会混入同一个误导性的画像中。

监控还需要具备任务感知能力。罕见的数据库写入操作对某项任务可能是合法的,对另一项任务则可能很危险。

这一要求使静态规则不足以应对。运行时决策需要关于目的、发起者、获批资源和预期结果的结构化上下文。

困难的问题在于,执行系统能够信任多少上下文。如果智能体自行生成任务描述,遭入侵的智能体就可能歪曲其目的。

因此,可信的任务上下文应来自外部编排器、工作流定义或审批系统。智能体可以使用该上下文,但不应悄然改写它。

记忆也需要类似对待。模型不应在没有独立验证的情况下,将未经验证的检索文本提升为持久策略。

这些边界将决策者与决策授权分离。它们降低了单个被操纵模型控制每个阶段的可能性。

人工审批可以在不可逆边界上提供帮助,但它并非完整答案。高请求量和重复提示会造成审批疲劳。

审批界面必须展示相关事实。审核者需要看到发起任务、受影响资源、拟议变更和预期后果。

一个通用的“允许”按钮会在未提供足够信息的情况下转移责任。它可能沦为另一种无法识别意图的身份验证仪式。

因此,有效的 AI 智能体安全结合了限制与观察。最小权限约束影响范围,而遥测和独立授权则揭示行为漂移。

记忆完整性控制应对持续性操纵。跨系统终止路径处理预防性控制未能阻止的情况。

没有任何单一层级能够证明智能体必然行为正确。目标是让不安全行为可见、受限、可逆且可归属。

企业现在就能验证的六项控制措施

当每项控制都有可操作的测试,而非一份策略声明时,AI 智能体安全才变得可衡量。

第一项测试是清单。组织应能够列出每一个生产环境智能体,并识别其负责的问责所有者。

清单应包含用途、获批工具、数据域、凭据来源、模型提供商、部署位置和生命周期状态。

影子智能体也应得到同样对待。一个系统不会因为某个部门未经中央批准部署了它,就变得风险更低。

第二项测试是身份与委托。日志应能区分智能体与向其分配任务的人员、服务或工作流。

这种关联必须在工具调用和智能体之间的交接中保留。否则,工作流一旦离开首个应用,归属信息就会消失。

第三项测试是凭据范围。安全团队应能够选定一个智能体,并确认其活跃令牌无法访问无关资源。

凭据也应随任务到期。长期存在的密钥会将临时的智能体访问转化为持续暴露。

第四项测试是重建。调查人员应能选择一项已完成任务,并追踪其从发起到每一项下游影响的全过程。

完整追踪包括提示词、检索上下文、记忆读取、记忆写入、工具调用、审批、凭据、输出和外部变更。

这份记录不应完全依赖智能体自报的推理。最可靠的证据来自模型外部的系统。

第五项测试是上下文感知执行。组织应尝试一项人类发起人可以执行、但受委托智能体不能执行的操作。

网关应因该操作超出任务范围而阻止它。仅因令牌缺少访问权限而阻止操作,测试的是普通权限,而非智能体感知控制。

第六项测试是遏制。模拟事件应验证组织能否在每一个已连接系统中停止该智能体。

团队应撤销凭据、停止活跃运行、阻止工具、隔离工作负载,并防止排队操作自动恢复。

在整个序列中,记忆还需要额外测试。安全团队应识别谁能够写入持久上下文,以及哪些后续工作流能够检索它。

他们应从不可信来源插入一条无害的测试记录。系统应标明其来源、限制其范围,并阻止其成为策略。

回滚演练同样重要。删除一条被投毒的记录,不应摧毁有效记忆,也不应让派生摘要保持不变。

派生上下文带来一个微妙的恢复问题。恶意记录可能已经影响了摘要、计划或共享知识对象。

仅删除原始记录会让这些后代产物保持完整。因此,记忆系统需要建立源记录与生成工件之间的谱系关系。

企业采购方应询问供应商,记忆变更是否可审计。他们还应询问信任标签是否会在摘要和检索过程中得以保留。

开发者需要对工具边界拥有明确控制。模型应只获得当前任务所需的工具,而非整个集成目录。

知识工作者应当明白,智能体自信的回忆并不能证明其来源可靠。持久化上下文可能已经过时、存在错误,或遭到蓄意操纵。

这些检查能够将抽象的安全担忧转化为可观察的证据,也能揭示部署的依赖链在哪些环节断裂。

企业无需在开始前替换整套身份体系。它们可以让智能体使用现有的工作负载身份进行注册,并加入受信任的任务标识符。

随后,企业可以逐步采用更短有效期的凭证、更丰富的日志,以及对高影响操作实施独立审批。

流程顺序比每项控制措施的品牌更重要。每一层下游防护都应消费上游产生的证据。

当这些证据缺失时,组织应降低智能体的权限,而不应通过更信任某个网关来弥补。

安全团队接下来应关注什么

AI 智能体安全的下一阶段,将通过产品控制、事件证据和记忆专项标准来衡量。

第一个信号,是各类智能体平台原生支持任务范围内的身份机制。供应商需要通过标准接口提供独立的智能体标识符、委派链和短期凭证。

如果这些能力成为默认配置,网关便可依据的不只是令牌有效性来执行策略。这将强化 Google News 报告中描述的基于依赖关系的模型。

如果平台继续依赖共享服务账户和开发者令牌,这一模型在实践中就会被削弱。企业将在部署后难以建立可追溯性。

第二个信号,是对记忆防御措施进行独立测试。现有指南已明确指出智能体记忆投毒问题,但不同实现之间差异很大。

有价值的测试应衡量:被投毒的内容是否会持续存在、跨越不同用户、影响工具调用、在摘要处理后存活,或在尝试删除后仍然残留。

测试还应评估修复能力。如果团队无法识别并移除每一个派生痕迹,检测到一条恶意记忆的价值就十分有限。

标准化结果将帮助买家区分基础输入过滤与真正的全生命周期保护,也将揭示防御措施是否能在受控演示之外发挥作用。

第三个信号,是与智能体行动链相关的公开事件报告。安全团队需要看到身份、委派、记忆或隔离究竟在哪个环节失效的证据。

仅仅报告“AI 犯了错误”并不够。调查人员需要了解任务来源、检索到的上下文、工具调用路径、凭证权限范围以及外部影响。

更详细的报告可能会强化,也可能会挑战当前论点。在有效认证之后反复发生的故障,将证实仅有身份验证并不足够。

反过来,如果采用范围受限凭证和可归因遥测技术的部署持续减少事件发生,则将支持所提出的控制顺序。

安全负责人现在就应开始收集这些指标。等待成熟的供应商类别出现,只会让当下的智能体仍在昨天的假设下运行。

开发者可以从追踪一项完整任务开始。企业采购方可以要求提供身份、记忆来源和跨系统隔离方面的证据。

知识工作者在依据敏感建议采取行动之前,也可以先质疑智能体记住的事实究竟来自哪里。

这则 Google News 报道的关键教训并不是身份验证已经失效。身份验证所承担的职责,比自主工作流如今所需要的范围更窄。

更难的工作发生在授权之后:你的组织能否证明智能体为何行动、限制它能够访问的范围、审查它记住了什么,并在所有位置阻止它?

本周选择一个生产环境中的智能体,重建它最近一次完成的任务。如果其中任何一环缺失,这个缺口便指明了下一项需要建立的控制措施。

 
 

免费开始使用

一款本地优先的AI助手

为了获得更好的人工智能体验,

remio 目前仅支持Windows 10+ (x64)和M-Chip Mac 。

你的 AI 工作伙伴

和 remio 一起高效工作

规划、创作、交付

一站式完成

bottom of page