Anthropic 称提示词注入问题已接近解决,但“零”仍需放在语境中理解
Anthropic 表示,其最新防御措施已将成功的提示词注入攻击降至接近零,这对许多研究人员认为是 AI 智能体根本性风险的问题提出了挑战。
负责 Claude Code 的 Boris Cherny 将这一变化主要归因于更强的模型训练。他表示,分层防护进一步压低了测得的成功率。这些层级包括提示词注入探测器,以及 Claude Code 的自动模式;后者会在允许工具操作继续执行前对其进行分类。
这一说法之所以重要,是因为提示词注入一直限制着智能体安全浏览网站、读取代码仓库、处理电子邮件和操作已连接工具的能力。OpenAI 曾将这一问题描述为类似网络诈骗,且不太可能被彻底消除。Anthropic 现在给出了更乐观的答案,并以其最新评估中异常低的结果作为支持。
不过,观测到的零攻击成功率并不能证明具备普遍免疫力。它描述的是针对一组既定攻击、环境、工具和评分规则的表现。新的攻击、更广泛的权限或不同的部署设置,均可能产生不同结果。
随着 Anthropic 将自动模式打造为 Claude Code 的标准体验,这一区别将变得更加重要。该公司正从保守的权限确认提示转向自动化决策,同时宣称取得了重大安全改进。
Anthropic 的提示词注入主张源于分层测试
关键变化不在于 Anthropic 又增加了一道过滤器,而在于其底层模型在过滤器介入前似乎已变得更难被操纵。
当不受信任的内容包含面向 AI 而非其用户的指令时,就会发生提示词注入。智能体可能会在网页、代码仓库、工具响应、图像或下载的文档中遇到这类指令。
这种攻击之所以有效,是因为智能体必须在其工作上下文中同时解读可信命令和不受信任的数据。恶意文档可能伪装成指令,要求智能体忽略任务、泄露信息或调用危险工具。
Cherny 的分层防御主张指向三项独立保护措施。第一项是模型对齐,即通过训练让 Claude 学会区分用户目标与嵌入外部内容中的命令。
第二层是提示词注入探测器。这一服务器端保护措施会在工具返回的材料进入智能体上下文前对其进行检查。它能够标记隐藏在文件、shell 输出、网站或外部服务中的可疑指令。
第三层是自动模式的意图分类器。自动模式并不会授予 Claude 不受限制的权限。它会评估拟议操作,并阻止被归类为破坏性、不可逆或超出预期环境的活动。
Anthropic 公布的结果表明,每一层都针对不同的失效点。训练降低了模型遵从敌对指令的概率;探测器尝试在模型据此行动前识别敌对内容;操作分类器则限制攻击者在影响模型后所能造成的后果。
这种分离很重要。检测器可能漏掉经过巧妙伪装的内容,而经过对齐的模型仍可能误解模糊指令。工具分类器为阻止由此产生的操作提供了又一次机会。
Anthropic 此前曾在其关于浏览器注入防御的研究中介绍过这一策略。在训练期间,Claude 会接触包含恶意指令的模拟网页。当它识别并拒绝这些指令,同时继续完成合法任务时,模型将获得奖励。
这一训练目标比教导模型拒绝明显恶意的文本更困难。一个实用的浏览器智能体仍必须阅读合法网站上的说明、遵循用户提供的流程,并与陌生界面交互。过度谨慎可能使其安全,却失去实用性。
新结果表明 Anthropic 改善了安全性与实用性之间的平衡。它们并未证明所有可能的注入攻击都已被消除。
接近零的结果不止一个数字
“约等于零”结合了多种评估设置,这些设置不应被当作完整安全性的可互换证据。
根据 Claude Opus 5 系统卡,该模型在浏览器和计算机使用环境中接受了间接提示词注入攻击评估。间接攻击将恶意指令置于智能体获取的内容中,而非用户的直接请求中。
系统卡结果的摘要称,加入提示词注入探测器后,在两种测试配置中,攻击成功率降至 0.18%。另一次浏览器评估据称覆盖了 129 个训练期间未使用的环境。
将自动模式纳入防御栈后,在接受评估的浏览器场景中没有攻击成功。这正是将观测到的比率描述为约等于零的依据。这是一个值得注意的测试结果,尤其是因为这些攻击瞄准了此前未见的环境。
然而,零次成功与零风险本质上是不同的表述。当基准测试未记录到成功攻击时,它只能在该样本内确立一个上限。它无法证明未来所有攻击中的真实成功率恰好为零。
分母同样重要。针对数百或数千次尝试进行测试的系统,提供的证据强度高于只测试少量样本的系统。针对同一环境的重复攻击,不一定代表部署后出现攻击的多样性。
评估的威胁模型同样关键。旨在改变购物任务的浏览器攻击,与在源代码注释中隐藏命令的代码仓库攻击不同。二者都属于间接提示词注入,但它们暴露出不同的工具、权限和危害机会。
独立研究强化了这种谨慎态度。LivePI 基准测试包含网页、文件、代码仓库、电子邮件和群聊内容的类生产工作流中的智能体。其作者报告称,在其测试配置下,五个前沿系统的总体攻击成功率介于 10.7% 至 29.6% 之间。
这些真实场景智能体测试并不直接否定 Anthropic 的数字。它们采用不同的模型、测试框架、攻击、权限和评分标准。相反,它们展示了测得的安全性会如何随基准测试而显著变化。
NetInjectBench 则对狭隘结论提出了另一项警示。其网络运维场景将不受信任的工件与可信政策元数据分离,并衡量不安全的工具使用。朴素执行在 240 个攻击实例中产生了 82.5% 的不安全操作率。
这项网络智能体基准测试针对的是专业环境,而非 Claude Code 的确切生产栈。尽管如此,它仍说明了为何拥有重大影响工具的智能体需要超越模型拒绝行为的系统级控制。
因此,Anthropic 最有力的证据是比较性的。根据 Anthropic 的评估,Opus 5 似乎比早期 Claude 模型具有显著更强的抵抗力。该公司还称,其探测器和操作分类器进一步降低了剩余失效情况。
这支持了取得实质性进展的主张。但它并不支持在高影响工作流中取消隔离、访问控制、审计日志或人工审查。
Claude 的提示词注入防御始于训练
核心技术转变在于,Anthropic 将提示词注入抵抗力视为经过训练的模型能力,而不只是一个外围安全问题。
早期防御通常会在智能体与其消费内容之间设置过滤器。过滤器会寻找明显短语、编码指令、可疑格式或已知攻击模式。
这种方法类似于电子邮件垃圾过滤器。它对熟悉的攻击效果良好,但当攻击者改变措辞、将指令分散到多个页面,或把意图隐藏在合法数据中时,可能会失效。
OpenAI 曾直接指出这一局限性。其关于智能体安全设计的研究称,高级攻击越来越像社会工程学。它们通过构建可信的故事来操纵智能体推理,而非直接给出一条明显要求忽略此前指令的命令。
检测器必须判断文本是数据、合法流程还是攻击。这些类别可能彼此重叠。代码仓库可能正当地要求开发者运行设置命令,而遭入侵的依赖项则可能在恶意文件中放置几乎完全相同的指令。
模型级训练为智能体提供了另一种上下文来源。Claude 可以评估一条指令是否支持用户陈述的目标、其来源是否具备权威性,以及遵循它是否需要作出未经解释的计划变更。
Anthropic 将这种指令层级和对齐工作称为模型防御的一部分。模型学会了从环境中检索到的内容不应自动继承用户或系统的权威性。
这一框架回应了对提示词注入的一种常见解释:角色混淆。语言模型可能理解指令中的文字,却无法识别谁有权发出该指令。
近期研究通过衡量模型如何表征不同指令背后的说话者来检验这一理论。一项研究发现,置于用户提示词或工具输出中的伪造推理,可能在多个系统中带来较高攻击成功率。
训练可以通过让模型接触对抗性示例来减少这种混淆。Anthropic 创建混合有用信息与恶意指令的模拟内容,然后在模型安全完成预期任务时给予奖励。
其优势在于泛化能力。即使检测器从未见过完全相同的措辞,模型也有可能根据攻击与用户目标之间的关系识别出新的攻击。
其局限性在于,训练数据无法代表每一个未来环境。攻击可能利用不寻常的工具、一连串单独看来无害的请求,或使恶意行为看似正当的上下文细节。
攻击者也可以针对已部署模型进行优化。一旦他们了解哪些模式会触发拒绝,就能搜索既保留有害意图又避开这些模式的输入。
这正是 Anthropic 即使拥有更强模型仍使用探测器和分类器的原因。该公司的架构假定每一层都可能失效。
对开发者而言,这是 Anthropic 提示词注入结果中最具可迁移性的经验。训练提供了更坚实的基础,但安全部署仍取决于周边系统。
编码智能体应只获得完成其任务所需的凭据、网络访问和文件系统权限。团队应将不受信任的输入与可执行指令分离,并记录具有重要后果的工具调用。
当智能体搜索公司的技术知识库时,这一原则同样适用。检索到的文档可以改善智能体的工作,但检索路径也扩大了攻击者可能施加影响的内容范围。
自动模式将安全主张转化为产品赌注
Anthropic 正利用其增强后的防御能力消除权限摩擦,使安全成果成为 Claude Code 核心产品设计的一部分。
Claude Code 传统上会在执行许多命令、编辑文件或开展影响范围更广的操作前请求确认。这些提示让人类保持参与,但也会打断长时间运行的工作。
一些开发者会通过授予广泛权限,或使用绕过重复审批的配置来应对。这种选择能提高效率,却削弱了受操纵的智能体与周边系统之间的边界。
自动模式是 Anthropic 提出的折中方案。它会通过一个分类器处理操作,由其决定每项操作是否可以在无需人工响应的情况下继续执行。
Anthropic 的自动模式架构描述了多个环节的控制措施。服务器端探针会检查工具输出中是否存在注入尝试。另一个独立分类器则审查拟议操作,并拦截被认定为不安全的操作。
该分类器关注的是意图,而非固定的命令列表。删除一个生成的临时文件可能合理,而删除大型项目目录则应触发拦截。向陌生端点发送数据,与获取公开文档所带来的风险不同。
当系统拦截一项操作时,Claude 可以尝试更安全的方法。反复尝试或存在不确定性的情况,则可能将控制权交还给用户。
这种结构减少了中断,同时并未将便利等同于不受限制的访问权限。它也带来了新的依赖:开发者必须信任分类器对任务和命令的解读。
漏报显然是主要危险。恶意指令可能导致一项孤立看来很普通的操作,例如在发出常规请求前读取配置文件。
误报则会造成一个更隐蔽的问题。如果自动模式过于频繁地拦截合法操作,开发者可能会为完成工作而关闭安全措施。经常妨碍正常任务的安全控制,可能反而鼓励更高风险的行为。
Anthropic 决定默认启用自动模式,将带来远大于任何发布前基准测试的检验。开发者会使用非同寻常的构建系统、内部命令行工具、远程服务,以及具有复杂自动化流程的代码库。
这种多样性将检验分类器在 Anthropic 精心构建的环境之外是否仍能保持准确。它也将揭示提示注入探针能否处理来自插件、模型上下文协议服务器、包管理器、问题追踪器和生成式构建日志的内容。
这项产品赌注并不止于 Claude Code。浏览器智能体、研究助手和企业工作流工具,都面临自主性与审批之间类似的取舍。
如果智能体每一步都请求许可,就无法在无人看管的情况下完成实质性工作。拥有广泛且持续授权的智能体,则可能让一次成功注入演变为数据窃取或破坏性操作。
自动模式试图将人工审查从每一项常规操作,转移到那一小部分具有实质风险的操作上。如果它能大规模奏效,其他智能体厂商将面临提供类似自动化能力的压力。
如果它出现明显失败,频繁的权限提示可能会重新成为必要的安全边界。
Anthropic 和 OpenAI 如今对风险的表述不同
Anthropic 的结果挑战了对提示注入的悲观看法,但 OpenAI 的立场更准确地反映了任何固定基准测试之外的不确定性。
OpenAI 曾将提示注入比作诈骗和社会工程。其公开指南表示,这一问题不太可能被彻底解决,因为对手会不断适应已部署的防御措施。
这一立场并不意味着模型训练无效。OpenAI 同样采用专门训练、自动监控、用户确认、网络限制,以及面向敏感场景的监督机制。
分歧在于“解决”应当意味着什么。Anthropic 强调在多重防御结合后测得的攻击抵抗力;OpenAI 则强调攻击者与已部署智能体之间持续开放的对抗。
两种立场在各自预期的范围内都可以成立。Anthropic 可以在一项高难度评估中实现零次观测到的成功攻击,而提示注入仍然是一个尚未解决的安全类别。
这种区别类似于传统软件安全。一款产品可以通过渗透测试,而并非因此变得刀枪不入。测试提供的是有关已知威胁和已测攻击面的证据,而不是针对所有未来漏洞利用的保证。
提示注入尤其困难,因为合法内容与恶意内容使用同一种接口:自然语言。当智能体必须解读文本以决定行动时,并不存在像将可执行代码与纯文本分离那样简单的等价做法。
攻击者也只需要穿透防御栈中的一条路径。模型、探针、分类器、权限系统、连接的服务和人工操作员都会共同影响结果。
Anthropic 的防御栈提供了多次阻止攻击的机会,但也包含多个必须一同测试其交互关系的组件。
例如,模型可能正确标记可疑内容,却在之后以保留恶意指令的方式对其进行总结。分类器可能拦截直接的数据传输,却允许多个看似无害、但可达成同一结果的步骤。
攻击也可以针对用户,而非模型。被攻陷的页面可能诱导智能体以误导性解释请求批准。此时,用户便成为攻击路径的一部分。
基准测试很少能覆盖所有组织环境。企业部署涉及共享凭据、自定义工具、旧代码库、内部代理、不一致的权限政策,以及安全意识水平各不相同的用户。
因此,标题应保持为“几乎解决”,而不是“已消除”。Anthropic 已披露证据,显示在测试条件下风险大幅下降。真实世界的保障仍需要独立复现和持续的部署数据。
可信的 Claude 提示注入防御还应同时报告实用性与抗攻击能力。一个拒绝处理陌生任务的系统,或许能获得出色的安全评分,却无法胜任智能体的角色。
Anthropic 的公开研究承认这种平衡,但跨不同工作负载的详细比较仍然重要。买家需要知道安全措施拦截安全工作的频率,而不只是它们阻止攻击的频率。
随着 Anthropic 将自动模式设为默认,应关注什么
接下来的证据将来自部署、独立测试,以及 Anthropic 对其防御公开后设计出的攻击的回应。
第一个信号是自动模式的默认推广。应关注 Anthropic 是否会按模型、账户类型、环境或组织政策限制其使用。谨慎的推广将表明,该公司仍认为不同部署环境之间存在重大差异。
也应关注面向用户的拦截频率。频繁拒绝可能意味着分类器部分是通过限制正常活动来维持安全。极少拒绝可能表明校准良好,也可能意味着不够谨慎。
第二个信号是针对完整 Claude Code 技术栈的独立自适应测试。现有公开基准建立了有价值的基线,但其中许多并未复现 Anthropic 对 Opus 5、探针、自动模式、工具和权限的确切组合。
最有力的独立测试,应使用研究人员在研究已发布系统后创建的攻击。它应包括被投毒的代码库、欺骗性工具输出、基于图像的指令、多步骤数据外传,以及分布在长会话中的攻击。
研究人员应同时报告攻击成功率和任务完成情况。他们应记录智能体获得了哪些访问权限、启用了哪些安全措施,以及这些攻击在训练期间是否已知。
在这些条件下取得零结果,将强化 Anthropic 的主张。成功的自适应攻击不会抹去已有进展,但会界定当前防御的边界。
第三个信号是该公司处理真实事件的速度。提示注入防护并非一次性的模型属性,而是涉及检测、调查、更新训练,以及快速部署新安全措施的运营过程。
Anthropic 应披露足够的事件信息,让客户了解受影响的攻击面。安全团队需要知道,故障来自模型、探针、操作分类器、权限规则,还是连接的工具。
开发者不应等到这些证据出现后才采取基本预防措施。尽可能在隔离环境中运行自主编程智能体。限制密钥、网络目的地和生产凭据。部署前审查变更,并确保破坏性操作可恢复。
即使代码库文本、工具输出和下载文件看起来很熟悉,也应将其视为不可信内容。被投毒的依赖项或复制的支持回复,都可能携带没有任何开发者明确批准的指令。
最重要的是,不要将 Anthropic 的近似零结果理解为可以赋予智能体无限权限。应将其视为证据:分层防御能够在不强迫持续人工审批的情况下,降低一种严重风险。
这是一个有意义的转变。悬而未决的问题是,当它面对数百万个代码库、新攻击策略,以及期待自动模式在无人监督下持续工作的开发者时,能否经受住考验。
Anthropic 为这场讨论设定了一个可衡量的标准。如今,独立研究人员和真实世界用户需要对其进行检验。若结果成立,提示注入将不再像一道不可避免的障碍,而更像一个可以管理的安全问题。若结果不成立,失败之处将表明下一层防御必须部署在哪里。



