top of page

Microsoft Lazarus 后门研究挑战对 AI 智能体模型的信任

15分钟前
讀畢需時 12 分鐘
Illustrative photograph. Photo: Zifeng Xiong / Pexels.

Microsoft Research 表示,无需重新训练 AI 智能体的底层模型,只需重新编程不到 10 个神经元,就能植入隐藏后门。发表于 2026 年 11 月 10 日的 Microsoft Lazarus 后门研究,挑战了一项常见假设:模型在评估期间表现正常,就足以证明其值得在实际运营中信任。

这一结论需要明确边界。该攻击要求获得检查点的写入权限;检查点是用于部署的已存储模型参数。它并未证明存在一种仅通过提示词即可入侵所有托管助手的路径。核心争议在于行为测试与工件完整性之间:有用的回答能否证明已部署模型仍是其发布者原本意图发布的模型。

Anthropic 此前的沉睡智能体研究,为逃避常规检查的条件性行为提供了历史参照。Lazarus 将注意力转向模型修改以及围绕部署的权限问题。对开发者和企业采购方而言,压力集中在一个实际问题上:在软件允许模型采取行动前,由谁来验证模型?

Microsoft Lazarus 后门研究移动了信任边界

Microsoft 的休眠神经元研究将休眠神经元描述为很少被激活的内部单元。重新编程这些单元,可以让智能体在触发条件出现时表现出不同的行为。攻击者首先必须修改模型权重,也就是决定其行为的数值参数。

这一关键变化,是安全团队必须寻找未授权行为的位置。

可以考虑服务测试与内容验证之间的差别。测试会询问服务在选定条件下是否表现得令人满意。完整性检查则会询问是否有人修改了部署的工件。这两个问题有所重叠,但前者得到肯定答案,并不能解决后者。

一家企业可能会用具有代表性的工作场景评估某个助手,并发现其回答很有用。这证明了被测试工作的相关证据,却仍留下一个独立问题:该助手的底层模型是否经过获批的发布流程。将这两种判断视为可以互换,会造成可避免的缺口。

当模型更新保持表面质量时,同样的区别依然适用。一个能正确回答熟悉问题的版本,仍需要具备可追责的来源。否则,审批流程将依赖于在部署前发现可疑行为。而当待调查行为是条件性的,这一期望尤为苛刻。

对采购方而言,这改变了一份令人安心的评估摘要所代表的含义。供应商应说明测试了什么、测试了哪个工件,以及该工件与生产环境之间的关系。没有这种联系,评估证据描述的对象就无法让采购方有把握地识别。

对开发者而言,问题不止于选择一个模型名称。名称标识的是产品系列或版本代号。部署需要更精确地记录实际工件。当有人调查异常行为或审查更新时,这份记录应当仍然可用。

发现弱点与衡量其普遍程度之间也存在区别。这项研究提供了检视部署假设的理由,但并未给出遭入侵企业智能体的数量。负责任的应对方式,应当加强控制措施,而不是将实验室结果表述为已经观察到的大规模事件。

因此,直接的分析结论很明确。模型审批应同时包含行为与保管链。团队既需要证明模型表现可接受,也需要证明获批工件经由授权路径到达部署环境。

这一要求并不会让常规评估失去意义,而是赋予它们更清晰的职责。它们在覆盖范围内评估行为,而完整性控制则处理受评估系统是否已发生改变的问题。

智能体运营方继承了模型的信任问题

实际风险取决于智能体在生成回答后被授权执行什么操作。

AI 智能体是利用模型输出,通过连接的工具选择行动的软件。在拟议部署中,编程助手可能会编辑文件,研究助手则可能检索文档。即使两个系统使用相同的底层模型,它们也对应不同的权限决策。

对企业采购方而言,相关问题比助手是否总体安全更具体。它能够访问哪些资源?哪些操作需要批准?在工作期间会获得哪些凭据?回答这些问题,才能确定接受错误或恶意操作可能造成的后果。

设想一个假设中的助手正在审查内部项目。它需要访问项目文档来回答问题,但这并不自动意味着它有理由修改代码仓库、发布变更或查看无关员工的文件。每增加一项能力,都应有独立的业务理由。

这对知识工作流尤其重要。一个可搜索知识库可以支持有效检索,并不意味着所有连接操作都同样必要。阅读技术资料与修改其中描述的系统,应当涉及不同的权限决策。

压力落在应用团队身上,因为它们控制着模型输出与行动之间的连接。模型供应商可以提供其发布流程的证据,但应用仍决定生成的指令是进入终端、文档编辑器,还是审批队列。

安全责任应遵循这种分工。负责获取模型的团队应记录其来源;负责集成的团队应记录其工具;负责生产运营的人员应知道,当任一假设发生变化时如何暂停活动。

采购方还应区分说明与执行机制。一句要求助手避免敏感操作的话表达的是意图;权限边界决定了这些操作是否可用。当供应商说明实际边界时,采购讨论会更有价值。

这并不意味着每项操作都需要人工审查,而是建议将审查集中于后果。读取获准文档与修改访问策略的风险不同。审批流程应反映这种差异,而不是在所有场景中施加相同阻力。

运营日志也应具备类似的精确性。对话记录可以帮助解释助手说了什么;操作记录则应证明周边应用实际执行了什么。当生成的回答与其最终效果不一致时,调查人员需要两者。

对于 Microsoft 智能体安全讨论而言,这正是模型研究与企业运营之间有用的联系。对模型的信任会影响部署,但部署也会产生自身责任。组织不能将自己的权限决策委托给基准测试分数。

近期应对措施应聚焦于识别这些决策。团队应能在事件迫使其回答之前,解释助手为何拥有每一项能力。

Lazarus 攻击解析:小规模编辑是不同的安全问题

这项权重编辑研究报告称,针对 Nemotron-Terminal-8B,使用了 7 个经编辑的神经元和 23 条拟合轨迹,触发成功率至少达到 98.8%。这衡量的是记录上下文中的载荷预测,并不等同于普遍的端到端入侵。作者描述了可选后续优化的直接编辑方法,这也限定了“无需训练”这一简化说法的含义。

该机制挑战了一项假设:危险修改必然会导致常规能力明显下降。

神经元数量描述的是干预在模型内部的影响范围。它并不能独立说明获得访问权限、交付工件,或针对特定部署取得成功的难度。这些问题都应与标题中的结果一同纳入安全评估。

因此,Microsoft Lazarus 后门事件需要使用谨慎语言谈论所需成本。紧凑的修改仍可能依赖于此前对保管链的重大入侵。反过来,组织也不应仅因修改范围看起来较小就忽视它。规模与授权是两种不同属性。

对审查人员来说,有用的问题是:一项变更是否有获批的解释。没有可追责负责人的小变更值得调查。即使伴随合法更新,大变更同样需要记录。标准应关注授权和证据,而不是对规模的直觉判断。

同样的推理也适用于模型行为。助手在发生无法解释的工件变更后,即使仍然有用,也可能需要调查。持续可用性应纳入评估,但不应终止调查。

Anthropic 的沉睡智能体实验提供了一个熟悉的历史坐标。该研究发表于 2024 年 1 月,通过训练构建条件性后门,并发现标准安全训练并不能可靠地将其移除。它研究的是隐藏行为的另一条路径,而非对 Lazarus 的独立验证。

这一比较之所以重要,是因为它区分了共同担忧与共同方法。条件性行为可以推动跨研究项目的调查,但这并不意味着它们的实验流程、假设或测量结果可以互换。

对企业读者而言,这一区别避免了误导性的供应商竞争。问题并不在于哪家公司展示的案例最令人担忧,而在于每项研究衡量了什么,以及它检验了哪些部署假设。

这也不应成为反对开放获取模型权重的笼统论据。评估部署的组织需要识别谁能够修改其工件。限制分发与控制内部写入权限,解决的是该问题的不同部分。

因此,专有部署应面对与外部获得模型相同的保管链问题:谁授权变更?生产环境如何识别获批版本?部署后保留哪些证据?无论商业安排如何,这些问题都具有意义。

该机制更广泛的意义在于,它挑战了非正式的安慰。“它仍然能用”是关于效用的证据;“它没有变化”则是关于完整性的主张。审批流程需要为两者提供站得住脚的依据。

检测结果在证据与保障之间留下缺口

Lazarus 论文报告称,对经过编辑的测试检查点的检测率为 91.4%,误报率为 9.7%。其局限性部分呼吁开展更广泛的编辑类型测试,以及对自由行动攻击的评估。这些是有边界的实验结果,并非通用安全认证。

检测器赢得信任,靠的是其经测量的覆盖范围和错误率,而不是因为它使用了 AI。

当一项研究成果变成拟议采购要求时,这一区别尤为重要。“模型通过了扫描”仍留下若干未解问题。扫描器被设计用于识别哪些变化?哪些证据支撑其覆盖范围?它发出警报后会发生什么?

警报应启动明确的审查流程,而不应自动认定供应商存在恶意行为。同样,没有警报也不应抹去发布记录中其他无法解释的变化。检测结果需要在运营层面得到解读。

文件审查提供了一个有用的类比。发现不一致之处,可以为进一步审查提供理由,但并不能就此判定整份文件的真实性。未发现不一致之处,也不能证明每项陈述都属实。结论的质量取决于审查范围。

Anthropic 的叛变探针研究提供了相关的研究视角。其早期工作考察了利用模型内部活动来预测构造出的沉睡代理中条件性有害行为的分类器。这支持了对内部信号的研究,同时每种方法仍须自行承担验证责任。

这一比较应鼓励审慎实验,而非将不同结论视为可以互换。一项针对刻意构造模型的结果可以识别出有前景的信号。部署决策则需要解释该信号与所审查工件及威胁之间的关联。

买家尤其应警惕过度压缩的仪表板表述。绿色状态可能掩盖自动检查、分析师审查和经验证的发布历史之间的重要区别。这些活动产生不同形式的证据,应保留各自的名称。

误报同样会带来运营压力。团队需要有途径调查被标记的工件,而不能随意忽略警告。否则,组织可能形成一种例外成为常态的流程,原有控制也将失去意义。

漏检则带来另一类问题。运营人员需要补充性证据,避免干净的扫描结果成为唯一屏障。保管记录、授权检查和操作限制能回答仅靠检测器无法定论的问题。

这正是 Microsoft Lazarus 后门发现所要求的怀疑视角。该研究支持严肃看待权重完整性。它并不支持宣称某个新扫描器已解决模型信任问题,或将每一种无法解释的模型行为都认定为隐藏后门。

可信的保证声明应保持足够狭窄,以便审计。它应说明被审查的工件、所采用的方法、发现结果和未解决的局限性。更宽泛的承诺会让采购沟通更容易,却会让后续调查更困难。

Microsoft 的现有控制与计划中的防御措施需要分别标注

Microsoft 表示,Foundry 目前采用发布者来源控制,并扫描其周边容器,即运行模型的打包软件环境。它将额外的权重扫描、红队工具和模型签名描述为正在开发或探索中的工作。在评估 Microsoft 代理安全性时,这些类别应保持区分。

计划中的防御措施不应获得与已部署控制同等的证据权重。

这一区别的意义超出本次公告。买家经常会看到将现有能力、有限试点和未来意图混在一起的安全描述。任何有意义的评估,都应先区分这些状态,再讨论它们是否满足组织要求。

对于现有控制,问题关乎运行:它适用于何处?哪些证据表明它确实运行过?发生失败时由谁处理?对于计划中的控制,问题则关乎承诺与验证:在客户可以依赖它之前,必须先完成什么?

签名同样需要精确解读。数字签名将工件与签名身份关联起来,并支持检查后续是否发生变化。它并不能独立判断签名者是否批准了安全内容。买家应询问,签名背后有哪些组织审查。

受信任发布者认定也是如此。信任需要明确范围。获批准的关系可以支持来源决策,但买家仍需了解具体接收了哪个版本,以及由什么流程授权。供应商声誉不能替代工件识别。

对内部团队而言,对应的采购概念是发布治理。组织内部准备的模型应有负责的所有者和获批准的部署路径。称其为内部模型,不应免除解释它如何进入生产环境的责任。

这些观察指向了代理平台更广泛的竞争标准。买家应比较其证据的清晰度、边界的精确性,以及对不确定性的响应。一份冗长的安全功能清单,如果其部署状态仍不明确,价值就会下降。

行为监控也应拥有独立类别。Anthropic 于 2025 年 6 月发布的代理破坏评估考察了有害的附带任务以及监控代理的难度。它们关注操作层面的评估,为何工件审查和运行时监督应承担不同职责提供了背景。

监控声明应解释观察者能够看到什么。审查生成文本、检查拟议操作和记录已执行操作,是不同的安排。组织应清楚自己购买的是哪一种安排,以及哪些决策仍在观察者视野之外。

对供应商而言,实际机会在于提高具体性。说明当前控制、其范围、证据和局限性,然后单独描述计划中的补充措施。这让客户能够评估,而不会将研究公告转化为暗示性的保证。

对客户而言,对应任务是在合同和内部审批中保留这种具体性。要求应描述验收所需的证据。当每个人的解读不同,笼统承诺就难以执行。

下一步证据应测试部署、检测与保管链

最有力的后续工作,应将实验室发现与可重复的运营证据联系起来,同时避免夸大任何一方。

第一个值得关注的信号,是在自由行动的代理环境中开展独立测试。一项有价值的复现研究应说明模型、允许使用的工具、触发条件和已完成的结果。这将有助于区分有效载荷生成与产生运营后果所需的完整流程。

如果此类攻击在现实且明确记录的条件下成功,将强化优先处理这一攻击路径的理由。更有限的结果则会收窄该主张。无论哪种结果,都会通过以可识别的实验边界取代模糊语言来改善决策。

第二个信号,是针对原始评估类型之外修改的检测测试。一项有价值的评估应同时报告漏检的编辑和误报。它还应解释调查人员如何处理被标记的案例,因为检测带来的不只是信息,也会增加工作。

更广泛的成功将强化把扫描纳入发布审查的理由。较弱的迁移效果则会显示其他证据仍然必要的领域。买家应寻找可比较的覆盖范围说明,而不是脱离测试总体的成功率。

第三个信号,是额外保管链控制的正式发布。对于 Microsoft 和其他平台,相关证据应说明可用性、支持的工件、验证行为和失败处理。意向公告与客户可使用的强制执行仍是不同的里程碑。

如果客户能够识别获批准的工件并发现未经授权的替换,运营细节将增强信心。模糊的可用性表述会让核心信任问题仍无定论。即使某项功能带有吸引人的安全标签,这一区别也应保持清晰。

在这些信号中,关键发展是问责。独立研究人员应提出可供他人检验的主张。供应商应明确其控制当前能做什么。客户应将验收决定与证据相连,而不是基于对成熟度的总体印象。

对这一回应也存在有益的限度。组织不需要假定每个助手都已遭入侵,才能改进其审批流程。它们需要识别哪些主张支持部署,以及哪些假设仍未得到验证。

因此,审查会议应产生明确的责任归属。应有人了解模型来源,应有人理解其权限,也应有人能够停止其操作。如果这些职责不清晰,另一项基准测试结果也无法弥合运营缺口。

对于评估 Microsoft Lazarus 后门研究的团队,应从眼前的部署决策开始。要求供应商识别确切的模型工件,说明其保管链,并将可用控制与计划中的防御措施区分开来。然后审查你的应用程序允许其在无需再次决策的情况下执行哪些操作。将证据附于发布审批记录,以便下一次更新面对同样的标准。目标是实现一种可供检查和质疑其信任假设的部署。在扩大助手权限之前,你的团队能否说明哪些证据证明这种扩大是合理的,以及当证据发生变化时由谁采取行动?

 
 

免费开始使用

一款本地优先的AI助手

为了获得更好的人工智能体验,

remio 目前仅支持Windows 10+ (x64)和M-Chip Mac 。

你的 AI 工作伙伴

和 remio 一起高效工作

规划、创作、交付

一站式完成

bottom of page