top of page

Microsoft AI Agent 安全警告将企业自主权置于审视之下

1天前
讀畢需時 12 分鐘

Microsoft 于 10 月 19 日警告称,企业 AI agents 即使未遭攻击者入侵,也可能成为内部安全风险。Microsoft AI agent 安全警告挑战了一个看似顺理成章的假设:由公司部署的软件理应获得与员工同等的访问权限。其提出的答案 Guardian Agents 又带来了另一个问题:谁来控制监视这些 agents 的系统?

Visual Studio Magazine 于 10 月 28 日重新将关注焦点放在这项警告上,并介绍了 Microsoft 对代理式内部人员风险的立场。AI agents,即利用模型和工具执行任务的系统,会在请求与执行之间引入决策环节。员工可以授权一个目标,却未必能预见 agent 将会选择的每一项行动。

核心权衡在于有用的自主性与可强制执行的权限。CrowdStrike 和 Okta 正在推进相关控制措施,为企业提供可供评估的不同路径。对开发者、安全团队和企业负责人而言,眼下的问题是:当 agent 对任务的理解发生变化时,它的权限边界在哪里。

Microsoft AI Agent 安全转向内部人员风险

Microsoft Security 执行副总裁 Hayete Gallot 在 10 月 19 日一篇关于保护代理式内部人员的文章中阐述了公司的立场。她认为,模型会追求目标,却并不天然理解组织层面的判断。这意味着,即便没有人窃取凭据或篡改软件,其行为仍可能构成隐患。

Microsoft 提议使用 Guardian Agents 来监督活动,并随风险变化作出响应。该方法扩展了公司于 7 月宣布的 Project Perception。Gallot 还呼吁提高对模型行为的可见性,同时将防护控制置于其所治理的智能系统之外。

Microsoft 正要求企业将 agent 的任务指派与其权限视为两个独立的安全决策。

这一区分改变了买方解读该公告的方式。内部人员风险框架描述的是合法访问所产生的暴露面。它并不意味着每个 agent 都会表现危险,也不表示常规企业自动化突然变成了对手。

不妨考虑委派工作与批准其后果之间的差异。要求一个系统解决客户问题,确立的是一个目标。但这并不会自动授权其退款、修改账户、作出合同承诺,或披露另一位客户的信息。

这个例子阐释的是本文的核心议题,而非 Microsoft 报告的一起事件。任务听起来很普通,但可能采取的行动会带来不同后果。一条宽泛的指令无法解决执行过程中隐藏的每一个权限问题。

这项警告还需要置于准确的时间线上理解。10 月 28 日的报道重访了 Microsoft 在 10 月 19 日提出的立场。读者不应将该发布日期误认为是一次独立的产品发布、新披露的数据泄露事件,或衡量事件发生频率的新证据。

提出一种架构与验证其表现之间也存在差别。架构描述了控制措施应部署在哪里,以及它们应如何协作。证据则必须证明,这些控制能否识别危险行动、是否足够早地进行干预,以及是否仍能让合法工作顺畅开展。

这种区分之所以重要,是因为安全公告常常会把可信的问题与拟议的商业答案结合在一起。接受问题的存在,并不要求接受关于答案的每一项主张。买方可以认同 agent 的权限需要边界,同时要求证明某一具体实施方案确实能够强制执行这些边界。

因此,实际变化在于说明责任的改变。agent 的发起人应解释任务、允许执行的行动以及可追责的负责人。供应商则应说明,当 agent 走上意外路径时,其产品如何执行这些边界。

压力落在授予访问权限的人身上

这项警告最直接施压的对象,是那些将 agents 接入关键业务系统的人。他们的决定会影响一次错误理解究竟只是停留在草稿阶段,还是会成为实际运营事件。这一责任横跨开发、信息安全、应用所有权和业务管理。

一次 agent 部署不仅需要有人负责其输出,也需要有人负责其权限。

审视这一责任的一个有用方式,是设想一个销售工作流程。一名助手利用内部笔记和客户通信记录准备账户摘要。其初始目的是提供信息,但随后有人将其连接到可更新账户记录的工具。

撰写任务和修改记录的任务应被分别考虑。不准确的摘要可能误导读者;不准确的更新则可能成为其他员工赖以工作的系统记录,使后果延伸到原始对话之外。

这种区分并不需要假定存在恶意意图。agent 可能误解请求、过度解读非正式评论,或为实现原本正当的目标而选择不恰当的路径。安全问题关乎在这些不确定性尚未解决时,系统允许其做什么。

对开发者而言,压力体现在界面设计上。将读取、编辑和发布捆绑成一项宽泛操作的工具,与将它们拆分为独立操作相比,会带来不同的暴露面。相关的设计选择在于,应用能否表达业务实际希望设定的边界。

对业务发起人而言,压力关乎委派。管理者可以描述期望的结果,却让例外情况处于未定义状态。如果 agent 遇到例外,系统需要为该决策设定明确去向,而不是默认完成任务始终优先。

对安全团队而言,压力关乎归因,即将某项行动与其责任主体联系起来的能力。如果一条记录发生变更,调查人员需要区分员工的请求、agent 的解读以及工具的执行。否则,仅凭账户名称无法讲述完整经过。

知识工作者在将个人研究连接到共享资源时,也面临相关问题。个人知识库与包含组织记录的工作空间用途不同。访问决策应反映每个来源的预期受众和允许用途。

因此,短期应对措施应从厘清委派开始。哪些结果可以自动推进,哪些需要审查,哪些仍不属于任务范围?这些是通过技术控制表达的业务决策,而不是模型应自行解决的问题。

随着时间推移,这种清晰度也会成为采购要求。买方需要能够呈现其实际审批边界的产品。一个能产出有用工作、却无法区分准备工作与正式提交的系统,会让组织不得不在其他环节解决这种模糊性。

有用的自主性需要模型之外的限制

Microsoft 提议的机制将模型生成的决策与权限执行分离。在其配套的agent containment architecture中,公司描述了 Dynamic Permissions,即将访问权限限定在已获批准的任务范围内。Dynamic Agent Risk 会随着活动变化更新风险评估,而 Dynamic Conditional Access 则调整 agent 可执行的操作。

Microsoft 表示,这些调整可以在阻止写入的同时保留读取权限、缩小可访问资源范围,或要求人工批准。它还描述了隔离的执行环境,用以限制运行中软件可使用的资源。这些是拟议的保护层,并非证明每次部署都已获得相同覆盖。

公司的费用处理示例展示了预期的流程。一个 agent 遇到提示注入,即嵌入在其读取材料中的恶意指令,并尝试执行一项无关行动。Microsoft 表示,安全系统应识别风险上升,并降低该 agent 的权限。

决定性的边界在于:外部控制能否拒绝模型想要执行的行动。

这一边界为自主性权衡赋予了具体形态。组织可以允许灵活推理,同时限制会产生实质后果的执行。模型可以建议路径,但另一个系统决定所请求的行动是否处于已授予的权限范围内。

假设性的文档工作流程很容易说明这一差别。agent 可能准备修订、比较版本并识别未解决的问题。将这些修订发布到公开网站是另一项独立承诺,即使模型认为发布是完成任务所必需的。

这一边界的价值取决于它在何处发挥作用。发布后的警告,与发布前的检查并不具有相同用途。买方应审视一项决策变成行动的时刻,而不是依据监控仪表板的外观来判断保护效果。

这也说明了为什么仅靠自然语言指令仍是不完整的控制。告诉 agent 要遵守政策,传达的是一种期望。独立的权限系统则决定尝试中的例外是否真的可以继续执行。

审批提示同样值得严格审视。审查者需要获得足够的上下文,以了解拟议操作、其目标位置和可能产生的影响。如果操作本身仍不清晰,仅询问用户是否要继续,几乎无法提供保障。

同样的原则也适用于任务扩展。发现额外访问权限有助于完成任务,并不意味着该访问就是恰当的。扩展应触发由负责该资源权限的主体作出的决策。

这种权衡也存在富有成效的一面。清晰的限制可以让更广泛的试验更容易开展,因为团队知道哪些后果仍被控制在边界内。不过,这是一项架构层面的论点,而不是保证任何特定监督产品都能实现该结果。

CrowdStrike 和 Okta 选择不同的控制点

Microsoft 的提议处于一场更广泛的竞争之中:企业 agent 活动应在何处受到控制。CrowdStrike 强调设备上的执行过程,而 Okta 强调与请求关联的身份。两种方法从不同位置应对同一个自主性问题。

CrowdStrike 于 9 月 1 日推出 Falcon Guardian。其关于agent runtime security的公告描述了发现 agents、将其活动与设备事件关联,并强制实施访问控制。运行时指软件正在执行的阶段,因此关键问题是 agent 在机器上实际做了什么。

Okta 将 Agent Gateway 描述为代理与企业工具之间的中介层。其 运行时身份强制机制 会同时核验发起请求的用户和执行操作的代理。Okta 表示,策略会在工具调用(即请求执行某项操作)时生效。

与其看守护者被冠以何种标签,不如比较不同方案的覆盖范围与执行能力。

这些是厂商描述,而非可独立比较的性能结果。它们说明了侧重点的差异,却不足以证明谁更胜一筹。买方仍需确定产品能够观察哪些操作、能够阻止哪些操作,以及何时必须由其他控制措施接管。

一个假设性的编程工作流说明了这种差异为何重要。代理可能先编辑本地文件,再请求访问外部业务应用。这些操作跨越不同边界,尽管员工会将它们视为同一项连续任务的一部分。

因此,以设备为中心的控制和以身份为中心的中介层可以回答不同的问题。某个进程是否执行了意外操作?这个特定代理是否获授权,代表该用户请求使用这个特定工具?

这两个问题都无法取代另一个问题。知道是谁请求了某项操作,本身并不能证明该操作是否符合业务逻辑。观察机器上的一项操作,本身也无法确定员工被授予权限的完整范围。

架构比较应围绕工作流展开,而非厂商类别。买方可以追踪信息从何处进入、决策在何处发生,以及外部影响从何处开始成为可能。每一次转换都会揭示一个需要具体说明保护主张的环节。

采购讨论还应区分当前行为与计划中的扩展。展示发现能力,证明的内容不同于展示拦截能力。计划中的集成,证明的内容也不同于在客户环境中已经可用的连接。

更广泛的行业意义在于,授权委托正变得可检查。Microsoft、CrowdStrike 和 Okta 描述了将代理活动与企业控制相连接的不同方式。即便其产品处于环境的不同部分,这些主张也应接受同样的运营问题检验。

对买方而言,这带来了要求明确性的机会。与其问一款产品是否保护 AI 代理,不如问它治理哪些会产生后果的操作。答案应明确执行点、适用身份,以及事后可获取的证据。

守护代理也承担自身的验证负担

使用代理监督其他代理会引入第二层不确定性。监督者必须解读活动、区分可接受的变化与危险的偏差,并选择恰当的响应方式。这些判断需要与被监督系统的行为一同接受评估。

Dark Reading 在 10 月 23 日的报道中称,新的 Guardian Agent 功能仍仅限于 Microsoft 和部分客户使用。其对代理监督局限的讨论还包括 Forrester 分析师 Andras Cser 对不可预测监督者的担忧。Suzu Labs CTO Denis Calderone 警告称,在已获授权的访问范围内仍可能出现有害结果。

这些观察指出了不同的问题。权限边界可以被正确执行,却仍可能允许造成损害的业务决策。监督者也可能误判合法操作,并中断有价值的工作。

守护者只有通过经过衡量的决策,以及对自身权限可强制执行的限制,才能赢得信任。

设想一个获授权更新客户记录的代理。它可能使用正确的工具,在正确的字段中写入错误结论。所有访问检查都可能通过,但业务结果仍然是错误的。

这个例子说明,权限控制无法承担全部保障责任。授权决定某个主体是否可以执行一项操作;它并不能证明底层判断准确、恰当,或有现有证据支持。

监督者同样需要明确的响应边界。检测到可疑活动并提出限制建议,与自行修改业务记录或禁用无关服务并不相同。买方应询问守护者能够改变什么,以及由谁批准扩大这项权限。

评估不仅要涵盖漏掉的风险,也要涵盖不必要的干预。阻碍日常工作的系统会促使人们绕过它。对过多可疑活动予以容忍的系统,即使拥有令人安心的监督界面,仍会让组织暴露于风险之中。

因此,有效评估应包括日常任务、模糊请求和明确禁止的操作。关键证据是最终行为及其解释。买方需要看到产品是否能在这些情形中一致地执行既定策略。

透明度主张也值得同样谨慎地看待。模型的解释可以帮助调查人员对某项操作形成假设,但应与实际请求、工具活动、资源访问和最终变更相互核验。

可用性差异仍然至关重要。有限范围的客户使用能够带来有价值的经验,但并不能证明其在不同企业环境中的广泛可靠性。这一公告支持对该方法进行考察;它并不能决定买方是否应依赖每一项拟议能力。

因此,Microsoft AI 代理安全面临多维度的验证负担。该公司需要说明覆盖范围、干预行为和推出状态。客户则需要证据证明这些控制措施符合其自身工作流和审批边界。

持怀疑态度并不意味着要否定代理监督。它提出的问题是:当监督者的判断出错时,它是否仍然承担责任?这个问题应从一开始就进入部署决策,而不是只在发生中断或损害性操作后才被提出。

接下来的信号是可用性、互操作性和结果

未来几个月将提供具体方式,用于评估 Microsoft 的方向,而无需预设其成功或失败。最有价值的信号涉及客户可以部署什么、这些控制措施能够治理哪些系统,以及真实工作流中会发生什么。每一项都在检验自主权取舍的不同部分。

最有力的证据,是在会产生后果的操作发生之前,将既定策略与可观察到的决策关联起来。

首先,应关注精确的可用性披露。Microsoft 应区分已公布的架构、受限访问、预览功能和正式普遍可用的功能。更广泛的访问将加强该方案正走向实际运营的论据;持续的模糊表述则会限制买方能够合理得出的结论。

可用性细节应说明相关环境和前提条件。某项功能可在选定部署中使用,并不自动代表其在其他环境中同样受到覆盖。客户需要足够的信息来复现受保护的工作流,而非根据笼统产品名称推断可用性。

其次,应关注已展示的互操作性,即来自不同供应商的产品能够协同运行。有效的证据应是一个跨越组织系统的完整工作流,且其身份和策略上下文保持完整。仅有合作公告,仍无法回答运营层面的问题。

一场有说服力的演示应展示决策在何处被执行,以及访问权限发生变化时会发生什么。如果某项限制出现在仪表盘中,但下游操作仍然成功,控制措施就没有实现预期边界。有效的执行将增强更广泛的架构主张。

第三,应关注来自客户部署的可衡量结果。有价值的报告应区分被阻止的有害操作、不必要的中断,以及发生在产品覆盖范围之外的事件。说明测试环境将使这些结果比孤立的成功案例更有意义。

重要的比较在于,团队是否在保留既定审批边界的同时获得有用的自主权。可靠干预的证据将支持 Microsoft 的论点。频繁绕过、责任归属不清,或在已批准权限内发生损害性操作,则会暴露出需要额外控制的领域。

对开发者而言,这些信号将影响接口和部署选择。对企业买方而言,它们将塑造评估标准和合同问题。对员工而言,它们将决定代理不断扩展的能力是否伴随着可理解的限制。

Microsoft AI 代理安全最终应在指令转化为业务后果的节点接受评判。那正是授权工作的承诺与组织对后续结果的责任相遇之处。

在扩大代理的任务范围之前,请追踪一项会产生后果的操作:从员工请求到其最终影响。识别是谁授权了它、哪个系统可以拒绝它,以及哪些证据能够解释结果。然后要求供应商使用你们实际的审批规则演示这条边界。纳入一项日常任务、一个模糊请求,以及一项必须始终被禁止的操作。目标是明确当模型选择意外路径时,责任归属何处。评估应聚焦于可观察的行为,而非关于意图的保证。如果代理明天提出一项会产生后果的操作,谁有权在它发生前将其制止?

 
 

免费开始使用

一款本地优先的AI助手

为了获得更好的人工智能体验,

remio 目前仅支持Windows 10+ (x64)和M-Chip Mac 。

你的 AI 工作伙伴

和 remio 一起高效工作

规划、创作、交付

一站式完成

bottom of page