英国政府称无法关闭 AI，否决英国 AI 紧急关停机制

尽管外界要求针对危险 AI 系统设立紧急权力，英国政府于 9 月 11 日否决了建立英国 AI 紧急关停机制的呼声。英国内阁办公室表示，英国“无法简单地关闭 AI”，而应由开发者和现有安全机构承担责任。

这一决定并非简单否定 AI 安全。大臣们承认，日益自主化的系统会带来国家安全风险。但他们反对将单一的全国性关闭机制视为应对跨越国界、服务商和计算环境运行的模型的可信方案。

这一差异构成了核心冲突。议会支持者希望在危机发生前确立明确的 AI 关闭权力。政府则倾向于分层技术控制、特定行业监管、事件响应，以及由 AI Security Institute 进一步研究。

英国 AI 紧急关停机制提案并不只是一个红色按钮

该提案将设立法律授权和操作义务，而非用一个实体开关控制所有 AI 系统。

自由民主党议员 Lord Clement-Jones 提出了与此相关的 Cyber Security and Resilience Bill 修正案。Baroness Kidron、Baroness Harding of Winscombe 和 Lord Hunt of Kings Heath 对该案表示支持。

拟议法律为国务大臣规定了一套“最后手段权力”。这些权力可指示关闭以相当大规模部署的数据中心或 AI 系统。

官方的关闭修正案仅适用于发生 AI 安全或运行紧急情况时。它要求有合理理由相信，与 AI 相关的安全受损构成灾难性风险。

该修正案通过三类情形界定此类风险，包括对关键基础设施造成大规模扰乱、损害国家安全能力，以及对人类生命造成严重伤害。

它还涉及紧急情况发生前的准备工作。相关法规可要求服务商和数据中心运营商维持切实可行的安排，以接收并执行关闭指令。

运营商可能需要定期进行紧急演练。在恢复运行前，他们也可能需要完成事后流程，包括事件报告和旨在防止再次发生的措施。

这些细节之所以重要，是因为“紧急关停机制”暗示了一种不切实际的简单机制。实际提案结合了法律授权、技术准备、演练、报告和司法监督。

该措施还考虑对未满足运行要求的行为施加处罚。经公诉定罪者可能面临最高两年监禁、罚款，或两者并处。

与此同时，该修正案包含问责规定。一项指令将接受审查，同时议会将持续收到有关潜在 AI 紧急情况的报告。

报告要求涵盖对抗性 AI 使用、自主网络攻击，以及可能摆脱人类监督的系统。它还明确提及通常被称为超级智能 AI 的系统。

该修正案未被正式提出表决，这意味着议院无需对其作出决定。因此，政府的公开反对并不等同于议会表决否决。

这一程序上的区别很重要。政府否决了这种做法，但议会并未就这项具体修正案进行最终投票，以批准或否决它。

支持者仍可通过后续修正案、单独立法或技术标准推动相关措施。尽管该提案未能推进，围绕 AI 关闭权力的争论仍在继续。

不过，这一事件仍改变了政策基线。政府现已明确表示，不支持以关闭 AI 为表述的广泛全国性关停概念。

这一立场将讨论引向一个更棘手的问题：如果单一开关不可行，那么针对开发者、云服务商、数据中心和关键服务，究竟应具备哪些具体干预权力？

为何政府称英国无法简单地关闭 AI

政府最有力的反对理由在于地域性：在英国封锁一个模型，无法阻止它在其他地方被开发、复制或滥用。

一名内阁办公室发言人表示，限制境内访问并不能阻止模型在国外被开发或滥用。这一表述见于最初的政府回应。

这一论点反映了现代 AI 服务的分布式特征。模型开发者可以在一个国家训练系统，在另一个国家托管，并为多个地区的用户提供服务。

部分模型也可以被下载、修改或私下部署。一旦模型权重在相互独立的系统之间流传，任何一个政府都无法可靠地禁用每一个副本。

即使是封闭模型，也很少依赖单一机器。其服务可能涉及多个云区域、应用接口、承包商和下游产品。

切断一个英国数据中心的访问，或许能中断境内部署，但未必能停止由境外基础设施运行的相关服务。

政府还区分了访问限制与技术遏制。阻断公众访问可减少即时暴露，但无法保证一个自主进程已停止运行。

如果一个系统已经获得凭证、复制软件，或通过外部服务发起行动，这一局限会变得更加严重。关闭命令必须迅速识别所有相关依赖项。

因此，“英国 AI 紧急关停机制”这一说法涵盖多种不同控制措施，包括暂停用户访问、停止模型推理、隔离网络、撤销凭证，以及断开计算资源。

每种控制作用于不同层面。没有任何一种能单独构成面向人工智能的通用关闭开关。

政府转而将责任赋予企业。其声明称，开发者必须安全地构建产品，并投资于先进系统所需的安全基础设施。

这种做法假设服务商能够足够早地发现危险行为并进行干预，也假设他们仍掌控相关系统、凭证和基础设施。

这些假设并非总能成立。单独部署的模型可能超出原始开发者的技术控制范围，尤其是在政府或企业基础设施内部。

开放模型带来了另一项困难。移除一个托管接口，无法收回已经分发给外部运营商的模型文件。

政府的立场仍有现实依据。全国性封锁可能扰乱合法服务，却无法阻止促成干预的危险活动。

医院、金融服务机构、运输服务商和公共机构日益依赖互联软件。无差别关闭可能在应对第一场紧急事件时引发第二场紧急事件。

因此，定向隔离通常提供了更可信的工程方案。主管部门可以断开受影响系统、暂停特定服务，或命令特定运营商遏制事件。

然而，政府的回应留下了一个尚未解决的法律问题。技术复杂性并不会自动消除强制采取紧急行动的授权需求。

法律无需保证能够在全球范围关闭系统才具有价值。它仍可明确哪些境内实体必须行动、应在何种条件下行动，以及应具备哪些保障措施。

真正的争议并非英国能否关闭全部 AI，而是官员是否需要更狭窄、可执行的权力，以便在危险的境内部署造成灾难性伤害前采取行动。

AI 关闭权力令数据中心和关键服务面临压力

直接压力落在运营 AI 基础设施，或依赖自主系统执行关键功能的组织身上。

Cyber Security and Resilience Bill 聚焦于支撑关键活动的网络系统。它并非一项涵盖人工智能所有用途的通用法律。

该法案的范围有助于解释，为何立法者将紧急 AI 控制措施与数据中心联系起来。这些设施提供了众多先进系统背后的计算、存储和网络访问能力。

针对数据中心的指令可以中断支撑危险部署的资源。然而，这种做法也可能影响共享同一基础设施的无关客户。

服务商需要具备支持选择性遏制的架构。他们还需要准确记录模型、工作负载、凭证、客户和物理资源之间的关联。

关键服务运营商面临不同的问题。他们必须为危险 AI 行为做好准备，同时不能失去系统原本要支撑的关键服务。

如果停用自主工具也中断患者护理，医院不能将关闭视为成功。能源运营商也不能在不保障电网稳定的情况下隔离软件。

议会证词将此描述为运行连续性问题。如果某个 AI 组件无法使用，底层公共功能必须继续运转。

这一要求增加了对备用系统的需求。组织需要人工流程、替代供应商、受限运行模式和经过演练的恢复流程。

仅具备可替代性还不够。购买替代服务并不能确保员工能在关闭与恢复之间的空档期维持运营。

该修正案试图将这些准备工作纳入监管体系。定期演练将测试指令能否得到安全执行。

它还提议在受影响系统恢复运行前进行正式复盘。这一机制更接近既有的事件响应，而非电影式的紧急按钮。

支持者认为，现行法律存在关键缺口。现有权力或许允许大臣在发生安全受损后，命令移除、禁用或修改某些设施。

然而，要求关闭的法律授权并不能保证服务商已构建安全关闭能力。危机期间发出的指令可能来得太晚。

一份议会AI 风险审查直接概述了这一问题。它将这种情况比作拥有按下按钮的授权，却未确保按钮存在。

同一审查引用了 AI Security Institute 对自我复制任务的评估。报告称，成功率从 2023 年的不足 5% 上升至 2025 年的逾 60%。

这些评估并不表明已部署的 AI 系统正在独立地在互联网上传播。它们衡量的是特定测试条件下的能力，而非已观察到的公共灾难。

不过，结果呈现的趋势强化了进行遏制规划的理由。能够将组件复制到另一环境的系统，变得更难在单一端点被停止。

开发自主代理的公司也面临新的预期。代理是能够在有限人工干预下，通过工具规划并采取行动的软件。

向代理授予电子邮件、代码仓库、支付系统或基础设施的访问权限，会扩大一次失误可能造成的损害范围，也会增加遏制风险所需的控制措施数量。

对企业买家而言，这场政策争议会转化为采购问题。买家需要知道谁能够撤销代理权限、隔离其工作负载并保全证据。

他们还需要有书面记录的恢复流程。供应商声称模型已经对齐，不能替代针对凭证、网络和已连接应用的运营控制措施。

因此，英国 AI 终止开关之争同时给供应商和客户带来压力。他们必须证明，即使没有一个全国性的统一控制机制，依赖 AI 的运营也能够安全失效。

真正的权衡是中央权力与分层安全之间的取舍

法定关停权能够建立问责机制，而分层安全可在分布式系统中提供更精确的控制。两种方式都无法单独奏效。

该修正案的支持者强调预先准备和指挥权。在快速发展的紧急情况下，无法确定谁有权下令遏制风险，会浪费宝贵时间。

明确的 AI 关停权可以确定负责的大臣、界定法律门槛，并要求受监管实体遵守。之后可通过司法审查限制权力滥用。

这一模式类似于其他安全关键领域的紧急权力。政府已经会针对影响通信、交通、公共卫生和能源的威胁采取指挥行动。

因此，立法最有力的理由是制度性的，而非技术性的。它能在官员面对陌生危机之前，建立一条明确的指挥链。

政府则更侧重于开发者责任、AI Security Institute、网络监管和实用安全指南。

9 月 7 日的一份大臣声明承认，当安全措施未能跟上能力增长时，自主 AI 事件可能威胁公共安全。

该声明表示，近期事件涉及配置错误的环境、不可能完成的任务，或系统误解了自己是否在模拟环境中运行。

官员认为，既有安全措施、技术控制和监控几乎肯定可以避免这些事件。这一判断支持在部署层面进行遏制。

政府承诺向两个项目投入 1.15 亿英镑。其中一个聚焦 AI 生物安全，另一个将建设政府应对代理式 AI 事件的能力。

政府还提到为 Government Cyber Action Plan 提供的 2.1 亿英镑支持。另有 9000 万英镑将在三年内用于提升更广泛经济领域的韧性。

这些数字反映的是更广泛的安全投资，并非为单一 AI 开关提供资金。它们表明，大臣们更青睐事件响应和基础设施韧性，而不是普遍性的关停授权。

National Cyber Security Centre 也已发布有关安全部署代理式系统的指南。其职责核心是通过设计和监控防止行为失控。

分层控制可包括沙箱隔离、受限权限、网络分段、速率限制、审计日志，以及针对敏感操作的人类审批。

这些措施会在故障达到灾难性规模之前加以应对。它们还可以针对单个受损工作负载采取行动，而不必关闭与某个供应商相连的所有服务。

但分层安全存在问责弱点。自愿实施的控制措施因公司而异，商业压力可能促使企业加快部署。

政府表示，公司有明确责任安全运营。然而，没有可执行的最低要求，责任在事件发生前可能难以检验。

行业承诺说明了这一问题。在 2024 年 Seoul AI summit 上，开发者同意在风险变得不可容忍且缓解措施失效时停止开发或部署。

这些安全承诺依赖公司自身的风险评估框架，并未赋予英国紧急权力以强制采取行动。

自愿控制措施可能比立法推进得更快。然而，它们也允许供应商自行界定阈值、衡量方法和披露做法。

中央权力则会带来相反的风险。措辞宽泛的政府权力可能中断合法系统、威胁公民自由，或在缺乏充分技术理解的情况下被动用。

关停命令还可能造成连锁故障。切断一个数据中心，可能影响与危险模型无关的医疗、金融或通信服务。

因此，法定权力的最佳版本需要范围狭窄，并要求证据门槛、比例原则、技术咨询、司法审查和运营连续性保护。

同样，最佳的分层安全模式需要外部验证。供应商应证明遏制工具在现实条件下有效，而不只是声称它们存在。

选择并非一个开关还是完全没有安全措施，而是法律、基础设施控制和机构责任应如何在严重 AI 事件中协同作用。

英国现有的 AI 监管仍未解决紧急干预问题

英国主要通过既有行业监管 AI，因此尚无一部单一 AI 法律能够明确解决对前沿系统实施紧急控制的问题。

House of Commons Library 的一份监管简报称，英国没有一项对 AI 作为技术进行普遍监管的法律。

相反，既有监管机构会在各自职责范围内处理 AI。金融、通信、隐私、竞争和安全规则可根据使用情境适用。

这种基于场景的方法具有灵活性。医疗系统和广告工具的风险并不相同，因此采用完全一致的规则往往缺乏意义。

但当一个模型影响多个行业时，它也可能造成缺口。一个前沿系统可能同时支持编程、网络安全、科学研究和政府运营。

没有任何单一行业监管机构必然能够看清全部风险。各机构可能理解某一项应用，却忽视基础设施供应商之间的依赖关系。

政府还通过 AI Security Institute 补充了这一框架。该机构评估先进模型，并在风险成为常规监管案件之前研究这些风险。

不过，测试和法律权力服务于不同目的。一个机构可以识别危险能力，却未必拥有强制供应商关停的权力。

Cyber Security and Resilience Bill 扩大了对关键及数字服务的保护。大臣们表示，它将加强医疗、能源、交通和数据中心的防御能力。

这一重点应对的是基础设施暴露风险。它并不会自动为每一个危险的前沿模型建立全面干预框架。

拟议中的英国 AI 终止开关试图连接这些领域。它将 AI 风险评估与通过受监管基础设施实施的权力联系起来。

批评者可以合理质疑网络法案是否是正确的立法载体。该立法主要涉及网络韧性，而模型治理还牵涉更广泛的经济和公民权利问题。

仓促通过的修正案可能产生很快过时的定义。“大规模”和“灾难性风险”等术语必须在架构和能力变化时依然适用。

干预门槛同样需要精确。官员不应仅因模型生成冒犯性内容或出现普通运营错误而关闭服务。

拟议触发条件涵盖严重后果出现合理可能性的情形。不过，要在迅速发展的事件中将这一标准转化为证据将很困难。

误报可能造成重大成本，并扰乱关键功能。漏报则可能让危险进程持续进行，而官员仍在争论管辖权。

国际协调又增加了一个尚未解决的层面。英国可以监管国内运营者，但领先模型和云基础设施往往涉及总部位于海外的公司。

国内命令可能需要外国供应商配合。合同条款、技术控制权和计算资源所在地都会影响结果。

政府利用这一跨境现实质疑关停提案。支持者则可回应，即使权限有限，也比完全没有明确授权更好。

两种观点都包含事实。英国无法单独阻止全球模型开发，但可以控制在其管辖范围内运行的基础设施和服务。

历史上的讨论也表明，政府和开发者已经接受关停是合法的最后手段。分歧在于由谁决定，以及如何保障合规。

这正是为何此次否决并未解决政策制定者或企业关于 AI 终止开关的疑问。它将关注点从口号转向具体干预机制。

成熟的框架应为托管模型、可下载模型、自主代理、数据中心和关键服务部署分别定义控制措施。

它还应将预防与紧急响应区分开来。评估、访问控制和监控能够降低风险，而关停权力则应对那些突破这些防线的故障。

如果没有这种区分，公众讨论将继续把模型安全、服务封锁、基础设施隔离和全球范围的压制混为一谈，并用一个具有误导性的说法概括它们。

三个信号将显示英国的立场能否成立

政府的替代方案将取决于可执行的控制措施、经过测试的事件响应能力，以及法案最终如何处理自主 AI 风险。

第一个信号是 Cyber Security and Resilience Bill 的最终形式。即使政府反对 Amendment 84，议会仍可以推进更狭窄的条款。

立法者可能针对数据中心、受监管服务供应商或关键基础设施界定有针对性的权力。这类措施不会宣称英国能够在全球范围关闭 AI。

要求供应商维持经过测试的遏制能力的条款将尤其重要。它能够解决缺少按钮的问题，而不承诺普遍控制。

如果最终法案包含可执行的准备义务，政府的否决就会显得是在反对宽泛标签，而非紧急干预本身。

如果法案保持沉默，批评者会认为，官员承认了风险，却让责任仍然分散在公司和既有监管机构之间。

第二个信号是政府的代理式 AI 事件响应计划。大臣们已承诺投入资金，但运营能力比宣布本身更重要。

一个可信的计划需要明确的领导责任、与私营基础设施供应商进行演练、证据保全流程，以及快速撤销访问权限的机制。

它还必须测试涉及海外托管服务和开放模型部署的情景。这些案例会暴露与单一供应商或数据中心绑定的控制措施的局限。

公开指南应明确各机构如何与 National Cyber Security Centre 和 AI Security Institute 协调。企业需要知道在事件发生时应联系谁。

9 月的大臣声明称，政府将通过评估框架、法定规范或技术指南考虑加强保护措施。

如果这些文件提出可衡量的遏制要求，将加强政府关于分层安全的论证。含糊的建议则会削弱这一论点。

第三个信号来自前沿模型评估和真实事件的证据。能力测试应显示，系统是否能够规避监督、自我复制，或保留未经授权的访问权限。

关键问题并不在于模型能否完成某项人为设计的基准测试。评估人员必须将这种能力与合理的部署条件及现有防护措施联系起来。

事件报告同样至关重要。各机构需要对未经授权的行动、遏制失效，以及涉及自主系统的险些发生事件建立统一定义。

透明度本身也存在取舍。详细报告可以帮助防御者，但也可能暴露攻击者可利用的漏洞。

监管机构需要一套披露模式，在分享经验教训的同时避免暴露敏感基础设施。汇总性结论和延后披露的技术细节，有助于平衡这些利益。

开发者和企业采购方应关注政府指南如何界定供应链各环节的责任。模型提供商无法控制每一种下游部署方式。

云服务提供商掌控计算和网络资源。应用开发者控制工具和权限，而客户则决定工作流程以及对敏感数据的访问方式。

有效的遏制要求这四类参与方都清楚自己的职责。如果每个参与方都以为决定性控制权在别人手中，停机流程就会失效。

对于当前正在部署智能体的团队而言，等待立法并不是明智的安全方案。他们应识别每个系统可使用的所有凭证、外部工具和网络路径。

他们应保留独立撤销访问权限的方式。日志必须记录谁授权了行动、模型尝试了什么，以及哪些控制措施进行了干预。

关键工作流程还需要非 AI 的备用程序。只有在组织能够继续开展必要工作时，安全停机才真正有用。

英国围绕 AI “终止开关”的争论暴露了真实的政策缺口，即便这一口号简化了技术现实。分布式系统需要分布式控制，但分散的责任也可能变成无人负责。

英国接下来的行动必须证明，有针对性的安全措施能够在危机发生前建立明确的授权机制。否则，被否决的开关仍将成为准备不足的象征。

如今，开发者、采购方和政策制定者面临的实际问题更加尖锐：英国能否在自主系统真正检验这些防护措施之前，证明其分层保障机制确实有效？