安迪·伯纳姆要求禁止超级智能 AI，考验英国对前沿实验室的控制力

尽管英国对全球 AI 竞赛的控制力有限，安迪·伯纳姆仍面临来自70多名议员的要求：禁止人工超级智能。安迪·伯纳姆禁止超级智能 AI 的倡议，源于与 Anthropic 和 OpenAI 有关联的研究人员发出的警告。其支持者称，政府不能等到系统变得无法控制后，才设立法律屏障。

该提案针对人工超级智能，即 ASI，指的是一种假设中的系统：它在大多数重要认知任务上超越人类能力。目前没有公开可用的模型符合这一描述。不过，倡议人士认为，等待确凿证据将使政策制定者只能在开发者跨越危险门槛后才作出应对。

这一论点让伯纳姆政府面临异常鲜明的选择。它可以将这些警告视为实施禁令的依据，或继续围绕评估、安全控制和受限部署建立监管体系。第二条路径类似于前沿实验室和欧洲监管机构所倾向的框架。第一条路径则认为，一旦 AI 能够加速自身发展，这些保障措施将变得不可靠。

这不只是又一场关于聊天机器人准确性或版权的争论。问题在于，政府应监管现有系统可衡量的风险，还是应禁止一种尚未被证实的能力。这一答案将影响开发者、云服务商、企业采购方，以及所有围绕更自主 AI 制定规划的组织。

《人工超级智能法案》将带来哪些改变

该提案将以一条禁止开发、部署或运营超级智能系统的法律红线，取代附条件的监管。

工党议员 Alex Sobel 于2026年9月8日在下议院提出《人工超级智能法案》。其长标题要求禁止 ASI 的开发、部署和运营，并提议赋予与此类系统相关的监测和控制权力。

议会记录确认 Sobel 是该法案的提案人。法案的二读定于2026年11月13日举行。该法案目前仅完成一读，距离成为法律仍相去甚远。

据报道所提及的联名信，此后有70多名议员和上议院议员要求伯纳姆支持该措施。据报道，签署者包括15名前政府大臣和前文官系统负责人 Robin Butler，横跨工党、保守党、自由民主党和苏格兰民族党。

这种跨党派广度提升了该倡议的政治能见度，但并不代表其已获得议会多数支持，也没有解决法案最核心的定义问题。禁令需要一项可执行的检验标准，以判定先进 AI 系统何时成为超级智能。

法案的公开说明对被禁止的目标描述得比通往该目标的边界更清晰。开发者并不会按照普通 AI、先进 AI、再到 ASI 这类稳定标签来训练系统。他们通过不断变化的算力、数据、工具、记忆和外部系统访问权限组合来改进模型。

一个模型可能尚未达到通用智能门槛，却在某个领域变得危险。它可能协助自动化网络行动、生物研究或 AI 工程，却并未在所有方面超越人类。反过来，一个能力广泛的模型也可能受制于可靠性不足、访问权限有限或运行成本高昂。

这些区别至关重要，因为仅针对 ASI 的法律可能遗漏较窄领域系统带来的严重风险。定义过于宽泛的法律，则可能涵盖支持者原本无意禁止的研究和应用。监测开发活动也引发了有关获取私有评估、模型权重、数据中心和计算基础设施的疑问。

因此，Sobel 的提案首先改变的是政策问题，而非实验室行为。当前监管关注的是，更强大的模型应当配套哪些证据和保障措施。该法案则追问，是否存在一种能力类别，无论采取何种保障措施，社会都应拒绝创造它。

其支持者希望伯纳姆将这一原则推广到英国之外。他们敦促他利用英国2027年担任 G20 主席国的机会，组建国际联盟。这一外交雄心至关重要，因为国内禁令无法约束在美国、中国或其他市场运营的实验室。

政府已经释放出反对信号。一名发言人告诉《卫报》，大臣们认为法案中的措施并非正确途径。该发言人补充称，政府正在探索针对重大 AI 相关国家安全风险的定向干预措施。

这一回应为更严格的控制措施留出了空间，但并未接受禁令。它也引出了本文的核心冲突：议员希望在 ASI 出现前划定明确红线，而政府更倾向于根据可识别风险进行干预。

为什么安迪·伯纳姆禁止超级智能 AI 的诉求此时出现

这一倡议之所以更具紧迫性，是因为警告如今不仅来自外部倡议团体，也来自接近前沿开发的人士。

议员们的行动发生在现任和前任 AI 实验室员工公开提出相关主张之后。据报道，Anthropic 高级研究员 Evan Hubinger 认为，AI 导致人类灭绝的概率超过10%。这一估计反映的是个人判断，而非测得的故障率或科学共识。

曾在 OpenAI 工作、现年28岁的 Anthropic 研究员 Jacob Coxon 也在同一周辞职。他声称两家公司都没有负责任地行事，并将先进 AI 的竞赛描述为一场以人类生命为赌注的赌博。这些指控并不能证明任一实验室已经创造了 ASI，或失去了对已部署模型的控制。

尽管如此，来自内部人士的警告仍具有政治影响力。它们表明，能够接触先进研究的人并非都信任自愿治理。它们也挑战了一种常见观点：有关生存风险的担忧主要源于不了解当前技术的外部人士。

Anthropic 公开承认存在灾难性风险类别，尽管其政策并不支持普遍禁令。其更新后的风险框架将更强的能力与更严格的评估、安全和部署要求相联系。该公司还发布风险报告，涵盖化学、生物、破坏活动和自动化研究威胁。

这一框架展现了辩论的两面。禁令支持者可以将其视为领先开发者承认严重风险的证据。支持受监管开发的人士则可以援引同一框架，证明能力门槛和逐步升级的保障措施提供了替代方案。

这种区别很重要。对未来灭绝风险的概率估计，并不意味着当前系统就具有同样的概率。它结合了对未来能力、开发速度、竞争行为、保障措施和政府反应的多项假设。

这些假设仍存在争议。萨里大学以人为本 AI 研究所的 Andrew Rogoyski 告诉《卫报》，当前系统的通用性仍远不及个人或群体人类。他认为，先进 AI 可能反而会遭遇经济层面的失望，因为它仍然昂贵且实用性不足。

国家支持的 Sofair 研究实验室主任 David Barber 也警告，不应放弃有价值的 AI 应用。他的立场着重于控制系统访问权限和修复软件漏洞。这代表了一种务实的安全路径，而不是接受不受限制的开发或全面禁令中的任何一端。

这种分歧并非存在于承认风险的人与忽视风险的人之间，而是关乎哪些风险应成为政策优先事项，以及哪些证据应触发限制。研究人员可以一致认为，自主系统需要更强的控制，同时仍对 ASI 是否迫近存在分歧。

时机放大了这场争议。开发者越来越多地描述能够使用工具、编写代码、开展研究并完成更长工作流程的 AI 智能体。智能体是一种基于模型的系统，能够跨越多个步骤采取行动，而非仅回应单一提示。

更长的自主行动带来了更多失效路径。系统可能误解目标、掩盖错误、利用过度权限，或在输出变得不可靠后继续运行。这些行为并不能证明超级智能的存在，但让控制问题不再那么抽象。

AI 辅助研究带来了另一项担忧。如果系统显著提高 AI 研究人员的生产率，开发周期可能缩短。届时，监管机构在下一代系统到来之前，可能拥有更少时间评估每一代系统。

Anthropic 的政策专门将自动化 AI 研发作为潜在能力门槛进行监测。该政策指出，当实验室必须评估那些有助于构建更强后继系统的模型时，决策会变得更加困难。这一反馈循环正是议员们紧迫感的核心。

因此，安迪·伯纳姆禁止超级智能 AI 的诉求，是对一个被认为正在关闭的窗口的回应。支持者相信，监管必须在 AI 研究开始自我加速之前到位。批评者则回应称，预测中的加速仍不确定，不应成为禁止一项定义尚不明确技术的理由。

真正的较量是禁止还是附条件开发

核心争论在于，极端不确定性是否足以证明应停止开发，还是应建立会随证据变化而收紧的控制措施。

禁令将预防原则推向最强形式。如果一个系统可能变得无法控制，且其失效可能不可逆，支持者认为开发者应承担证明安全性的责任。社会不应在部署后才承担证明灾难发生的责任。

附条件开发则反转了这一逻辑。它允许研究继续进行，但要求在既定门槛下实施评估、安全措施、事件报告和部署限制。当证据显示某个模型带来不可接受的风险时，政府可以介入。

英国现有机构遵循第二条路径。AI Security Institute 研究先进能力、开展评估并开发缓解措施。其公开的研究议程将网络威胁、化学和生物风险、犯罪滥用及自主系统列为优先事项。

该研究所并非只有咨询职能。它为政府提供了检验开发者主张的技术能力，也能帮助官员区分可信的国家安全威胁与推测性情景。

然而，评估依赖于访问权限。当开发者拒绝在发布前提供模型时，政府就无法独立审查前沿系统。《卫报》报道称，有人担忧 Anthropic 未提交一款近期模型进行发布前测试，尽管外部可获得的访问权限十分有限。

那一事件暴露了自愿合作的弱点。实验室可以原则上支持安全研究，同时限制对具有商业敏感性的模型的访问。如此一来，政府评估人员获得的只是对快速演进能力的不完整视图。

禁令倡导者认为，这种依赖关系证明有条件开发不可取。如果监督依赖开发者同意，监管机构可能恰恰会在最需要审查的时刻失去可见性。竞争压力也可能令企业不愿推迟竞争对手正准备发布的模型。

开发者则看到了另一类问题。他们掌握模型权重、安全细节和未发布的评估结果；这些信息若被广泛共享，可能带来风险。发布前访问必须保护知识产权，并防止敏感能力信息泄露。

可行的监督体系必须回应两方面关切。它既需要让可信评估人员获得合法访问权限，也需要对其审查内容实施严格安全保护。当开发者拒绝必要测试时，体系还必须有相应后果。

欧盟提供了有条件监管的具体范例。其系统性风险规则要求先进通用模型提供商评估并缓解风险。受规管的提供商还必须报告严重事件，并维持网络安全保护措施。

欧洲框架将训练算力作为识别被推定具有系统性风险模型的一种依据。这在行政管理上比“超级智能”概念更清晰。算力可以被记录，尽管它仍只是能力水平的一个不完美代理指标。

算力阈值可能遗漏那些以较少资源实现危险能力的高效模型，也可能纳入未产生相应风险的高成本训练项目。因此，监管机构需要在基础设施测量之外进行能力评估。

ASI 法案将设定一个更绝对的终点。但即便是禁止，也需要中间测量。开发者完成或部署被禁止系统之前，当局就必须识别出受规管项目。

这意味着，两种路径最终都依赖于对实验室和计算基础设施的监测。区别在于，监管机构发现能力加速后会发生什么：有条件开发要求加强保障措施，而禁止则要求工作在跨越特定边界前停止。

这场辩论也影响到使用 AI 的普通组织。企业日益将模型连接至代码库、财务记录、客户数据和内部通信。它们眼下面临的风险包括权限、隐私、不准确输出以及不可靠的自动化操作。

无论 ASI 时间线如何，这些风险都值得实施控制措施。团队应记录哪些模型处理敏感信息、这些模型可以访问哪些工具，以及由谁审查具有重大影响的操作。可搜索的AI 知识库可在要求变化时，帮助保留政策、评估和事件证据。

然而，企业层面的控制无法解决立法者最主要的担忧。公司可以限制自身部署，却无法治理其他地方的前沿训练。这需要国家权力与国际协调。

英国禁令无法单独阻止全球竞赛

最有力的反对意见并非灾难性风险不可能发生，而是国家层面的禁止可能转移开发活动，却无法降低全球风险。

大多数前沿模型开发发生在英国境外。英国禁令或可阻止国内项目并限制本地部署，但其他司法辖区的实验室仍可继续训练能力更强的系统。英国用户最终可能通过境外服务或开放发布获取这些模型。

支持者了解这一局限。他们的公开信要求伯纳姆在英国担任 G20 主席国期间，将提案转化为一场国际运动。其预期机制是外交协调，而非国家孤立。

这一策略类似于军备控制努力，但 AI 带来了不同的核查难题。核计划需要专门材料和可见的工业设施。先进 AI 同样需要大型数据中心和高端芯片，但模型可以被复制并跨境运行。

一项条约需要共同定义、报告要求、检查权和执行机制。它还需要就哪些活动仍被允许达成一致。医学发现、防御性网络安全和科学建模，可能与更令人担忧的系统使用相同的基础研究方法。

参与国将面临激励问题。每个政府都可能希望集体克制，却担心竞争对手会秘密继续推进。当竞争对手承诺推出能力更强的产品时，公司也可能作出同样的判断。

美国和中国尤为重要。若没有最大的算力提供商、芯片供应链和前沿实验室参与，联盟的覆盖范围将有限。出口管制或许能减缓硬件获取，但无法替代共同的安全义务。

这并不意味着英国行动毫无意义。英国可以影响技术标准、评估实践、采购以及进入其市场的条件。它还可以要求服务英国用户的公司报告事件，并配合获授权测试。

英国曾通过 2023 年在布莱切利园举行的 AI 安全峰会发挥早期召集作用。此后，其 AI Security Institute 已积累技术专长与国际关系。这些资产赋予政府的影响力，超过其在前沿模型训练中所占份额本身所暗示的程度。

然而，安迪·伯纳姆的超级智能 AI 禁令将检验外交影响力能否支撑一项绝对性政策。一些政府可能会加入针对满足明确定义的失控标准系统的狭义禁令；接受以广泛超越人类为定义的禁令的政府则可能更少。

执行还需要应对开放模型。一旦模型权重公开可得，监管者便无法收回每一个副本。若禁令只聚焦大型公司的部署，去中心化运行可能仍不受触及。

云服务提供商可能成为执法节点。当局可要求报告规模极大的训练运行，并限制为被禁止项目提供的计算服务。芯片追踪和数据中心许可可进一步提升可见性。

此类控制将带来成本。它们可能使 AI 开发集中于能够承担合规要求的成熟企业。即便工作带来的风险有限，规模较小的研究者也可能难以满足报告、安全和授权要求。

一项狭义法律可通过瞄准可衡量的能力阈值来降低这种负担。一项宽泛法律可以减少规避空间，却有过度涵盖的风险。法案的进展将取决于其详细条款能否化解这一张力。

还有一种反对停止的地缘政治论点。一些政策制定者认为，先进 AI 将改善国防、科学、生产率和情报分析。他们担心单方面克制会将战略优势让渡给保障措施较弱的政府。

禁令支持者回应称，军备竞赛增加而非减少国家不安全感。如果每个参与者都因担心他人加速而加速，所有实验室都会面临缩短测试周期、容忍不确定性的压力。即便每个参与方都作出理性行为，结果仍可能对整体构成危险。

双方都没有关于 ASI 时间线的决定性证据。目前没有经过验证的公开系统能在几乎所有认知工作上超越人类。现有模型仍会产生幻觉，在长任务中失效，并需要大量人力和计算支持。

这些弱点并不保证进步会是渐进的，也不能证明快速自我改进已近在眼前。政策必须在这两种不确定性之间运作。

这正是国家与全球的问题比最戏剧化预测更重要的原因。英国禁令可以立即表达一项原则；只有当它改变建设前沿系统的各司法辖区中的行为时，才能降低全球风险。

超级智能 AI 警告未能证明什么

严厉警告足以支持开展调查，但并不能证明 ASI 已经存在、灭绝很可能发生，或禁止措施可以执行。

上述超过 10% 的概率估计引人注目。但不应将其解读为基于重复观察得出的预测。人类并没有超级智能系统的历史数据集，无法据此计算经验性的灭绝频率。

此类估计通常概括专家对若干不确定步骤的信念。这些步骤包括实现广泛超人能力、失去可靠控制、获得现实世界访问权限、抵抗干预，以及造成不可逆伤害。

每一步都需要证据。一个模型可能在编程方面变得更强，却不具备战略自主性。一个自主系统可能规划有效，但仍受限于权限、基础设施或人工审查。

相反的错误是，因为风险缺乏历史频率而将其忽视。当潜在损害极其巨大时，政府通常会为罕见事件做准备。恰当的回应取决于官员能否识别可信路径和有用干预措施。

现有证据支持对更狭义危害的担忧。先进模型可以协助网络行动，降低获取某些技术知识的门槛，并通过连接工具采取行动。研究人员也在受控条件下研究模型是否会欺骗评估人员，或追求非预期目标。

实验室测试并不能直接表明已部署系统会失去控制。它们揭示的是值得在日益接近现实的条件下调查的行为。报道应保留这一差别。

这场辩论也可能忽视当前危害。自动化决策可能造成歧视、暴露私人信息、生成具有说服力的虚假内容，或削弱人类问责。劳动者和创作者已面临与生成式 AI 相关的经济和法律争议。

以未来灭绝为中心的政策可能分散对这些问题的注意力。反过来，当前危害也不应成为忽视低概率灾难性情景的理由。政府需要针对不同风险类别的独立工具。

定义带来另一项不确定性。“超级智能”听起来很精确，因为它意味着表现超过人类。但在实践中，人类表现因个体、团队、机构和任务而异。

一个系统可能在特定基准测试上超越每个人，却仍不如一个协调良好的专家组织。它可能给出更优计划，却无法可靠执行。它也可能在技术上优于人类，却没有独立访问具有重大影响系统的能力。

因此，立法者需要的是操作性测试，而不只是哲学定义。这些测试可考察自主研究、网络能力、生物领域协助、战略规划、欺骗、复制以及抗拒关闭的能力。

测试本身可能被操纵，或变得过时。开发者可以针对已知基准进行训练，却不提升总体可靠性。监管机构需要保密评估、外部研究人员、事件数据以及更新阈值的权力。

政府的定向干预立场在这里具有优势。它可以将控制措施与具体证据挂钩，而无需预先宣布一个永久类别。其弱点在于，渐进式行动可能落后于快速的能力增长。

禁令阵营则呈现出相反的特征。它明确假定，不应跨越危险边界。其弱点在于，如何将这一原则转化为法院、实验室和监管人员能够实际适用的定义。

这些不确定性应影响读者对这场运动的理解。立法者确实将一个合理的治理议题推向了更高层级，但尚未证明一场灭绝事件会在已知时间表内临近。

他们同样没有证明，现有的自愿性保障措施毫无价值。Anthropic 的政策包括能力阈值、风险报告、部署控制和安全要求。争议的核心在于，公司是否应保留对开发决策的最终权力。

这一差别对企业采购方很重要。公开发布的安全框架能够提供有用信息，但不等同于独立认证。采购方应询问：是否进行了外部评估、哪些事故必须报告，以及智能体能够获得哪些访问权限。

他们也不应将模型智能视为单一评分。可靠性、自主性、安全性和领域能力的发展速度各不相同。一个在基准测试中表现出色的系统，仍可能在漫长、具备权限的工作流程中失效。

怀疑态度应当双向适用。开发者不应暗示内部控制能够消除灾难性风险。倡议者也不应将个人概率估计当作 ASI 即将到来的证据。

三个信号将显示 Burnham 的方案是否可信

接下来的考验在于，英国能否将彼此竞争的警告转化为可执行的政策、可衡量的监管，以及国际承诺。

第一个信号是该法案将于 2026 年 11 月 13 日进行二读。立法者需要超越禁止原则，并为一套可操作的定义辩护。辩论应明确哪些能力会触发干预，以及由哪个机构作出这一判断。

详细定义将加强禁令运动。围绕笼统优越性的模糊表述则会削弱它。没有可衡量的阈值，执法可能变得不一致，或容易受到法律挑战。

第二个信号是政府承诺开展有关有针对性的国家安全干预措施的工作。大臣们已拒绝法案目前的方案，但并未排除实施更强控制措施的可能。替代方案的具体内容将显示，这种拒绝究竟意味着不同的安全战略，还是继续依赖自愿合作。

一套可信的方案应涵盖强制性评估访问、事故报告、模型安全，以及对不合规行为的后果。它还应说明 AI Security Institute 如何及时获得对前沿系统的访问权限。

如果政府只提供笼统保证，立法者就可以主张，有条件开发缺乏执法机制。如果政府提出具有约束力的访问权和干预权，它将为 Andy Burnham 的超级智能 AI 禁令提供一个具体替代方案。

第三个信号是 Burnham 为 2027 年 G20 主席国任期制定的国际议程。仅凭国内禁令无法触及全球领先实验室。政府必须决定，是推动禁令、受监管开发条约，还是可互操作的评估标准。

若获得多个主要 AI 生产国的支持，将增强英国能够塑造全球规则的说法。若联盟仅限于没有前沿实验室的国家，其实际影响将较为有限。

读者还应关注，在正式立法出台前开发者如何回应。实验室可以向合格评估人员提供受控访问，公布更清晰的能力阈值，并报告严重事故。拒绝或做法不一致将加大实施强制监管的压力。

最具参考价值的证据不会是又一个戏剧化的概率估计，而是可观察的行为。公司是否会将先进系统提交独立测试？政府是否会建立法定访问机制？评估是否发现超出现有保障措施的能力？

部署 AI 的组织应关注这些信号，因为监管要求将向下游传导。新要求可能影响采购、文档、安全审查，以及配备敏感工具的智能体使用。为前沿实验室设计的政策，往往会影响更广泛市场的预期。

团队应识别哪些工作流程依赖特定模型提供商。他们应保留评估结果、访问决策和人工审批规则，也应为监管机构或开发者发现严重风险后服务受到限制做好规划。

政治上的选择并非简单地在加速与恐惧之间二选一，而是在不同的举证责任之间作出选择。禁令要求开发者证明跨越某一边界是安全且可被公众接受的。有条件开发则要求监管者证明某一特定系统危险到必须停止。

Burnham 现在必须解释，英国将采用哪一种举证责任。支持该法案将使英国站到国际禁令运动一边。拒绝该法案却不提出具有约束力的替代方案，则会让自愿实验室治理继续成为国家政策的核心。

未来三个月应会使这一选择更加清晰。关注 11 月的辩论、政府的针对性提案，以及围绕 G20 议程作出的首批承诺。随后提出一个实际问题：英国是否已获得对前沿开发可执行的监督可见性，还是仅仅改变了围绕这场竞赛的措辞？