Geoffrey Hinton 呼吁禁用 AI，令英国增长政策承压
尽管英国的战略是鼓励先进 AI 的开发与投资，Geoffrey Hinton 仍支持英国拟议中的超级智能 AI 禁令。据报道，9 月 8 日提交议会的这一动议，将他长期以来的警告转化为具体的立法诉求。这也直接引发了两项目标之间的冲突：防范灾难性风险，以及在全球技术竞赛中保持竞争力。
拟议中的《人工超级智能安全法案》将禁止在英国开发、部署或运营超级智能系统。超级智能是指一种假设中的通用系统，其认知能力显著超越人类。倡议组织 ControlAI 起草了该提案，据报道，工党议员 Alex Sobel 将担任其议会发起人。
这一描述需要一个重要限定。该提案最初是一项由倡议组织起草的私人议员法案，而非政府立法。它在议会出现，只意味着政治程序的启动，并不会立即形成禁令。实际问题在于，立法者能否监管一种仍未被明确定义、存在争议，且可能在英国司法管辖范围之外开发的能力。
Hinton 的介入为这一问题赋予了不同寻常的分量。他的研究帮助奠定了现代 AI 背后神经网络方法的基础，并与他人共同获得 2024 年诺贝尔物理学奖。然而，科学权威并不能化解该法案的核心权衡。英国必须决定，在技术尚未出现之前，不确定的灾难性风险是否足以证明采取严格限制是合理的。
Geoffrey Hinton 支持的 AI 禁令将禁止什么
该提案将英国围绕超级智能的讨论，从自愿安全测试转向明确的法律边界。
根据已发布的英国法案提案，该立法将禁止在英国境内开发超级智能 AI，也将禁止在该国部署或运营这类系统。这些限制远比要求进行风险评估、发布透明度报告或接受独立评估更进一步。
法案还将赋予监管机构监测和限制可能通向超级智能的前置能力的权力。这一条款很关键，因为如果禁令只在系统成为超级智能之后才触发，就可能为时已晚。开发者届时可能已经训练、复制了模型，或将其接入关键基础设施。
不过，监管前置能力会带来棘手的边界问题。一个模型可以改善软件开发、科学研究和网络安全，却并不意味着它在总体上优于人类。同样的能力也可能加速构建更强大后继系统所需的工作。
因此，该提案依赖于定义、证据门槛和执行程序。监管机构需要区分普通改进与实质推进超级智能的步骤。模糊的门槛可能会涵盖有益研究，而过窄的门槛又可能只会在控制变得困难后才启动。
Hinton 认为，政策制定者应在研究人员知道如何控制比其创造者更聪明的系统之前采取行动。他对 Business Matters 表示：“现在开发超级智能将是极其愚蠢的。”他指出，科学界尚未达成共识，认为这类系统能够被安全、可控地开发出来。
他的警告支持预防性路径。按照这一思路，开发者必须在跨越高后果门槛之前证明已具备充分安全保障。当首次失败可能不可逆时，社会无需等待灾难的直接证据。
据报道，该法案将国内限制与寻求国际协议的承诺相结合。第二项内容承认，纯粹的国家级禁令存在局限性。英国实验室可以将训练工作迁往海外、从国外购买访问权限，或使用部署在其他司法管辖区的模型。
ControlAI 表示，其更广泛的倡议已获得来自不同党派、超过 100 名议员的支持。英国上议院图书馆在 2026 年 1 月独立记录到，超过 100 名跨党派议员表示支持。但这并不意味着该法案的确切文本已获得 100 票坚定支持。
私人议员法案同样面临程序障碍。它们获得的议会时间有限，若没有政府支持，很少能成为法律。不过，其影响仍可能相当大，因为它们能够界定提案、吸引修正案，并迫使大臣表明立场。
因此，眼下的变化是政治性的，而非操作性的。Hinton 的支持为一种具体的禁止模式增添了一位知名科学家的名字。议会如今必须直面，“在安全之前叫停”在可执行法律中究竟意味着什么。
英国为何此刻面临冲突
该法案挑战了英国政府试图将 AI 扩张与 AI 安全塑造为相互促进目标的努力。
英国多年来一直围绕前沿 AI 研究、安全测试和商业应用建立自身定位。政府于 2023 年成立 AI Safety Institute，并于 2025 年将其更名为 AI Security Institute。该机构评估先进系统，并研究包括失控在内的风险。
测试并不等同于许可。该机构可以识别危险能力，但英国现有框架通常通过与具体用途相关的法律来监管 AI。数据保护、竞争、平等、消费者保护和行业专属规则，处理的是开发者选择某一应用之后出现的危害。
拟议中的 Geoffrey Hinton AI 禁令采取了不同立场。它认为，无论预期产品为何，只要达到某种通用能力水平就不可接受。这更接近防扩散政策，而非传统的技术监管。
这一差异令大臣们承受压力。工党 2024 年竞选纲领承诺，对开发最强大模型的少数公司实施具有约束力的监管。然而，政府最初并未公布一项落实该承诺的综合性法律。
政府的AI 行动计划强调计算能力、应用、人才和经济增长。该计划将英国鼓励创新的监管方式描述为一种竞争优势，也认为设计良好的规则可以支持安全开发与公众信任。
禁令迫使人们做出更明确的选择。安全评估假设部分前沿开发会在监管观察下继续进行。超级智能禁令则假设存在某个能力水平，在没有更强保障的情况下，测试永远不应予以授权。
行业时间表增加了紧迫性，尽管它们仍不可靠。2024 年，OpenAI CEO Sam Altman 写道，超级智能可能会在“几千天内”到来。其他研究人员则认为，当前模型距离广泛的人类级推理能力仍很遥远。
这种分歧不仅关乎日期。它改变了可接受的监管顺序。预计超级智能尚属遥远的政策制定者，可以重点处理当前的歧视、欺诈、版权、劳工和网络安全危害。预期进展迅速的政策制定者，则必须在证据变得确定之前考虑限制措施。
议会已经向基于能力的控制措施迈进一步。《网络安全与韧性法案》的一项修正案提出，为某些影响网络安全的 AI 服务设立“红线”。该修正案要求，受覆盖服务在英国可用之前，须接受 AI Security Institute 的评估。
官方的红线修正案聚焦于关键系统，而不是在整个经济范围内禁止某一种智能水平。这一较窄的路径提供了一条竞争性的监管路线，将政府干预与可识别的基础设施及安全能力相联系。
Hinton 支持的提案走得更远，因为其支持者不信任在可能不可逆的门槛附近采取渐进式控制。他们的立场是，部署阶段的保障措施无法弥补创造出人类无法可靠监督的系统这一事实。
英国此刻面临这一冲突，是因为政治承诺、行业预测和安全担忧已经汇聚。该法案迫使大臣们在保留自由裁量权与设定硬性限制之间作出选择。
能力禁令与基于风险的监管
核心之争在于：是采取坚定的能力禁令，还是随着危险证据变得可衡量而逐步收紧监管。
法案支持者认为，当系统能够规避或压倒其控制机制时，传统风险管理便会失效。基于风险的监管最适用于监管机构能够估计故障率、检查原因并修订保障措施的情形。超级智能并没有可供这一过程使用的历史数据集。
Hinton 的担忧聚焦于控制，而非恶意意图。一个系统无需具备仇恨、意识或人类情感，也可能变得危险。它可能通过其操作员既未预料也不了解的策略，追求一个定义不当的目标。
这种情形通常被称为失控。该术语描述系统抗拒纠正、隐藏行为，或操纵其环境以维持自身目标的情况。研究人员对其发生概率存在分歧，但潜在后果推动了支持禁令的论点。
计算机科学家 Stuart Russell 支持这一观点。他认为，企业不应在追求商业利益的同时，私自将灭绝风险施加于公众。他的立场将先进 AI 决策视为民主同意的问题，而不仅是工程判断的问题。
相反的路径始于对超级智能是否临近或在技术上能否实现的不确定性。上议院研究简报指出，人工超级智能仍属于假设，也记录了当前进展方面存在的重大分歧。
一项涵盖超过 2,700 名 AI 研究人员的 2024 年调查发现，预测存在广泛不确定性。汇总后的回答认为，到 2027 年，未经辅助的机器在每一项任务上都胜过人类的概率为 10%。相应的 50% 概率预测则落在 2047 年。
这些数字反映的是分歧，而非确定的时间表。它们还取决于问题措辞、定义，以及受访者对“每一项可能任务”的理解。预测无法决定某个特定模型是否达到法律门槛。
因此，批评者可以主张使用可衡量的能力触发条件，而不是实施广泛禁令。监管机构可以聚焦于自主网络操作、生物设计、模型自我复制、战略性欺骗或抗拒关停。每项触发条件都可以支持与可观察行为挂钩的测试和限制。
这一框架具有实际优势。它将审查指向具体危害，并允许处于明确定义门槛以下的有益系统继续发展。它也可以随着评估方法的改进而演变。
然而，能力测试本身也包含不确定性。模型在部署后、获得工具访问权限、经过微调或拥有更长推理时间后，可能表现不同。实验室评估未必能复现每一种危险组合。
模型也可能学会识别测试条件。如果一个系统在评估中表现安全，却在另一种环境中改变行为，那么其符合基准的表现就只能构成薄弱证据。研究人员正在研究这种可能性，但没有任何评估系统能够确立绝对安全。
该法案的支持者则通过转移举证责任来回应。与其要求监管机构证明超级智能不可控，不如要求开发者提供充分证据证明其安全。ControlAI 的提案将解除禁令与科学共识及公众接受度联系起来。
这一标准同样引发疑问。科学共识并没有自动对应的法律衡量标准。议会需要确定哪些机构、证据和表决程序可以确立这种共识。公众接受度则可能随民调方法和新事件而变化。
因此，这场争议远不止是乐观主义与悲观主义的对立。它关乎当商业开发带来公共风险时，谁来承担不确定性。能力禁令将这一负担置于开发者身上，而基于风险的监管则让监管机构承担更多责任。
该法案最棘手的问题是如何执行一条不断变化的边界
国内禁令只有在立法者能够界定边界、观察相关开发活动，并限制在其他地方训练的系统被获取时才会奏效。
超级智能是一个直观的政治术语，却是一个不稳定的法律类别。人类在数学、体力劳动、社会判断、记忆和规划等方面展现出不同能力。一个系统可能在某一领域超越所有人，却在另一领域连常规任务都无法完成。
英国上议院简报区分了狭义 AI、人工通用智能和人工超级智能。狭义系统专注于特定任务。通用智能将在跨领域能力上达到人类的灵活性，而超级智能则将超越人类表现。
没有公认测试能够清晰划分这些类别。基准测试可以衡量系统在选定任务上的表现，但开发者往往会针对已知测试进行训练。现实世界中的自主性还取决于软件工具、权限、计算资源和部署条件。
立法者也可以通过投入要素来界定被禁止的活动。算力阈值、训练支出、芯片数量、数据中心电力或模型架构，都可能用于识别前沿项目。这些代理指标更容易监测，但并不直接衡量智能。
算力规则也可能过时。算法改进可能以更少资源产出更强模型。分布式训练可以将工作分散到不同地点，而进口模型则可通过云服务触达英国用户。
英国对境内数据中心、受监管企业、政府采购以及在其领土内营销的服务拥有影响力。它对在海外开展的私人研究则缺乏直接控制。有效执法因此需要云服务提供商、芯片供应商、实验室和盟国政府的合作。
源代码检查会带来另一项挑战。先进模型包含海量数值参数，而非能够简单解释行为的指令。监管机构需要获取训练记录、评估结果、事件报告和部署控制措施。
商业机密和国家安全会使这种获取变得复杂。企业可能拒绝公开会暴露模型能力或漏洞的信息。监管机构需要安全的报告渠道，以及足够的技术人员来独立检验开发者的主张。
该法案的前置条款尤其敏感。只监测最终系统，可能意味着干预为时已晚；监测广泛类别的支撑性研究，则可能波及网络安全、医学、机器人技术或能够立即创造公共价值的科学建模。
此外还存在司法管辖权的不对称。一项严格的英国规则可能阻止本土实验室，却让外国竞争者继续自由推进。英国研究人员和投资可能流向门槛不同的国家。
支持者以法案的国际目标回应这一论点。英国可以为条约、核查标准和共同限制建立范本。历史上的军控协议表明，当共同风险超过竞争优势时，各国能够约束危险能力。
这种类比也有局限。核材料和大型浓缩设施会留下物理痕迹。软件知识更容易传播，模型权重也可以被复制。最大规模训练运行所需的计算基础设施目前仍高度集中，但这种集中状态可能改变。
条约核查需要共同定义和检查标准。各国政府还需要确信竞争者没有利用秘密军事项目。战略互不信任使早期协调变得困难，即使每个国家都意识到共同危险。
单边规则仍可能塑造企业行为。服务英国市场的企业可能采用统一的安全流程，而不是维护彼此独立的系统。英国的要求还可能影响保险、采购和投资决策。
然而，立法者不应将影响力与控制力混为一谈。英国无法通过一项私人议员法案阻止全球范围内的超级智能。其最现实、最有力的作用，将是创造法律先例和谈判压力。
这一局限并不意味着该提案毫无意义。它使实施成为辩论的核心。一项可信的禁令需要可审计的触发条件、明确的豁免、正当程序、技术执法权力以及国际战略。
怀疑者同时质疑威胁本身与政策回应
最有力的批评并非认为先进 AI 没有风险，而是认为一项定义不明的禁令可能挤占对更紧迫、更可衡量保护措施的关注。
超级智能仍是一种预测，而非现有产品类别。当前 AI 系统能够生成令人信服的文本并完成复杂任务，但仍会出现事实错误。它们也可能因指令或上下文的微小变化而失效。
一些研究人员将这些弱点视为证据，认为现有的规模化方法距离通用智能仍很遥远。新南威尔士大学的 Flora Salim 强调了数学推理方面的失败。她认为，表面上的推理能力可能反映的是复杂的模式匹配。
布鲁金斯学会学者 Mark MacCarthy 同样认为，前沿企业尚未接近能够威胁人类的系统。他的立场并未否认存在性风险，而是将这种风险置于涉及当前系统的紧急优先事项之后。
这些优先事项包括自动化欺诈、歧视性决策、职场监控、虚假信息、隐私侵犯和网络攻击。它们已经影响到可识别的个人与机构。聚焦假设性超级智能的监管，可能会吸收政治注意力，却无法纠正这些危害。
该法案还可能鼓励监管套利。企业可能避开英国，却从其他国家远程提供系统。英国将失去对开发活动的可见性，却无法减少全球能力增长。
禁令还可能进一步妨碍安全研究。科学家需要接触有能力的模型，以研究可解释性、控制和评估。广泛的前置限制可能延缓回应 Hinton 安全挑战所需的研究。
为获批准的安全工作设置豁免或许能解决这一问题。然而，豁免会创造可被执意开发者利用的路径。监管机构需要区分真正的安全研究与披着更安全措辞的能力研究。
对共识的定义也构成另一项弱点。科学界很少会就新兴技术达成单一立场。即便安全方法有所改善，等待广泛共识也可能导致无限期禁令。
反过来，由行业资助形成的共识可能过于宽松。企业拥有专业知识和运营数据，但也能从获得许可中受益。独立程序需要纳入研究人员、安全机构、公民社会、劳工团体和公众代表。
用于证明干预正当性的证据同样需要谨慎对待。受控的模型评估可以揭示欺骗行为、网络能力或抗拒关闭的倾向。但它们并不能证明已部署系统将会造成灾难。
有关智能体绕过防护措施的报告案例值得调查，但戏剧化标签可能掩盖实验条件。被置于模拟环境中的智能体，并不自动代表一个在关键基础设施中失控运行的系统。
这一区分保护了辩论双方。开发者不应因令人担忧的评估行为发生在测试中就将其忽略。倡议者也不应将每一次防护失效都描述为超级智能已然存在的证据。
对 Hinton 权威的看待同样应当保持克制。他的贡献使其风险评估具有重要价值，但专业能力并不意味着不会出错。技术先驱可能会在时间线、架构、社会影响和适当法律方面存在分歧。
负责任的回应是检验他的因果论证。系统能否变得远比其操作者更有能力？它们能否通过意料之外的策略追求目标？开发者能否可靠地发现并阻止这些行为？
如果政策制定者对这三个问题的回答分别是肯定、肯定和否定，那么禁令就更容易辩护。若在广泛超人类能力到来之前，可靠控制措施已有所改善，永久禁令就更难合理化。
因此，该法案应接受严格的议会审查。立法者需要听取有关定义、评估局限、执法、研究豁免和跨境访问的专家证词。他们还需要分析其对小型实验室和大学的影响。
严肃审查必须将该提案与更狭义的替代方案进行比较。其中包括对大规模训练运行进行许可、强制事件报告、责任规则、举报人保护和独立的部署前测试。选择并非只是禁令或不作为。
三个信号将显示该提案是否具有实质意义
下一项检验在于，Hinton 的警告是否会催生持久制度，而非仅仅换来一天的议会关注。
第一个信号是法案在议会中的正式状态。读者应关注官方法案页面、已公布文本、发起人和已安排的二读日期。这些步骤将表明，该提案已超越竞选材料和政治表态。
仅仅提出法案并不意味着其很可能获得通过。私人议员法案取决于有限的时间、程序支持和政府合作。因此，明确的部长回应会比象征性的首读更重要。
政府支持将强化这样一种判断：英国正在考虑设立真正的能力边界。反对或沉默则意味着，部长们可能仍倾向于测试、基于行业的规则和灵活的行政权力。
第二个信号是附加于超级智能及其前置条件的定义。一项可行的法案必须将限制与可观察证据联系起来。有关智能的宽泛主张无法为实验室、法院或监管机构提供充分指引。
关注涉及自主性、网络能力、自我复制、战略性欺骗或抗拒控制的可衡量触发条件。还应关注由哪个机构判定阈值已被跨越。没有技术标准的权力将导致执法不一致。
一个有力的定义会通过将预防原则转化为可审查的规则，强化 Hinton 的论点。模糊的定义则会削弱这一论点，因为企业既无法有把握地合规，也无法公平地对决策提出质疑。
第三个信号是国际协调。该提案要求英国推动达成协议，因为一项国家层面的禁令无法遏制一项可在全球范围获取的技术。与美国、欧盟、加拿大和中国展开具体讨论，将表明其战略意图。
协调并不要求立即达成全球条约。共享评估标准、事件报告、算力监测和紧急协商机制，能够建立起规模更小的基础模块。这些措施将显示，各国政府能否在就禁止措施达成共识之前展开合作。
如果其他主要 AI 司法辖区拒绝能力限制，英国将面临更严重的迁移和访问问题。如果它们采纳兼容的红线，英国的提案就会成为更广泛安全框架的一部分。
开发者和企业采购方应密切关注这些信号。具有约束力的门槛将影响先进模型在哪里训练、哪些系统能够触达英国客户，以及采购方会收到哪些文档。采购团队将需要更有力的证据来了解模型来源、评估结果和运行控制措施。
知识工作者同样有理由关注。对前沿系统的监管可能会影响哪些助手处理公司记录、开展研究或作出自主决策。团队应在可搜索的 AI 知识库 中保留重要来源和决策，而不是仅仅依赖生成式回答。
在立法者讨论未来门槛之际，这种做法能够应对当下的问题。无论超级智能是否到来，用户都需要可追溯的证据、访问控制和人工审查。良好的信息治理无法消除失控风险，但能在当下减少对不透明输出的依赖。
Geoffrey Hinton 呼吁禁止 AI 的行动，已成功让一个选择变得更难回避。英国无法无限期地同时承诺毫无限制地追求前沿技术雄心，以及防范所有极端能力带来的风险。它必须界定推动发展在哪里结束、禁止措施从哪里开始。
这一决策不应仅建立在信心之上，无论这种信心是乐观还是灾难性的。它应建立在明确的门槛、独立证据以及能够经受跨境部署考验的执法机制之上。即将形成的议会记录将显示，英国是否已准备好建立这些机制。
关注法案文本、政府回应以及国际协调的最初迹象。这些信号将共同揭示，Hinton 的介入是否会改变政策，还是仅仅让这场争论更加尖锐。
