教宗良十四世呼吁 AI 裁军：‘机器是工具，不是人’

教宗良十四世于 10 月 30 日呼吁 AI 裁军，敦促各国政府确保关乎人类生命的决定始终处于可问责的人类控制之下。这一教宗良十四世 AI 裁军呼吁，将一道道德边界与即将到来的外交契机联系起来。各国将于 11 月在日内瓦审议一项武器公约，其中，自主瞄准是亟待采取行动的议题之一。

核心冲突在于，监督承诺是否真的能约束机器及其部署机构。良十四世的立场质疑了一条路径：它允许不断提升自主性，却让人类责任的含义有待解释。

这种区分超越了军事技术。每当软件建议演变为具有实质后果的决定时，开发者和采购方也会面临一个相关问题：谁保留拒绝的权力、信息和时间？

教宗良十四世 AI 裁军将责任置于自主性之前

在梵蒂冈的一场活动中，良十四世表示：“机器是工具，不是人。”他的 AI 治理演讲敦促在日内瓦开会的各国推进禁止致命性自主武器。这类武器在启动后无需进一步人为干预，即可选择并攻击目标。

他也拒绝将 AI 发展视为不可避免的轨迹。人类仍有责任引导应用，并在必要时予以拒绝。

这一政策立场的重要性在于，将限制视为技术发展的正当结果。 在这种思路下，能力的提升并不会自动为权力的扩大提供正当性。

对于开发者而言，这改变了围绕一次成功演示所提出的问题。一个系统或许能完成既定任务，却仍不适合承担某人想要委托出去的决定。

可以考虑识别一个物体与授权对其采取行动之间的区别。前一项任务产生信息，后一项则使一个机构承担后果，因此需要独立的正当理由。

在软件中合并这两项任务，并不会消除这种区别。尤其当界面将建议与批准一并呈现时，反而可能让这种区别更难察觉。

这是良十四世立场引出的分析性含义，而非关于任何特定产品的技术结论。他的演讲并未确立比较性的性能结果。

同样的谨慎也适用于有关机器人格的主张。一个系统是否能产生有说服力的语言，与谁应为其部署负责，是两回事。

赋予软件类人身份，可能令公众更难理解责任归属。受到影响的人仍需要一个可识别的组织，能够解释、撤销或补救机构作出的决定。

良十四世此前的 AI 责任框架《Magnifica Humanitas》赋予“裁军”更广泛的含义。它质疑对技术主导地位的竞争，并呼吁在开发和部署的全过程中实现可追溯的责任。

这一框架为有益技术留出空间，同时质疑附着其上的权力。工具可以协助人，而无需获得决定他人命运的许可。

这一区分之所以重要，是因为能力与正当性需要不同的证据。准确性可以支持有关性能的主张，却无法仅凭自身决定谁应当掌握决策权。

人类签字也不必然能解决问题。有人可能在不了解输出依据、或并无现实替代方案的情况下批准一项输出。

因此，采用良十四世论点的机构，需要审视批准行为周边的条件。相关问题将变成：人类判断是否能对结果产生实际影响。

哲学性表述正是在这里开始形成操作层面的压力。责任必须贯穿工作流程，而非只出现在组织的公开说明中。

政府与供应商面临同一要求的不同版本

政府面临界定禁止委托事项的压力；供应商则面临证明其系统止步于何处的压力。 当公共机构采购技术时，这些义务便会交汇。

政府可以宣布人类仍然负责，同时购买旨在最大限度减少人为参与的软件。因此，采购决策可能会削弱其声称要维护的原则。

对供应商而言，笼统的保证会带来另一种问题。声称某产品支持负责任使用，并未回答其配置、客户及允许的运行条件等问题。

教宗良十四世的 AI 警告，让这些问题更难被视为次要细节。如果部署设置可以悄然移除边界，那么这条边界的意义便十分有限。

这并不证明任何被点名的公司违反了此类边界。担忧具有结构性：责任取决于产品设计与机构权力之间的关系。

美国 2023 年 1 月发布的 武器自主性指令提供了一个有益的比较。它要求对武力使用保持适当的人类判断，并规定了自主和半自主武器的测试、培训与保障措施。

这份文件体现了一种围绕开发和使用进行治理的路径。相比之下，良十四世的呼吁则将一些应当保持在委托范围之外的决定置于前景。

这一比较针对的是已发布的 2023 年政策，并非断言其中每项规定至今仍未改变。它也并未证明政府已对周五的演讲作出回应。

分歧并不只是支持安全与反对安全之间的对立。两种路径都可以援引责任，却会为可接受的自主性划定不同边界。

一种路径询问某项部署是否满足程序性要求。另一种则询问被委托的功能是否本就应当被允许。

这些路径可以重叠。测试要求与类别性禁令应对的是不同问题，而一个机构可能两者都需要。

一项被禁止的用途，不会因为其软件通过基准测试就变得可接受。一项被允许的用途，也不会因为它不在禁令之内就变得安全。

对企业采购方而言，相应的问题是权力分配。供应商可以提供输出，但客户仍决定该输出在何处进入机构流程。

假设软件建议将某人置于额外审查之下。采购机构必须决定，这项建议仅仅触发调查，还是会立即改变此人受到的对待。

即使使用同一个模型，这也是实质不同的部署。只评估模型本身，会忽略嵌入工作流程中的政策决定。

合同之所以重要，是因为它们可以明确谁必须披露变更、保存记录和调查故障。这些条款会让争议结果出现后更容易审查责任。

不过，合同语言需要与之匹配的运营能力。若有用的记录从未存在，查阅记录的权利便几乎没有实际价值。

因此，压力延伸至整个采购链。官员、采购团队、工程师和运营人员都掌控着会影响监督是否仍具实质意义的选择。

速度带来监督口号无法化解的权衡

围绕自主武器人类控制的讨论，往往取决于时机。当一个系统的运行速度快到不允许有意义的审查时，人类的形式性权力可能变得难以行使。

核心权衡在于，加速行动与保留对具体行动的判断之间的取舍。 仅仅称两者都值得追求，并不能说明某项部署如何协调它们。

红十字国际委员会在其 自主武器评估中描述了既有的防御性案例，包括拦截来袭弹体的系统以及坦克上的防护系统。

其 10 月评估将这些受限应用与对日益复杂系统和更广泛瞄准环境的担忧区分开来。该机构支持禁止不可预测的自主武器和以人为目标的自主武器，同时限制其他类型。

这一立场说明，“禁止自主武器”需要谨慎解读。不同系统可以具有相同的自主功能，却可能在不同约束下针对不同目标运行。

拦截来袭弹体，与在不断变化的平民环境中选择某个人，构成截然不同的决策情境。将这些情形视为等同，会掩盖其中的政策选择。

红十字国际委员会也将有益的 AI 功能与不可接受的自主瞄准区分开来。其立场并不要求一概禁止武器中的所有 AI 应用。

这为更有成效的比较创造了空间，而不是争论自动化本质上是好是坏。相关维度包括目标、环境、可预测性和干预。

对操作人员而言，实际问题是系统开始行动时，哪些事项仍未被决定。狭窄的防御性功能可以涉及预先设定的约束。

更广泛的部署则要求审查这些先前约束究竟决定了什么。如果它们将具有实质后果的选择留给软件，那么启动时的人类参与并不能回应所有担忧。

红十字国际委员会的 人类控制分析指出，军事动机包括更快的瞄准速度，以及在通信失效时仍能运行。它还讨论了现有防御性应用和运行限制的重要性。

这些动机值得认真对待。通信链路可能会限制操作人员，而快速的防御性行动也可能服务于即时保护目的。

困难的问题在于，解决这些问题是否会在其他方面引入不可接受的自由裁量。消除对通信的依赖，也会改变人们能够进行干预的条件。

这是一项设计与政策权衡，而非证明每个自主系统都会产生同样的风险。运行环境决定哪些保障措施能够发挥作用。

一个假设性比较可以使问题更具体。设想一个系统被配置用于有限的防御任务，随后又被提议用于人口密集区域。

即使底层软件没有改变，这种扩展也需要新的评估。人群、目标模糊性和干预机会都会有所不同。

展示识别准确率的基准测试，无法完整描述这些差异。它仍无法回答有关部署权力和可预见后果的问题。

同样的推理也适用于从建议转向执行的民用系统。推荐工具和自动执法工具需要不同的机构决策。

对知识工作者而言，这提供了一种评估自动化主张的实用方法。除了软件减少了哪些劳动，也要追问工作流转移了哪些权限。

教皇利奥关于 AI 的警告恰恰在这一点上获得了现实意义。效率描述系统行动的速度；问责则描述人们如何说明并质疑这种行动。

流程中有人参与，并不保证实现有意义的控制

只有当一个人能够理解决策、改变决策并为之负责时，人类参与才具有实际意义。 仅仅加入一个审批环节，并不能满足这些条件。

这是对围绕 AI 的治理话语最有力的怀疑论检验。组织可以采用责任相关的术语，却不改变权力的分配方式。

操作人员可能收到一项输出，但可供支撑的信息有限。管理者可能在不鼓励深入调查的截止期限压力下批准它。

这些是说明性场景，并非针对某一具体部署的结论。它们说明，为证明监督主张，需要提供有关周边流程的证据。

理解不仅仅意味着能够访问解释界面。审阅者需要获得与实际决策及其后果相关的信息。

这可能包括源材料、尚未消除的不确定性，以及为何应当质疑一项看似合理的建议。适当的证据取决于具体任务。

权限提出了另一项要求。能够标记问题、却无法暂停行动的审阅者，其地位弱于对决策负有责任的决策者。

时间带来了进一步约束。如果流程要求立即批准，机构应说明何种判断仍然可行。

这些条件提示了核查一项输出与治理一个系统之间的实际区别。核查处理单个结果；治理还涉及流程何时应停止。

教皇利奥关于 AI 裁军的论点，将注意力引向这种叫停权。只有当有人能够行使时，拒绝某项应用的权利才有意义。

个人责任与组织责任之间也存在张力。将责任归咎于最后批准输出的人，可能掩盖采购和系统设计阶段作出的决定。

操作人员无法弥补每一项缺失的保障措施。部署也不应依赖非同寻常的警觉性，来纠正其制度安排中可预见的弱点。

反过来，将责任归于组织也不应抹去个人选择。有效的问责模型必须识别哪些参与者控制了哪些决策。

记录有助于使这种区分可供审查。它们应使调查能够区分模型的输出、操作人员的解读以及管理者的授权。

对于日常办公室工作而言，可搜索的知识库可以帮助访问底层文档。这一比较涉及信息检索，而非高风险决策的验证。

更广泛的一点是，答案与其证据基础服务于不同目的。一份具有说服力的摘要，不能替代质疑它所需的材料。

有意义的控制还需要为部署组织外部的人提供渠道。仅依赖内部审查，会让受影响个人受制于他们无法检查的流程。

申诉机制应将存在争议的结果与有权重新审议它的人联系起来。否则，当事人只会面对一连串转介，却见不到决策者。

这些都不能提供安全部署的通用公式。不同应用需要不同控制措施，而根据这里所述的立场，某些拟议用途仍不可接受。

实际标准在于机构能否证明责任如何运作。当公开承诺明确谁可以干预以及之后会发生什么时，其可信度会更高。

梵蒂冈的影响力取决于它无权作出的决定

教皇利奥关于 AI 裁军的呼吁，是对一场政策辩论的介入。它本身并不会制定武器禁令，也不会建立国际执法机构。

尚未解决的问题是，各国政府是否会将一道道德边界转化为一致同意的操作性限制。 这需要作出超出梵蒂冈权限范围的决定。

这种区分避免了对该声明的夸大解读。一场经确认的演讲，是发言者立场的证据，而非各国已接受该立场的证据。

谈判与谈判结果之间也有同样重要的区别。同意讨论具有约束力的规则，并不能确定这些规则禁止什么。

未来的协议仍需明确界定范围。各国必须决定哪些功能、运行条件和授权委托形式会触发限制。

一项协议可能听起来严格，却留下广泛例外。它也可能通过看似不如全面禁令激烈的措辞，设立一条有意义的边界。

这些可能性使最终措辞至关重要。读者应审视受约束的行为，而不应仅凭协议名称判断其内容。

实施造成了另一道鸿沟。一国的支持态度并不能说明采购机构、军事组织或供应商将如何纳入这一承诺。

限制措施的政治理由也会面对政府赋予自主性的战略价值。更快的运行速度和对通信依赖的降低，都是相关动机。

承认这些动机会强化分析。可信的限制必须说明机构为何追求某种能力，而不能假设伦理反对意见会消除这种激励。

与此同时，战略效用并不能决定可接受性。许多政策争议涉及有用但其后果足以证明需要约束的能力。

这也是为何核心冲突应始终聚焦于可执行的人类责任与被委托的权力之间。关于机器意识的辩论，可能会分散人们对机构已能控制的决策的注意力。

政府无需在界定今天由谁授权使用武力之前，解决关于未来 AI 的每一个哲学问题。富有成效的规则可以处理可观察的行为。

同一原则也适用于公司比较。供应商的公开立场很重要，但负责任的评估还需要有关合同和部署的经验证信息。

本文没有依据宣布任何商业赢家。也没有经过验证的依据声称某个特定模型符合教皇的标准。

对技术采购者而言，这种不确定性应促使提出精确的问题：委托了什么功能、由谁授权，以及通过什么途径提出质疑？

这些问题保留了辩论的实质，而不会将一次宗教演讲变成产品认证。它们也让未来的主张更易于检验。

梵蒂冈的贡献，最清晰地体现为对正当理由的要求。寻求扩大自主权的机构，应说明其保障措施为何能够维护其所承诺的人类权威。

日内瓦将显示各国是否超越原则

下一个既定里程碑是该公约的日内瓦审议大会，将于 2026 年 11 月 16 日至 20 日在万国宫举行。这次会议为辩论提供了具体的外交场景。

有用的信号包括谈判授权、明确边界和实施路径。 它们共同表明，讨论是否正在转化为制度行动。

首先，要关注各国是否授权开展制定具有约束力规则的工作。明确的授权将强化这样一种判断：各国政府准备限制授权委托。

一份表达关切的声明分量较轻。区别在于，结果是否创造了具有明确目标的工作，而不是仅仅记录共同的不安。

其次，审视任何拟议文本如何处理对人员的自主瞄准，以及其效果无法得到充分预测的系统。这些类别揭示了笼统监督语言之下的实质。

明确的边界将强化这样一种判断：人类控制正在成为实际约束。广泛例外或未定义术语，则会给部署机构留下更多裁量空间。

评估应始终以实际文本为依据。对某一具体问题的沉默，不应被表述为禁止或许可。

第三，关注会议结束后的责任机制。指定流程、截止日期或审查要求，将使后续进展更易于评估。

这些步骤并不保证合规。但它们会形成一条可观察的路径，用于判断各国政府是否落实承诺。

在随后数月解读企业反应时，同样需要这种严谨。支持伦理 AI 的声明，值得与任何已披露的运营承诺进行比较。

读者应避免将支持视为实施。当一项声明明确限制措施、负责权限或实践变化时，它才更具信息价值。

对开发者和企业采购者而言，直接相关之处在于值得提出的问题发生了变化。评估应将转移的权限与技术性能一并考察。

这种方法并不要求将办公助手等同于武器。它承认不同后果需要不同边界和证据。

随着日内瓦会议临近，应回到原始文件。比较代表们授权的内容与其措辞实际上会为人保留的决定。追问谁能够停止系统、什么信息支撑这一选择，以及受影响者可在哪里寻求审查。在评估供应商的保证或组织的自动化提案时，也应运用这些问题。教皇利奥关于 AI 裁军的呼吁为这场辩论提出了明确要求：技术能力必须始终服从于人类责任。下一步是审视各国政府是否将这一要求写入其机构能够执行的条款。关注授权，阅读边界，并跟进实施承诺。