Gabriele Caccia 的 AI 伦理警告：让人类判断对抗自动化

大主教 Gabriele Caccia 就 AI 伦理发出警告，并划出明确界限：机器不应控制涉及生死或基本权利的决定。

作为圣座驻美国外交代表，Caccia 于 2026 年 9 月 9 日在 Georgetown University 发表讲话。他的论点超越了人们熟悉的“负责任创新”呼吁。他表示，技术上的可行性并不意味着道德上的许可。

Gabriele Caccia 的 AI 伦理立场，将人类良知置于日益依赖自动化判断的趋势对立面。这一冲突如今已延伸至军事目标打击、医疗服务准入、招聘、安全以及其他具有重大影响的系统。

他的言论援引了教皇 Leo XIV 四个月前发布的通谕《Magnifica Humanitas》。该文件区分了计算输出与人类具备的良知、责任和关系能力。

然而，梵蒂冈的介入也存在一个重要限制。其道德原则异常明确，却没有为企业或政府提供一套完整的监管方案。

这一缺口定义了事件真正的核心。教会要求明确的人类责任，但各机构对于实践中何为有意义的人类控制仍存在分歧。

Caccia 为不可逆的 AI 决策划定界限

Caccia 的核心主张是：算法无法继承重大决策所附带的道德责任。

这位大主教在 Georgetown 举办的一场题为“AI、天主教社会教义与教皇 Leo 面向世界的对话邀请”的讨论中发表了上述言论。该活动让宗教领袖与科技及政策界人士展开对话。

根据该大学的活动议程，讨论聚焦于人的尊严、经济变革、公共政策与共同福祉，也探讨了立法者、雇主和公民应当对 AI 系统提出哪些要求。

Caccia 用直接的语言概括了道德问题。他认为，并非所有能做的事都应该做。是否使用一项现有能力，仍然是人类的道德决定。

这一表述否定了科技部署中的一种常见模式：组织往往因为自动化系统承诺提升速度、一致性或降低行政负担而采用它们，伦理评估则在部署之后才进行。

Caccia 颠倒了这一顺序。机构在委托判断之前，应先追问这一判断是否属于自动化的正当范围。

他将致命且不可逆的决定列为最明确的边界。如果机器帮助决定谁生谁死，责任就可能变得难以追溯。

问题不在于模型是否从技术上“按下按钮”，而在于人类是否理解、授权、审查，并对通往结果的整个链条保持问责。

Caccia 还将担忧延伸至武器之外。他提及一些令人不安的案例：算法通过带有偏见或不公正的数据，限制人们获得医疗保健、就业和安全服务的机会。

这些系统很少把自己宣称为道德权威。它们会给申请者排序、标记个案、建议拒绝、预测风险，或为有限资源设定优先级。

每项输出看似只是行政处理，但这些输出合在一起，会塑造机会、声誉、人身安全以及获得基本服务的途径。

因此，Gabriele Caccia 的 AI 伦理警告所关切的是被委托的权力，而不只是模型行为。即便统计上准确的系统，也可能运行在不公正的流程中。

当每个参与者都将结果视为他人的决定时，模型也会模糊责任。开发者指向部署者，部署者指向政策，员工则指向软件。

Caccia 的介入质疑了这种责任扩散。即使软件影响最终行动，人类仍须承担责任。

这一原则构成了事件的张力所在。AI 系统正日益进入高影响力工作流程，而使用它们的机构仍难以明确可问责的人类责任归属。

为什么梵蒂冈的道德声音此刻出现

梵蒂冈正是在自动化从内容生成转向影响重大机构决策之际，进入 AI 辩论。

Caccia 在 Georgetown 的亮相，紧随《Magnifica Humanitas》于 5 月 15 日发布之后。教皇 Leo XIV 在该通谕中用相当大的篇幅讨论人工智能与人的尊严保护。

该文件认为，AI 模仿了与智能相关的部分功能，但并不具备具身经验、良知、个人责任，或对自身输出的内在理解。

这一差异至关重要，因为流畅的语言可能营造出判断力的印象。一个系统可以给出连贯建议，却并不理解患者、劳动者、被告、士兵或家庭作为人的处境。

该通谕否定了这样的观点：机器只要始终如一地应用规则，就会成为道德主体。道德判断包括对后果负责，以及承认他人的尊严。

其AI 伦理框架也超越了对公平的抽象呼吁，提出需要法律保障、独立监督、知情用户、公众参与和可识别的责任主体。

教皇 Leo 警告，不应将 AI 发展视为不可避免。这种表述可能让控制数据、基础设施和计算资源的组织来决定社会的道德边界。

这一担忧有助于解释 Caccia 为何谈及需要一种“道德声音”。技术标准可以衡量错误率、记录模型行为和测试安全性，但无法独立决定哪些目标值得被优化。

例如，招聘模型可以根据历史决策来评估准确性，但这种评估无法证明先前决策是否公平。

医疗优先级工具可以始终如一地为患者排序，但一致性并不能决定其底层资源分配规则是否尊重弱势群体。

同样的区别也适用于军事系统。更快的目标评估，无法回答一次打击是否合乎法律、是否必要、是否成比例，或是否在道德上站得住脚。

《Magnifica Humanitas》提出需要“解除”AI 的武装。这里的措辞并非意味着消除所有模型，或禁止普通的生产力工具。

在该文件的论述中，解除武装意味着防止技术能力变成不受问责的权力，也意味着拒绝将自动化结果呈现为道德中立。

梵蒂冈在 5 月成立人工智能跨部门委员会，进一步强化了这一议程。该委员会命令提到 AI 的加速应用及其对人的尊严造成的影响。

这一制度性举措使该介入不止于一次演讲。它表明，AI 治理已成为教会政策、外交与社会教义工作中的持续议题。

Caccia 还将责任置于科技公司、工程团队、金融机构和公共机构中的天主教徒身上。他并未将这一问题仅留给主教或神学家。

这一点意义重大，因为大多数部署决策都发生在远离立法机关的地方。产品经理设定目标，工程师选择数据，高管接受风险，采购团队挑选供应商。

梵蒂冈的立场敦促每个群体都将这些选择视为道德行为。它否定了一种辩解：伦理只属于产品上市后才介入的监管者。

Gabriele Caccia 的 AI 伦理与人类监督考验相遇

主要冲突并非宗教与技术之间的对立，而是可问责的人类判断与缺乏有意义控制的自动化之间的对立。

这一区分避免了辩论沦为乐观与悲观之间的简单争论。Caccia 并未否定 AI 研究或有益的自动化。

《Magnifica Humanitas》承认 AI 在许多领域的益处。它所反对的是，在涉及权利、安全或不可逆伤害的场景中，系统取代了可问责的判断。

现有治理框架在一定程度上支持这一立场。美国国家标准与技术研究院围绕治理、映射、衡量和管理风险来组织 AI 风险管理。

这份自愿性风险框架要求组织在 AI 生命周期中分配角色，并将问责、透明度、可解释性、隐私、安全和有害偏见视为相互关联的问题。

欧盟则已将相关原则转化为针对指定高风险系统的具有约束力的要求。其 AI Act 覆盖就业、基本服务、执法及其他敏感场景中的应用。

第 14 条要求高风险系统支持有效的人类监督。指定人员必须了解相关限制，并始终能够忽略、推翻或撤销输出结果。

该法律还涉及自动化偏见，即人们因计算机建议看似系统化或客观，便倾向于信任它。其监督要求承认，仅仅让一个人靠近模型，并不会自动形成有意义的控制。

正是在这里，Caccia 的道德语言与实际设计问题相遇。“人在回路中”可以描述几种截然不同的安排。

临床医生可能收到一项建议，并保有充足的时间、权限和证据来拒绝它。这种安排保留了实质性的判断空间。

但一名员工也可能需要在严格的绩效指标下审查数百项自动化建议。该员工在技术上批准每一项决定，却没有现实机会质疑系统。

军官面对的时间窗口可能更加狭窄。如果自动化分析压缩了决策时间，形式上的授权或许仍在，审慎判断却可能消失。

因此，有意义的人类监督需要的不只是一个最终批准按钮。责任人必须具备相关专业知识、足够时间、可理解的证据，以及叫停流程的权限。

机构还必须记录每项决定由谁作出。否则，问责会消失在供应商、数据提供者、模型开发者、管理者和一线操作人员之间。

Caccia 对责任的追问揭示了这一弱点。当机器促成有害结果时，组织往往只调查最后一个可见动作。

这种做法可能忽略更早的决定。模型目标、训练数据、部署阈值、界面设计或升级处理政策，可能早在最终批准之前就塑造了结果。

严肃回应 Gabriele Caccia 的 AI 伦理主张，需要追溯整个系统中的责任，而不是在失败后寻找一名员工来承担全部责难。

这种做法也保护了自动化的有益用途。低风险工具不需要与影响医疗治疗、就业、自由或物理武力的系统相同的控制措施。

基于风险的治理使组织能够在错误后果更严重的领域采用更严格的要求。它避免将文本格式调整与致命目标打击视为同等性质的 AI 应用。

梵蒂冈的贡献在于，为这些技术区分之下确立一道道德底线。即使自动化变得更快或更准确，某些责任仍应明确由人类承担。

道德原则仍需要可执行的规则

对 Caccia 立场最有力的批评，并非它要求过多，而是它将“合规”究竟意味着什么留给机构自行决定。

乔治城大学的小组讨论承认了这一局限。Magnifica Humanitas 提供道德指引，却未规定一套详尽的法律、技术标准或执法机制。

这种开放性有助于跨越政治和宗教边界展开对话。但它也为只停留在象征性共识、而缺乏实际改变留下了空间。

几乎所有公司都能认同人的尊严、问责与公平。更棘手的问题则涉及测试门槛、审计访问权、申诉权、文档记录和责任归属。

谁必须在高影响力模型部署前对其进行评估？谁可以检查其数据和表现？哪些证据必须传达给受其决策影响的人？

机构还需要建立申诉规则。如果受影响者从未得知自动化系统影响了结果，人类审核者便无法纠正不公。

“不可逆”的含义也需要精确界定。武器决策是显而易见的例子，但延误医疗也可能造成任何后续申诉都无法弥补的伤害。

当模型反复排除同一群体时，就业筛选会造成持久影响。安全系统可能在任何人核实其假设之前，就限制人员流动或触发调查。

只有当组织在部署前识别出这类后果时，Caccia 的道德边界才会真正发挥作用。这需要一项与实际运行环境挂钩的影响评估。

技术准确性不能作为唯一衡量标准。团队必须审视误报、漏报、不同群体间不均衡的影响、可预见的滥用，以及纠正延迟所造成的后果。

他们还必须测试周边工作流程。一个表现良好的模型若置于仓促、不透明或受激励机制驱动的流程中，仍可能导致不负责任的结果。

另一个挑战在于对价值观的分歧。人类并不共享同一套完整的道德框架，不同社群往往对公平、自主、安全和效率赋予不同权重。

该通谕在警告不应让少数技术所有者定义 AI 的道德基础设施时，承认了这一问题。然而，广泛参与也可能拖慢决策，并让冲突悬而未决。

这种张力并不否定该提议。它表明，道德声音无法取代民主制度、法律标准、职业责任或技术评估。

宗教推理可以阐明界限，并将关注引向边缘化群体。监管机构必须将这些关切转化为法院和政府机构可以适用的义务。

标准制定机构可以界定测试和文档实践。独立研究人员可以审查已部署系统是否如其声称般运行。

劳动者和受影响的社群也必须拥有报告伤害的渠道。他们提供的证据能够揭示基准测试永远捕捉不到的失效。

因此，怀疑者的检验标准很具体：梵蒂冈的表述是否会改变采购合同、董事会层面的风险决策、工程要求或公共政策？

如果不能，“以人为本的 AI”就有可能沦为又一个弹性标签。组织可以援引这一原则，同时保留同样的自动化工作流程。

对 Caccia 立场的评判不应取决于有多少领导者称赞它，而应取决于伤害发生前，责任是否变得可识别。

硅谷的逐利动机是未被明言的对手

Caccia 的警告挑战了一种部署文化：它将市场需求和技术能力视为实现自动化的充分理由。

小组成员 Jasmine Sun 表示，她对 Magnifica Humanitas 在硅谷和 AI 行业从业者中获得如此多关注感到惊讶。

她将这种兴趣归因于一种认识：单靠逐利动机是不够的。这一观察点出了该小组道德话语背后的实际对手。

企业面临推出产品、提升生产率、获取用户和证明大规模基础设施投入合理性的压力。这些激励机制奖励可见的能力和快速采用。

有害决策的代价往往由其他人承担。被拒绝的申请者、被错误分类的患者、遭监控的社群，或目标附近的平民，都要承受产品指标可能无法反映的后果。

这种分离带来了治理问题。获得效率收益的机构并不总是承担错误造成的全部社会成本。

AI 系统会加剧这种失衡，因为它们能快速扩大决策规模。一项有缺陷的政策可能在调查人员发现模式之前，就影响数千人。

自动化还会赋予可疑决策一种科学的表象。排名和概率分数能够以数字精确性的外观掩盖存在争议的假设。

梵蒂冈的“道德声音”正是对这种表象的挑战。它追问：谁选择了目标，谁的利益得到了代表，以及谁有权对结果提出质疑。

另一位乔治城大学小组成员 Molly Kinder 将天主教关于工作的理念，与承诺让人从劳动中解放出来的技术叙事作了对比。她的观点不止关乎就业总量。

工作还提供身份认同、社会关系、议价能力，以及参与共同制度的机会。即便总体生产率提高，替代任务也会改变这些关系。

这种关切不应演变为对所有既有工作的笼统辩护。自动化能够消除危险、重复或难以进入的工作，并创造有价值的新服务。

其中的权衡在于谁掌控转型。与决定在何处、如何部署系统的高管相比，劳动者很少拥有同等影响力。

Caccia 的框架将这些分配选择纳入 AI 伦理之中。一个系统并不会仅仅因为提高产出，就服务于共同福祉。

同样的检验也适用于知识工作。生成式系统可以总结文档、支持研究、起草沟通内容，并帮助人们检索信息。

这些用途与将就业、医疗保健、安全或实体武力的最终权力交由系统截然不同。监督程度应由具体情境和后果决定。

对开发者而言，这意味着拒绝对可接受自动化作出单一、普适的定义。每种产品都需要清楚说明它影响哪些决策，以及哪些人承担风险。

对企业采购方而言，这意味着不能只问模型在演示时是否表现良好。采购方需要事件处置流程、审计证据、升级路径和合同问责机制。

对劳动者而言，关键在于 AI 是否仍是他们可以质疑的工具。当拒绝系统建议会带来职业或组织层面的惩罚时，这个系统就会变得更危险。

Gabriele Caccia 的 AI 伦理论证最终挑战的是权力，而非计算。它追问机构是利用 AI 协助负责任的人，还是让责任变得更难追溯。

三个信号将显示道德声音是否重要

下一项检验在于，道德语言是否能在军事系统、高影响力民事决策和技术治理中转化为可见的控制措施。

第一个信号是，是否朝着对致命性自主武器和 AI 辅助目标打击实施可执行的人类控制迈进。

国际讨论通常认可人类应保留对武力的控制。决定性问题在于，各国是否通过具有约束力的规则、可审查的程序和明确的指挥责任来界定这种控制。

值得关注的要求包括：保留充足判断时间、明确责任军官，以及限制在缺乏有意义干预的情况下选择或攻击目标的系统。

如果这些措施取得进展，Caccia 的论证将获得制度性力量。如果各国政府仍保留模糊保证，问责缺口便会持续存在。

第二个信号是，医疗保健、就业、信贷和安全系统是否建立了可实际使用的申诉机制。

有意义的申诉应告知受影响者，自动化影响了该决定。它应提供可理解的依据，并将案件交由拥有实质权限的人类审核者处理。

组织还应监测撤销决定的情况。申诉成功率高，可能揭示数据存在缺陷、阈值不合适，或模型与其部署环境不匹配。

如果监管机构和采购方要求这些保障，道德原则就会转化为实际运作。如果披露依然薄弱，人类监督可能主要只存在于纸面上。

第三个信号是，梵蒂冈新的 AI 委员会是否会为机构和从业者发布具体指引。

有用的指引应区分低风险辅助与高影响力授权。它还应说明开发者、供应商、高管、部署方和一线专业人员各自承担的责任。

该委员会可以通过将道德原则与采购、影响评估、劳动者咨询、审计和救济机制联系起来，增加实际价值。

其有效性将取决于具体程度。另一份关于人的尊严的笼统声明会强化这一信息，却仍无法解决实施问题。

即使对宗教机构以外的读者而言，这场辩论也很重要。Caccia 提出了每一个采用 AI 的组织最终都必须回答的问题。

当一个系统影响重大决策时，谁了解它的局限，谁能够拒绝其输出，又由谁对结果承担责任？

这些问题应在部署前提出，而不是在公开失误之后。开发者可以记录边界，采购方可以要求证据，用户可以抵制掩盖问责的工作流程。

如果 Gabriele Caccia 的 AI 伦理警告改变了这些决策，它就会产生意义。下一步是审视你身边的 AI 系统，并识别人类判断在哪些地方仍然真实存在。