top of page

Nature 医疗 AI 治理争论揭示被忽视的患者

9月9日
讀畢需時 15 分鐘

9 月 8 日,Nature 医疗 AI 治理进入一场更尖锐的争论:两位研究人员指出,一项新兴责任框架存在一个根本遗漏。该框架通过三项属性对医疗 AI 进行分类,却没有为患者权利提供系统性位置。

这一批评之所以重要,是因为医疗 AI 正在超越被动提供建议的阶段。系统如今能够影响诊断、治疗方案、患者沟通以及后续临床任务。当患者承担后果时,责任不能只在临床医生、医院、开发者和监管机构之间界定。

这场争议源于 Kyle Lam 及四位合著者提出的一套框架。该框架将责任与 AI 系统的自主性、自动化程度和运行范围联系起来。Yuan Shen 和 Linghua Yu 认可这一结构的实用性,但认为,如果没有患者参与、权利与救济,责任图谱就是不完整的。

Nature 医疗 AI 治理批评改变了什么

这一新观点并不否定基于能力的监管。它认为,仅凭能力无法界定正当的医疗 AI 治理。

在一篇 9 月通讯文章中,Shen 和 Yu 回应了 Nature 于 2026 年 7 月发表的一项框架。此前的提案探讨了:随着 AI 在患者照护中承担更大角色,责任应如何转移。

该框架通过自主性、自动化程度和运行范围对医疗 AI 分类。自主性描述系统能够在多大程度上独立作出决策或采取行动。自动化衡量其完成多少人工工作,运行范围则描述其参与照护的广度。

这些维度有助于监管机构区分诊断助手与能够发起临床行动的系统。它们也帮助医院判断,责任主要应由临床医生、组织、制造商还是其他参与方承担。

Shen 和 Yu 提出了一个不同的问题。即使机构能够在彼此之间分配责任,患者在治理结构中处于什么位置?

他们的回答很直接:患者权利在该框架的设计中没有获得系统性位置。框架提到了知情同意,但除此之外,患者仍只是受到决策影响的人,而非能够塑造这些决策的参与者。

这一区别改变了问题的性质。知情同意通常与某一特定干预、信息披露或数据使用有关。治理则决定哪些系统能够进入医疗照护、哪些风险可以接受、如何监测表现,以及故障发生后如何处理。

患者可以同意接受治疗,却并未参与制定这些规则。医院也可以满足知情同意要求,同时让患者无法质疑算法建议,或无法理解自动化决策。

因此,以患者为中心的 AI 治理需要的不只是另一层信息披露界面。它要求机构在部署前考虑患者参与,在照护过程中提供可理解的解释,并在伤害发生后提供有意义的救济。

这在两个合理目标之间形成冲突。基于能力的框架寻求在复杂技术系统中明确问责;以患者为中心的治理则追问,该系统是否保护了那些承担临床和个人后果的人。

这篇干预文章是一篇通讯,而不是新法规或具有约束力的标准。它并不能证明现有的每一套框架都排除了患者。其重要性在于,随着医疗 AI 获得更大权力,它揭示了一个反复出现的盲点。

这场框架争论也向医疗系统发出实际警示:在事件发生后分配责任,并不会自动在事件发生前建立正当性。治理流程可以界定谁应为失败负责,却从未询问患者哪些失败不可接受。

开发者也应关注这一缺口。产品团队常将临床医生或医院视为主要用户。然而在医疗领域,操作界面的人未必是承担最大风险的人。

医疗 AI 责任仍然围绕机构构建

大多数问责模型都从控制 AI 系统的组织出发,而患者主要作为潜在受害者出现。

Lam 及其合著者提出这套 医疗责任框架,是为了解决一个现实问题。随着临床医生与 AI 系统协同工作,传统关于专业责任的假设越来越难以适用。

临床医生可能收到一项 AI 建议,却不知道模型如何得出这一结论。医院可能配置软件,却无法控制其训练数据。供应商可能在系统部署后进行更新,从而改变既定工作流程中的系统行为。

分阶段框架可以让这些关系更容易分析。随着系统变得更自主、更自动化或运行范围更广,责任应向对其行为拥有更大控制权的各方转移。

这一逻辑具有价值,因为仅仅保留人工参与并不能解决责任问题。如果没有时间质疑输出结果,或没有切实可行的方法停止自动化行动,临床医生就无法进行有意义的监督。

近期关于 有意义 AI 监督的研究阐明了这一操作层面的要点。在可避免伤害发生前,监督取决于人们能否理解、质疑并中断由 AI 介导的照护过程。

同一研究还提出了可用的覆盖控制、可追溯的干预措施、反馈循环和部署后审查等具体措施。研究也认为,对于临床医生无法进行有意义控制的系统,不应让他们默认充当安全担保人。

这些措施改善了机构之间的问责机制。然而,它们仍不能保证患者在采购决策、可接受的表现标准、升级规则或暂停使用方面拥有正式角色。

一个治理委员会可能包括临床医生、法务团队、工程师、安全专家和管理人员。但其中仍可能没有人理解:假阴性、无法解释的延误,或难以使用的申诉程序,从患者角度究竟意味着什么。

这种缺席会影响委员会衡量什么。开发者往往强调总体准确率,临床医生关注工作流程和安全性,管理者则可能优先考虑实施风险、运营能力和法律风险。

患者则可能提出不同关切。他们可能询问,系统表现是否因社区而异,床旁决策能否得到解释,或者拒绝使用 AI 是否会改变获得照护的机会。

他们也可能识别出传统指标遗漏的负担。一条错误信息可能在临床医生纠正前引发焦虑。自动化排程决策可能延误照护,却不会被记录为临床错误。

以患者为中心的模式不会取消机构问责。它会在其上增加一层基于权利的机制,使患者在设计、审查、部署、监测和补救过程中可见。

关键压力落在医院和监管机构身上。两者都已在召集专家组、设定证据门槛并批准技术。它们必须决定,患者参与是咨询性质、代表性质,还是与实际决策权相连。

供应商同样面临压力。如果医疗系统要求记录在案的患者参与,开发者就需要提供超越可用性测试的证据。他们需要证明,患者关切如何改变了产品或其部署条件。

这正是医疗 AI 责任与以患者为中心治理的分歧所在。责任问题追问:照护失败时,谁应当作出回应。以患者为中心的治理还会追问:在失败发生之前,谁有资格影响该系统。

以患者为中心的 AI 治理需要的不只是同意

知情同意是患者的一项权利,但治理还涉及代表性、透明度、选择权、可申诉性和救济。

知情同意仍然不可或缺。患者应当知道,AI 系统何时会实质性影响照护、它扮演什么角色,以及谁仍对临床决策负责。

然而,当拒绝并不现实时,同意可能沦为象征性程序。患者可能只有一家可用医院、一个保险网络或一位专科医生。拒绝 AI 介导的工作流程,可能意味着接受延迟或减少的医疗服务。

同意也无法承担所有治理负担。患者无法仅凭一段简短的临床披露,评估模型在不同群体中的表现、更新政策、网络安全控制措施或监测计划。

机构必须在要求个体患者作出选择前建立这些保护措施。患者的决定应置于可信赖的系统之中,而不应替代这个系统。

世界卫生组织的 健康 AI 指导文件提供了更广泛的基础。其六项原则包括保护自主性、促进福祉与安全、确保透明度,以及培育问责机制。

该指导文件还将有效同意与隐私及人类对医疗决策的控制联系起来。这些保护措施说明,不能将以患者为中心的 AI 治理简化为技术风险评分。

可行模式始于代表性。医疗系统应让患者和社区参与识别可接受用途、界定不可接受后果,以及审查部署证据。

代表性也必须反映受影响的人群。单一患者代表无法代言每一种残障、语言、疾病、年龄群体,或不平等医疗服务的经历。

下一项要求是可理解的透明度。患者需要了解系统的角色,而不是其架构的技术描述。

有用的解释应回答实际问题。AI 是生成建议、对病例排序、起草信息,还是发起任务?结果影响照护前,是否有合格人员审查?

选择权是另一项要求,尽管其具体形式会因应用而异。低风险行政工具与影响诊断或用药的系统,并不会产生同样的选择问题。

对于后果更严重的用途,机构应说明是否存在非 AI 路径。它们还应披露,选择该路径是否会改变等待时间、服务可及性或治疗选择。

可申诉性让患者能够质疑受 AI 影响的决策。这一程序必须能够触及有权审查案件的人,而不只是记录一项投诉。

伤害或险些发生的事故之后,救济同样重要。患者需要清晰的报告渠道、及时的调查、对不准确记录的更正,以及对后续行动的说明。

这些权利应与技术监测相联系。投诉模式可以揭示总体表现评分掩盖的故障模式,特别是当错误集中发生在某个群体或工作流程中时。

因此,患者知识是证据,而非装饰。它可以识别隐性成本、令人困惑的解释、难以使用的界面,以及申诉的实际障碍。

医疗系统需要以严谨方式收集这些证据。结构化访谈、咨询小组、事件报告和持续用户研究,可以将个体经历转化为治理信号。

开展这项工作的团队可以使用一套有据可查的研究分析工作流程来组织访谈,并追踪反复出现的关切。该工具应支持人工审查,尤其是在材料包含敏感健康经历时。

这些措施都不意味着患者对技术决策拥有唯一决定权。患者参与也不应沦为附着于某一位代表身上的否决权。

目标是实现具有明确影响力的共同治理。机构应记录哪些患者关切被采纳、拒绝或暂缓,以及相应原因。

没有这类记录,参与就有流于形式的风险。患者小组可以存在,但采购、性能阈值和部署决策却仍然一成不变。

核心权衡在于效率与患者自主权

医疗 AI 可以提升可及性和一致性,但如果自动化的发展快于围绕它建立的权利保障,也可能削弱患者自主权。

更强大的医疗 AI 具有充分的价值。系统可以支持诊断、检索临床指南、起草沟通内容,并帮助管理复杂的照护路径。

2026 年报道的研究展现了这一发展方向。两套医疗 AI 系统 MIRA 和 Google 的 AMIE,接受了从诊断延伸至治疗规划等任务的评估。

根据一则研究公告,AMIE 与 21 名基层医疗医生在 100 个虚拟、多次就诊案例中进行了比较。该研究涵盖五个医学专科,并采用了既有的临床指南。

公告称,AMIE 在诊疗管理推理方面与医生表现相当,并在涉及精准度和指南一致性的若干指标上表现更佳。研究人员也警告称,在投入临床使用前仍需开展更多工作。

这些保留意见至关重要,因为虚拟案例无法复现照护中的所有情况。真实患者提供的病史并不完整,表达的偏好会发生变化,也面临结构化评估无法充分捕捉的现实限制。

随着系统从提出建议迈向采取行动,潜在收益会增加。受影响患者与配置该系统人员之间的距离也会随之拉大。

起草临床医生病历记录的 AI 助手,其操作范围相对有限。优先处理门户消息或发起随访的系统,则可能影响谁能获得关注以及何时获得关注。

这一演进解释了为何基于能力的责任框架具有吸引力。治理必须区分不同工具,而不是对机器学习的每一种使用方式套用同一条规则。

然而,能力分类并不能决定部署应由哪些价值观来支配。一个技术上准确的系统,仍可能限制患者选择、提供不足的解释,或不公平地分配负担。

因此,核心权衡并不是 AI 与人工照护之间的取舍,而是在二者发生冲突时,机构效率与患者自主权之间的取舍。

医院可能看重分诊系统,因为它能缩短审查时间。患者则完全可以合理地追问,该系统是否会忽视罕见症状、处于不利地位的人群,或以较不标准化方式沟通的人。

开发者可能会为速度和完成率优化患者消息模型。患者更在意的或许是语气、不确定性、升级处理,以及临床医生是否看过原始消息。

这些优先事项可以共存,但前提是治理将其视为设计要求。患者自主权不能在部署后通过一则笼统通知来补充。

这种权衡也会随风险等级而变化。临床记录中的拼写辅助工具,与推荐治疗方案或续开药物的系统,需要不同的控制措施。

因此,治理应将能力分级与权利分级结合起来。更高的自主性和更广的操作范围,应触发更严格的信息披露、参与、可质疑性和监测要求。

这种方法强化了原有的问责逻辑,而非取而代之。掌握控制权的一方应承担责任,而承受风险的人应获得可执行的保护。

它也为采购团队提供了更明确的问题。产品是否支持易于理解的解释?员工能否追溯输出、暂停操作,并记录患者提出的质疑?

在适当情况下,机构能否提供有实质意义的替代方案?供应商是否会调查与特定人群有关的报告,医院又能否根据调查结果采取行动?

这些问题可能减缓采用速度。当系统影响健康、自主权和获得照护的机会时,这种延迟并不必然是浪费。

相反的风险同样值得关注。过度的程序要求可能阻碍有用工具进入人手不足的场景,或专科医疗资源有限的社区。

因此,以患者为中心的治理必须保持适度。目标并非为每一项应用设置最多程序,而是随着后果和系统权限的增加,强化保护措施。

患者参与仍可能沦为象征性安排

在 AI 委员会中增加一个患者席位,并不意味着患者拥有信息、影响力,或切实可行的决策质疑途径。

这是对当前主张最有力的怀疑视角。将患者置于中心的呼吁听起来很有说服力,但机构可能只是表面满足这些要求。

医疗 AI 在技术上高度复杂。患者代表可能在会议前不久才收到密集的文件,而临床医生和开发者已经与系统共事数月。

权力差异也会塑造讨论。受医院邀请的患者,可能会犹豫是否质疑掌控议程的高管、医生或技术专家。

报酬和可及性同样重要。无偿参与更有利于拥有时间、财务弹性、可靠交通、技术信心且健康限制较少的人。

代表性带来另一项难题。受同一系统影响的患者可能具有相互冲突的优先事项,尤其是在更快的服务可及性与隐私、解释或人工审查发生竞争时。

医疗系统可能会选择总体上支持创新的代表。它也可能在采购之后才收集反馈,而此时改变方向已经代价高昂且在政治上困难重重。

有关公众和患者参与的研究已认识到这些挑战。一项研究将有意义的参与定义为与公众共同开展、或由公众开展的研究,而非仅仅关于公众或为公众开展的研究。

同一项参与研究描述了在 AI、大数据研究和公众参与之间开展协作的现实困难。技术复杂性不会令参与变得不可能,但会改变参与者所需的支持。

机构应在选择供应商或最终使用场景之前启动参与机制。早期参与让患者能够塑造问题定义,而不是对一个几近完成的系统作出反应。

参与者需要获得关于预期用途、验证人群、已知局限、更新程序和现实替代方案的通俗证据。当技术主张存在争议时,他们还需要独立支持。

治理机构应明确患者参与所附带的权限。咨询、具有投票权的成员资格、升级权限和审计访问权并不能相互替代。

机构应公开或保留决策记录。这些记录应说明患者意见如何影响了要求、部署条件、监测或拒绝决定。

它们也应追踪参与是否改变结果。相关证据包括修改后的解释、新增的无障碍功能、新的亚组测试、调整后的阈值或更强的申诉流程。

反馈应在上线后持续进行。部署前的研讨会无法揭示真实临床工作流程造成的每一个问题。

部署后的渠道必须安全且易用。患者应能够报告与 AI 相关的关切,而无需识别确切的模型、供应商或技术组件。

随后,工作人员必须将该报告与技术和临床审查联系起来。否则,反复出现的模型故障可能会消失在普通客户服务系统中。

隐私带来另一项风险。收集详细的患者经历可能产生新的敏感记录,尤其是当治理团队跨工具和部门整合临床故事时。

机构应只收集所需的信息、限制访问,并说明反馈将如何被使用。以患者为中心的治理不应成为提取健康数据的另一条途径。

还有夸大公众共识的风险。一个小型咨询小组无法为每一项部署决策提供民主正当性。

患者意见应补充临床证据、技术测试、法律义务和公平性分析,而不能取代它们。

反过来,技术证据也不应压制亲身经历。一个模型可能达到总体基准,却为不符合常见模式的人带来严重困难。

正确的标准是具有实际后果的参与。患者参与应对围绕系统的规则、证据、界面或补救措施产生可追溯的影响。

如果没有任何变化,机构应能够解释原因。如果无法解释,以患者为中心的表述就已成为品牌宣传,而非治理。

三项信号将表明治理是否真正发生改变

下一项检验不是再发表一份原则声明,而是监管机构和医疗系统是否将患者权利转化为决策、控制措施和可衡量的证据。

第一项信号,是患者在医疗 AI 监督中拥有正式权限。FDA 已设有数字健康咨询委员会,可审查人工智能、网络安全和患者生成的数据。

该机构还在其医疗器械项目中维持以患者为中心的开发职能。关键问题在于,这些结构是否会影响具体的 AI 评估标准和上市后控制措施。

更有力的信号将包括:患者代表在审查高后果系统时拥有明确角色。公开的问题、建议或决策理由,会使这种影响更容易评估。

如果监管机构明确将患者意见与评估标准联系起来,Nature 对医疗 AI 治理的批评就会获得制度性力量。如果参与仍与核心 AI 决策相分离,Shen 和 Yu 指出的缺口就仍然存在。

第二项信号,是来自医院的采购证据。医疗系统应开始要求供应商记录患者参与、沟通计划、申诉渠道和亚组监测情况。

这些证据应在批准部署之前出现。合同签订后举行的患者咨询会议,无法证明患者对产品选择具有实质影响。

采购要求能够迅速改变开发者行为,因为它们将原则转化为市场准入条件。当买方要求可追溯性、覆盖控制措施和有记录的患者反馈时,供应商会作出回应。

可信的采购记录应显示哪些关切改变了配置或工作流程。它还应列明触发限制、暂停或撤回的条件。

如果医院采纳这类要求,以患者为中心的 AI 治理就会成为一种运营实践。如果它们继续只衡量技术性能和临床医生可用性,该主张就仍不完整。

第三项信号,是包含患者体验的部署后报告。当前监测通常强调准确性、事件、正常运行时间、覆盖操作和临床医生反馈。

这些措施固然重要,但并未涵盖所有伤害。患者可能遭遇困惑、关注延迟、沟通渠道不畅或信任丧失,却未必触发传统意义上的安全事件。

医疗系统应将患者投诉与申诉同模型版本、工作流程及受影响人群关联起来。随后,还应审查这些模式是否指向性能漂移或设计失效。

由于临床数据和供应商信息可能较为敏感,公开报告需要保持谨慎。即便如此,机构仍可披露治理方法、关切事项的类别以及由此采取的纠正措施。

这一信号将通过表明患者报告能够揭示可采取行动的风险,进一步强化患者参与的必要性。若缺乏可用的报告渠道,则会削弱“患者处于核心位置”的说法。

这三项信号构成了一条务实的链条。监管机构界定预期,医院将其转化为采购和部署规则,而监测则揭示这些规则是否真正有效。

这条链条也明确了压力落在谁身上。监管机构必须决定患者权利是否应纳入技术框架;医院必须将参与转化为权力;供应商则必须支持解释、审查与救济。

对于开发者和企业采购方而言,教训已经十分明确。医疗 AI 的质量如今不仅取决于模型在基准测试中的表现,也包括围绕该模型建立的治理机制。

对于临床医生而言,以患者为中心的治理可以减轻这样一种预期:由单一专业人员承担分布式技术系统所带来的全部风险。明确的权利与升级路径,会将责任分配给真正拥有控制权的各方。

对于患者而言,这种变化将更加根本。他们将不再只是 AI 介导决策的最终接受者,而会成为决定这些系统如何运行的获认可参与者。

这一结果并非必然。Nature 的这篇通信文章提出了明确批评,但并未提供完整的实施模型,也无法证明机构会采纳其中之一。

下一步,是在医疗 AI 进入照护流程的每一个环节提出具体问题:谁在审批前代表患者?患者能够理解哪些信息?他们可以质疑哪些决定?一旦发生失误,又将提供何种补救?

Nature 关于医疗 AI 治理的讨论如今点出了缺失的一方。监管机构、医院和开发者必须证明,这一认可是否会改变下一套系统抵达患者床旁之前谁拥有发声权。

 
 

免费开始使用

一款本地优先的AI助手

为了获得更好的人工智能体验,

remio 目前仅支持Windows 10+ (x64)和M-Chip Mac 。

你的 AI 工作伙伴

和 remio 一起高效工作

规划、创作、交付

一站式完成

bottom of page