犹他州 AI 医疗沙盒扩大，但问责机制仍然滞后

尽管责任归属、联邦监管和独立证据等问题尚未解决，犹他州仍将其 AI 医疗沙盒扩展至三个临床试点。新协议涵盖痤疮治疗、常规处方续方和虚拟物理治疗。这些项目共同推动人工智能更接近直接影响患者护理的决策。

犹他州 AI 医疗沙盒已不再是仅涉及一项处方服务的狭窄实验。它正成为多家医疗保健公司和两大医疗系统的监管路径。犹他州还招募了六名外部评估人员，对参与系统的实际运行进行审查。

这次扩张引出了核心冲突。犹他州希望监管机构从真实临床应用中学习，而不是等待完美规则出台。医疗专业人士则认为，患者不应承担这一学习过程的风险。此前的 Doctronic 处方试点表明，这两种立场仍难以调和。

犹他州的沙盒正更深入地介入患者护理

犹他州正从测试一项颇具争议的服务，转向构建更广泛的 AI 介导医疗保健路径。

10 月 5 日，犹他州人工智能政策办公室宣布与 August AI、Nolla Health 和 Expect Fitness 达成协议。该州还与 University of Utah Health 和 Intermountain Health 签署了框架协议。

August AI 将测试用于管理慢性疾病的常规非管制药物处方续方。其试点采用分阶段准入机制，这意味着系统必须通过明确的审查阶段，才能获得更大的运营自主权。在获批阶段，处方在授权前必须由人类医生审查。

Nolla Health 将测试针对轻度至中度痤疮的视觉评估和治疗路径。其系统利用患者信息和图像协助进行初步评估。试点仍包含专科医生监督流程。

Expect Fitness 将测试一条由 AI 支持的物理治疗路径，用于产后恢复、尿失禁和盆底健康问题。与处方系统不同，该试点的核心是指导性运动和持续支持。其临床风险有所不同，但错误建议或漏掉警示信号仍可能带来后果。

该州的 10 月协议有效期为一至三年。参与者必须披露 AI 的使用情况，维持专项医疗事故保险，保留患者现有的法律救济，并遵守 24 小时事件响应要求。

University of Utah Health 和 Intermountain Health 获得的是另一类协议。其框架安排为未来试点提案建立了快速通道。该州表示，每个项目仍需单独审查，但机构层面的框架已经到位。

这一区别十分重要。犹他州并非只是批准五个独立产品，而是在建立一套基础设施，让更多医疗 AI 项目能够在协商确定的规则下接触患者。

监管沙盒是一项受监督的计划，暂时调整特定规则对有限测试的适用方式。犹他州表示，公司仍须遵守其他法律要求。该州还表示，获准进入沙盒并不代表获得背书或普遍性的产品批准。

这一模式偏向于在受控条件下进行观察。监管机构设定保障措施、收集运行数据，并利用研究结果提出永久性政策建议。这种方法可以发现实验室测试遗漏的问题，包括用户行为变化以及系统在不同患者群体中的表现差异。

然而，医疗保健并不是一个低后果的测试场景。不准确的购物推荐只会令人烦恼；错误的药物续方、漏掉禁忌症或不适宜的运动建议则可能造成身体伤害。

因此，这三个新试点不能仅被视为软件试验。每个项目都将部分临床工作交给自动化系统。关键问题在于：当这种分工产生错误结果时，谁仍需承担责任。

自首个处方实验引发批评以来，犹他州已增加保障措施。然而，此次扩张发生在该州尚未完成责任框架、也未获得明确联邦立场之前。因此，这一沙盒同时扩大了学习机会和未解决的风险敞口。

早期处方试点仍定义着这场争论

Doctronic 引发的争议，将一场抽象的政策实验变成了关于谁能行医的争论。

在犹他州允许 Doctronic 处理常规处方续方后，该州的沙盒开始受到全国关注。患者可以确认身份、提供医疗信息，并通过 AI 驱动的流程申请续方。

该系统可以通过药房数据核查处方历史，并将符合条件的病例引导至续方流程。出现复杂情况的请求可转交给临床医生。在初始阶段，人类医生会审查医嘱，而该公司预计后续将实现更高程度的自动化。

最初的适用清单涵盖 190 种药物。批评者认为，“常规”续方这一标签并不安全，因为患者健康状况可能在两次处方之间发生变化。一种此前适宜的药物，可能因新诊断、药物相互作用或症状变化而变得危险。

犹他州医疗执照委员会表示，它是通过新闻报道才得知该试点。随后，11 名委员会成员呼吁立即暂停该项目，认为医疗专业人士本应在实施前审查该提案。

委员会主席 Alan Smith 医生强调了随访就诊中可能出现的临床信息。寻求续方的患者可能已经出现会改变药物风险的病情。自动化系统必须识别这一变化，或可靠地将病例转交出去。

这场争议迫使项目作出具体修订。根据州官员的说法，在受到审查后，犹他州将 Butalbital 和 Flecainide 从适用清单中移除。Flecainide 用于治疗某些心律不齐，而 Butalbital 出现在部分头痛药物中。

州 AI 政策主管 Zach Boyd 直言不讳地描述了这一反应：“We hit a nerve.” 这句话反映的不只是专业人士的抵触。该试点跨越了辅助临床医生与承担历来属于持证处方开具者职责之间的界线。

此后，医疗委员会成立了一个每周与州监管机构会面的工作组。Boyd 表示，双方关系的改善源于六个月的讨论以及对项目的更新。这证明了机构适应能力，但也表明，重要的临床咨询发生在项目启动之后。

这场处方争议引发了相互竞争的解读。支持者认为，常规续方是一个受限的应用场景，能够减少延误并改善可及性。批评者则认为，处方权正在向软件转移，而证据和问责机制尚未跟上。

Doctronic 此前表示，在超过 99% 的案例中，其建议与人类处方决定一致。这一数据基于公司自身资料，且未经同行评审。

另一项由公司撰写的研究考察了 500 次远程医疗咨询记录。报告称，其诊断与人类医生的一致率为 80%。据扩大试点宣布时可获得的报道，该研究同样缺乏独立审查。

这些数字不能被视为可以相互替代。在选定的续方决策上达成一致，与在更广泛临床场景中的诊断表现并不相同。单凭任何一个数字，都不足以证明持续部署的安全性。

这场争议还揭示了测试会随时间变化的产品有多么困难。模型更新、新患者群体、不同药物以及调整后的工作流程规则，都可能影响表现。某一版本的有利结果并不能自动验证下一版本。

新试点继承了这段历史。犹他州如今要求更多临床参与和外部评估，但其基本战略保持不变。该州允许有限部署，以生成部署前并不存在的证据。

这一顺序给医疗委员会、医院和联邦机构带来压力。如果它们置身于流程之外，州官员和供应商就会定义运行规则。如果它们参与其中，则会帮助赋予它们可能认为尚不成熟的实验以正当性。

犹他州 AI 医疗沙盒以速度换取未解决的问责问题

沙盒可以加快受监督的测试，但无法通过协商回避谁该为患者伤害负责这一问题。

犹他州的模式向参与企业提供监管宽免，以换取商定的限制、披露、监测和数据。这种交换在监管机构能够清晰界定所调整规则时最为有效。

责任问题并不完全契合这一框架。犹他州官员已认定，AI 办公室无权通过沙盒协议改写责任法。如果患者受到伤害，现行法律仍将决定哪些个人或组织可被追究责任。

即时保障措施包括专项责任保险，以及禁止要求患者放弃法律索赔。这些措施保留了获得赔偿的途径，但并未解决责任应由供应商、医生、医疗系统还是其他参与者承担。

Boyd 曾警告，默认安排可能会让医生承担过多责任。这会造成根本性的不匹配：医生可能仍需为一项由其未参与设计、训练或全面审查的系统生成的决定承担法律风险。

要求人工批准并不能自动解决这一问题。当临床医生面对高工作量、不完整的解释，或有强烈动机接受自动化建议时，人工审查可能流于形式。审查者实际识别错误的能力，比是否存在批准按钮更重要。

相反的安排同样会带来问题。让供应商直接对每一项自动化输出负责，可能会阻碍有益的实验。当医院配置系统、提供不完整数据或忽视升级警告时，这也可能模糊责任归属。

犹他州正在制定旨在开始处理这一分歧的立法。Boyd 表示，官员希望在该州立法机构的中期会议期间提交一项责任法案。他将这项工作描述为多年进程的起点，而非最终解决方案。

这一时间表揭示了其中的权衡。临床试点正在运行，而持久的问责结构仍在制定之中。保险充当了临时桥梁，但犹他州自己的监管者已质疑这座桥梁是否可持续。

随着自动化程度提高，问题会变得更棘手。August AI 的当前试点要求处方获批前由医生审查。Nolla Health 包含专科医生监督。如果早期证据看起来有利，未来阶段可能会减少人工参与。

每一次减少监督，都会改变控制权的分配。因此，这应当触发新的责任分析，而不只是技术性能检查。

“人类引导”这一术语同样需要精确定义。人可以指导系统设计、批准特定案例、监控整体结果，或在事故发生后进行干预。这些角色提供的保护程度各不相同。

州政府表示，每个试点都将保持严格监督。然而，监督并非单一保障。它包括获取决策日志的权限、临床审查权、事故发现能力、执法权力，以及叫停部署的能力。

患者还需要知道，究竟是哪一个实体作出了具有实质影响的决定。笼统的 AI 披露并不能说明医生是否审查过该建议，或哪个组织持有相关医疗记录。

问责问题并不止于犹他州。供应商希望产品能够跨多个州运行。医疗执业法律、专业执照要求和责任标准因司法管辖区而异。

Boyd 曾描述过一种制度的吸引力：系统只需接受一次审查，便可广泛部署，并由各司法管辖区共同监督。这样的模式可以减少重复审查，并形成更一致的预期。

不过，一个成功的全国性模式需要获得各州、联邦监管机构、临床医生和法院认可的权威机构。犹他州可以测试治理流程，但无法独自建立这种权威。

因此，该州的试验正促使立法者在自动化成为常态之前明确责任。它也促使供应商接受超出技术准确性声明范围的义务。

对企业采购方而言，这一教训并不限于医疗保健。任何将 AI 部署到具有实质影响的工作流程中的组织，都需要保留可追溯的证据、决策和升级规则记录。结构化的知识工作流可以帮助团队关联政策与源材料，但文档记录无法取代临床问责。

独立评估是犹他州押注的核心

犹他州的可信度如今取决于独立评估者能否及时产出供监管机构和临床医生审查的证据。

该州已招募六家组织评估沙盒参与者：Coalition for Health AI、Clarion AI Partners、Glacis Technologies、mpathic AI、Vega Health 和 Stanford Clinical Excellence Research Center。

其职责包括测试技术声明、审计决策报告，以及依据医疗标准评估临床表现。据犹他州官员称，未来的医疗保健试点必须与独立评估者签约。

这一要求直接回应了对供应商自行报告结果的批评。公司在商业上有动力强调有利结果。外部评估者可以质疑研究设计、审查失败案例，并区分产品声明与可复现证据。

犹他州的临时证据标准围绕三个假设组织评估。参与者应证明 AI 辅助医疗不劣于传统医疗，追踪身体和心理伤害，并衡量可能带来的公共卫生益处。

在得到恰当应用时，非劣效性是一个要求严格的概念。它需要预先定义比较对象，并设定测试路径与常规医疗之间可接受的差距。含糊地称用户似乎感到满意，并不能达到这一标准。

安全要求同样不能只看投诉数量。有些患者可能永远不会将后续健康问题与自动化建议联系起来。另一些患者可能会向医生而非公司或州政府报告症状。

公共卫生收益同样复杂。更快获得服务可以改善医疗，尤其是在临床医生稀缺的地区。然而，便利性指标并不能证明临床质量。系统可以快速完成请求，却遗漏那些本应在就诊期间发现的变化。

犹他州预计将制定针对试点项目的评估计划。Vega Health 首席执行官兼联合创始人 Mark Sendak 对 Nextgov/FCW 表示，相关数据将取决于应用场景、人群、结果和系统规格。

这种灵活性是合理的，因为痤疮评估、药物续方和盆腔健康治疗涉及不同风险。单一基准会掩盖这些差异。

灵活性也可能降低可比性。如果每家公司和评估者都选择不同指标，公众可能难以判断哪些试点表现良好。犹他州必须公布足够的方法细节，才能让有利结论具有意义。

持续评估是另一项必要特征。当模型、界面、患者群体或运行规则发生变化时，临床 AI 系统可能出现漂移。Sendak 预计评估者将重复评估，并向州政府提供更新信息。

这种预期比一次性认证更严格。它承认，系统的安全状况属于特定版本和特定环境。经过验证的产品可能在重大变更后不再处于已验证状态。

不过，仍有几个实际问题尚待解答。公众需要知道谁支付评估者费用、如何披露利益冲突、他们可以访问哪些数据，以及公司是否可以限制结果发布。

读者还需要清楚区分评估者的角色与监管执法。审计者可以发现问题。只有获授权的监管机构或参与的医疗系统才能施加后果、限制使用或暂停试点。

犹他州已承诺与立法者和公众分享试点数据。这一承诺的价值取决于时效和细节。在部署很久之后才发布的汇总摘要，无法支持有意义的外部审查。

Boyd 在讨论该州的预期文件时承认存在不确定性。他表示，“一半”可能不准确，同时也称其为现有最成熟的框架之一。

这一评论颇具参考价值，因为它揭示了沙盒的前提。犹他州并未声称拥有一项定论标准，而是将该框架视为一个会被部署数据修正的动态假设。

这种坦诚并不能消除风险。它反而提高了透明版本历史、事故报告以及保障措施发生变化时公开说明的重要性。

因此，评估者网络是犹他州监管押注的核心。如果它能够生成可信且可比较的证据，沙盒就能为更好的政策提供参考。如果它只是为供应商主导的研究增加外部机构名称，那么扩张只会以更大规模重现同样的证据缺口。

责任与联邦监督仍是悬而未决的问题

州级监督无法解决 FDA 的角色问题，也无法为临床 AI 建立全国标准。

美国医疗监管将权力分配给联邦和州级机构。各州监管医疗执业并颁发专业执照。美国食品药品监督管理局负责监督许多医疗产品，包括符合条件的软件功能。

当软件不再仅仅提供行政支持时，这一边界便变得模糊。能够评估病情、推荐治疗或影响处方的系统，可能类似于医疗器械软件。它也可能类似于传统上由各州监管的医疗执业行为。

Doctronic 的领导层将其系统视为州级监管医疗执业的一部分。根据此前报道，该公司没有公开澄清是否寻求 FDA 授权。

在被问及此前的处方项目时，FDA 表示尚未授权任何 AI 聊天机器人。该机构还表示，在将安全置于决策核心的同时，支持医疗创新。

这一声明并未确定犹他州的系统是否需要上市前审查。在宣布新试点时，联邦机构尚未公开干预犹他州的试验。

这种沉默之所以重要，是因为沙盒可能在司法管辖权问题得到解决之前就形成运营先例。其他州正在考虑各自的路径，而得州和怀俄明州也曾对部分 AI 活动使用豁免。

多个州的立法者已考虑制定正式许可 AI 医疗服务的立法。这一趋势可能形成碎片化局面：相似系统面临不同的证据、披露和监督要求。

逐州推进为公司测试狭窄服务提供了空间。它也可能鼓励监管套利，特别是当供应商可以选择审批更快或要求更宽松的司法管辖区时。

联邦参与可以带来一致的技术预期。然而，集中式上市前审查可能进展缓慢，也可能难以应对频繁更新的模型。犹他州的持续监测方法试图解决这一局限。

最强的框架很可能需要两个层级。联邦机构可以定义产品层面的要求，而各州则保留对专业执业和本地部署的控制权。共享数据标准可以减少重复工作，而无需将一个试点视为普遍证明。

在这种结构建立之前，医院和临床医生仍面临不确定性。州级协议可能允许测试，但并不保证符合联邦法规。它也无法让组织免受医疗过失索赔或声誉损害。

犹他州医疗执照委员会此前的反对意见显示了另一项治理风险。当技术办公室围绕专业规则协商豁免时，专业领域监管机构可能失去影响力。

该委员会的每周工作组是一项改进。未来试点应在协议投入运行前纳入相关临床主管机构。公共争议发生后才进行咨询，是发现专业知识缺口的一种高成本方式。

安全测试增加了另一层尚未解决的问题。研究人员此前报告称，他们曾操纵 Doctronic 的公开聊天机器人，使其生成有害回应。该测试并未针对犹他州试点中使用的受保护系统，因此不能证明临床部署存在同样的漏洞。

不过，这一事件说明了针对特定环境开展红队测试的重要性。公开演示和受保护的临床系统可能共享模型组件，却使用不同的控制措施。监管机构必须测试已部署的配置，而不能从任一版本推断安全性。

医疗委员会争议也对“处方续方只是简单行政事项”的观点提出了质疑。当患者情况发生变化时，续方可能需要新的临床判断。

这一担忧以不同方式适用于新试点。痤疮图像可能无法呈现潜在病症。物理治疗系统可能无法识别需要线下评估的症状。续方工具可能缺少其他医疗服务提供者的最新记录。

因此，升级处理表现应与自动化准确性获得同等关注。谨慎的系统将不确定案例转交处理，可以保护患者，尽管过度转交可能会抹去其声称的服务可及性优势。

犹他州的框架将取决于其如何处理这些张力，而不是批准了多少试点。核心衡量标准是，系统是否在患者遭遇限制之前识别出这些限制。

三个信号将显示该模式是否有效

下一项考验并非又一次公告，而是犹他州是否公布证据、明确责任，并在保障措施失效时采取行动。

第一个信号是拟议中的责任立法。犹他州官员预计将启动一项为期多年的立法工作，以解决自动化系统的责任问题。

最初的法案应表明，立法者是否打算让供应商承担直接责任、保留临床医生的责任，或根据实际运营控制权分配责任。含糊的措辞会使沙盒仍依赖临时性的保险要求。

一项可信的提案还应处理试点阶段之间的变化。责任应随权限而定。如果供应商的系统在更少医生审核的情况下行事，供应商的义务也应相应增加。

第二个信号是评估方报告的质量。这六家外部机构需要获得决策日志、事件数据、系统版本以及相关临床结果。他们公开发布的工作应说明方法、对照组、局限性和利益冲突。

犹他州据报道的框架要求随着模型和患者群体变化进行反复评估。首批公开的评估将显示，这一承诺是否能带来切实的透明度。

如果报告仅提供宽泛的安全性结论，将削弱犹他州的论据。包含明确失败类别的详细版本化结果会增强其说服力，即使这些结果暴露出问题。

第三个信号是，试点阶段如何在新证据出现后发生变化。August AI 目前要求在授权处方前进行医生审核。Nolla Health 采用专科医生监督，而 Expect Fitness 则在既定的物理治疗路径内运营。

如果监督力度下降，犹他州应说明哪些证据证明这一变化合理。它还应公布升级处理率、重大事件，以及将服务或药物移出适用范围的原因。

此前将 Butalbital 和 Flecainide 从 Doctronic 清单中移除的决定，提供了一个有益的先例。它表明，审查能够改变一个正在运行的项目。同样的严谨标准必须适用于扩展后的全部项目组合。

医疗系统应密切关注这些信号。University of Utah Health 和 Intermountain Health 现已为未来提案设立快速通道。它们的机构声誉为该沙盒带来了更大的影响力，但也提高了审查不力的代价。

开发者也应关注同样的证据。犹他州正开始界定临床 AI 供应商需要提供哪些日志、披露、安全措施和评估流程。这些要求可能在国家标准出台前很久，就影响产品架构。

企业采购方应将重点放在治理，而非醒目的准确率声明。他们需要了解系统如何处理不确定输入、不完整记录、人群变化、模型更新和人工升级处理。

患者应获得对更简单问题的易懂答案。是否使用了 AI？临床医生是否审核了结果？系统使用了哪些信息？如果出现问题，他们应联系谁？

犹他州 AI 医疗保健沙盒值得关注，因为它将政策争论转化为运行机制。它的试点将产生理论辩论无法提供的证据。同时，它也会让患者接受在官员公开承认尚未完善的规则下作出的决策。

这并不意味着该实验天然鲁莽或天然负责。结果取决于当证据与预期相矛盾时，监督机制反应的速度。

未来数月，请忽略加入沙盒的公司数量。关注责任法案、首批评估方报告，以及人工审核的每一次变化。这些信号将揭示，犹他州是在建立可问责的临床测试机制，还是仅仅在加速部署。