Microsoft MAI-DxO 研究登上《Science》,诊断 AI 测试迎来转变
Microsoft 于 10 月 22 日宣布,其 Microsoft MAI-DxO 研究发表于《Science》,并报告该系统在复杂模拟病例中的诊断准确率为 83%。MAI-DxO,即 Microsoft AI Diagnostic Orchestrator,会协调一个虚拟医生小组,在作出诊断结论前收集证据。核心争议在于,这些结果究竟证明了什么:它们表明该系统在受控条件下具备更强的诊断推理能力,但其临床有效性仍需独立证据加以验证。
这项工作挑战了那种一开始就向 AI 系统提供所有相关事实的评估方式。Microsoft 转而衡量系统决定请求哪些信息的能力。这一区别对那些以考试分数推销智能水平的医疗 AI 开发商构成压力,因为选择下一项检查会带来不同的失败可能性。
Google 的 AMIE 是一个用于诊断对话的研究系统,可作为有价值的参考。两个项目都在研究交互式推理,尽管其评估方式不同。更具决定性的竞争,在于能够给出令人信服答案的系统,与在信息逐步到来时仍能作出有用决策的系统之间的较量。
Microsoft MAI-DxO 研究更新了 2025 年首次提出的研究成果
10 月的公告通过正式发表、更广泛的评估,以及开放部分测试框架的方式,推进了一项既有研究计划。
Microsoft 的序贯诊断研究称,在复杂病例中,医生在没有参考资源时的准确率为 22%,有参考资源时为 36%。在急诊病例中,Microsoft 报告 MAI-DxO 的准确率为 80%,而医生为 47%。这些数字描述的是被评估任务的表现,而不是接受 AI 指导医疗服务的患者结局。
时间线很重要。Microsoft 在这次《Science》公告之前,已于 2025 年 6 月 30 日公开介绍这项工作。其早期诊断评估将其描述为一项研究演示,并承认参与测试的医生无法获得正常临床实践中可用的资源。
这一早期限制使得较新的、有参考资源辅助的对比尤其值得关注。读者在解读报告分数之间看似出现的变化前,应审视哪些条件发生了改变。不同的配置与评估条件,使得无法简单地进行年度间的性能比较。
发表也改变了这些发现进入讨论的方式。期刊论文提供了可供其他研究人员审查的正式研究记录。但这并不意味着公司公告中的每一种解读,都已成为独立确立的结论。
Microsoft 将该论文标注为发表于《Science》的“Sequential Diagnosis with Language Models”。在核查本文时,期刊全文无法访问。因此,本文中的数值结果仍归属于 Microsoft 可访问的公告,而非作为独立复现的发现呈现。
这一区分保护了该报道中有价值的部分。研究人员如今获得了一个更成熟、可供调查的主张,而不只是又一项关于聊天机器人理解医学的宣言。问题转而变成:所声称优势中的哪些部分,经得起替代性评估选择的检验。
读者还应将研究发表与产品可用性区分开来。发布基准测试说明的是一种评估资源;它本身并不能证明配套诊断系统已可用于常规临床部署。
同样的谨慎也适用于 Microsoft 用来描述其愿景的“超级智能”一词。该标签描述的是公司的方向,不能替代有关安全性、适当用途或改善医疗服务的证据。
因此,Microsoft MAI-DxO 研究不仅因其醒目的准确率,也因其实验方法而值得关注。它的贡献在于要求评估者审视通往答案的过程。这一路径包含的决策,单凭最终诊断结果无法揭示。
设想两个系统得出相同结论。其中一个请求相关证据,并修正最初的假设;另一个则安排了不必要的广泛检查,并通过排除法得出答案。若评分只依据最终标签,便可能掩盖这种差异。
这正是更新后的研究为何不仅关乎 AI 与医生之间竞赛的原因。它提高了描述诊断能力的标准。一项可信的比较必须说明每位参与者获得了哪些信息、可以使用何种辅助,以及控制了哪些决策。
医疗 AI 供应商面临展示答案形成过程的压力
当证据收集过程经得起审查时,一个有力的医疗答案会更具说服力。
对开发者而言,压力来自评估设计。针对完整病例摘要优化的系统,在关键细节尚不可得时,表现可能不同。交互式测试迫使系统通过其选择提出的问题暴露自身假设。
这也改变了错误的含义。错误诊断可能源于错误解读、遗漏提问、不恰当检查,或过早决定停止。即使最终得分相同,这些失败模式也意味着不同的工程补救措施。
企业买家应当关注这一点,因为部署决策涉及工作流程。评估软件的医院需要了解信息从何处进入、谁来审核建议,以及证据冲突时会发生什么。关于医学知识的宽泛主张无法解答这些运营问题。
这项研究也对只展示成功案例的演示构成压力。精心打磨的病例演练可以展示界面,却无法证明可靠性。买家需要了解失败模式、比较条件,以及覆盖预期使用场景的证据。
这并不意味着每种医疗 AI 产品都应追求自主诊断。文档支持、信息检索和诊断辅助承担着不同责任,其评估应与它们实际影响的决策相匹配。
例如,摘要工具可以保留临床医生的观察结果,而无需决定下一项检查。诊断代理则更主动地塑造可获得的信息。额外的影响力要求更仔细地审查遗漏及其后果。
Microsoft 与 Mayo Clinic 开展的独立医疗模型合作提供了商业背景。该合作于 2026 年 6 月宣布,将临床专业知识和数据与 Microsoft 的工程能力结合起来。合作伙伴描述的是一款医疗专用模型,而不是已宣布发布的 MAI-DxO 产品。
在阅读合作公告时,这一区别很重要。获得临床专业知识有助于研发,但并不能证明每个相关系统的有效性。每个产品仍需具备与其自身预期用途相对应的证据。
对 AI 公司而言,战略含义是,仅有模型访问能力并不能构成完整优势。组织还必须设计有用的交互模式,并证明这些模式如何影响决策。评估基础设施成为产品可信度的一部分。
对临床医生而言,相关比较应越来越多地纳入辅助实践。一套系统可能胜过孤立的参与者,却对获得充分支持的团队几乎没有额外价值。反过来,较为聚焦的助手也可以在不全面超越临床医生诊断能力的情况下提供价值。
当 Microsoft 诊断 AI 对比明确软件与临床医生之间的预期关系时,它就更具可操作性。系统是在收集病史、提出替代方案、确定检查优先级,还是审查既有计划?每种角色都需要不同的证据。
医学之外的知识工作者也面临类似的采购问题。AI 研究助手可能得出看似合理的结论,却遗漏一份足以改变结论的文档。评估检索和证据选择能力,可以揭示流畅文字所掩盖的弱点。
这种关联应保持务实。一套可搜索知识库可帮助团队整理技术证据以供审查。它不能提供临床验证,但说明了相关信息的获取为何与生成质量同样重要。
通过 Microsoft SDBench 所揭示的决策理解该基准
该基准将信息获取纳入任务本身,使评估者能够审视最终答案之外的内容。
SDBench,即 Sequential Diagnosis Benchmark,以交互式方式呈现病例。其诊断基准设计将负责请求信息的诊断代理,与提供病例细节的守门人,以及对诊断进行评分的裁判区分开来。
守门人在记录结果可用时返回相应发现;当请求的信息不存在时,则返回合成结果。裁判会根据参考诊断评估已提交的答案。这些支持组件塑造了用于衡量诊断能力的环境。
这种架构带来了一个重要的分析区别:系统可以在模拟环境中进行良好推理,同时受益于该环境中嵌入的假设。因此,复现研究需要在审查诊断代理的同时,审查支持组件。
该公开项目还区分了可用代码与不受限制的临床数据。NEJM 病例需要获得许可,而 MIMIC 数据需要具备相应资质才能访问。随附的合成示例支持开发和测试,并不用于报告诊断性能。
对研究人员而言,这些条件会影响“复现”这一主张的含义。运行演示只能证明软件能够执行;复现已发表结果则需要合适的病例、匹配的设置,以及对任何差异的清晰说明。
通过一个示例性的决策序列,最容易理解其机制。代理从有限信息开始,并考虑多种解释。它请求补充证据、修正判断,最终决定是继续检查,还是作出结论。
每一次转变都揭示了一项选择。代理可能请求能够区分合理替代方案的证据,也可能收集确认其最初想法的信息。两条路径在文字记录中都可能听起来合理,因此系统性评估不可或缺。
虚拟小组又增加了一层设计。分配不同角色可以鼓励相互竞争的解读,但角色名称并不能证明存在独立推理。多个生成的观点仍可能共享同一个错误假设。
因此,有价值的评估应询问这种附加结构究竟带来了什么。分歧是否识别出被忽视的证据?它是否恰当地改变了决策?额外讨论带来的结果改善,是否足以证明其运营负担合理?
这些实验性问题并不是否定编排——即围绕任务协调由模型驱动的步骤——的理由。关键在于厘清它带来的贡献。当对比结果显示复杂安排的结构带来实用增益时,它就应获得认可。
开发者可以在改变周边流程的同时保持底层模型不变,以测试这种贡献;也可以在保持流程不变的同时更换模型。这些比较有助于区分协调机制的改进与模型本身的改进。
若用实用角度理解 Microsoft SDBench,其核心理念是让中间决策承担可追责性。系统必须揭示它提出了什么请求,以及何时停止。与附着在不透明交互过程上的正确答案相比,这提供了更多可供审查的材料。
不过,可见步骤仍需解读。详尽的解释可能会在事后为糟糕决策进行合理化。评估者应将每项请求的行动与可用证据联系起来,而非奖励冗长表述或审慎推理的表象。
更广泛的意义在于,让这些选择变得可审查。研究人员可以分别质疑模型、交互规则或评估假设。这种分离比将诊断智能视为单一、未加区分的分数,更能促成有价值的讨论。
Google 的 AMIE 表明,诊断 AI 需要多种证据
交互式医疗 AI 已沿多条研究路径发展,其结果需要在尊重不同任务与环境的前提下进行比较。
Google 于 2025 年在 Nature 发表的对话式诊断 AI研究,通过与患者演员进行文本问诊来评估 AMIE。研究考察了诊断表现以及问诊质量的多个维度。作者同时提醒,该研究环境不同于常规临床实践。
这项工作提供了行业参考,但并未直接将其与 MAI-DxO 排名比较。参与者、病例、界面与评分方法各不相同,因而无法进行直接比较。一项研究中更高的数字,不能证明其优于在其他环境中测试的系统。
有价值的对照在于,各项评估分别聚焦于什么。对话研究可以考察交互是否收集了相关病史,以及是否实现有效沟通。序列式调查基准测试则可以考察系统在作出决定之前如何选择证据。
未来的临床助手可能同时需要这两种能力。如果患者无法理解,提出恰当的问题意义不大。同样,清晰沟通也无法弥补一个持续忽视矛盾证据的诊断过程。
因此,对 Microsoft 诊断 AI 的比较不应轻易沦为模型排行榜。模型排行榜按共同分数排列系统;临床评估则需要确定在明确使用场景中哪些能力至关重要。
竞争压力依然真实存在。强调对话质量的供应商将面对有关证据选择和诊断可靠性的问题;强调诊断准确性的供应商则将面对有关沟通、工作流适配性及不确定信息处理的问题。
模拟研究无法为任何一种路径提供完整背书。研究可以证明某项能力具有前景,同时其应用方式仍未得到解决。这一边界是可信发现的一部分,而不是宣传应当掩盖的缺陷。
对 MAI-DxO 的审慎解读,应从环境本身开始。合成回答使交互式病例在源记录缺少所请求的信息时得以继续。其真实性与一致性都是应接受明确敏感性测试的假设。
例如,评估者应询问,其他合理的回答是否会改变最终诊断。若表现能在这些变化下保持稳定,将增强信心;若出现大幅变化,则表明系统依赖模拟器提供的细节。
裁判机制也带来另一个问题。诊断标签的具体程度可能不同,部分正确的回答也可能得到不同解读。由人工审查模糊病例,将有助于厘清所报告的准确率究竟捕捉了什么。
病例选择同样重要。为诊断难度而挑选的病例集可以揭示推理失败,却未必代表最常遇到的情况。部署决策需要来自工具实际运行的人群和工作流的证据。
与人类的比较也应同样谨慎。参考资料获取、时间限制、可用背景信息以及对界面的熟悉程度,都会影响表现。公平的解读需要报告这些条件,而非将结果简化为“AI 击败医生”。
资源使用带来进一步的不确定性。在一致假设下,估算检查成本可以帮助比较不同选择。但这并不能自动证明在人员配置、基础设施、后续工作及错误后果等方面实现节省。
同一原则也适用于安全性。平均准确率将病例视为可计数的结果,而临床后果并不相同。评估者应考察系统会犯哪些错误,以及人们如何识别或纠正这些错误。
一个系统或许能提供有用支持,同时仍需要严格边界。反之,令人印象深刻的平均值也可能掩盖某种失败模式,使其不适合特定应用。任务在于通过证据识别这些边界。
这是最站得住脚的审慎立场:研究支持进一步调查,而其预期临床角色仍是另一项判断。它既不抹杀已报告的增益,也不将其转化为大规模部署的许可。
接下来的信号是复现、患者证据与可用的临床工作流
最有力的后续证据将表明,所报告的优势能否经受独立审查,并在明确环境中为医疗服务作出贡献。
在接下来的数月中,读者应首先关注独立复现。有价值的报告会说明所用病例、模型版本、评估设置,以及与 Microsoft 配置之间的差异。缺少这些细节,即使重现头条分数也仍难以解读。
若复现研究在合理的替代设置下仍保持优势,将强化研究主张;若发现结果对模拟器行为高度敏感,则会缩小其主张范围。两种结果都能增进对系统可靠表现边界的理解。
这里还应关注访问条件。发布代码为审查创造了机会,但复现仍依赖合适的数据和资源。重要信号是有据可查的评估,而不是下载某个代码库的人数。
独立研究还应审查失败情况。复现的平均值只能呈现部分图景。错误分析能够揭示系统是否在相似病例上失败、不确定性是否能预测错误,以及干预是否能改善结果。
第二个信号是前瞻性患者证据,即在观察结果前就已规划的评估。Microsoft 表示,其与 Beth Israel Deaconess Medical Center 的合作将涉及直接患者交互,并与独立医生评估进行比较。该公告描述的是计划中的评估,而非已完成的患者结局结果。
读者应在关注又一个性能头条前,留意是否发布研究方案。研究方案可以说明谁参与、系统做什么、临床医生如何持续参与,以及哪些结果构成成功。
准确收集病史的证据将支持一种应用类型。证明建议能够改善决策的证据,则将支持更广泛的角色。两者都不应自动被描述为改善长期健康结局的证明。
这一差异之所以重要,是因为临床研究可以很好地回答不同问题。可行性研究可以确定某种交互是否适合进入实践;比较结局研究则进一步追问,系统被使用后究竟发生了什么改变。
积极的患者证据将加强从模拟走向实际应用的理由。频繁的纠正、工作流中断或对不确定性的处理不当,则会表明仍需进一步开发的领域。其价值在于透明报告成功与局限。
第三个信号是具有明确责任边界的具体临床工作流。读者应寻找清晰说明:谁使用系统、它支持哪些决策,以及由谁审核其输出。笼统的合作措辞无法提供这些细节。
界定狭窄的角色可能比宏大的承诺更具信息价值。在问诊前支持证据审查,与在问诊期间推荐检查并不相同。所需验证和运营保障措施也由这一差异决定。
产品公告还应说明如何管理变更。更新模型或交互流程可能改变行为,即便界面看起来完全相同。买家需要知道他们所依据的证据支持哪个版本,以及如何评估后续修订。
竞争对手的发展也应通过同一视角解读。当范围明确时,新的对话能力、诊断结果或医院合作才具有意义。当供应商公开其评估条件,而非宣称存在普遍赢家时,比较会更有价值。
对开发者而言,这形成了明确议程:设计可审查决策的系统,保留评估所需的证据,并检验影响中间步骤的假设。应将不确定性和失败分析视为产品信息。
对企业买家而言,其含义同样直接。应要求与预期工作流相匹配的证据,包括与临床医生已获得的辅助条件进行比较。研究结果可以为试点提供理由,却不足以支持不受限制的使用。
对于关注医疗 AI 的知识工作者,Microsoft MAI-DxO 研究带来了一个更广泛的智能体评估启示:回答问题的能力与收集充分证据的能力彼此相关,却并不相同。当软件影响重大决策时,两者都需要接受检验。
在分享下一条诊断 AI 头条前,先从研究问题入手。确认系统是通过模拟记录工作、与患者演员互动,还是参与了实际临床接触。随后审视比较组获得了哪些辅助,以及何种结果被视为正确。持续关注 Microsoft MAI-DxO 研究的独立复现、患者研究和界定清晰的临床应用。随着这些证据脉络的发展,应将它们彼此区分。可信的采用依据会将它们联系起来,而不会跳过步骤。当下一项结果出现时,提出一个具体问题:这项证据现在能够为哪一项决策提供依据,又适用于谁?



