top of page

中国研究团队刚刚开源了有史以来最大的超声AI数据集——医学影像AI可能从此不同

人工智能已经改变了放射学——针对X射线、CT扫描和MRI。超声,作为全球使用人数最多的成像方式,很大程度上被抛在了后面。

这一差距并非偶然。全球最大的开源医学影像数据集——NIH ChestX-ray14、MIMIC-CXR、CheXpert——都聚焦于X射线和CT。这些数据集之所以能达到如此规模,是因为西方医院系统以相对易于匿名化和标注的结构化格式生成、存储并最终共享胸部X射线数据。超声数据则不同。它依赖操作者、设备间缺乏标准化,且采集于临床环境中,成像质量因持探头者而异,差异巨大。

结果是,医学影像AI已针对仅占世界人口一小部分人可用的成像工具进行了优化,而大多数人使用的成像工具——廉价、便携、无辐射的超声——却几乎没有大规模的开放训练数据。

浙江大学和香港浸会大学的一个研究团队刚刚发布了可能是今年医学AI领域最重要的开源数据集:US-365K,包含364,000个超声图像-文本对和11,676个真实临床病例,已被CVPR 2026接收,并立即在HuggingFace和GitHub上开源。其对医学影像AI的影响远超学术基准。

发生了什么

论文标题为“Ultrasound-CLIP: Semantic-Aware Contrastive Pre-training for Ultrasound Image-Text Understanding”。作者包括Jiayun Jin、Haolong Chai、Xueying Huang、Xiaoqing Guo、Zengwei Zheng以及来自Zhejiang University City College、香港浸会大学、浙江大学和附属临床机构的同事,他们从中国各医院记录中构建了US-365K。

该数据集包含364,000个超声图像-文本对,配有临床报告文本,覆盖所有主要解剖区域。它还包括11,676个完整临床病例。数据有效率超过90%——对于如此规模的临床数据集而言 unusually high,这表明是经过仔细整理而非批量收集。

CVPR 2026作为主要计算机视觉会议,接受率约为25%。医学数据集论文获该会议接收,表明审稿人认为数据集质量和方法贡献都是该领域的真正重要贡献。

伴随数据集的模型——Ultrasound-CLIP——将CLIP(Contrastive Language-Image Pre-training)框架适配到超声领域。CLIP最初由OpenAI为自然图像开发,通过在匹配对上训练来学习对齐视觉和文本表示。应用于超声时,它学会将扫描的视觉特征与描述它的临床语言联系起来。论文基准上的表现:image-to-text retrieval @10达到37.45%,意味着模型在top 10结果中返回正确临床描述的频率超过三分之一。Text-to-image retrieval @50达到80.22%。

数据集和模型代码均可立即下载。无需数据共享协议。无需机构批准流程。无需等待列表。数小时内即可从HuggingFace下载。

为何医学影像AI直到现在才关注超声

大规模超声训练数据的缺失并非疏忽——而是超声数据本身具有真正难以大规模处理的特性所致。

X射线图像在不同医院看起来相似。X射线产生的物理原理是标准化的,DICOM文件格式统一,胸部X射线阅读教学方式数十年来一致。当NIH在2017年发布ChestX-ray14时,实际上是在发布一个标准化产品。在其上训练的任何模型都能合理泛化到其他医院的胸部X射线,因为图像共享基本视觉属性。

超声图像不具备这一特性。同一个患者的同一肝脏,由两名不同操作者在同一天使用两台不同机器成像,可能产生看起来截然不同的图像。探头角度、压力、频率、增益设置、患者解剖结构和操作者技术都会影响最终图像。适用于超声的医学影像AI必须考虑X射线或CT中根本不存在的方差。

标注挑战同样严峻。标注胸部X射线需要放射科医生。标注超声图像则需要了解实时操作者伪影、知道如何从二维横截面定位三维解剖结构,并能区分真实病理与探头依赖性伪影的专家。超声标注的专家池只是X射线标注专家池的一小部分。

先前尝试——2024年发表的Ultrasound Representation Foundation Model (URFM)——使用掩码图像建模在超过一百万张超声图像上预训练。它能识别超声中的视觉模式。但它缺乏配对临床文本,这意味着它无法将所见与临床医生所写联系起来。US-365K恰好提供了这种联系。364,000个图像-文本对是从视觉识别到临床语言理解的桥梁——这是URFM和所有先前方法都无法大规模弥合的差距。

CLIP适配在技术上并非易事。CLIP的原始训练涉及自然图像(物体、场景和人物的照片)与互联网抓取的文本描述配对。这些图像具有高视觉保真度、清晰主体,以及描述人类看到图像时自然会说的话的文本。超声图像是颗粒状、有噪声的(称为散斑伪影),且用假设大量解剖专业知识的临床语言描述。教会CLIP式模型对齐这两个领域需要真正的方法创新——而不仅仅是规模。

实际用例使技术利害关系具体化。莫桑比克农村的社区卫生工作者配备300美元的手持超声设备(Butterfly iQ及类似产品现以此价位销售)和在US-365K上训练的模型,可能筛查肝病、甲状腺结节或胎儿异常——这些情况目前需要专科放射科医生,而该医生可能不在一天路程内。可用成像设备与可用诊断专业知识之间的差距,正是AI可以弥合的,如果底层模型既能干又可及。开源US-365K是该应用存在的前提。

数据集做对了什么——以及没做对什么

US-365K以真正的严谨性解决了真实差距。但将其描述为已解决问题会误代表数据集能做什么和不能做什么。

它做对的是规模。在364,000个图像-文本对上,US-365K大约是MIMIC-CXR的三倍,后者是先前带配对文本的开源临床影像基准。规模对预训练很重要:更大的数据集产生泛化更好的模型,在异常输入上更优雅地失败,并且对定义真实世界临床部署的方差更稳健。数据集覆盖所有解剖区域(而非像先前小规模超声数据集那样聚焦单一器官系统)是第二个关键属性——在US-365K上预训练的模型原则上可以迁移到任何超声应用,而非仅其训练的特定临床情境。

超过90%的数据有效率在这一规模上值得注意,原因不同。许多大规模医学数据集通过牺牲质量来实现规模——接受噪声标签、不完整记录或模糊标注以换取数量。90%以上的有效率表明团队施加了真正的质量阈值,可能以显著的标注成本为代价。剩余10%——大约36,000个可能噪声对——对于预训练目的是可接受的,但在针对标签噪声可能导致系统性错误的具体临床应用进行微调时需要注意。

地理限制是最重要的警告。US-365K中的每个临床病例都来自中国医院。这反映了真实且合理的限制——研究团队有权访问中国医院数据,而以这一规模开源中国临床数据已经是考虑到数据共享监管摩擦的 unusually generous决定。但这意味着数据集反映了中国患者人口统计、设备校准标准、临床文档惯例和疾病流行模式。在US-365K上训练的模型可能在中国临床情境中表现良好,但需要大量微调才能在撒哈拉以南非洲、南亚或拉丁美洲可靠工作——这些是最需要可及诊断AI的人群。

检索与诊断差距是对于考虑基于US-365K构建的任何人而言最重要的技术限制。已发表指标衡量检索性能:给定超声图像,模型能否从候选集中识别正确的临床描述。这是一个有效且有意义的基准。它不是诊断准确性的测量——模型能否对新的、未见病例生成临床正确的诊断。检索性能与诊断准确性之间的差距很大,在医学AI文献中有充分记录,且仅靠数据集规模无法弥合。在US-365K之上构建临床应用的研究人员将需要前瞻性验证研究,测量正确的结局。

US-365K的诚实描述是作为赋能基础设施。ImageNet(2009)并未解决计算机视觉——它使任何拥有GPU的人都能进行严肃的计算机视觉研究。US-365K并未解决超声AI。它使任何拥有HuggingFace账户的人都能进行严肃的超声AI研究。

这与医学影像AI中现有内容的比较

医学影像AI数据集格局历来由西方医院系统的X射线和CT数据主导。NIH ChestX-ray14(112,000张X射线,无配对文本)和MIMIC-CXR(227,000张带放射学报告的胸部X射线)为开放临床影像数据的规模设定了标准。CheXpert(224,000张胸部X射线,Stanford)添加了不确定性标注。这三者都聚焦于胸部X射线。没有任何一个以任何规模接近超声。

超声的商业医学影像AI市场包括Caption Health(GE子公司)、Butterfly Network和Sonio——它们都基于不向外部研究人员开放的专有数据集构建了诊断模型。US-365K引入了一个开放替代方案,可能首次使没有医院数据访问权限的学术实验室和初创公司能够构建有竞争力的超声AI。

Stanford AIMI(AI in Medicine and Imaging)在发表后数天内已将US-365K编目为推荐资源——这一机构背书将加速采用AIMI数据集索引作为起点的研究社区。

WHO估计全球20亿人无法获得基本诊断成像。超声以其当前价位和便携性,是在低资源环境中扩展成像获取的最现实途径。一直缺失的部分是AI层——能指导非专科操作者、解释发现并在无放射科医生在场时标记异常的模型。US-365K是第一个规模大到足以 plausibly 训练能胜任该角色的模型的开放数据集。

接下来会怎样

早期的HuggingFace下载模式是US-365K影响首先落地的最佳领先指标。东南亚和非洲的研究人员已成为最早fork该数据集的人之一——这与超声AI具有最直接实际价值的人群一致。针对特定应用(甲状腺筛查、心脏评估、产科异常)的第一波微调模型应在六个月内出现。追踪超声AI应用演变格局的研究人员和临床医生将受益于构建一个结构化second brain,将数据集发布、模型发表和临床验证研究连接成连贯的研究图景。

地理偏差问题可解决,但需要有意识的努力。低收入和中等收入国家的研究团体将需要贡献本地标注数据,以使基于US-365K的模型适配其临床情境。这不是技术障碍——而是协调和资源障碍。浙江大学与非洲或南亚临床机构的伙伴关系可能产生使全球健康公平承诺成为现实的本地化数据集。

监管途径仍是US-365K发表与其在受监管市场临床部署之间最显著的障碍。医学AI数据集面临的任何基于它们构建的产品都需接受FDA审查(美国)和CE Mark认证(欧盟)。前瞻性临床验证——在 prospective study 设计中针对真实患者测试在US-365K上训练的模型,测量相对于放射科医生 ground truth 的敏感性和特异性——是所需的证据标准。US-365K使该研究成为可能;它并未使其完成。

融资维度在此很重要。医学AI的前瞻性验证研究昂贵——需要患者招募、放射科医生 ground truth 标注、IRB批准,以及发表前通常12-24个月的数据收集。下载US-365K的学术实验室拥有训练数据,但可能没有临床伙伴关系或资金来运行前瞻性验证。从“我们用US-365K训练了一个模型”到“我们有临床证据证明该模型用于筛查是安全的”之间的差距由 grants、医院伙伴关系和与设备制造商的商业关系填补。Butterfly Network、GE HealthCare及类似公司拥有临床研究基础设施和监管经验来弥合该差距——但它们也是可能更希望底层模型技术保持专有的潜在竞争对手。

数据集的中国起源也为针对西方市场的开发者提出了监管问题。FDA关于AI/ML作为Software as a Medical Device (SaMD)的指导要求开发者记录训练数据来源,包括数据采集的临床情境。在中国临床数据上训练的模型部署于美国医院筛查将面临关于中国疾病流行率、设备校准标准和临床文档实践是否充分代表美国患者人群的问题。这不是 dealbreaker——而是需要额外验证证据的要求——但这是开发者需要规划的考虑因素。

更长期的可能性是最有趣的。如果在US-365K上训练的模型展示出临床效用——特定筛查任务的敏感性和特异性与经验丰富的超声技师相当——这将给全球医疗系统施加压力,投资便携式超声基础设施。AI能力解锁硬件部署。硬件部署扩大获取。扩展的获取产生新数据。新数据改进模型。这一循环是否开始取决于接下来六个月的研究是否产生激励投资的结果。

US-365K发布反映了AI开发中的 recurring pattern:当关键基础设施变得开放和可及时,下游创新的步伐会急剧加速。ImageNet催生了一代计算机视觉模型。MIMIC-CXR使胸部X射线AI达到规模。US-365K可能对超声做同样的事。

该结果的限制不是技术性的——数据集和方法是可靠的。限制在于全球研究社区是否有资源和临床伙伴关系来完成开源数据集使能但不会自动完成的微调、验证和部署工作。

追踪AI和医疗保健中快速发展的研究动态正是结构化方法能带来回报的知识管理挑战。帮助研究人员和从业者捕获、连接并对AI healthcare dataset发展采取行动的工具使从阅读突破到用它做些什么变得更容易。

常见问题

US-365K是什么?

US-365K是由浙江大学和香港浸会大学的研究人员构建的开源超声AI数据集,包含364,000个图像-文本对和11,676个完整临床病例。它是迄今创建的最大的开源超声数据集,已被CVPR 2026接收,并立即在HuggingFace和GitHub上提供,无访问限制。

Ultrasound-CLIP是什么?

Ultrasound-CLIP是伴随US-365K的AI模型。它将OpenAI的CLIP(Contrastive Language-Image Pre-training)框架适配到超声领域,学习将超声图像与医院报告中的临床文本描述对齐。在论文的基准上,它实现了37.45%的image-to-text retrieval @10和80.22%的text-to-image retrieval @50。

US-365K与现有医学影像数据集相比如何?

在364,000个图像-文本对上,US-365K大约是MIMIC-CXR(227,000张带配对放射学报告的胸部X射线)的三倍,后者是带配对文本的开源临床影像的先前基准。与先前聚焦单一器官系统的数据集不同,US-365K覆盖所有主要解剖区域,使在其上预训练的模型能够迁移到任何超声应用。

US-365K现在能否用于构建临床诊断AI?

不能直接。该数据集使能能将超声图像与临床语言连接的预训练模型——但检索性能(US-365K测量的)和诊断准确性(临床部署要求的)之间的差距是显著的。在US-365K上构建的产品在FDA或CE Mark clearance前将需要前瞻性临床验证研究,测量相对于放射科医生 ground truth 的敏感性和特异性。

医学影像AI的下一个里程碑不是另一个数据集发布。而是第一个在真实临床环境中、针对真实患者、在测量对临床医生重要的结局的情况下,对在US-365K上训练的模型进行的前瞻性验证发表。那篇论文——无论何时到来——将告诉我们2026年4月是超声AI变得严肃的时刻,还是仅仅是另一个有希望的开始。

 
 

免费开始

一款本地优先的AI助手,具备个人知识管理功能

为了获得更好的人工智能体验,

remio 目前仅支持Windows 10+ (x64)M-Chip Mac

在你的大脑里添加一个搜索栏

Ask remio

记住一切

​无需整理

bottom of page