top of page

Google Gemini 血压计验证结果暴露高风险 AI 搜索失败

3天前
讀畢需時 14 分鐘

在一项涵盖 324 台设备的测试中,Google Gemini 在四款主流 AI 工具中表现最佳,但其血压计验证回答仍有高达 14% 的错误率。ChatGPT、Microsoft Copilot 和 Perplexity 的表现更差,准确率约在 63% 至 83% 之间。

这项初步研究测试了这些服务能否识别已通过独立临床验证的家用血压计。研究人员已通过公认的注册名录掌握每台设备的验证状态。聊天机器人只需找到并正确解读这些公开证据。

这项看似简单的检索任务暴露了更深层的矛盾:对话式 AI 可以给出看似完善的健康建议,却未必能可靠地将产品名称关联到应当支撑其回答的权威记录。

这些发现并不能证明某一款聊天机器人整体上比其他工具更安全。但它们说明,相比普通消费者搜索结果,充满自信的健康产品建议应受到更严格的审视。

该研究测试了四款 AI 工具中的 324 台血压计

研究人员于 2026 年 4 月和 5 月在加拿大评估了 324 台家用血压计,其中包括 145 台已验证设备和 179 台未验证设备。

研究人员从三个验证注册名录、已知未验证设备清单,以及 Amazon 上热销的血压计中组建了样本。纳入的产品在加拿大、澳大利亚和美国销售。

每台设备均使用 Google Gemini、OpenAI 的 ChatGPT、Microsoft Copilot 和 Perplexity 进行核查。这些服务将语言模型与搜索或检索功能结合,但其具体系统和来源选择方法各不相同。

研究人员针对每台血压计提交了三种提问形式。其中一种模拟普通消费者的问题,另一种则明确要求聊天机器人查询指定的注册名录。

第三种提示提供了更多细节,并要求用一个词作答。这一设计测试了更清晰的指令能否促使工具得出可靠结论。

这项初步研究结果于 2026 年 10 月 8 日公布,并在弗吉尼亚州阿灵顿举行的美国心脏协会高血压科学会议上发表。

Google Gemini 的结果最强。根据提示语措辞不同,其回答正确率介于 86% 至 91% 之间。

但这一结果仍意味着约 9% 至 14% 的错误率。在庞大的产品目录中,这为错误推荐或错误排除留下了许多空间。

ChatGPT、Copilot 和 Perplexity 的回答正确率约为 63% 至 83%。已发布的摘要并未提供每种提示形式下各模型的完整细分数据。

这些错误还呈现不对称性。四个系统在识别已验证设备时,都比识别未获验证的设备更困难。

这一差异至关重要。即使支持性注册记录已公开可查,聊天机器人仍可能错误地否定一台经过临床验证的血压计。

它也可能让用户对设备状态形成错误印象。该研究的公开摘要没有提供足够细节,无法量化由此产生的每一种消费者情境。

研究人员对最初出现结果不一致的 20% 设备进行了复测。三名检查人员在不同电脑和不同日期重复这些搜索,主要集中在 2026 年 5 月。

同一聊天机器人有时会对同一个问题给出不同答案。这种不一致削弱了“重复搜索健康产品即可确认首次结果”的假设。

该研究仍属初步研究。会议摘要会经过展示审查,但不会接受已发表论文所经历的完整同行评审。

完整摘要计划于 2026 年 11 月发表在《Hypertension》会议增刊中。在此之前,现有公告对错误分类和统计比较仅提供有限信息。

核心结果已经明确:四款知名 AI 工具在一项公开注册名录中已有明确记录的验证任务上表现不佳。

为什么 Google Gemini 的血压计验证仍未达标

Google Gemini 的血压计验证在研究中表现最佳,但排名第一并不意味着其输出足以让用户在无人监督的情况下据此做出健康决策。

在一般搜索基准测试中,91% 的准确率听起来很高。但当用户据此选择用于监测慢性疾病的设备时,这一数字的意义就不同了。

关键问题并非缺乏相关信息。已验证产品均在专门帮助临床医生和消费者寻找合适设备的注册名录中留有记录。

该研究的报告作者、蒙特利尔大学内科住院医师 Anna Soriano 称,这一结果有悖直觉。Soriano 表示,工具有时找到了正确的官方页面,却未能将注册名录中的记录视为设备获得验证的证据。

这种行为将检索与解读区分开来。找到与产品相关的文字,并不等于理解该页面权威地证明了什么。

传统数据库查询可以应用严格规则:如果准确的设备型号出现在获认可的注册名录中,系统便返回其列出的状态及支持性记录。

语言模型的工作方式不同。它根据指令、检索到的文本、模型知识以及为此次交互汇集的上下文来预测答案。

这一过程中可能出现多个失误点。搜索可能检索到相似型号而非准确产品;经销商也可能使用缩写或区域性产品名称。

模型可能混淆监管许可、制造商营销与独立临床验证。这些术语在普通文本中看似相关,实际却代表不同的证据标准。

聊天机器人也可能找到正确的注册名录页面,却赋予其错误含义。鉴于已验证设备产生了更多错误,这一点似乎与本研究尤其相关。

提示语措辞同样改变了表现。尽管每台血压计的基础状态固定不变,Google Gemini 在三种提问形式中的得分仍有所不同。

这表明对话式呈现方式影响了事实分类。更好的提示改善了结果,却未能消除错误。

要求用一个词回答也可能掩盖不确定性。这种格式阻止模型展示它匹配的是哪个型号、查询了哪个注册名录,或证据在哪些方面存在冲突。

更长的回答或许能揭示这条推理链,但篇幅本身并不能保证准确。流畅的解释可能让不确定的证据听起来像是已成定论。

因此,Google Gemini 的血压计验证结果揭示的是产品设计问题,而不只是一次常识问答失误。用户看到的是答案,而检索和实体匹配过程大多仍被隐藏。

人们可能将该回答理解为数据库结果。实际上,它可能是由多个不确定步骤拼合而成的生成式结论。

当两款产品共享品牌、外壳或几乎相同的型号时,这一区别尤为关键。验证适用于特定设备和特定人群,并不会自动覆盖整个制造商的所有产品。

一台获验证适用于普通成年人的血压计,未必同样拥有适用于孕妇、儿童或特定臂围人群的等效证据。普通聊天机器人的回答可能抹平这些区别。

Google Gemini 的相对领先仍具有参考价值。这表明模型设计、检索质量、提示处理或来源解读能够改善这项任务。

不过,该研究并未分离出究竟是哪一项组件造成了差异。它也未显示在模型或搜索系统更新后,Gemini 仍会保持领先。

Google Gemini 赢得了这次比较,但其残余错误表明,即便是获胜的聊天机器人也无法替代确定性的注册名录核查。

获验证的血压计不只是获得认可的产品

“验证”一词在血压测量中有精确含义:它表示独立测试发现,一台设备在获接受的临床方案下能够持续保持准确。

这不同于产品在商店上架、拥有知名品牌,或满足合法销售的基本要求;也不同于获得积极的客户评价。

聊天机器人很容易模糊这一差别,因为产品页面常将这些说法并列呈现。营销文案可能使用“准确”“临床测试”和“获批准”等措辞,却并未建立等同的证据。

美国注册机构 ValidateBP 通过独立专家委员会审查测试文件。设备必须符合该注册机构的标准,才能获得列名。

STRIDE BP 提供由高血压专家维护的国际参考名录。其当前网站称,已批准 551 台设备,其中 294 台被列为优选设备。

这些数字仅覆盖市场中的一小部分。STRIDE BP 数据显示,市场上可购买的电子血压计超过 5,000 台。

这一差距有助于解释消费者为何会向 ChatGPT 或 Gemini 寻求帮助。在产品页面和专业注册名录之间比对名称可能十分繁琐。

这也解释了为何答案不能安全地建立在一般品牌认知之上。许多设备没有公开的验证证据,而同一公司的相似产品可能拥有不同记录。

一篇重要的国际立场文件在生成式聊天机器人成为常见消费工具之前就研究过这一问题。它估计,当时约 3,000 台袖带式设备中,拥有已发表准确性证据的不足 15%。

这篇设备准确性综述将薄弱或缺失的验证要求与广泛的不确定性联系起来,并建议依照获接受的国际标准强制开展独立测试。

该论文还将血压准确性描述为患者安全问题。读数被高估可能导致不必要的治疗、焦虑和可避免的后续检查。

读数被低估则可能掩盖高血压并延误预防性护理。当此类系统性小误差影响到庞大人群时,其影响会变得显著。

设备验证并不保证每一次家庭测量都准确。测量技术、袖带尺寸、身体姿势、测量时机和设备维护都会影响读数。

然而,正确的测量方法无法修复测量机制缺乏充分准确性证据的血压计。设备本身和用户的测量流程都需要受到关注。

这也是为什么聊天机器人的错误否定同样重要。如果 AI 将一台获验证血压计标记为未验证,消费者可能丢弃合适设备,或购买较差的替代品。

研究中的不对称性使这种情境不只是理论假设。四款聊天机器人在识别已验证血压计时的准确率都更低。

这种模式带来了除不安全背书之外的第二重风险。AI 搜索可能因为无法理解支撑合法产品的证据,而削弱人们对这些产品的信任。

因此,可靠的回答需要的不只是“是”或“否”。它应明确具体型号、注册名录、适用人群及证据日期。

它还应区分“未列入”与“已被证明不准确”。未出现在登记册中,可能意味着证据不足、证据不可获得、仍在审核,或从未提交。

该研究按已知验证状态对设备进行了分组,用于实验。消费者面对的市场则更为复杂:产品目录不断变化、地区名称不一、文档也并不完整。

临床验证是特定型号的证据状态,而不是聊天机器人可以根据周边产品描述安全推断出的声誉评分。

ChatGPT 和 Copilot 面临同样的证据问题

ChatGPT、Copilot 和 Perplexity 的准确率区间低于 Google Gemini。它们的表现加剧了人们对于通用 AI 助手如何传达健康产品证据的担忧。

不应将这项研究解读为永久排名。AI 服务会变更模型、搜索合作伙伴、系统提示词、索引和界面,却未必能保持相同的消费者使用体验。

5 月测试得到的回答,可能与 10 月生成的回答并不一致。这种不稳定性本身就是问题的一部分。

用户很难判断,某项改进是反映了事实可靠性提升,还是检索结果的暂时变化。他们甚至可能不知道究竟是哪一个底层模型回答了自己。

这项测试也只涉及一项狭窄的任务。它没有比较诊断、治疗规划、紧急情况建议,或对实际血压读数的解读。

因此,它不能证明 ChatGPT 在健康场景中整体上不如 Gemini。它只衡量了研究人员提交的设备验证问题上的表现。

不过,任务范围狭窄反而强化了一种解读:即使任务只是将产品与结构化公开名单进行匹配,这些工具仍然表现不佳。

这比评估症状或权衡治疗选择更少歧义。如果登记册核验仍不可靠,那么对更复杂医疗推理就应更加谨慎。

这些结果也挑战了 AI 搜索背后一个常见承诺。这类产品被营销为能够查找信息并将其综合为直接答案的界面。

这种界面消除了可见的操作摩擦。用户不再需要打开多个页面、比较型号,并判断哪个来源具有权威性。

消除摩擦可能很有用,但也会移除核查点。用户可能永远不会发现,聊天机器人依赖的是零售商信息、制造商声明,或不相关的型号。

只有当引用支持确切结论时,引用才有帮助。链接到登记册主页,并不能证明某个特定血压计出现在其获认可名单中。

这是一个溯源问题。溯源描述了一项声明来自何处,以及证据如何与最终表述相连。

对于高风险搜索,界面应展示这种关联。它可以显示匹配的登记册记录、准确型号标识、适用人群和访问日期。

当产品身份仍不确定时,它也可以拒绝给出二元结论。要求提供标签照片或完整型号,会比猜测更安全。

聊天机器人不一致的复测结果又带来了另一项担忧。用户无需更换设备或底层证据,就可能收到相互矛盾的答案。

这种行为在生成式系统中很常见。采样、检索结果、上下文构建和平台更新都会影响回答。

这些机制用于生成多个标题创意时可以接受。但在依据固定登记册对医疗设备进行分类时,就更难以合理解释。

确定性层可以处理这部分请求。语言模型随后可以解释已验证的结果,并帮助用户找到后续指导。

这种设计会将事实查找与对话式解读分开。当出现问题时,也能形成更清晰的审计轨迹。

构建健康搜索功能的开发者应将有登记册支撑的声明视为结构化数据任务。仅靠检索增强生成并不能保证对来源的正确解读。

团队还需要分别衡量错误安慰、错误否定、引用不匹配和答案不一致的评估方法。一个综合准确率分数掩盖了它们各自不同的后果。

对用户而言,实际教训更直接:ChatGPT 关于血压计的建议应当作为搜索的起点,而不是终点。

这些工具共同的弱点并非对话能力,而是自信回答背后不可靠的证据绑定。

这项研究是一则警示,而非最终结论

美国心脏协会将这些发现描述为初步结果。这项工作以会议摘要形式发布,尚未作为完整的同行评议论文发表。

这一限制会影响读者应以多大力度解读这些排名。发布材料未提供完整的混淆矩阵、置信区间或设备层面的结果。

它也没有完整说明每项工具所使用的模型版本、账户设置、地理配置或搜索模式。这些细节会影响可重复性。

研究人员在私密浏览会话中测试设备,以减少搜索之间的学习或个性化影响。他们承认,这无法阻止更广泛的模型训练效应。

私密浏览也可能无法复现已登录用户的体验。个性化、位置、浏览上下文和平台设置都可能改变检索到的来源。

样本在加拿大组建,但纳入了三个国家 Amazon 市场中的热门产品。这带来了有益的广度,尽管并不代表所有设备或地区。

研究人员将知名度较低的型号与热门产品一并纳入。这一选择对长尾检索进行了压力测试,因为这些产品名称在开放网络上的覆盖较少。

一些观察人士可能认为,不常见设备让基准测试变得人为困难。然而,这些产品与更知名的血压计一样,都出现在相同的官方登记册中。

一款声称能够核验登记册状态的搜索工具,一旦存在准确的权威记录,就不应依赖热度信号。长尾产品正是证据检索最能发挥价值的领域。

该研究评估的也是聊天机器人输出,而非真实消费者行为。它没有衡量人们是否会依据错误答案采取行动,或是否会核查其他来源。

实验并未报告由此导致的误诊、用药调整或不良事件。因此,关于直接临床伤害的说法仍是合理风险,而非这项实验测得的结果。

聊天机器人公司也没有在公开发布中提供回应。其工程师可能会识别出可改善未来表现的提示词、索引或实体解析变更。

模型更新可能显著改变结果。因此,这项研究只是对四项服务在 2026 年 4 月和 5 月期间的一个快照。

最有力的结论比“AI 无法回答医疗问题”更为狭窄。这些工具未达到这项特定登记册核验任务所需的可靠标准。

这一结论符合评估生成式 AI 的更广泛原则:必须在决策层面衡量表现,而不是通过对智能的一般印象来判断。

一个系统可以写得清晰、识别医学术语,却仍可能错误处理决定某产品是否具有经验证准确性的来源。

同样,一个模型可以在广泛医疗问题集上获得高分,却在实体匹配上失败。每种能力都需要自身的评估与保障措施。

未来的同行评议应澄清,错误究竟源于检索、产品名称解析、登记册解读,还是最终答案生成。这一区分将指引可能的修复措施。

研究人员还应分别报告敏感性和特异性。遗漏一款已验证产品,与认可一款未经验证产品,会给用户带来不同伤害。

另一项有价值的测试是锁定模型版本,并在不同地区对相同设备重复测试。这可以将平台变化与搜索结果中的地域差异区分开来。

第三项测试应将聊天机器人答案与直接、结构化的登记册查询进行比较。这样的基线可以显示,对话式综合究竟增加了价值,还是引入了可避免的错误。

现有证据支持人们对一项明确任务保持谨慎,而关于任何聊天机器人整体医疗能力的更广泛主张仍未得到证明。

患者、临床医生和 AI 团队接下来应关注什么

三个发展将决定这一发现究竟是消费者健康搜索中的暂时缺陷,还是持续存在的问题。

第一是完整研究的发表。预计 Hypertension 会议增刊将在 2026 年 11 月收录该摘要。

读者应关注模型版本、确切提示词、错误类别,以及对已验证和未验证设备分别给出的结果。这些细节将显示每个系统在哪些环节失败。

设备层面的示例将尤其有价值。它们可能揭示错误答案是否集中于命名变体、地区型号或特定登记册。

如果完整数据证实存在广泛的假阴性模式,那么直接整合登记册的理由将更有力。如果错误集中在较窄范围内,有针对性的实体匹配或许能解决大部分问题。

第二个信号是 AI 提供商如何改变健康产品答案。Google、OpenAI、Microsoft 和 Perplexity 可以展示确切的来源记录,而不是生成缺乏支持的二元结论。

有用的回答应标明完整型号和登记册条目。它还应说明何时无法有把握地匹配某项记录。

平台可能会添加结构化健康数据连接器,或采用更严格的引用检查。它们可以要求生成的声明与展示给用户的证据之间完全一致。

仅添加警告标签的作用会更弱。一般性免责声明很少说明回答的哪个部分仍不确定,或用户应如何核验。

第三个信号是在重大模型更新后开展独立复现。研究发现,相同提示词在不同日期和不同电脑上可能生成不同分类。

可信的改进应能跨会话、地点、措辞和账户状态持续存在。它还应同时减少错误认可和错误否定。

对消费者而言,目前的指导更为明确。家庭监测指南建议使用经验证、袖带尺寸正确的上臂式血压计。

用户应通过公认登记册或医疗专业人士确认确切设备。随后,他们应在就诊时携带血压计,与临床设备进行比对。

正确的测量方法仍然至关重要。测量者应安静休息,将袖带佩戴在裸露皮肤上,将手臂支撑至心脏水平,并避免说话。

该指南建议间隔一分钟测量两次。用户应记录结果,并遵循医疗专业人士制定的测量安排。

任何收到极高读数的人都应遵循专业紧急指导,而不应依赖聊天机器人判断紧急程度。症状可能改变适当的应对方式。

临床医生可以通过推荐确切的已验证型号,而非让患者购买泛泛的家用血压计,来减少困惑。记录型号也有助于后续核验。

AI 产品团队则面临更广泛的责任。由权威名单支持的健康声明应使用确定性查询、明确的实体解析和答案层面的引用测试。

评估数据集应包含冷门型号和命名变体。在医疗产品搜索中,热度不能替代证据。

团队应保留模型输出、检索到的证据和产品标识符,以便审计。知识融合工作流有助于整理来源材料,但无法取代临床判断。

最有用的 AI 助手,应当在不假装自己是权威的前提下,让核验变得更容易。它应引导用户找到具有约束力的记录,并展示与之完全匹配的内容。

这一标准不只适用于血压计。当聊天机器人对召回产品、药物相互作用、安全认证或医疗器械批准情况进行分类时,同样存在类似风险。

界面或许让人感觉像在对话,但其背后的问题往往要求数据库级别的精确性。健康搜索产品应围绕这一差异进行设计。

目前,可以请聊天机器人协助查找设备记录,然后自行核查注册条目。若仍存在不确定性,请与临床医生或药剂师确认具体型号。

关注即将发布的论文是否解释了:为何 Google Gemini 在血压计验证方面表现更好,以及为何所有受测系统在面对已验证设备时都遇到了更大困难。这些答案将表明,问题是可以修复的检索机制,还是生成式搜索更深层的缺陷。

在 AI 工具能够持续将精确产品与权威记录对应起来之前,其健康建议应仅作为导航辅助,而不应被视为最终结论。

 
 

免费开始使用

一款本地优先的AI助手

为了获得更好的人工智能体验,

remio 目前仅支持Windows 10+ (x64)和M-Chip Mac 。

你的 AI 工作伙伴

和 remio 一起高效工作

规划、创作、交付

一站式完成

bottom of page