Google Geminiの血圧計バリデーション結果、高リスクなAI検索の失敗を浮き彫りに
Google Geminiは、324台のデバイスを対象としたテストで主要AIツール4種の中で首位となった。しかし、血圧計のバリデーションに関する回答は依然として最大14%の割合で誤っていた。ChatGPT、Microsoft Copilot、Perplexityの成績はこれを下回り、正答率はおよそ63%から83%の範囲だった。
この予備研究では、これらのサービスが独立した臨床バリデーションを通過した家庭用血圧計を識別できるかを検証した。研究者らは、認定レジストリを通じて各デバイスのステータスをすでに把握していた。チャットボットに求められたのは、その公開情報を見つけ、正しく解釈することだけだった。
この一見単純な情報取得タスクは、より深い問題を露呈した。対話型AIは洗練された健康上の推奨を提示できる一方で、製品名を回答の根拠となるべき権威ある記録へ確実に結び付けられるとは限らない。
この結果は、あるチャットボットが他のチャットボットより全般的に安全であることを示すものではない。ただし、自信に満ちた健康製品に関する助言は、通常の消費者向け検索結果以上に慎重な検証を要する理由を示している。
この研究は4つのAIツールで324台の血圧計を検証した
研究者らは2026年4月から5月にかけて、カナダで家庭用血圧計324台を評価した。対象には、バリデーション済みのデバイス145台と、バリデーションされていないデバイス179台が含まれていた。
研究者らは、3つのバリデーションレジストリ、既知の未バリデーションデバイスのリスト、Amazonで販売されている人気の血圧計からサンプルを集めた。カナダ、オーストラリア、米国で販売されている製品が対象となった。
各デバイスはGoogle Gemini、OpenAIのChatGPT、Microsoft Copilot、Perplexityを用いて確認された。これらのサービスはいずれも言語モデルと検索または情報取得機能を組み合わせているが、具体的なシステムや情報源の選定方法は異なる。
研究者らは、すべての血圧計について3種類の質問形式を入力した。1つは一般的な消費者の質問に似た形式だった。もう1つでは、特定のレジストリを明示してチャットボットに指示した。
3つ目のプロンプトは詳細を追加し、1語での回答を求めた。この設計により、より明確な指示がツールを信頼できる結論へ導けるかを検証した。
予備的な結果は2026年10月8日に発表された。バージニア州アーリントンで開催された米国心臓協会のHypertension Scientific Sessionsで報告された。
Google Geminiは最も強い結果を示した。プロンプトの表現に応じて、回答の正答率は86%から91%だった。
ただし、この結果でも誤答率は約9%から14%に相当する。大規模な製品カタログでは、誤った推奨や不適切な除外が生じる機会が数多く残る。
ChatGPT、Copilot、Perplexityの正答率は約63%から83%だった。公開された要約では、各プロンプト形式におけるモデル別の完全な内訳は示されていない。
誤りには偏りもあった。4つのシステムはすべて、バリデーションされていないデバイスの特定よりも、バリデーション済みデバイスの認識に苦戦した。
この違いは重要である。支援となるレジストリの記録が公開されているにもかかわらず、チャットボットが臨床的にバリデーション済みの血圧計を誤って除外する可能性がある。
また、デバイスのステータスについて利用者に誤った印象を与える可能性もある。研究の公開要約には、結果として生じるすべての消費者シナリオを定量化するための十分な詳細は含まれていない。
研究者らは、当初の結果が分かれたデバイスの20%を再テストした。3人の評価者が主に2026年5月中に、異なるコンピューターと日を使って検索を繰り返した。
同じチャットボットでも、同じ質問に対して異なる回答を返すことがあった。この不整合は、健康製品の検索を繰り返せば最初の結果を確認できるという前提を崩す。
この研究は依然として予備的なものだ。学会抄録は発表に向けて査読されるが、学術誌に掲載される論文に適用される完全な査読は受けない。
完全な抄録は2026年11月にHypertensionの学会付録へ掲載される予定だ。それまでは、利用可能な発表資料には誤りの分類や統計的比較に関する情報が限られている。
中心的な結果はすでに明確だ。著名なAIツール4種は、公開レジストリに記録済みの回答がある検証タスクで苦戦した。
Google Geminiの血圧計バリデーションがなお不十分だった理由
Google Geminiの血圧計バリデーションはこの研究で最良の成績を収めたが、首位であることは、監督なしの健康上の判断に使えるほど出力が信頼できることを意味しない。
一般的な検索ベンチマークでは、91%の正答率は高く聞こえる。しかし、慢性疾患の管理に使う機器を選ぶ場合、この数字は別の意味を持つ。
重大な問題は、関連情報が存在しなかったことではない。バリデーション済み製品は、臨床医や消費者が適切なデバイスを見つけられるよう特別に作られたレジストリに掲載されていた。
研究の発表著者で、モントリオール大学の内科レジデントであるAnna Sorianoは、この結果を直感に反するものだと述べた。Sorianoによれば、ツールは正しい公式ページを見つけながらも、レジストリへの掲載をバリデーションの証拠として扱えない場合があった。
この挙動は、情報取得と解釈の違いを示している。製品に関連する語句を見つけることと、そのページが権威をもって何を確立しているかを理解することは同じではない。
従来のデータベース検索では、厳格なルールを適用できる。正確なデバイスモデルが承認済みレジストリに掲載されていれば、システムは記載されたステータスと根拠記録を返す。
言語モデルは異なる仕組みで動作する。指示、取得したテキスト、モデルの知識、その対話のために組み立てられた文脈から回答を予測する。
このプロセスには複数の失敗点が入り得る。検索では、完全に一致する製品ではなく類似モデルが取得される可能性がある。販売業者が短縮名や地域向けの製品名を使う場合もある。
モデルは、規制当局による認可、メーカーのマーケティング、独立した臨床バリデーションを混同する可能性がある。これらの用語は通常の文章では関連して見えることがあるが、異なる証拠基準を表している。
チャットボットは正しいレジストリページを見つけても、それに誤った意味を与える可能性がある。バリデーション済みデバイスでより多くの誤りが生じたことから、この研究では特に関連性が高いように見える。
プロンプトの表現も成績を変化させた。各血圧計の根本的なステータスは固定されていたにもかかわらず、Google Geminiのスコアは3つの質問形式で変動した。
これは、対話的な提示方法が事実に基づく分類に影響したことを示唆する。より良いプロンプトで結果は改善したが、誤りは排除されなかった。
1語での回答を求める形式は、不確実性を隠す可能性もある。この形式では、モデルがどのモデル番号を照合したか、どのレジストリを確認したか、あるいは証拠がどこで矛盾したかを示せない。
より長い回答なら、その推論の軌跡が見えるかもしれない。ただし、長さだけで正確性が保証されるわけではない。流暢な説明は、不確かな証拠を確定した事実のように見せることがある。
したがって、Google Geminiの血圧計バリデーション結果は、単なる雑学的な失敗ではなく、製品設計上の問題を明らかにしている。利用者には回答が表示される一方、情報取得とエンティティ照合のプロセスは大部分が見えないままだ。
人はこの応答をデータベースの結果と解釈するかもしれない。実際には、複数の不確実な段階から組み立てられた生成的な結論であり得る。
この違いは、2つの製品がブランド、筐体、またはほぼ同一のモデル番号を共有する場合に極めて重要になる。バリデーションは特定のデバイスと対象集団に適用されるものであり、メーカー全体に自動的に適用されるわけではない。
一般的な成人向けにバリデーションされた血圧計が、妊娠中の人、子ども、または特定の腕周囲径について同等の証拠を持つとは限らない。一般的なチャットボットの回答は、こうした違いを平板化する可能性がある。
Google Geminiの相対的な優位性には、なお価値がある。モデル設計、情報取得の品質、プロンプト処理、または情報源の解釈によって、このタスクを改善できることを示唆している。
ただし、この研究はどの要素が差を生んだのかを切り分けていない。また、モデルや検索システムの更新後にもGeminiが首位を維持することを示すものでもない。
Google Geminiは比較で首位となったが、残る誤りは、勝者となったチャットボットであっても決定論的なレジストリ確認を置き換えられないことを示している。
バリデーション済み血圧計は承認を得た製品以上のもの
血圧測定における「バリデーション済み」という言葉には、正確な意味がある。これは、独立した試験により、受け入れられた臨床プロトコルの下でデバイスが一貫して正確であることが確認されたことを示す。
これは、店舗で販売されていること、よく知られたブランド名が付いていること、あるいは合法的な販売のための基本要件を満たしていることとは異なる。また、肯定的な顧客レビューとも異なる。
製品ページではこうした主張が近接して掲載されることが多いため、チャットボットはこの違いを曖昧にしやすい。マーケティング文言では、「正確」「臨床試験済み」「承認済み」が、同等の証拠を確立しないまま使われることがある。
米国のValidateBPレジストリは、独立した専門家委員会を通じて試験文書を審査している。デバイスは掲載される前に、レジストリの基準を満たさなければならない。
STRIDE BPは、高血圧の専門家によって維持される国際的なリファレンスを提供している。現在のサイトによれば、551台のデバイスを承認し、そのうち294台を推奨機器として特定している。
これらの数字が対象とするのは市場のごく一部だ。STRIDE BPのデータによると、市販されている電子血圧計は5,000機種を超える。
この隔たりは、消費者がChatGPTやGeminiに支援を求める理由の説明になる。製品ページや専門レジストリを横断して名称を比較する作業は、煩雑になり得る。
同時に、一般的なブランド認知だけに安全に依存できない理由も説明する。同じ企業の類似製品でも記録が異なる場合がある一方で、多くのデバイスには公開されたバリデーション証拠がない。
生成AIチャットボットが一般的な消費者向けツールになる以前に、ある主要な国際的立場表明がこの問題を検討していた。当時、カフ式デバイス約3,000機種のうち、公開された精度証拠を持つものは15%未満と推定した。
デバイス精度のレビューは、弱い、または存在しないバリデーション要件を広範な不確実性と結び付けた。受け入れられた国際基準に基づく独立試験を義務化するよう提言した。
同論文はまた、血圧精度を患者安全の問題として位置付けた。過大評価された測定値は、不必要な治療、不安、回避可能な追加受診につながる可能性がある。
過小評価された測定値は、高血圧を見逃し、予防的ケアを遅らせる可能性がある。小さな系統的誤差も、大規模な集団に影響すれば重大になる。
デバイスのバリデーションは、家庭でのすべての測定が正しいことを保証するものではない。測定手技、カフのサイズ、体位、測定のタイミング、デバイスの保守も測定値に影響する。
しかし、適切な精度証拠を欠く測定方式の血圧計を、正しい測定手技で補うことはできない。デバイスと利用者の手順の両方に注意が必要だ。
このため、チャットボットによる誤った除外も重要である。AIがバリデーション済み血圧計を未バリデーションと判断すれば、消費者は適切なデバイスを手放したり、劣る代替品を購入したりする可能性がある。
研究で見られた非対称性により、このシナリオは単なる仮説ではなくなる。4つのチャットボットはいずれも、バリデーション済み血圧計の識別時に正確性が低かった。
このパターンは、安全性に欠ける製品を推奨するリスクに加え、第二のリスクを生む。AI検索は、正当な製品を支える証拠を理解できないことで、その製品への信頼を低下させる可能性がある。
したがって、信頼できる回答には、単なる「はい」または「いいえ」以上のものが必要だ。正確なモデル、レジストリ、対象集団、証拠の日付を特定すべきである。
また、「掲載されていない」ことと「不正確であると証明された」ことは区別すべきです。レジストリに掲載がない理由は、証拠が不十分、入手不能、審査中、あるいは申請自体が行われていない可能性があります。
この研究では、実験のために既知の検証ステータスに基づいてデバイスを分類しました。一方、消費者が直面する市場は、製品カタログの変動、地域ごとの名称、不完全な文書が混在する、より複雑なものです。
臨床検証はモデル固有のエビデンス上のステータスであり、チャットボットが周辺の製品表現から安全に推測できる評判スコアではありません。
ChatGPTとCopilotも同じエビデンス問題に直面
ChatGPT、Copilot、PerplexityはいずれもGoogle Geminiより低い精度帯を示しました。この結果は、汎用AIアシスタントが健康関連製品のエビデンスをどのように伝えるかについての懸念を強めます。
この研究を恒久的な順位付けとして読むべきではありません。AIサービスは、同一の消費者体験を維持しないまま、モデル、検索パートナー、システムプロンプト、インデックス、インターフェースを変更します。
5月にテストされた回答が、10月に生成される回答と一致するとは限りません。この不安定性自体が問題の一部です。
ユーザーは、改善が事実の信頼性向上を反映しているのか、検索取得の一時的な変化なのかを容易には判断できません。どの基盤モデルが回答したのかさえ分からない場合があります。
このテストも、対象は狭い単一のタスクに限られていました。診断、治療計画、緊急時の案内、実際の血圧測定値の解釈は比較していません。
したがって、健康分野でChatGPTがGeminiより全般的に能力が低いことを示すものではありません。測定したのは、研究者が提示したデバイス検証に関する質問での性能に限られます。
しかし、この対象の狭さは一つの解釈を強めます。これらのツールは、構造化された公開リストと製品を照合するタスクでさえ苦戦しました。
これは、症状を評価したり治療選択肢のバランスを取ったりするよりも曖昧さの少ない仕事です。レジストリの照合が依然として信頼できないなら、より複雑な医療推論には一層の慎重さが必要です。
この結果は、AI検索をめぐるよく知られた約束にも疑問を投げかけます。こうした製品は、情報を見つけて直接的な回答に統合するインターフェースとして売り出されています。
そのインターフェースは目に見える手間を取り除きます。ユーザーは複数のページを開き、モデル番号を比較し、どの情報源に権威があるかを判断する必要がなくなります。
手間を減らすことは有用になり得ますが、同時に確認ポイントも失われます。ユーザーは、チャットボットが小売業者、メーカーの主張、あるいは無関係なモデルに依拠したことを目にしないかもしれません。
引用が役立つのは、正確な結論を裏付ける場合に限られます。レジストリのトップページへのリンクは、特定のモニターが承認済みリストに載っている証明にはなりません。
これは来歴の問題です。来歴とは、主張がどこから来たのか、そしてエビデンスが最終的な記述にどう結び付くのかを指します。
高リスクの検索では、インターフェースはそのつながりを示すべきです。照合されたレジストリ記録、正確なモデル識別子、対象となる集団、アクセス日を表示できます。
製品の同定に不確実性が残る場合には、二択の結論を拒否することもできます。推測するより、ラベル写真や完全なモデル番号を求めるほうが安全です。
チャットボットの再テスト結果に一貫性がないことも、別の懸念を生みます。デバイスや基礎となるエビデンスが変わっていなくても、ユーザーは矛盾する回答を受け取る可能性があります。
この挙動は生成システムではよく知られています。サンプリング、取得結果、コンテキストの構築、プラットフォームの更新はいずれも回答に影響し得ます。
複数の見出し案を作る場合には、これらの仕組みは許容されます。しかし、固定されたレジストリに照らして医療機器を分類する場面では正当化しにくくなります。
リクエストのその部分は、決定論的な層で処理できます。そのうえで言語モデルが検証済みの結果を説明し、ユーザーが次の案内を見つける手助けをできます。
この設計は、事実の照会と会話的な解釈を分離します。また、問題が起きたときに、より明確な監査証跡を作ることにもなります。
健康検索機能を開発する人は、レジストリに裏付けられた主張を構造化データのタスクとして扱うべきです。検索拡張生成だけでは、情報源の正しい解釈は保証されません。
チームには、誤った安心感、誤った否定、引用の不一致、一貫しない回答をそれぞれ測定する評価も必要です。単一の総合精度スコアでは、それぞれ異なる影響が隠れてしまいます。
ユーザーにとって、実務上の教訓はより直接的です。ChatGPTによる血圧計の助言は、検索の出発点であって、結論ではありません。
これらのツールに共通する弱点は会話能力ではなく、自信に満ちた回答の背後にあるエビデンス結合の信頼性の低さです。
この研究は警告であり、最終判定ではない
米国心臓協会は、この知見を予備的なものと説明しています。この研究は学会抄録として発表され、完全な査読済み論文としてはまだ公表されていません。
この制約は、読者が順位をどれほど強く解釈すべきかに影響します。公開資料には、完全な混同行列、信頼区間、デバイス単位の結果は示されていません。
また、すべてのツールで使用したモデルのバージョン、アカウント設定、地理的構成、検索モードも完全には説明されていません。これらの詳細は再現性に影響し得ます。
研究者は、検索間の学習やパーソナライズを減らすため、プライベートブラウジングのセッションでデバイスをテストしました。ただし、より広範なモデル学習の影響は防げないと認めています。
プライベートブラウジングは、ログイン済みユーザーの体験を再現しない可能性もあります。パーソナライズ、位置情報、閲覧コンテキスト、プラットフォーム設定が、取得される情報源を変える可能性があります。
サンプルはカナダで構成されましたが、3つの国別Amazonマーケットで人気の製品が含まれていました。これは有用な広がりをもたらす一方、すべてのデバイスや地域を代表するものではありません。
研究者は、人気製品とともに知名度の低いモデルも含めました。この選択は、製品名がオープンウェブ上で十分に扱われていないロングテール検索の強度を試すものです。
一部の観察者は、一般的でないデバイスがベンチマークを人為的に難しくしていると主張するかもしれません。しかし、それらの製品は、より有名なモニターと同じ公式レジストリに掲載されていました。
レジストリのステータスを検証すると主張する検索ツールなら、正確で権威ある記録が存在する時点で、人気度のシグナルを必要とするべきではありません。ロングテール製品こそ、エビデンス検索が最も価値を提供できる領域です。
この研究は、実際の消費者行動ではなく、チャットボットの出力を評価したものでもあります。人々が誤った回答に基づいて行動するか、別の情報源を確認するかは測定していません。
その結果としての誤診、投薬変更、有害事象は報告されていません。したがって、直接的な臨床上の害に関する主張は、もっともらしいリスクではあっても、この実験で測定された結果ではありません。
チャットボット各社も公開資料で回答を提供していません。同社のエンジニアは、今後の性能を改善するプロンプト、インデックス、エンティティ解決の変更を特定できる可能性があります。
モデルの更新は結果を大きく変える可能性があります。そのため、この研究は2026年4月と5月の4つのサービスのスナップショットです。
最も強い結論は、「AIは医療の質問に答えられない」よりも限定的です。これらのツールは、この特定のレジストリ検証タスクで信頼できる基準を満たしませんでした。
この結論は、生成AIを評価するためのより広い原則にも合致します。性能は、知能に対する一般的な印象ではなく、意思決定の水準で測定されなければなりません。
システムは明快に文章を書き、医学用語を認識できても、製品の精度が検証されているかを決める情報源を誤って扱うことがあります。
同様に、モデルは幅広い医学的質問セットで高得点を取っても、エンティティ照合では失敗することがあります。各能力には、それぞれの評価と安全策が必要です。
今後の査読では、誤りが検索取得、製品名の解決、レジストリの解釈、最終回答の生成のどこから生じたのかを明らかにすべきです。この区別が、可能な修正を導きます。
研究者は感度と特異度も別々に報告すべきです。検証済み製品を見逃すことと、未検証製品を推奨することは、異なるユーザー被害を生みます。
別の有用なテストとして、モデルのバージョンを固定し、地域をまたいで同じデバイスを再実行する方法があります。これにより、検索結果の地理的な違いとプラットフォームの変化を分けられる可能性があります。
3つ目のテストでは、チャットボットの回答を直接的で構造化されたレジストリ照会と比較すべきです。そのようなベースラインにより、会話的な統合が価値を加えるのか、回避可能な誤りを導入するのかが分かります。
エビデンスは、定義された一つのタスクについて慎重さを支持する一方、あらゆるチャットボットの総合的な医療能力に関するより広範な主張は、依然として証明されていません。
患者、臨床医、AIチームが次に注視すべきこと
この知見が一時的な欠陥になるのか、消費者向け健康検索における根強い問題になるのかは、3つの進展によって決まります。
1つ目は、完全な研究の公表です。Hypertension学会の補足資料には、2026年11月に抄録が掲載される見込みです。
読者は、モデルのバージョン、正確なプロンプト、エラーの分類、検証済み・未検証デバイス別の結果を確認すべきです。これらの詳細により、各システムがどこで失敗したかが分かります。
デバイス単位の例は特に価値があります。誤った回答が、名称のバリエーション、地域モデル、特定のレジストリの周辺に集中していたかを明らかにできるからです。
完全なデータが広範な偽陰性パターンを確認すれば、レジストリの直接統合を求める根拠は強まります。誤りが狭い範囲に集中するなら、対象を絞ったエンティティ照合で問題の多くを解決できるかもしれません。
2つ目のシグナルは、AI提供者が健康製品に関する回答をどのように変えるかです。Google、OpenAI、Microsoft、Perplexityは、裏付けのない二択の結論を出す代わりに、正確な情報源の記録を提示できます。
有用な回答は、完全なモデル番号とレジストリの登録情報を特定するものです。また、掲載情報を確信をもって照合できない場合も明示すべきです。
プラットフォームは、構造化された健康データコネクターや、より強力な引用チェックを追加する可能性があります。生成された主張とユーザーに示されるエビデンスの完全一致を求めることもできます。
警告ラベルだけでは弱い対応です。一般的な免責事項は通常、回答のどの部分が不確実なのか、本人がどう検証すべきかを説明しません。
3つ目のシグナルは、大きなモデル更新後の独立した再現検証です。この研究では、同じプロンプトを繰り返しても、日やコンピューターによって異なる分類が生成される可能性が示されました。
信頼できる改善は、セッション、場所、表現、アカウント状態をまたいで持続すべきです。また、誤った推奨と誤った否定の両方を減らすべきです。
消費者向けの現在の指針は、より明確です。自宅での測定ガイドは、適切なカフサイズを備えた、検証済みの上腕式モニターを推奨しています。
ユーザーは、認知されたレジストリまたは医療専門家を通じて、正確なデバイスを確認すべきです。その後、そのモニターを診察時に持参し、臨床機器と比較する必要があります。
正しい測定技術も不可欠です。静かに休み、カフを素肌に装着し、腕を心臓の高さで支え、会話を避ける必要があります。
このガイドでは、1分間隔で2回測定することを推奨しています。ユーザーは結果を記録し、医療専門家が定めたスケジュールに従うべきです。
非常に高い測定値が出た人は、緊急性を判断するためにチャットボットに頼らず、専門家による緊急時の指針に従うべきです。症状によって適切な対応は変わり得ます。
臨床医は、患者に一般的な家庭用モニターを購入するよう伝えるのではなく、正確な検証済みモデルを推奨することで混乱を減らせます。モデル番号を記録することも、将来の確認を支えます。
AI製品チームには、より広い責任があります。権威あるリストに裏付けられた健康上の主張には、決定論的な照会、明示的なエンティティ解決、回答レベルの引用テストを用いるべきです。
評価データセットには、知名度の低いモデルや名称のバリエーションを含めるべきです。医療製品の検索において、人気度はエビデンスの代替にはなりません。
チームは監査のために、モデル出力、取得した根拠、製品識別子を保存すべきです。ナレッジブレンディングのワークフローは情報源の整理に役立ちますが、臨床的判断の代わりにはなりません。
最も有用なAIアシスタントは、権威を装うことなく検証を容易にするものです。ユーザーを基準となる記録へ導き、正確に一致する項目を示すべきです。
この基準は血圧計に限った話ではありません。チャットボットがリコール対象製品、薬物相互作用、安全認証、医療機器の承認を分類する場面でも、同様のリスクが生じます。
インターフェースは会話型に感じられるかもしれませんが、その背後にある問いには、しばしばデータベース水準の精度が求められます。ヘルスケア検索製品は、この違いを踏まえて設計されるべきです。
現時点では、チャットボットには機器の記録を探す手助けを依頼し、その後で自分自身でレジストリの記載を確認してください。不確実性が残る場合は、臨床医または薬剤師に正確なモデルを確認しましょう。
今後発表される論文が、Google Geminiによるモニター検証の成績がより良かった理由と、検証済み機器で全テスト対象システムの苦戦が大きくなった理由を説明しているか注目してください。これらの答えによって、問題が改善可能な検索・取得の課題なのか、それとも生成型検索に内在するより深い弱点なのかが分かるでしょう。
AIツールが正確な製品を権威ある記録に一貫して結び付けられるようになるまで、ヘルスケアに関する推奨は最終判断ではなく、案内の手段として位置付けるべきです。
