新たなAI研究でChatGPTの血圧計判定精度に課題
324種類の家庭用機器を対象とした新たな研究で、ChatGPTの血圧計判定精度は最低63%にとどまった。Microsoft CopilotとPerplexityも苦戦し、Google Geminiもテストの約9%から14%で誤った回答を示した。
この予備的な結果は、AI検索に関する一般的な前提に疑問を投げかける。チャットボットは公式の機器レジストリを見つけて引用できても、その掲載内容の意味を誤解する可能性がある。消費者が会話型ツールを使って健康関連の製品を購入する場合、この隔たりは重要となる。
この研究は、すべてのチャットボットの回答が安全でないことを示したものではない。一方で、洗練された回答の背後に、一貫性のない情報取得や推論が隠れている可能性を示している。購入者にとっては、認知されたレジストリを確認し、機器の選定について臨床医に相談することが依然としてより安全な方法だ。
324機種テストで判明したこと
主要AIツール4種は、研究者が独自に検証できた血圧計のバリデーション状況を繰り返し誤分類した。
研究者らは2026年4月から5月にかけて、カナダで324種類の家庭用血圧計をテストした。対象には、バリデーション済みの機器145種と、バリデーションされていない機器179種が含まれた。
チームは、認知された3つのレジストリ、既知の未バリデーション製品リスト、オンライン小売サイトの掲載情報から機器を抽出した。小売サンプルには、カナダ、オーストラリア、米国のAmazonで販売されている人気のカフ式血圧計が含まれていた。
各機器について、ChatGPT、Google Gemini、Microsoft Copilot、Perplexityを用いて確認した。研究者らは各ツールに対し、同じ基本的な質問を3つの異なる形で尋ねた。
最初のプロンプトは、一般的な消費者からの質問に近いものだった。2つ目は、指定したバリデーションレジストリを参照するようツールに指示した。3つ目はより詳しい情報を示し、1語での回答を求めた。
AI機器研究によると、Geminiの正答率は86%から91%だった。ChatGPT、Copilot、Perplexityの精度はおよそ63%から83%の範囲にとどまった。
これらの範囲はプロンプトによって変動した。また、単一の見出し数値では、あらゆるモデルやテスト条件を表せないことも示している。
研究者らは別の懸念すべき傾向も確認した。4つのツールはいずれも、未バリデーション製品の評価よりも、バリデーション済み血圧計の特定で低い成績を示した。
この結果は直感に反するように見える。バリデーション済み機器はすでに独立した試験に合格しており、構造化された公開レジストリに掲載されているためだ。
チャットボットは関連する公式ページを見つけても、掲載されていることをバリデーションの証拠として扱えない場合があった。別のケースでは、掲載済みの機器が臨床基準を満たしていないと誤ってユーザーに伝えた。
モントリオール大学の内科研修医で研究発表者のAnna Soriano氏は、ほとんどのツールの性能は偶然をわずかに上回る程度だったと述べた。容易に入手できる情報であってもGeminiが苦戦したと指摘している。
研究では一貫性も検証した。研究者らは回答が分かれた機器の20%を選び、3人の評価者を通じて質問を繰り返した。
こうした追跡確認は主に2026年5月に、異なるコンピューターと異なる日に実施された。同じツールでも、同じ質問に対して異なる回答を返すことが多かった。
この変動性こそが、この結果の中心にある。チャットボットの推奨は断定的に見えても、その基礎となる結果はセッションごとに変わり得る。
この研究は、バージニア州アーリントンで開催された米国心臓協会のHypertension Scientific Sessions 2026で発表された。査読済みの完全論文ではなく、学会抄録の段階にとどまっている。
この違いにより、結果をどこまで広く適用できるかには制約がある。ただし、対象規模と反復プロンプトによる設計は、AI支援による機器選定について意味のある警告を示している。
ChatGPTの血圧計判定精度が重要な理由
誤った製品に関する回答は、患者と臨床医が治療判断に使う測定値に影響を及ぼす可能性がある。
家庭用血圧計は、電源が入り、もっともらしい数値を表示し、好意的な顧客レビューを得ているだけでバリデーション済みとなるわけではない。バリデーションとは、認知されたプロトコルに基づく独立試験で、測定値が十分に正確であると確認されたことを意味する。
この状態が重要なのは、血圧測定値が診断、投薬の変更、長期的なリスク管理の指針となるためだ。一貫した測定誤差は、本人の健康状態について誤解を招く記録を生み出しかねない。
不正確な血圧計は、実際より高く見える測定値を出す可能性がある。その結果、不安、不必要な受診、あるいは不適切な治療に関する話し合いにつながることがある。
一方で、低く表示する血圧計には別の危険がある。コントロール不良の高血圧が安定しているように見え、必要な臨床対応を遅らせる可能性がある。
影響は1回の測定にとどまらない。多くの患者は、臨床医と共有する前に数日から数週間にわたり測定値を記録する。
その場合、機器の系統的な誤差は患者記録上の傾向となる。測定回数が多いことで、原因が機器にあるにもかかわらず、その傾向がより信頼できるものに見える可能性がある。
研究で引用された米国心臓協会の2026年統計によると、米国の成人1億2500万人以上が高血圧を抱えている。これは成人人口のおよそ47%に相当する。
協会が示す目標範囲内に血圧が収まっている成人は、罹患者の約4分の1にすぎない。したがって家庭での測定は、規模が大きく臨床的にも重要な集団を支えている。
現行の血圧ガイドラインは、精度がバリデーションされた家庭用機器の使用を推奨している。また、機器を自己完結型の診断システムとして扱うのではなく、より広範なケアプロセスの中に家庭測定を位置付けている。
チャットボットの誤りは、測定が始まる前の段階で問題を起こし得る。消費者は、どのカフを買うべきか、すでに持っているモデルがバリデーション済みか、似た名前の2製品が同等かを尋ねるかもしれない。
モデル名も混乱の原因となる。1つのメーカーが、数文字や地域識別子だけが異なる複数の機器を販売することがある。
バリデーションは、同一ブランドを冠するすべての製品ではなく、特定のモデルに適用されることが多い。そのため、製品ファミリー全体に一般化するチャットボットは、自信に満ちた誤答を示す可能性がある。
ここでChatGPTの血圧計判定精度は、単なるベンチマークスコア以上の意味を持つ。その回答は、後に医療データを生み出す機器の選択に影響を与え得る。
リスクは、悪意ある行動や明らかに虚偽の主張を必要としない。流暢で役立つ説明の中に、小さな識別ミスが入り込むことで生じ得る。
この研究の警告は臨床医にも及ぶ。患者は以前に検索結果やオンラインレビューを持参していたのと同様に、汎用AIツールで集めた情報を持って受診する機会が増えている。
臨床医は、患者がどのプロンプトを使ったのか、どのモデルバージョンが回答したのかを把握できない場合がある。また、その回答には、他者が再現できる安定した情報源の経路がない可能性もある。
Tulane Universityの教授で、協会の2025年ガイドラインの副委員長を務めたKeith Ferdinand氏は、AIを用いた臨床意思決定には慎重さが必要だと訴えた。同氏はこの研究には関与していない。
同氏の立場は、有用な医療AIの余地を認めつつ、裏付けのない判断には境界線を引くものだ。チャットボットは質問の整理に役立つが、測定機器の検証を置き換えるべきではない。
AI検索は、すでにアクセス可能なレジストリに敗れた
中心的な失敗は、医学知識の欠如ではなかった。単純なレジストリ照会を信頼性高く解釈できなかったことにある。
この研究では、ValidateBP、STRIDE BP、Hypertension Canadaという3つの主要レジストリが参照された。これらのリソースは、認知されたバリデーション試験を受けた特定の血圧計を特定している。
米国の消費者は、無料のバリデーション済み機器レジストリを検索できる。このサイトは、測定精度を裏付ける文書化された根拠を持つモデルに市場を絞り込むよう設計されている。
国際的な機器バリデーションリストも、もう1つの構造化された参照先を提供している。用途別に血圧計を整理し、モデルの区別に役立つ詳細を掲載している。
レジストリ検索は、自由形式のチャットボットへの質問より範囲が狭い。特定の製品が、その目的のために構築された管理済みコレクションに掲載されているかを確認するものだ。
汎用AIアシスタントは、より複雑な連鎖を処理する必要がある。機器を識別し、正しい記録を取得し、掲載内容を解釈し、結果を正確に表現しなければならない。
この連鎖のどの部分でも失敗する可能性がある。製品名の曖昧さにより、モデルが要求された機種ではなく関連機種を取得することがある。
検索順位は、レジストリの記録よりも小売ページ、レビュー、メーカーの説明を優先する可能性がある。モデルはその後、異なる証拠価値を保たないまま、それらの情報源を回答に混ぜ合わせることがある。
取得に成功しても、正しい解釈が保証されるわけではない。新たな研究では、ツールが公式掲載を見つけても、それをバリデーションの証拠として認識しなかったケースが確認された。
この隔たりは、データグラウンディングの問題に似ている。グラウンディングとは、回答を定義された外部情報源に結びつけ、その情報源が実際に何を示しているかを維持することを指す。
チャットボットは、ページを引用または出典として示しても、その意味に完全に根拠づけられていない可能性がある。したがって、引用の存在は引用の忠実性と同じではない。
複数のウェブページを組み合わせると、問題はさらに難しくなる。小売業者は血圧計を臨床的に正確だと説明する一方、レジストリには別モデルのみが掲載されていることがある。
チャットボットは両方の記録を滑らかな物語に統合できる。その口調は、未解決の製品同一性の不一致を隠してしまう可能性がある。
この仕組みは、詳細なプロンプトが一部の結果を改善しても誤りをなくせなかった理由の説明に役立つ。ツールをレジストリに誘導すれば検索範囲は狭まるが、正しいモデル照合を保証するわけではない。
AI検索とレジストリ照会の対比は、この記事の主な緊張関係だ。会話型AIは散在する情報へのより簡単な道筋を約束するが、権威ある情報源はすでに単純で無料だった。
AIは、複雑な資料を統合したり、ユーザーが質問を作るのを支援したりする際に価値を加える。ここでは、統合が二値の検証作業に別の失敗点を持ち込んだ。
これは、健康関連の調査においてAI検索が役に立たないことを意味しない。ツールの役割を、作業に許容される誤差の度合いに合わせるべきだという意味である。
チャットボットは、機能の候補リスト作成、カフサイズの説明、医療受診時の質問案作成に役立つ。最終的なバリデーション確認は、引き続きレジストリで行うべきだ。
この分担は実用的だ。ユーザーはAI支援を完全に拒否する必要はないが、決定的な照会を委ねるべきではない。
同じ教訓は、血圧測定用カフ以外にも当てはまる。健康関連製品には、正確なモデル番号、地域別バージョン、特定の集団にのみ当てはまる根拠が伴うことが多い。
アシスタントが1つの接尾辞を見落とすだけで、ある製品の根拠を別の製品へ移してしまう可能性がある。最終的な文章が権威あるように聞こえる場合、この誤りは依然として検出しにくい。
より良いプロンプトでも回答は信頼できるものにならなかった
プロンプトの具体性は性能を変えたが、テスト対象のどのチャットボットも一貫して信頼できる検証ツールにはならなかった。
研究者らは、一般のユーザーが異なる方法で質問するため、3種類のプロンプトスタイルを使用した。製品名だけを示す人もいれば、特定の情報源との照合を求める人もいる。
最も制約の厳しいプロンプトは、詳細を加え、一語での回答を求めた。この設計により説明の余地は減ったが、検索や分類の誤りをなくすことはできなかった。
短い回答は、不確実性をかえって見えにくくすることもある。「はい」だけでは、ツールが正確なモデルを見つけたのか、関連する別の機器から推測したのかを追跡できない。
より長い回答には別の問題がある。注意書きやリンクを含んでいても、誤った結論に至る可能性がある。
ユーザーはしばしば、プロンプトエンジニアリングをチャットボットの信頼性に対する解決策とみなす。この研究は、より適切な表現が役立つのは限定的な範囲にとどまることを示唆している。
プロンプトでモデルに参照先を指示することはできる。しかし、サービスが最新ページにアクセスし、すべてのモデル識別子を解決し、レジストリを正しく解釈することまでは保証できない。
反復テストは、ユーザーが一つの回答を磨き込めば信頼できるものにできるという考えにも疑問を投げかける。同じ質問でも、日やコンピューターが変わると異なる結果になることがあった。
この一貫性のなさは、生成AIシステムの確率的な性質を反映している。回答は、モデル更新、検索結果、文脈、ユーザーには見えないシステムレベルの設定によって変化し得る。
過去の検索から学習する影響を減らすため、プライベートブラウジングセッションが用いられた。ただし研究者らは、この方法では変動要因をすべて完全に切り分けられないことを認めている。
したがって、ChatGPT blood pressure monitor accuracyは変動する目標として理解すべきである。報告された範囲は、テスト期間、機器、プロンプト、利用可能だったモデルバージョンを表している。
これは、現在のセッションで同じ割合が再現されることを証明するものではない。また、将来のモデル更新がすべての製品検索を改善する保証にもならない。
過去の研究は、有益な対比を提供する。2024年にChatGPTとBingを在宅モニタリング知識チェックリストで比較した研究では、一般的な測定ガイダンスについて強い結果が得られた。
その在宅モニタリング研究では、心臓専門医がChatGPTの回答を正確性と完全性の両面で高く評価した。質問は、家庭で血圧を測定・管理するための知識を扱っていた。
この二つの研究が検討している能力は異なる。標準的なガイダンスを説明することは、変化するレジストリを基に数百の製品モデルを照合することとは同じではない。
モデルは幅広い質問には正しく答えられても、正確なエンティティの検証では失敗することがある。この違いは、チャットボットを医学的に正確か不正確かの二択で語る際に見落とされがちだ。
AI chatbot medical accuracyは、タスク、情報源の構造、プロンプト、求められる精度に依存する。患者教育での性能を、そのまま製品選択の正当化に使うことはできない。
逆もまた同様である。機器分類の精度が低いからといって、同じモデルによる高血圧の説明がすべて誤りだとは証明されない。
このタスク別の見方は、購入者や臨床医にとってより良い基準となる。モデルが完了すべき作業は何か、また誤りがユーザーにどう影響するかを問うべきだ。
リスクの低い準備では、チャットボットの速さが、時折の訂正を許容するだけの価値を持つ場合がある。医療機器を選ぶ際には、独立した検証が依然として手軽で利用しやすい。
したがって、最良のプロンプトは情報源の確認の代替にはならない。より安全なワークフローでは、チャットボットから文脈を得た後、正確な機器を別の場所で確認する。
ユーザーは、メーカー、完全なモデル番号、カフの種類、想定される利用者集団を記録すべきである。そのうえで、それらの詳細をレジストリの記載と照合できる。
妊娠中の人、腕のサイズが一般的でない人、子ども向けの機器を必要とする人には、対象集団別の検証が必要となる場合がある。一般的な掲載情報を、その根拠の範囲を超えて拡大解釈すべきではない。
モデル名が曖昧なままの場合、臨床医や薬剤師が役立つことがある。また、選んだカフが患者のモニタリング計画に合っているかも確認できる。
この研究は警告であり、最終判断ではない
調査結果は実在する検証上の問題を示しているが、証拠はなお予備的であり、AIサービスの変化に伴って急速に古くなる。
この研究は学会でモデレーション付きポスターとして発表された。学会抄録は発表に際して審査を受けるが、査読付き学術誌論文と同等ではない。
完全な論文であれば、より詳細な方法論が示されるだろう。読者には、モデルバージョン、正確なプロンプト、ツールごとの混同行列、曖昧な回答の定義が必要である。
公開された資料は精度の範囲を報告しているが、モデル別の結果をすべて明らかにしてはいない。また、誤りが偽陽性と偽陰性にどう分かれたかも示していない。
この違いは重要である。未検証のモニターを誤って承認することは、検証済みのモニターを拒否することとは異なる消費者リスクを生む。
誤った承認は、認められた精度の根拠を持たない機器へ購入者を導くおそれがある。誤った拒否は、選択肢を不必要に狭め、適切な製品への信頼を損なう可能性がある。
研究には複数の情報源と市場の製品が含まれていた。この広がりは価値がある一方、地域ごとの名称や流通状況は機器照合を複雑にし得る。
小売掲載情報は急速に変化し得る。メーカーが、旧製品と似た名称の改訂版を導入することもある。
もう一つの制約は時期にある。ツールは2026年4月と5月にテストされた一方、調査結果が発表されたのは10月だった。
AIサービスは、モデルの置き換え、検索機能の更新、インターフェースの改訂によって頻繁に変化する。後日のテストでは、異なる順位や誤りのパターンが出る可能性がある。
ただし、急速な変化が懸念を消すわけではない。ユーザーは安定した挙動を前提にできないため、独立した再現がより重要になる。
Geminiの首位という結果も慎重に解釈する必要がある。86%から91%という精度範囲は、報告された最低スコアより大幅に優れている。
それでも、およそ7回から11回のテストに1回は誤答することを意味する。この誤り率は、二択の医療機器判断においてなお重大である。
この研究は、ユーザーが推奨に従ったか、あるいは害を受けたかを検討していない。測定したのは回答精度であり、臨床的アウトカムではない。
したがって、誤診や不適切な治療に関する主張は、このプロジェクトで観察された結果ではなく、もっともらしいリスクとして表現すべきである。
Sorianoはその経路を明確に説明した。不正確なAI回答は、誰かを不適切な機器への信頼に導き、その結果として測定値や治療に関する相談に影響を与え得る。
このメカニズムには信頼性があるが、将来の研究では実際の消費者行動を検証すべきである。引用、警告、レジストリへのリンクが購入判断を変えるかを研究者は調べるべきだ。
また、この研究だけでは、システムが苦戦した理由を正確に特定できない。考えられる説明には、不十分な製品照合、不完全なインデックス、古い検索データ、誤った解釈がある。
システムログがなければ、外部の研究者は各誤りを検索、推論、回答生成のどれに帰属させるか判断できない。その診断情報の多くは企業側が保有している。
挙げられた研究発表の時点では、4社の提供者はいずれも詳細な技術的回答を出していないようだ。一般的な保証よりも、今後の製品変更の方が重要になる。
有用な改善としては、正確なモデルの曖昧性解消、構造化されたレジストリ検索、表示されるタイムスタンプ、一致がない場合の明示的な不確実性が挙げられる。
医療製品に関する問い合わせでは、「見つからない」と「検証されていない」を区別すべきでもある。この二つは同じではない。
製品を見つけられないことは、スペルミス、地域向けモデル名、古いインデックス、記録の欠如を反映している可能性がある。それだけでは、その機器が検証に失敗したことを独立に証明しない。
この区別は、将来のAI chatbot medical accuracyテストに具体的な基準を与える。証拠が二択の回答を支持しない場合、システムは回答を差し控えるべきである。
AIによる機器アドバイスの改善を示す三つのシグナル
次の試金石は、AI企業が健康関連製品の検証を再現可能で、情報源に紐づき、透明なものにできるかどうかである。
第一のシグナルは、完全な査読済み研究の公表である。論文では、学会発表では提供できない詳細が明らかになると見込まれる。
研究者とAI企業には、正確なプロンプト、モデルバージョン、機器レベルの結果、誤りの分類が必要である。これらの詳細により、失敗が知名度の低い製品に集中しているのか、広く販売されているモデルにも影響しているのかが分かる。
完全な混同行列は、ツールが未検証の機器を承認しがちなのか、検証済みの血圧計を拒否しがちなのかも明らかにする。この違いにより、リスク評価はより明確になる。
査読で報告されたパターンが確認されれば、警告の説得力は強まる。大きな方法論上の修正や、より限定的な結果が出れば、広範な結論は弱まるだろう。
第二のシグナルは、OpenAI、Google、Microsoft、またはPerplexityによる製品対応である。最も意味のある変更は、健康機器に関する回答を権威ある構造化情報源へ直接結びつけることだろう。
有用なインターフェースは、正確に一致したモデル、レジストリ、検証対象集団、確認日を示せる。識別子が一致しない場合には、不確実性も表示すべきである。
一般的な医療免責事項を追加するだけでは、テストで確認された問題は解決しない。失敗は製品識別と根拠の解釈の内部で起きていた。
より強力な対応は、検索を再現可能にする。同じ正確な質問をする二人のユーザーは、同じ情報源に紐づいた結果を受け取るべきである。
その後の独立した再テストでは、こうした変更後のChatGPT blood pressure monitor accuracyを検証すべきである。改善は、一度の選別されたデモだけでなく、セッションをまたいで持続する必要がある。
第三のシグナルは、消費者と臨床現場が直接検証の習慣を採用することである。レジストリがユーザーを守れるのは、人々がその存在を知り、製品を正しく照合できる場合に限られる。
臨床医は、正確なモデルを推奨したり、診察時に患者の機器を確認したりすることで、このプロセスを支援できる。小売業者も、認められた検証状況をより明確に表示できる。
AIアシスタントは、それに取って代わるふりをせず、ユーザーを権威ある記録へ導くことができる。これにより、決定的な根拠を見える形で保ちながら、会話型の利便性を維持できる。
現時点では、家庭用モニターを選ぶ人は、認められたレジストリで完全なモデル番号を確認すべきである。カフの適合性と測定方法についても、医療専門家に確認するべきだ。
チャットボットは、質問を整理したり、臨床以外の機能を比較したり、不慣れな用語を理解したりするために使うべきである。一つの流暢な回答を、医療機器が独立した試験に合格した証拠として扱ってはならない。
医療AIにとってより大きな試験は、確信を持って話せるかどうかではない。ユーザーが行動する前に、その回答をたどり、再現し、検証できるかどうかである。
