Cognita ImagingのFDA契約、LLM陪審が放射線科AIを安全に評価できるかを検証

Cognita Imagingは、約100万件の患者検査を対象にLLM陪審を検証するため、FDAから129万ドルの契約を獲得した。18か月に及ぶこのプロジェクトは、すべての症例を人間のレビュアーに割り当てずに、完全な放射線科レポートを生成するAIシステムを評価するという難しい規制上の課題に取り組む。

Cognita ImagingのFDA契約は、医療機器の承認や同社技術の推奨を意味するものではない。複数の大規模言語モデルがレポートを一貫して評価できるかを調べる規制科学研究に資金を提供するものだ。放射線科医は、データセット全体を手作業で確認するのではなく、臨床的に重要な不一致を精査する。

この区別には、中心的な緊張関係がある。自動評価により100万症例規模の研究は現実味を帯びる一方、レポート生成器と人間の専門家の間に、誤りうる別のAI層が加わる。したがってこのプロジェクトでは、レポート作成モデルだけでなく、その成果を判定するモデルも評価する必要がある。

Cognitaは、ソフトウェアコード、LLM陪審の構築ガイダンス、検証コホート比較、放射線科医がレビューした不一致研究を提供する予定だ。FDAはプロジェクトの結果と限界を扱う報告書も受け取る。

その成果はCognitaにとどまらず重要である。医療AI開発者は完全な臨床文書の生成をますます目指しており、規制当局はそうした広範なシステムをどのような証拠で支持できるかを判断しなければならない。この契約では、臨床的な意味を損なわずに、自動化がその証拠を拡張できるかを検証する。

Cognita ImagingのFDA契約が実際に資金提供するもの

この契約が資金提供するのは評価手法であり、自律型放射線科製品の販売許可ではない。

FDAはCognita Imagingに対し、129万4,042ドルの固定価格契約を授与した。連邦契約記録では、放射線科レポート評価向けAIベースの仮想専門家エージェントを対象とする契約番号75F40126C00035として記載されている。

契約は2026年6月22日に発効し、2027年12月21日まで続く。Cognitaは9月16日にこのプロジェクトを公表した。同社は、規制科学研究を対象とするFDAのBroad Agency Announcementプログラムを通じて契約を受けた。

プロジェクト名は「Virtual Subject Matter Expert Agents for Radiology Report Evaluation」だ。Cognitaは、複数のLLMが人間作成およびAI生成の放射線科レポートを評価するフレームワークを開発・検証する。

LLM陪審とは、同一の出力を独立して評価する言語モデルの集団を指す。判断を組み合わせることで、単一の自動評価器では見落とされる不一致を明らかにできる可能性がある。

この手法はその後、大規模な米国コホートから得られる約100万件の患者検査に適用される。研究では、患者集団、診療環境、画像機器、疾患、まれな所見をまたいだ性能を検討する。

この規模は提案の中核だ。従来の読影者研究では、放射線科医が参照症例と照らしてモデル出力を確認する。こうした研究は依然として不可欠だが、専門家の時間には限りがあり、対象にできる症例数と多様性も制約される。

完全なレポートは、対象を絞った検出システムよりも評価範囲が広い。トリアージモデルなら、血栓や気胸の疑いを特定する場合がある。その出力は限定され、定義済みの参照基準と比較できる。

生成されたレポートには、多数の所見、留保、比較、推奨が含まれうる。異常を見落としたり、存在しない異常を作り出したり、重症度を誤って記載したり、正しい所見を曖昧に表現したりする可能性がある。

Cognitaのアプローチでは、複数のLLMにこうした差異を大規模に分類させる。陪審が臨床的に重要な不一致を特定した場合、放射線科医が介入する。

同社の契約発表によると、レビュアーは、問題が生成レポート、LLM陪審、あるいは元の放射線科医レポートのどこに起因するかを判断する。この三者間の裁定は、参照レポートが自動的に完全なものとは限らないため重要だ。

研究はCognita共同創業者のAkshay Chaudhariが主導する。同氏はStanford Universityの放射線科および生物医学データサイエンス准教授でもある。CognitaのCEO兼共同創業者であるLouis Blankemeierは共同研究者を務める。

CognitaはRadiology Partnersが所有するMosaic Clinical Technologiesの完全子会社だ。この関係により、研究チームは多様な診療環境にまたがる臨床インフラと放射線科の専門知識を利用できる。

Radiology Partnersによれば、同社のより広範なネットワークには3,400を超える医療施設で診療する4,000人以上の放射線科医が含まれる。年間5,500万件超の画像検査を読影しているとしている。

これらの企業数値は、契約の検証結果ではなく、想定される運用文脈を示すものだ。100万件の検査コホートについては、その代表性を他者が評価できるだけの詳細を伴って、なお定義、検証、報告される必要がある。

契約上の成果物により、このプロジェクトは非公開のベンチマーク以上のものとなる。Cognitaはコード、実装ガイダンス、大規模コホートと小規模コホートの分析、裁定済みの不一致研究、文書化された限界を提供しなければならない。

ただし、FDAはこのフレームワークを規制基準として採用するとは約束していない。この研究は、すべての生成型放射線科製品に必須の経路となることなく、将来の政策に情報を与える可能性がある。

この境界は、契約資金と製品承認が異なる目的を果たすため重要だ。Cognitaの別の胸部X線モデルはbreakthrough device designationを受けているが、販売承認は受けていない。

当初の報道も、研究契約とbreakthrough designationが別個の取り組みであることを確認している。いずれも、将来の医療機器申請を裏付ける証拠の代替にはならない。

完全なレポートが従来の評価モデルを崩す理由

生成型放射線科システムは、評価を限定的な精度試験から、自由度の高い臨床比較の問題へと変える。

これまで承認されてきた放射線科AIの多くは、範囲が限定されたタスクを実行してきた。臓器をセグメンテーションし、緊急性のあるスキャンにフラグを付け、構造を測定し、指定された異常を検出するシステムなどがある。

こうした機能にも複雑な検証が必要となりうる。しかし、開発者は通常、研究を実施する前に、期待される出力、参照基準、対象集団を定義できる。

完全なレポート生成は異なる。モデルは画像と、場合によっては臨床的背景を受け取り、関連すると判断したすべてを扱う文章を生成する。

1件の検査には、臨床上の優先度が異なる複数の異常が含まれる場合がある。別の検査は正常であっても、疾患と誤認してはならない術後変化を含むことがある。

生成レポートは事実として正確でも、優先順位付けが不適切な場合がある。正しい所見に触れていても、緊急度を変えてしまう表現で記載することがある。また、画像に裏付けられないもっともらしい文章を生成することもある。

ハルシネーションとは、信頼できそうに見えるものの、基礎となる証拠に裏付けられていない情報を指す。見落としは、記録すべき所見がレポートに含まれない場合に生じる。

どちらのエラーも、単純なテキスト照合では捉えにくい。同じ画像を2人の正しい放射線科医が異なる表現で記述することがある一方、似たレポートでも臨床上の意味合いが大きく異なることがある。

従来の言語指標は、共通する単語やフレーズを評価することが多い。無害な表現の変更と、患者管理を変えるエラーを、確実に区別できるわけではない。

Cognitaは以前、Generative Radiology Report Evaluation and Error Notationの略称であるGREENの開発に協力した。GREENは言語モデルを用いて、生成レポートと参照レポートの間にある臨床的に重要な差異を特定、分類、説明する。

査読済みのGREEN論文では、複数の従来型テキスト指標と比べ、専門家評価とのより強い一致が報告された。また、類似度スコアだけを返すのではなく、説明とエラー数も出力した。

FDA契約は、この基本的な考え方を2つの方法で拡張する。1つのモデルに依存するのではなく複数のモデル判定者を使うこと、そして自動判定が臨床的に重要となる症例で放射線科医を関与させることだ。

陪審は1つのモデルの好みへの依存を減らせる可能性があるが、構成メンバーが意味のある異なる判断を提供する場合に限られる。複数のモデルが、学習データの出所、推論上の失敗、同じ表現への感度を共有している可能性がある。

したがって、合意は正確性と同義ではない。5つのモデルが同じ誤りを犯せば、有効な証拠を追加せずに確信だけを強める可能性がある。

提案された不一致プロセスは、このリスクの一部に対処する。判定者が臨床的に重要な問題について意見を異にする場合、放射線科医がレポートを確認し、どこで失敗したかを判断できる。

しかし、合意についても検証が必要だ。陪審の全メンバーが同じ見落としを見過ごした場合、不一致に基づくエスカレーションではその症例は人間のレビュアーに送られない。

そのため、このプロジェクトには別途サンプリングされた人間レビュー用セットが必要となる。このセットにより、全会一致の陪審判断と判断が分かれた陪審判断の両方に含まれるエラーを推定できる。

大規模コホートと小規模コホートの比較も重要になる。同社は、数百件の選択された症例を超えて評価を拡大したときに、どのような追加の失敗パターンが見えるようになるかを示さなければならない。

100万件の検査には、より多くのまれな疾患や珍しい組み合わせが含まれるはずだ。また、スキャナー、医療機関、患者集団、臨床環境に関連する性能変化も明らかにできる可能性がある。

ただし、規模だけで網羅性が保証されるわけではない。大規模なデータセットであっても、重要な集団、一般的でない機器、またはその供給ネットワーク外の環境を十分に代表していない可能性がある。

そのため、コホート構成は最終分析の一部であり続けるべきだ。読者は、この手法が実際の米国の診療を反映しているかを判断するために、見出しとなる数値以上の情報を必要とする。

FDAには生成AIに見合う証拠が必要

この契約は、より広範で予測しにくい出力を持つシステムに既存の医療機器規則をどう適用すべきか、FDAが判断する中で締結された。

8月18日、FDAは生成AI対応医療機器に関するディスカッションペーパーを公表した。同機関は、リスク評価、市販前評価、市販後モニタリング、ライフサイクル管理について意見を求めた。

このタイミングにより、Cognita ImagingのFDA契約は特に重要になる。FDAは個別製品を審査しているだけではない。新たなコンテンツを生成する医療機器に、既存の評価手法が適しているかも検討している。

FDAのディスカッションペーパーは、出力が可変または自由形式である場合に性能をどう測定するかという問いを提起している。また、開発者がどのように作話を検出し、人間による監督を評価し、導入後の製品を監視すべきかも問うている。

AI生成の放射線科レポートは、これらすべての論点に関わる。出力は実行ごとに変動しうるほか、複数の臨床的主張を含み、最終レポートに放射線科医が署名する場合でも意思決定に影響を及ぼしうる。

市販前研究では、承認前に安全性と有効性を確立しなければならない。しかし、限定的なテストセットでは、後に臨床使用で現れるまれな組み合わせを見逃す可能性がある。

市販後モニタリングはより広範な証拠をもたらすが、導入されたすべてのレポートをレビューすることは、大きな運用負担となる。自動判定者は、専門家の注意を要する症例の特定に役立つ可能性がある。

これは、市販前の検証と実運用下の監視を結びつける可能性を生む。同じ評価フレームワークで、発売前にモデルを試験し、導入後には選定された出力を監視できる。

このフレームワークには、なお明確な閾値が必要となる。治療を変える不一致には、文体上の意見の相違や無害な表現の揺れとは異なる対応が求められる。

また、追跡可能な記録も必要だ。規制当局と病院は、自動判定器がなぜ特定のエラー分類を割り当て、なぜある症例が人間の査読者に回されたのかを再構成できなければならない。

モデル更新は別の課題を加える。レポート生成器が変われば、そのエラー分布も変化しうる。陪審員の一員が変更されれば、評価システムの判断も変動しうる。

これにより、1つではなく2つの変動するシステムが生まれる。検証済みのレポート生成器が、評価器の更新だけを理由に、実際より良くも悪くも見える可能性がある。

そのため、バージョン管理、固定されたテストセット、再現可能なプロンプトが必要になる。開発者は、審査対象となる製品と、その評価に用いるすべての判定器の両方を文書化しなければならない。

FDAはすでに、医療専門分野全体で承認された製品を網羅するAI機器リストを維持している。放射線医学は、リストに掲載される機器の大きな割合を引き続き占めている。

同庁は、今後のリスト更新ではLLMベースの機能を含む機器をより明確に識別したいとしている。これは、生成機能が医療製品に組み込まれるなかで、より精密な規制上の可視性が必要であることを示している。

確立された放射線AI市場も競争圧力を高めている。Aidoc、Viz.ai、Lunit、Annalise.ai、Rad AI、DeepHealthなどの企業は、検出、トリアージ、ワークフロー、レポーティングのツールをそれぞれ異なる形で組み合わせて展開してきた。

スケーラブルなレポート評価手法が、Cognitaを自動的に有利にするわけではない。FDAが広く適用可能なガイダンスを公表すれば、競合各社も類似したエビデンス戦略を活用できる。

むしろ圧力がかかるのは、限られた読影者研究に基づいて広範な性能主張を行うすべての開発者である。規制当局や購入者は、数百件の選別された事例が、実臨床における多様な変動を通じたモデルの挙動を示しているのかを問うことができる。

病院も調達時に同じ疑問を提起する可能性がある。モデルが地域のスキャナー、プロトコル、患者群、レポーティング慣行にまたがって機能することを示すエビデンスが必要になる。

契約が信頼できる方法論を生み出せば、より大規模な検証コホートがエビデンスパッケージの標準的な一部になる可能性がある。これは試験の負担を増やす一方、選択的な症例だけで広範な生成AIの主張を裏付けることを難しくする。

LLM陪審員もまた審査されなければならない

中心的なトレードオフは明確だ。LLM判定器は規模をもたらすが、その判定器自身のエラーが規制当局に届くエビデンスを歪める可能性がある。

LLMは中立的な立場からレポートを評価するわけではない。その判断は、学習データ、プロンプト、モデルのバージョン、評価順序、各候補レポートの表現に依存する。

判定器は、追加の文章が臨床リスクを生む場合でも、より長い回答を好むかもしれない。馴染みのある文体を優遇したり、自身の応答に似た出力に高いスコアを与えたりする可能性もある。

モデルは、評価を繰り返す間に一貫しない判断を出すこともある。開発者が規制申請に安定した測定値を必要とする場合、これは再現性の問題となる。

医療では微妙な違いが重要であるため、リスクはより高い。一般的な医療質問で良好に機能する評価器であっても、不確実性、左右差、時系列比較、画像診断特有の用語を適切に扱えない可能性がある。

LLM判定システムに関する最近の医療レビューは、自動評価には有望性があると述べる一方、検証、透明性、人間による監督の必要性を強調している。

Cognitaのプロジェクトは、これらの懸念のいくつかを調査するよう構成されている。複数の判定器は不安定性を明らかにでき、放射線科医による裁定は、不一致が臨床的に重要な不確実性を示すかどうかを検証できる。

しかし、陪審員アーキテクチャが自動的にバイアスを取り除くわけではない。構成員は、単にモデル数で集めるのではなく、相補的な性能を持つよう選定・検証されなければならない。

研究では、判定器が異なるモデルファミリーに由来するかどうかを開示すべきである。また、いずれかの判定器がレポート生成器と技術、データ、最適化手法を共有しているかも説明すべきだ。

自己選好は特に懸念される。あるモデルファミリーは、自身の構造、冗長性、推論パターンに似た出力を優遇する可能性がある。

開発者が関連するモデルを使って自社の生成器を評価する場合、この問題はより深刻になる。一見強いスコアが、臨床的な正確性ではなく文体上の親和性を反映している可能性がある。

プロンプト感度も検証が必要である。指示のわずかな変更によって、判定器が欠落、不確実性、臨床的重要性をどのように重視するかが変わりうる。

規制フレームワークは、文書化されていない1つの構成でしか機能しないプロンプトに依存できない。プロンプト、温度、モデルバージョン、判断ルールは再現可能であるべきだ。

陪審員は、レポートの品質と画像上の真実も区別しなければならない。テキストのみを扱う判定器は2つのレポートを比較できるが、どちらの記述がスキャンに一致するかを独立して確認することはできない。

元のレポートが所見を見落としている場合、生成されたレポートは、その所見を正しく追加したにもかかわらず減点される可能性がある。両方のテキストが同じ誤りに同意している場合には、その逆も起こりうる。

Cognitaが提案する放射線科医レビューは、画像に戻ることで、こうした対立の一部を解決できる。最終的な方法論では、画像レビューが任意ではなく必須となる場面を明記すべきである。

完全に画像認識可能な評価器には、それ独自の複雑さがある。視覚言語モデルは画像とテキストを検査できるが、その視覚的解釈も検証されなければならない。

これは層状の保証問題を生み出す。モデルを追加するたびに能力は広がる一方、静かに失敗しうるコンポーネントも増える。

臨床的に重要な不一致も固定された分類ではない。ある患者にとっては軽微な表現上の違いが、フォローアップ、緊急性、治療に影響する場合には重要になりうる。

このフレームワークには、明示的なエラー分類と重症度の定義が必要となる。放射線科医は、これらのルールを適用する際に意味のある一致を示すべきである。

読影者間の不一致を、取り除くべきノイズとして扱うべきではない。それは画像、レポート、臨床的文脈に存在する本物の曖昧さを明らかにしうる。

したがって、最も有用な成果は単一の普遍的なスコアではなく、較正された不確実性かもしれない。不確実な症例を確実に特定するシステムは、専門家の判断を置き換えるふりをせずに監督を支援できる。

コストとレイテンシーも導入に影響する。100万件のレポートに対して複数のプロプライエタリモデルを実行するには、大きな計算リソースと繰り返しの処理が必要になる可能性がある。

こうした経済性がアプローチを無効にするわけではないが、小規模な開発者が再現できるかどうかには影響する。大規模組織だけが評価インフラを負担できる場合、規制手法の有用性は低下する。

Cognitaのコードと実装ガイダンスは役立つ可能性がある。それでも最終成果物では、ハードウェア要件、モデルへのアクセス、処理時間、クローズドモデル更新への感度を説明すべきである。

したがって、この契約の成功は、放射線科医との見出し上の一致度だけでなく、透明性と再現性によって判断されるべきだ。信頼できる否定的結果も、有用な規制上のエビデンスとなる。

LLM陪審員が特定のエラー分類で失敗する場合、FDAはそれに応じて役割を制限できる。この研究は、評価実務を改善するために普遍的な信頼性を証明する必要はない。

100万件の検査で成功することが意味するもの

成功した結果は、人間によるレビューをより的を絞ったものにするのであって、放射線科医を不要にするものではない。

このプロジェクトの中心的な運用モデルは、選択的なエスカレーションである。自動判定器が広範なデータセットを処理し、専門家は意味のある不確実性または不一致がある症例に集中する。

この設計により、限られた専門家の時間が届く範囲を広げられる。また、モデルの弱点を露呈する可能性が最も高い症例に査読者を集中させることもできる。

その利点はトリアージの感度に左右される。陪審員は、無害な違いで放射線科医を圧倒することなく、真に問題のあるレポートを十分に送らなければならない。

偽陰性は、より大きな安全上の懸念となる。これは、陪審員が臨床的に重要なレポーティングエラーを受け入れ、人間によるレビューを一度も要請しない場合に発生する。

偽陽性は別の負担を生む。安全なレポートが過度にエスカレーションされれば、期待された効率性は失われ、システムは別の全面的な読影者研究に近づく。

研究では、異なるエラー重症度にわたる両方の結果を報告すべきである。単一の一致率では、運用上のトレードオフが隠れてしまう。

性能は、疾患、モダリティ、患者特性、施設タイプ、機器ごとにも分けるべきだ。集計結果は、より小さなグループでの弱い性能を隠しうる。

稀な所見には特別な注意が必要である。モデルは、まれだが緊急性の高い病態で失敗しながらも、全体として高い精度を達成できる。

100万件の検査は希少事象の分析をより現実的にするが、実際の件数は依然として重要である。わずかな例しかない希少サブグループでは、安定した結論を支えられない。

小規模な検証コホートと大規模な検証コホートの比較は、特に有益となる。それは、従来型の研究から導かれた結論が、症例構成の拡大後も安定しているかを示せる。

順位やエラー率が大きく変化すれば、開発者と規制当局は、小規模な評価が重要な挙動を見落とすことのエビデンスを得る。その結果は、陪審員そのものに改善が必要だったとしても、研究設計を再構築しうる。

成功は市販後モニタリングにも影響する。病院は実運用のレポートをサンプリングし、承認された評価手法を適用して、高リスクの不一致を品質チームに回すことができる。

こうした監視には、地域ごとのガバナンスが必要となる。医療システムは、アラート、レビュー期限、是正措置、ベンダーとのコミュニケーションについて、明確な責任体制を必要とする。

自動評価が、レポーティング上の安全問題を報告する仕組みの代替になってはならない。それは既存の品質・規制プロセスを支えるエビデンスを生み出すべきである。

この手法は製品バージョンの比較にも役立つ可能性がある。開発者は、更新が既知のエラーを修正しつつ、別の領域で新たなエラーを導入していないかを評価できる。

この用途には、安定したベンチマークと固定された評価器構成が必要である。そうでなければ、陪審員の変化が製品の変化と誤認される可能性がある。

より広範な競争への影響も大きい可能性がある。生成放射線医学の開発者は、自社システムが包括的なレポートを下書きまたは生成できると主張することが増えている。

評価器が大規模で多様なコホートをレビューできるようになれば、こうした主張はより検証可能になる。限定的なエビデンスしか持たない企業は、サブグループ別の結果や裁定済みエラー率を公表するよう圧力を受ける可能性がある。

それでも、FDAとの契約はCognitaに、方法論の形成における早期の役割を与える。同社は独自の放射線AIを開発しているため、利益相反の管理と外部による再現性が重要になる。

独立したチームは、他のレポート生成器でこのフレームワークを試験できるべきである。また、Cognitaの非公開システムに依存せず、その中心的な知見を再現できるべきだ。

オープンコードはそのプロセスを支援できるが、コードだけでは不十分である。外部検証には、アクセス可能なデータセット、文書化されたプロンプト、エラー定義、モデルバージョンの記録が必要となる。

患者プライバシーは、どの程度のソースデータを公開できるかを制限する。このプロジェクトは、管理されたアクセス、匿名化ベンチマーク、または独立した検証環境を通じて対応できる。

最も強力な成果は、規模と監査可能性を組み合わせるものだろう。そうすれば規制当局は、不透明なスコアを受け入れるだけでなく、その結果がどのように生成されたかを検査できる。

この基準は医療機関の購入者にも利益をもたらす。病院は、ベンダー独自の精度指標ではなく、臨床的な結果に結びついたエラー分類を用いて主張を比較できる。

3つのシグナルが、LLM陪審団の準備状況を示す

次に示される証拠によって、Cognitaのフレームワークが臨床的安全性を測定するものなのか、それとも言語モデル間の合意を自動化するだけなのかが明らかになるはずだ。

第1のシグナルは、詳細な検証プロトコルである。陪審団の構成員、プロンプト、モデルのバージョン、コホート構成、エラー分類、エスカレーション規則を特定する必要がある。

こうした詳細は、アプローチの再現性を左右する。また、陪審団が実質的に異なる評価者で構成されているのか、あるいは近縁のモデルが集まっているだけなのかも明らかにする。

強力なプロトコルであれば、研究者が全会一致の判断をどのように抽出し、人によるレビューに回すのかを明記するだろう。この検証は不可欠だ。合意の裏に、共通の誤りが隠れている可能性があるためである。

第2のシグナルは、放射線科医の裁定による不一致分析である。研究者は、生成されたレポート、元のレポート、LLM陪審団のそれぞれがどこで誤ったかを報告すべきだ。

この分析では、ハルシネーション、欠落、重症度の誤り、左右の取り違え、根拠のない推奨、そして臨床的影響が比較的小さい表現上の差異を区別する必要がある。

サブグループ別の性能も開示すべきである。希少疾患、十分に代表されていない集団、特定の医療現場で評価が弱ければ、全体として安定した結果が得られていても補うことはできない。

陪審団がレビュー作業量を管理可能な水準に保ちながら、臨床的に重要な不一致を見つけられるなら、この契約の中心的な主張は裏付けられる。見逃し率が高い、あるいはエスカレーションが過剰であれば、その主張は弱まる。

第3のシグナルは、研究が成熟した後のFDAの反応である。同機関は、ガイダンス、公開ワークショップ、医療機器レビュー、市販後モニタリングの提案などで、この手法に言及する可能性がある。

このプロジェクトが意味を持つために、FDAがLLM陪審団を義務付ける必要はない。限定的な受容であっても、大規模コホートでの評価や人による裁定に関する期待値を確立する可能性がある。

沈黙もまた有益な情報となる。それは、この手法に追加の検証が必要であること、または規制当局が製品固有の証拠を好むことを示すかもしれない。

一般の人々は、Cognita ImagingとFDAの契約を、AIが安全に自らを監視できる証拠と解釈すべきではない。このプロジェクトが存在するのは、その問いがなお未解決だからである。

より擁護しやすい前提は、より限定的なものだ。自動化された判定者は、その性能自体も同等の厳密さで測定されるなら、放射線科医がはるかに多くの証拠を精査する助けになるかもしれない。

開発者、臨床医、医療機関の購買担当者は、最終成果物が失敗モードを単一のスコアに圧縮せず、明らかにしているかを注視すべきだ。また、独立したチームがその結果を再現できるかも問うべきである。

決定的な問いは、複数のLLMがレポートについて合意できるかどうかではない。その合意と不一致が、最も重要な症例へ人間の注意を確実に向けられるかどうかである。