top of page

Microsoft MAI-DxO 研究登上《Science》,改變診斷 AI 的測試方式

2 小時前
讀畢需時 12 分鐘

Microsoft 於 10 月 22 日在《Science》公布其 Microsoft MAI-DxO 研究,報稱在複雜模擬個案中的診斷準確率達 83%。MAI-DxO 即 Microsoft AI Diagnostic Orchestrator,會協調一個虛擬醫生小組,在作出診斷前蒐集證據。核心張力在於這些結果究竟證明了甚麼:在受控條件下展現更強的診斷推理能力,但臨床成效仍需要另行取得證據。

這項工作挑戰了讓 AI 系統預先取得所有相關事實的評估方式。Microsoft 改為衡量系統如何決定要索取哪些資訊。這個差異令那些透過考試分數推銷智慧能力的醫療 AI 開發商面臨壓力,因為選擇下一項調查可帶來不同的失敗機會。

Google 的 AMIE 是一個用於診斷對話的研究系統,可作為有用參考。兩個項目均研究互動式推理,儘管其評估方法不同。最關鍵的競爭,是在能夠產生令人信服答案的系統,與資訊逐步到來時仍能作出有用決策的系統之間展開。

Microsoft MAI-DxO 研究更新了 2025 年首次發表的研究

10 月的公告透過發表、擴大評估,以及開放部分測試框架的使用權,推進既有研究計劃。

Microsoft 的序列式診斷研究指出,醫生在複雜個案中沒有參考資源時的準確率為 22%,有參考資源時則為 36%。在急症室個案中,該研究報稱 MAI-DxO 的準確率為 80%,醫生則為 47%。這些數字描述的是被評估的任務,而非病人接受 AI 指導照護後的結果。

時間線十分重要。Microsoft 在這次《Science》公告前,已於 2025 年 6 月 30 日公開介紹這項工作。其較早前的診斷評估將其描述為研究示範,並承認參與的醫生未能使用日常執業時可取得的資源。

這項早前限制令較新的附參考資源比較尤其值得關注。讀者在解讀報告分數看似出現的變化前,應檢視哪些條件已有改變。不同配置及評估條件,令簡單的按年表現比較並不成立。

發表亦改變了這些發現進入討論的方式。期刊論文提供正式研究記錄,讓其他研究人員可以審視。這並不代表公司公告中的每項解讀都已成為獨立確立的結論。

Microsoft 將該論文標示為《Science》中的「Sequential Diagnosis with Language Models」。在核實本文期間,無法存取該期刊全文。因此,文中的數字結果仍歸因於 Microsoft 可存取的公告,而非表述為已獨立重現的發現。

這項區分保留了故事中有價值的部分。研究人員現在有一項更成熟的主張可供調查,而不只是另一項宣稱聊天機械人理解醫學的說法。問題轉為:所聲稱優勢的哪些部分,能在替代評估選擇下持續成立。

讀者亦應把研究發表與產品可用性分開看待。發布基準測試描述的是一項評估資源。本身並不能證明相關診斷系統可供日常臨床部署。

同樣的審慎態度也適用於 Microsoft 用來界定其抱負的「超級智能」一詞。該標籤描述的是公司的方向,不能取代有關安全性、適當使用方式或照護改善的證據。

因此,Microsoft MAI-DxO 研究除了其主打的準確率外,其實驗方法同樣值得關注。其貢獻要求評估者檢視通往答案的路徑。這條路徑包含的決策,單靠最終診斷無法揭示。

試想兩個系統得出同一結論。其中一個索取相關證據並修正初始假設;另一個則安排不必要地廣泛的調查,透過排除法得出答案。只根據最終標籤評分,可能會掩蓋這種差異。

這正是更新後研究的重要性超越 AI 與醫生之間競賽的原因。它提高了描述診斷能力的標準。可信的比較必須展示每位參與者收到甚麼資訊、可使用甚麼協助,以及由他們控制哪些決策。

醫療 AI 供應商面臨展示答案如何得出的壓力

當蒐集證據的過程能經得起審視,一個強而有力的醫療答案便更具說服力。

對開發商而言,壓力在於評估設計。針對完整個案摘要優化的系統,在重要細節仍未取得時,表現可能不同。互動式測試迫使系統透過其選擇的問題暴露假設。

這改變了錯誤的意義。錯誤診斷可能反映詮釋有誤、遺漏提問、不恰當的調查,或過早決定停止。即使產生相同的最終分數,這些失敗也意味著不同的工程補救方法。

企業買家應關注此事,因為部署決策涉及工作流程。評估軟件的醫院需要了解資訊從何處進入、誰會審閱建議,以及證據互相衝突時會如何處理。對醫療知識的廣泛主張,無法解答這些營運問題。

研究亦令只展示成功例子的示範面臨壓力。一個經過修飾的個案演示可以展示介面,但無法確立可靠性。買家需要失敗模式、比較條件,以及涵蓋預定使用場景的證據。

這並不代表每項醫療 AI 產品都應追求自主診斷。文件支援、資訊檢索及診斷輔助涉及不同責任。其評估應配合它們實際影響的決策。

例如,摘要工具可以保留臨床醫生的觀察,而毋須決定下一步應進行哪項調查。診斷代理則在塑造可取得資訊方面扮演更主動的角色。這種額外影響需要更仔細審視遺漏與後果。

Microsoft 與 Mayo Clinic 的獨立醫療模型合作提供了商業背景。該合作於 2026 年 6 月公布,結合臨床專業知識與數據,以及 Microsoft 的工程能力。合作夥伴描述的是一個醫療專用模型,而非已公布的 MAI-DxO 產品發布。

閱讀合作夥伴公告時,這項區分十分重要。取得臨床專業知識有助開發,但不能證明每個相關系統均有效。每項產品仍需針對自身預定用途提供證據。

對 AI 公司而言,戰略含義是單靠取得模型的存取權,所提供的優勢並不完整。機構還必須設計有用的互動模式,並展示這些模式如何影響決策。評估基礎設施成為產品可信度的一部分。

對臨床醫生而言,相關比較應愈來愈包括有輔助的執業方式。一個系統可能勝過孤立的參與者,卻只為獲得良好支援的團隊帶來有限增益。相反,較狹窄的助手即使未能在整個診斷任務中勝過臨床醫生,仍可提供價值。

當 Microsoft 診斷 AI 比較明確說明軟件與臨床醫生的預定關係時,便更具可操作性。系統是在蒐集病史、提出替代方案、排列調查優先次序,還是檢視既有計劃?每種角色都需要不同證據。

醫學以外的知識工作者亦面對相似的採購問題。AI 研究助理可以提出看似合理的結論,卻遺漏足以改變結論的文件。評估檢索與證據選擇,可以揭示流暢文字掩蓋的弱點。

這項連結應保持務實。一個可搜尋的知識庫有助團隊整理技術證據以供審閱。它並不提供臨床驗證,但說明了除了生成品質外,取得相關資訊為何同樣重要。

透過其揭示的決策解說 Microsoft SDBench

這個基準測試將資訊取得納入任務,使評估者不只可檢視最終答案。

SDBench 即 Sequential Diagnosis Benchmark,以互動方式呈現個案。其診斷基準測試設計將索取資訊的診斷代理,與提供個案細節的守門人,以及為診斷評分的評判分開。

守門人在有記錄結果時會提供相關發現,而在所要求資訊不存在時則提供合成結果。評判會根據參考診斷評估已提交的答案。這些支援組件塑造了量度診斷能力的環境。

這個架構帶來一項重要分析區分。系統可以在模擬環境中良好推理,同時受惠於該環境內嵌的假設。因此,重現結果時除了診斷代理外,亦需要檢視支援組件。

公開項目亦區分可用程式碼與不受限制的臨床數據。NEJM 個案需要授權,而 MIMIC 數據需要具憑證的存取權。隨附的合成範例支援開發與測試,而非已報告的診斷表現。

對研究人員而言,這些條件影響「重現」一項主張所代表的意義。執行示範只能證明軟件可以運作。重現已發表結果,則需要合適個案、相符設定,以及清楚交代任何差異。

透過一段示例性的決策序列,最容易理解其運作方式。一個代理以有限資訊開始,考慮多種解釋。它索取額外證據、修正評估,最終決定是繼續調查還是提交結論。

每次轉換都揭示一項選擇。代理可能索取可區分合理替代方案的證據;也可能改為蒐集確認其首個想法的資訊。兩條路徑在文字記錄中都可聽來合理,因此系統化評估不可或缺。

虛擬小組增加了另一層設計。分配不同角色可鼓勵相互競爭的詮釋,但角色名稱並不證明存在獨立推理。多個生成的觀點仍可能共享同一錯誤假設。

因此,有用的評估應追問額外結構帶來甚麼貢獻。分歧是否找出被忽略的證據?是否適當地改變決策?額外討論是否足以改善結果,以合理化其營運負擔?

這些是實驗性問題,並非否定編排(即協調由模型驅動的步驟以完成任務)的理由。重點在於釐清其貢獻。當比較顯示某個複雜安排的結構帶來實際效益時,它便值得獲得相應肯定。

開發者可透過固定底層模型、改變周邊流程來測試這種貢獻;亦可在維持流程不變的情況下更換模型。這些比較有助區分協調機制的改進,與模型本身的改進。

若以實際角度解釋 Microsoft SDBench,其核心概念是讓中間選擇可被追究。系統必須揭示它提出甚麼問題,以及何時停止。與只附於不透明互動之上的正確答案相比,這提供了更多可供檢視的材料。

不過,可見步驟仍需要詮釋。詳盡的說明可能只是在事後為錯誤決定作合理化解釋。評估者應將每項所要求的行動連結至可得證據,而非獎勵冗長表述或看似深思熟慮的表象。

更廣泛的重要性在於令這些選擇可被檢視。研究人員可以分別質疑模型、互動規則或評估假設。這種區分比起將診斷智能視為單一、未經細分的分數,更能促成有用的討論。

Google 的 AMIE 顯示診斷 AI 為何需要多種證據

互動式醫療 AI 已有多條研究路徑,其結果需要在尊重不同任務與情境的前提下作比較。

Google 在 2025 年於 Nature 發表的對話式診斷 AI研究,透過與扮演病人的演員進行文字諮詢來評估 AMIE。研究除了檢視診斷表現,亦涵蓋諮詢質素的不同面向。作者同時提醒,研究場景與一般臨床實務有所不同。

這項工作提供業界參考,卻未有對 MAI-DxO 作出直接排名。參與者、個案、介面及評分方法不同,令乾淨直接的比較無從談起。一項研究中的較高數字,不能證明其優於在其他地方測試的系統。

有用的對照在於各種評估所聚焦的內容。對話研究可檢視互動是否蒐集到相關病史,以及溝通是否有效。序列式調查基準則可檢視系統在作出決定前如何選取證據。

未來的臨床助手可能需要兼具兩種能力。若病人誤解問題,即使問題問得恰當,作用也不大。清晰溝通同樣無法彌補一個一貫忽略矛盾證據的診斷過程。

這正是為何對 Microsoft 診斷 AI 的比較,不應輕易演變成模型排行榜。模型排行榜按共同分數為系統排序;臨床評估則需要釐清,在既定使用情境中哪些能力真正重要。

競爭壓力仍然存在。強調對話質素的供應商,會面對證據選擇與診斷可靠性的疑問;強調診斷準確度的供應商,則會面對溝通、工作流程適配度及處理不確定資訊的問題。

模擬研究無法為任何一條路線提供完整背書。研究可確立一項具前景的能力,同時保留其實際應用尚未明確的事實。這道界線是可信研究結果的一部分,而非宣傳應該掩蓋的缺陷。

對 MAI-DxO 的審慎解讀,始於其研究環境本身。當來源記錄缺乏所要求的資訊時,合成答案讓互動式個案得以延續。其真實性與一致性均屬假設,值得進行明確的敏感度測試。

舉例而言,評估者應問:其他合理而可信的回應,會否改變最終診斷?若表現能在這些變化下保持穩定,將提升信心;若出現大幅改變,則會顯示系統依賴模擬器提供的細節。

評判機制亦帶來另一個問題。診斷標籤在具體程度上可以不同,而部分正確的答案亦可能有不同詮釋。由人類審閱含糊個案,將有助釐清所報告的準確度數字究竟涵蓋甚麼。

個案選擇同樣重要。為診斷難度而挑選的個案集合,可以揭示推理失誤,卻未必代表最常遇到的情況。部署決定需要來自工具將會運作的人群與工作流程的證據。

人類比較亦值得同等審慎處理。參考資料存取、時間限制、可得背景資訊及對介面的熟悉程度,都會影響表現。公平的詮釋需要報告這些條件,而非將結果簡化為「AI 擊敗醫生」。

資源使用帶來更多不確定性。估算的檢查成本可在一致假設下幫助比較不同選擇,但不能自動證明在人手、基建、跟進工作及失誤後果方面能夠節省開支。

同一原則亦適用於安全性。平均準確度分數把個案視為可計數的結果,但臨床後果並不相同。評估者應檢視系統會犯哪類錯誤,以及人們如何識別或糾正這些錯誤。

一個系統即使仍需嚴格界限,也可能提供有用支援;相反,看似出色的平均表現,亦可能掩蓋令特定應用不適用的失效模式。任務是透過證據找出這些界限。

這是最站得住腳的審慎立場:研究支持進一步調查,而預定的臨床角色仍屬另一項判斷。它既不抹殺已報告的效益,也不把那些效益轉化為廣泛部署的許可。

下一個訊號將是重現研究、病人證據與可用的臨床工作流程

最有力的後續證據將顯示,已報告的優勢能否經受獨立審視,並在明確情境中為照護帶來貢獻。

未來數月,讀者應先追蹤獨立重現研究。有用的報告會列明所用個案、模型版本、評估設定,以及與 Microsoft 配置不同之處。缺乏這些細節,即使重現了新聞標題中的分數,也難以作出詮釋。

若重現研究在合理的替代設定下仍保留優勢,將強化研究主張;若發現結果對模擬器行為高度敏感,則會收窄其適用範圍。兩種結果都可加深對系統在哪些情況下可靠運作的理解。

存取條件在此亦值得注意。釋出程式碼為審視創造機會,但重現研究仍依賴合適的資料與資源。重要訊號是一項有文件記錄的評估,而非下載儲存庫的人數。

獨立工作亦應檢視失敗情況。重現的平均值只呈現部分圖像。錯誤分析可揭示系統是否在相似個案上失敗、不確定性是否能預測錯誤,以及介入措施是否能改善結果。

第二個訊號是前瞻性病人證據,即在觀察結果前已規劃好的評估。Microsoft 表示,其與 Beth Israel Deaconess Medical Center 的合作將包括直接與病人互動,並與獨立醫生評估作比較。公告描述的是計劃中的評估,而非已完成的病人結果。

讀者應在聚焦另一個表現標題前,留意是否發布研究方案。研究方案可釐清誰會參與、系統會做甚麼、臨床人員如何繼續參與,以及哪些結果界定為成功。

準確蒐集病史的證據,會支持某一類應用;建議能改善決策的證據,則會支持更廣泛的角色。兩者都不應自動被描述為長期健康結果更佳的證明。

這項區分重要,因為臨床研究可以各自有效地回答不同問題。可行性研究可確認某種互動是否適合納入實務;比較結果研究則進一步探問,使用系統後究竟帶來甚麼改變。

正面的病人證據將強化超越模擬、走向實際應用的理據。頻繁修正、工作流程受干擾,或未能妥善處理不確定性,則會指出仍需進一步開發的地方。價值在於透明報告成功與限制。

第三個訊號是具備明確責任界線的具體臨床工作流程。讀者應尋找清楚說明:誰使用系統、系統支援哪些決定,以及誰審閱其輸出。概括的合作夥伴措辭無法提供這些細節。

界定狹窄的角色,可能比宏大的承諾更具資訊價值。在一次諮詢前支援證據審閱,與在諮詢期間建議檢查不同。所需的驗證與營運保障措施,正是由這種差異而來。

產品公告亦應說明如何管理變更。即使介面看來完全相同,更新模型或互動流程亦可能改變行為。買家需要知道其證據支持哪一個版本,以及如何評估後續修訂。

競爭對手的發展亦應以同一視角解讀。當新的對話能力、診斷結果或醫院合作的範圍清晰時,它才具意義。當供應商公開其評估條件,而非聲稱存在普遍適用的贏家時,比較就會更有用。

對開發者而言,這形成一項具體議程:設計決定可被檢視的系統,保留評估所需證據,並測試影響中間步驟的假設。應將不確定性與失敗分析視為產品資訊。

對企業買家而言,含意同樣直接。應要求與預定工作流程相符的證據,包括與臨床人員目前已獲得的協助作比較。研究結果可以支持試點計劃,卻未必足以支持不受限制的使用。

對關注醫療 AI 的知識工作者而言,Microsoft MAI-DxO 研究提供了評估代理系統的更廣泛教訓:回答問題的能力,與蒐集足夠證據的能力彼此相關,但並不相同。當軟件影響具有重大後果的決策時,兩者都需要接受檢視。

在分享下一則診斷 AI 標題前,先從研究問題開始。檢查系統是處理模擬記錄、與扮演病人的演員互動,還是參與實際臨床接觸。然後檢視比較組獲得了甚麼協助,以及何謂正確結果。持續追蹤 Microsoft MAI-DxO 研究的獨立重現、病人研究及明確界定的臨床應用。隨著證據發展,將這些證據脈絡分開看待。可信的採用理據會將它們連結起來,而不會跳過步驟。當下一項結果出現時,問一個具體問題:這些證據現在為哪一項決定、以及為誰,提供了理據?

 
 

為每個智能代理提供更完整的背景,提升工作表現

讓智能代理連接 remio 已整理好的知識、決策和歷史紀錄。

remio 目前支援 Windows 10+(x64) 及配備 Apple 晶片的 Mac。

你的 AI 工作夥伴
和 remio 一起高效工作

規劃、創作、交付
一站式完成

bottom of page