Microsoft MAI-DxO 연구, Science 게재로 진단 AI 평가의 기준을 바꾸다

Microsoft는 10월 22일 Science에 Microsoft MAI-DxO 연구를 발표하며, 복잡한 모의 사례에서 83%의 진단 정확도를 기록했다고 밝혔다. Microsoft AI Diagnostic Orchestrator인 MAI-DxO는 진단을 확정하기 전에 증거를 수집하는 가상 의사 패널을 조율한다. 핵심 쟁점은 이 결과가 무엇을 입증하는지에 있다. 통제된 환경에서 더 강력한 진단 추론을 보여주지만, 임상적 효과는 여전히 별도의 증거가 필요하다.

이 연구는 AI 시스템에 모든 관련 사실을 처음부터 제공하는 평가 방식에 이의를 제기한다. Microsoft는 대신 시스템이 어떤 정보를 요청할지 어떻게 결정하는지를 측정한다. 다음 검사를 선택하는 과정에서는 서로 다른 실패 가능성이 생기므로, 이 구분은 시험 점수를 통해 지능을 내세우는 의료 AI 개발자들에게 부담을 준다.

진단 대화를 위한 연구 시스템인 Google의 AMIE는 유용한 참고 사례다. 두 프로젝트 모두 상호작용형 추론을 살피지만, 평가 방식은 다르다. 가장 중요한 경쟁은 설득력 있는 답을 만드는 시스템과 정보가 점진적으로 제공될 때도 유용한 판단을 유지하는 시스템 사이에서 벌어진다.

Microsoft MAI-DxO 연구는 2025년에 처음 공개된 연구를 업데이트한다

10월 발표는 논문 게재, 더 폭넓은 평가, 그리고 테스트 프레임워크 일부에 대한 접근을 통해 기존 연구 프로그램을 발전시킨다.

Microsoft의 순차적 진단 연구에 따르면, 복잡한 사례에서 참고 자료 없이 의사의 정확도는 22%, 참고 자료를 활용하면 36%였다. 응급실 사례에서는 MAI-DxO가 80%, 의사가 47%를 기록했다고 보고했다. 이 수치는 AI 주도 치료를 받은 환자의 결과가 아니라 평가된 과제를 설명한다.

연대기는 중요하다. Microsoft는 이번 Science 발표 이전인 2025년 6월 30일에 이 연구를 공개적으로 소개했다. 이전 진단 평가에서는 이를 연구 시연으로 설명하고, 참여한 의사들이 일반 진료 환경에서 이용할 수 있는 자료를 제공받지 못했다고 인정했다.

이전의 이러한 한계 때문에, 새롭게 제시된 참고 자료 지원 비교는 특히 관련성이 높다. 독자는 보고된 점수 간의 겉보기 변화가 어떤 의미인지 해석하기 전에 어떤 조건이 달라졌는지 살펴봐야 한다. 서로 다른 구성과 평가 조건 때문에 단순한 연도별 성능 비교는 불가능하다.

논문 게재는 결과가 논쟁에 진입하는 방식도 바꾼다. 학술지 논문은 다른 연구자들이 면밀히 검토할 수 있는 공식 연구 기록을 제공한다. 그렇다고 기업 발표에 담긴 모든 해석이 독립적으로 확립된 결론이 되는 것은 아니다.

Microsoft는 Science 논문을 “Sequential Diagnosis with Language Models”라고 명시한다. 이 기사를 검증하는 동안 학술지 전문에는 접근할 수 없었다. 따라서 여기의 수치 결과는 독립적으로 재현된 발견으로 제시하지 않고, 접근 가능한 Microsoft 발표에 귀속한다.

이러한 구분은 이 이야기의 유용한 부분을 보호한다. 연구자들은 이제 챗봇이 의학을 이해한다는 또 하나의 선언이 아니라, 더 발전된 주장을 조사할 수 있게 됐다. 문제는 주장된 우위의 어떤 부분이 다른 평가 선택에서도 유지되는가다.

독자는 연구 논문 게재와 제품 이용 가능성도 구분해야 한다. 벤치마크 공개는 평가 자원을 설명한다. 그 자체만으로 해당 진단 시스템이 일상적인 임상 배포에 이용 가능하다는 사실을 입증하지는 않는다.

Microsoft가 자신의 목표를 설명하기 위해 사용하는 “superintelligence”라는 표현에도 같은 주의가 필요하다. 이 용어는 회사의 방향성을 설명할 뿐이다. 안전성, 적절한 사용, 또는 치료 개선에 관한 증거를 대체하지 못한다.

따라서 Microsoft MAI-DxO 연구는 헤드라인 정확도뿐 아니라 실험적 접근 방식 때문에도 주목할 가치가 있다. 이 연구의 기여는 평가자에게 답에 이르는 경로를 살펴보라고 요구한다. 그 경로에는 최종 진단만으로는 드러나지 않는 결정들이 담겨 있다.

같은 결론에 도달하는 두 시스템을 생각해 보자. 한 시스템은 관련 증거를 요청하고 초기 가정을 수정한다. 다른 시스템은 불필요하게 광범위한 검사를 지시한 뒤 소거법으로 답에 도달한다. 최종 라벨만을 기반으로 한 점수는 이 차이를 감출 수 있다.

이 때문에 업데이트된 연구는 AI와 의사 간의 경쟁을 넘어 중요하다. 진단 역량을 설명하는 기준을 높이기 때문이다. 신뢰할 수 있는 비교는 각 참여자가 어떤 정보를 받았는지, 어떤 지원을 활용할 수 있었는지, 그리고 어떤 결정을 통제했는지를 보여줘야 한다.

의료 AI 공급업체는 답에 도달하는 과정을 보여줘야 한다는 압박에 직면한다

강력한 의료 답변은 증거 수집 과정이 검토를 견딜 수 있을 때 더 설득력을 얻는다.

개발자에게 이 압박은 평가 설계와 관련된다. 완전한 사례 요약에 최적화된 시스템은 중요한 세부 정보가 아직 제공되지 않은 상황에서는 다르게 작동할 수 있다. 상호작용형 테스트는 시스템이 선택하는 질문을 통해 가정을 드러내도록 한다.

이는 오류의 의미를 바꾼다. 잘못된 진단은 결함 있는 해석, 누락된 질문, 부적절한 검사, 또는 너무 이른 중단 결정에서 비롯될 수 있다. 최종 점수가 같더라도 이런 실패는 서로 다른 엔지니어링 대응책을 요구한다.

기업 구매자는 배포 결정이 워크플로와 관련되기 때문에 이를 중요하게 봐야 한다. 소프트웨어를 평가하는 병원은 정보가 어디로 들어오는지, 누가 권고를 검토하는지, 증거가 충돌할 때 어떤 일이 일어나는지를 이해해야 한다. 의료 지식에 관한 광범위한 주장은 이런 운영상 질문을 해결할 수 없다.

이 연구는 성공 사례만 보여주는 시연에도 압박을 가한다. 잘 다듬어진 사례 안내는 신뢰성을 입증하지 못한 채 인터페이스를 보여줄 수 있다. 구매자에게는 실패 패턴, 비교 조건, 그리고 의도된 환경을 포괄하는 증거가 필요하다.

그렇다고 모든 의료 AI 제품이 자율 진단을 목표로 해야 한다는 뜻은 아니다. 문서화 지원, 정보 검색, 진단 보조는 서로 다른 책임을 수반한다. 평가는 실제로 영향을 미치는 결정에 맞춰야 한다.

예를 들어 요약 도구는 다음 검사를 결정하지 않으면서도 임상의의 관찰을 보존할 수 있다. 진단 에이전트는 이용 가능한 정보를 형성하는 데 더 적극적인 역할을 한다. 이처럼 영향력이 커질수록 누락과 결과를 더욱 면밀히 검토해야 한다.

Mayo Clinic과의 Microsoft 별도 헬스케어 모델 협력은 상업적 맥락을 제공한다. 2026년 6월에 발표된 이 협력은 임상 전문성과 데이터를 Microsoft의 엔지니어링 역량과 결합한다. 양측은 발표된 MAI-DxO 제품 출시가 아니라 헬스케어 특화 모델을 설명한다.

파트너십 발표를 읽을 때 이 구분은 중요하다. 임상 전문성에 대한 접근은 개발을 지원하지만, 관련된 모든 시스템의 효과를 입증하지는 않는다. 각 제품은 여전히 고유한 의도된 사용처와 연결된 증거가 필요하다.

AI 기업에 대한 전략적 함의는 모델 접근만으로는 불완전한 우위를 제공한다는 점이다. 조직은 유용한 상호작용 패턴도 설계하고, 그 패턴이 결정에 어떤 영향을 미치는지 입증해야 한다. 평가 인프라는 제품 신뢰성의 일부가 된다.

임상의에게 관련 있는 비교에는 지원을 받는 진료가 점차 포함돼야 한다. 시스템은 고립된 참가자보다 뛰어난 성과를 보이면서도, 충분히 지원받는 팀에는 별다른 가치를 더하지 못할 수 있다. 반대로 더 제한적인 보조 도구는 전체 진단 과제에서 임상의보다 뛰어나지 않아도 가치를 제공할 수 있다.

Microsoft 진단 AI 비교는 소프트웨어와 임상의 사이의 의도된 관계를 명시할 때 더 실용적인 의미를 갖는다. 시스템은 병력을 수집하는가, 대안을 제안하는가, 검사의 우선순위를 정하는가, 아니면 기존 계획을 검토하는가? 각 역할에는 서로 다른 증거가 필요하다.

의료 분야 밖의 지식 노동자들도 비슷한 구매 문제에 직면한다. AI 리서치 보조 도구는 결론을 바꿀 문서를 놓친 채 그럴듯한 결론을 만들 수 있다. 검색과 증거 선택을 평가하면 유창한 문장 뒤에 숨은 약점을 드러낼 수 있다.

이 연결은 실용적으로 유지해야 한다. 검색 가능한 지식 기반은 팀이 검토를 위해 기술적 증거를 정리하는 데 도움을 준다. 임상 검증을 제공하지는 않지만, 생성 품질과 함께 관련 정보에 접근하는 일이 왜 중요한지를 보여준다.

Microsoft SDBench가 드러내는 의사결정을 통해 살펴보기

이 벤치마크는 정보 획득을 과제의 일부로 만들어, 평가자가 최종 답변 이상의 것을 검토할 수 있게 한다.

순차적 진단 벤치마크인 SDBench는 사례를 상호작용 방식으로 제시한다. 진단 벤치마크 설계는 정보를 요청하는 진단 에이전트, 사례 세부 정보를 제공하는 게이트키퍼, 진단을 점수화하는 심사자를 분리한다.

게이트키퍼는 이용 가능한 경우 기록된 소견을 반환하고, 요청한 정보가 없을 때는 합성 결과를 제공한다. 심사자는 확정된 답변을 참조 진단과 비교해 평가한다. 이러한 지원 구성 요소는 진단 역량이 측정되는 환경을 형성한다.

이 구조는 중요한 분석적 구분을 만든다. 시스템은 모의 환경 안에서 잘 추론할 수 있지만, 해당 환경에 내재된 가정의 이점을 얻을 수도 있다. 따라서 재현을 위해서는 진단 에이전트와 함께 지원 구성 요소도 검토해야 한다.

공개 프로젝트는 사용 가능한 코드와 제한 없이 이용할 수 있는 임상 데이터를 구분한다. NEJM 사례는 라이선스가 필요하며, MIMIC 데이터는 자격을 갖춘 접근이 필요하다. 함께 제공되는 합성 예시는 보고된 진단 성능이 아니라 개발과 테스트를 지원한다.

연구자에게 이런 조건은 재현 주장에 어떤 의미가 있는지에 영향을 미친다. 시연을 실행하는 것은 소프트웨어가 작동한다는 사실을 보여준다. 공개된 결과를 재현하려면 적절한 사례, 일치하는 설정, 그리고 모든 차이에 대한 명확한 설명이 필요하다.

작동 방식은 예시적인 의사결정 순서를 통해 가장 쉽게 이해할 수 있다. 에이전트는 제한된 정보로 시작해 여러 설명을 고려한다. 추가 증거를 요청하고, 평가를 수정하며, 결국 추가 조사를 계속할지 또는 답을 확정할지를 결정한다.

모든 전환은 선택을 드러낸다. 에이전트는 그럴듯한 대안을 구분하는 증거를 요청할 수 있다. 반대로 처음 생각을 확인하는 정보만 수집할 수도 있다. 두 경로 모두 기록상으로는 타당하게 들릴 수 있으므로, 체계적인 평가가 필수적이다.

가상 패널은 또 다른 설계 층위를 추가한다. 서로 다른 역할을 부여하면 경쟁하는 해석을 장려할 수 있지만, 역할 이름만으로 독립적인 추론이 보장되지는 않는다. 여러 생성된 관점이 같은 잘못된 가정을 공유할 수도 있다.

따라서 유용한 평가는 추가된 구조가 무엇에 기여하는지 물어야 한다. 의견 불일치가 간과된 증거를 찾아내는가? 그것이 적절하게 결정을 바꾸는가? 추가 논의는 운영상 부담을 정당화할 만큼 결과를 개선하는가?

이는 모델 기반 단계들을 과업에 맞게 조율하는 오케스트레이션을 배제해야 할 이유가 아니라, 이를 검증하기 위한 실험적 질문들이다. 핵심은 오케스트레이션의 기여를 분리해 보는 데 있다. 복잡한 구성은 그 구조가 유의미한 이점을 만든다는 비교 결과가 있을 때 그 가치를 인정받아야 한다.

개발자는 주변 프로세스만 바꾸고 기반 모델은 동일하게 유지함으로써 그 기여를 시험할 수 있다. 반대로 프로세스는 유지한 채 모델만 바꿀 수도 있다. 이러한 비교는 조율의 개선과 모델 자체의 개선을 구분하는 데 도움이 된다.

실무적으로 설명하면, Microsoft SDBench의 핵심 개념은 중간 선택에 대한 책임성이다. 시스템은 무엇을 요청하는지, 언제 중단하는지를 드러내야 한다. 이는 불투명한 상호작용에 정답만 붙어 있는 경우보다 더 많은 검토 자료를 만든다.

다만 가시적인 단계에는 해석이 필요하다. 상세한 설명은 사후적으로 잘못된 결정을 그럴듯하게 정당화할 수 있다. 평가자는 장황함이나 숙고하는 듯한 인상에 보상하기보다, 요청된 각 행동을 이용 가능한 증거와 연결해야 한다.

더 넓은 의미는 이러한 선택을 검토 가능하게 만드는 데 있다. 연구자는 모델, 상호작용 규칙, 평가 가정을 각각 분리해 검증할 수 있다. 이러한 분리는 진단 지능을 하나의 구분되지 않은 점수로 취급하는 것보다 더 유용한 논의를 만든다.

Google의 AMIE가 진단 AI에 여러 종류의 증거가 필요한 이유를 보여준다

대화형 의료 AI에는 이미 여러 연구 경로가 있으며, 그 결과를 비교할 때는 서로 다른 과업과 환경을 존중해야 한다.

2025년 Nature에 발표된 Google의 대화형 진단 AI 연구는 환자 역할 연기자와의 텍스트 상담을 통해 AMIE를 평가했다. 이 연구는 진단 성능과 함께 상담 품질의 여러 차원을 살폈다. 연구진은 또한 연구 환경이 일반적인 임상 진료와 다르다고 경고했다.

이 연구는 업계의 참고 사례를 제공하지만 MAI-DxO와 직접적인 순위를 제시하지는 않는다. 참가자, 사례, 인터페이스, 채점 방식이 서로 달라 깔끔한 비교가 어렵다. 한 연구에서 더 높은 수치가 나왔다고 해서 다른 환경에서 시험된 시스템보다 우수하다는 사실이 입증되는 것은 아니다.

유용한 대조점은 각 평가가 무엇에 초점을 맞추는지에 있다. 대화 연구는 상호작용이 관련 병력을 수집하고 효과적으로 소통하는지를 살필 수 있다. 순차적 조사 벤치마크는 시스템이 결론을 내리기 전에 어떻게 증거를 선택하는지 검토할 수 있다.

미래의 임상 보조 시스템에는 두 역량이 모두 필요할 수 있다. 환자가 적절한 질문을 오해한다면 질문을 잘하는 것만으로는 큰 의미가 없다. 명확한 의사소통 역시 상충하는 증거를 지속적으로 무시하는 진단 프로세스를 보완할 수 없다.

이 때문에 Microsoft 진단 AI 비교는 모델 리더보드가 되려는 유혹을 경계해야 한다. 모델 리더보드는 공통 점수로 시스템의 순위를 매긴다. 반면 임상 평가는 정의된 사용 사례에서 어떤 역량이 중요한지를 확립해야 한다.

경쟁 압력은 여전히 현실적이다. 대화 품질을 강조하는 공급업체는 증거 선택과 진단 신뢰성에 관한 질문을 받게 된다. 진단 정확도를 강조하는 공급업체는 의사소통, 업무 흐름 적합성, 불확실한 정보 처리에 관한 질문을 받게 된다.

시뮬레이션 연구만으로 어느 경로도 완전한 지지를 받지는 못한다. 연구는 유망한 역량을 입증할 수 있지만, 그 적용 방식은 미해결로 남을 수 있다. 이 경계는 홍보가 숨겨야 할 결함이 아니라 신뢰할 수 있는 발견의 일부다.

MAI-DxO에 대한 회의적 해석은 환경 자체에서 시작된다. 합성 답변은 원본 기록에 요청된 정보가 없을 때도 대화형 사례가 계속되도록 한다. 그 답변의 현실성과 일관성은 명시적인 민감도 검증이 필요한 가정이 된다.

예를 들어 평가자는 다른 그럴듯한 응답이 최종 진단을 바꾸는지 물어야 한다. 그러한 변형에서도 성능이 안정적이라면 신뢰는 높아질 것이다. 큰 변화가 나타난다면 시뮬레이터가 제공한 세부 사항에 의존하고 있음을 드러낼 것이다.

평가자 모델은 또 다른 질문을 제기한다. 진단 라벨은 구체성 수준이 다를 수 있고, 부분적으로 맞는 답변은 서로 다르게 해석될 수 있다. 모호한 사례에 대한 사람의 검토는 보고된 정확도 수치가 무엇을 포착하는지 명확히 하는 데 도움이 될 것이다.

사례 선택도 중요하다. 진단 난도를 기준으로 선택된 모음은 흔히 마주하는 조건을 대표하지 않으면서도 추론 실패를 드러낼 수 있다. 배포 결정에는 도구가 운영될 환자 집단과 업무 흐름에서 얻은 증거가 필요하다.

인간과의 비교도 같은 수준의 주의가 필요하다. 참고 자료 접근성, 시간 제약, 이용 가능한 맥락, 인터페이스 친숙도는 모두 성능에 영향을 준다. 공정한 해석을 위해서는 결과를 “AI가 의사를 이긴다”로 축소하기보다 이러한 조건을 보고해야 한다.

자원 사용은 추가적인 불확실성을 만든다. 추정된 조사 비용은 일관된 가정 아래 선택지를 비교하는 데 도움이 될 수 있다. 그러나 인력, 인프라, 후속 업무, 실수의 결과 전반에서 절감 효과를 자동으로 입증하지는 않는다.

안전성에도 같은 원칙이 적용된다. 평균 정확도 점수는 사례를 셀 수 있는 결과로 다루지만, 임상적 결과는 서로 다르다. 평가자는 시스템이 어떤 종류의 오류를 내는지, 사람들이 그 오류를 어떻게 식별하거나 바로잡는지를 살펴야 한다.

시스템은 엄격한 경계가 여전히 필요하더라도 유용한 지원을 제공할 수 있다. 반대로 인상적인 평균 수치는 특정 적용을 부적합하게 만드는 실패 양식을 감출 수 있다. 과제는 증거를 통해 그러한 경계를 식별하는 것이다.

가장 타당한 회의적 입장은 다음과 같다. 이 연구는 추가 조사를 뒷받침하지만, 의도된 임상 역할은 별도의 판단으로 남아 있다. 이는 보고된 이점을 지우지도, 그것을 광범위한 배포의 허가로 바꾸지도 않는다.

다음 신호는 재현, 환자 증거, 그리고 활용 가능한 임상 업무 흐름이다

가장 강력한 후속 증거는 보고된 이점이 독립적인 검토를 견디고, 정의된 환경에서 진료에 기여하는지를 보여줄 것이다.

향후 몇 달 동안 독자는 우선 독립적 재현을 추적해야 한다. 유용한 보고서는 사용한 사례, 모델 버전, 평가 환경, Microsoft 구성과의 차이를 밝힐 것이다. 이 세부 정보가 없다면 헤드라인 점수가 일치하더라도 해석하기 어렵다.

합리적인 대체 환경에서도 이점이 유지되는 재현은 연구 주장을 강화할 것이다. 시뮬레이터 행동에 대한 민감도가 크다는 결과는 그 주장을 좁힐 것이다. 어느 결과든 시스템이 어디에서 신뢰성 있게 작동하는지에 대한 이해를 높일 것이다.

여기서는 접근 조건도 주목할 만하다. 코드 공개는 검토의 길을 열지만, 재현은 여전히 적절한 데이터와 자원에 의존한다. 중요한 신호는 저장소를 내려받는 사람의 수가 아니라 문서화된 평가다.

독립 연구는 실패 사례도 검토해야 한다. 재현된 평균값은 전체 그림의 일부만 보여준다. 오류 분석은 시스템이 비슷한 사례에서 실패하는지, 불확실성이 실수를 예측하는지, 개입이 결과를 개선하는지를 드러낼 수 있다.

두 번째 신호는 결과가 관찰되기 전에 계획되는 평가를 뜻하는 전향적 환자 증거다. Microsoft는 Beth Israel Deaconess Medical Center와의 파트너십에 직접적인 환자 상호작용과 독립적인 의사 평가와의 비교가 포함될 것이라고 밝혔다. 이 발표는 완료된 환자 결과가 아니라 계획된 평가를 설명한다.

독자는 또 다른 성능 헤드라인에 집중하기 전에 공개된 프로토콜을 주시해야 한다. 프로토콜은 누가 참여하는지, 시스템이 무엇을 하는지, 임상의가 어떻게 계속 관여하는지, 어떤 결과가 성공을 정의하는지를 명확히 할 수 있다.

정확한 병력 수집의 증거는 한 종류의 적용을 뒷받침할 것이다. 권고가 의사결정을 개선한다는 증거는 더 넓은 역할을 뒷받침할 것이다. 어느 쪽도 자동으로 더 나은 장기 건강 결과의 증거라고 설명해서는 안 된다.

이 구분은 임상 연구가 서로 다른 질문에 잘 답할 수 있기 때문에 중요하다. 실행 가능성 연구는 상호작용이 실제 진료에 맞는지를 확립할 수 있다. 비교 결과 연구는 시스템 사용으로 인해 무엇이 바뀌는지에 관한 추가 질문을 던진다.

긍정적인 환자 증거는 시뮬레이션을 넘어 실제 적용으로 나아갈 근거를 강화할 것이다. 잦은 수정, 업무 흐름의 혼란, 불확실성 처리 미흡은 추가 개발이 필요한 지점을 보여줄 것이다. 가치는 성공과 한계를 모두 투명하게 보고하는 데 있다.

세 번째 신호는 책임 경계가 정의된 구체적인 임상 업무 흐름이다. 독자는 누가 시스템을 사용하는지, 어떤 결정을 지원하는지, 누가 출력을 검토하는지에 대한 명확한 설명을 찾아야 한다. 일반적인 파트너십 언어만으로는 이러한 세부 사항을 제공할 수 없다.

좁게 정의된 역할은 광범위한 약속보다 더 많은 정보를 줄 수 있다. 상담 전 증거 검토를 지원하는 것은 상담 중 조사를 권고하는 것과 다르다. 필요한 검증과 운영상 안전장치는 이 차이에서 비롯된다.

제품 발표는 변경 사항을 어떻게 관리하는지도 설명해야 한다. 모델이나 상호작용 프로세스를 업데이트하면 인터페이스가 같아 보여도 행동이 달라질 수 있다. 구매자는 자신이 보유한 증거가 어떤 버전을 뒷받침하는지, 이후 개정은 어떻게 평가되는지 알아야 한다.

경쟁사의 개발도 같은 관점에서 해석해야 한다. 새로운 대화 기능, 진단 결과, 병원 협력은 그 범위가 명확할 때 의미가 있다. 공급업체가 보편적 승자를 주장하기보다 평가 조건을 공개할수록 비교는 더 유용해진다.

개발자에게 이는 구체적인 과제를 만든다. 결정 과정을 검토할 수 있는 시스템을 설계하고, 평가에 필요한 증거를 보존하며, 중간 단계에 영향을 미치는 가정을 시험해야 한다. 불확실성과 실패 분석을 제품 정보로 다뤄야 한다.

기업 구매자에게도 시사점은 분명하다. 임상의가 이미 받는 지원과의 비교를 포함해, 의도된 업무 흐름에 맞는 증거를 요구해야 한다. 연구 결과는 제한적 도입을 정당화할 수는 있어도 제한 없는 사용을 정당화하지는 못한다.

의료 AI를 지켜보는 지식 노동자에게 Microsoft MAI-DxO 연구는 에이전트 평가에 관한 더 넓은 교훈을 제공한다. 질문에 답하는 능력과 충분한 증거를 수집하는 능력은 관련은 있지만 구별되는 역량이다. 소프트웨어가 중요한 결정에 영향을 미칠 때는 둘 다 검토해야 한다.

다음 진단 AI 헤드라인을 공유하기 전에 연구 질문부터 살펴보라. 시스템이 시뮬레이션 기록을 처리했는지, 환자 역할 연기자와 상호작용했는지, 실제 임상 진료에 참여했는지 확인하라. 그다음 비교 집단이 어떤 지원을 받았고 무엇이 정답으로 간주되었는지 살펴보라. Microsoft MAI-DxO 연구를 독립적 재현, 환자 연구, 명확히 정의된 임상 적용을 통해 추적하라. 이러한 증거 흐름이 발전하는 동안 서로 분리해 두어야 한다. 신뢰할 수 있는 도입 근거는 단계를 건너뛰지 않고 이들을 연결할 것이다. 다음 결과가 나올 때는 구체적인 질문을 던져라. 이 증거는 이제 누구에게, 어떤 결정을 정당화하는가?