Nature 의료 AI 거버넌스 논쟁이 드러낸 빠진 환자

Nature의 의료 AI 거버넌스는 9월 8일, 두 연구자가 새롭게 부상하는 책임 프레임워크의 근본적 누락을 지적하면서 더 첨예한 논쟁으로 접어들었다. 이 프레임워크는 세 가지 특성으로 의료 AI를 분류하지만, 환자 권리에는 체계적인 자리를 부여하지 않는다.

이 비판이 중요한 이유는 의료 AI가 수동적인 권고를 넘어서는 단계로 이동하고 있기 때문이다. 이제 시스템은 진단, 치료 선택지, 환자 소통, 그리고 후속 임상 업무에 영향을 미칠 수 있다. 환자가 그 결과를 감당하는 상황에서 책임은 임상의, 병원, 개발사, 규제기관 사이에서만 정리될 수 없다.

이번 논쟁은 Kyle Lam과 공동 저자 4명이 제시한 프레임워크에서 시작됐다. 이 프레임워크는 AI 시스템의 자율성, 자동화, 운영 범위에 책임을 연계한다. Yuan Shen과 Linghua Yu는 이 구조가 유용하다고 인정하면서도, 환자의 참여, 권리, 구제책이 없다면 책임 지도는 불완전하다고 주장한다.

Nature 의료 AI 거버넌스 비판이 바꾼 것

이번 개입은 역량 기반 규제를 거부하지 않는다. 역량만으로는 정당한 의료 AI 거버넌스를 정의할 수 없다고 주장한다.

Shen과 Yu는 9월 서신에서 2026년 7월 Nature에 게재된 프레임워크에 응답했다. 앞선 제안은 AI가 환자 치료에서 더 큰 역할을 맡을수록 책임이 어떻게 이동해야 하는지를 묻는다.

이 프레임워크는 자율성, 자동화, 운영 범위를 사용해 의료 AI를 분류한다. 자율성은 시스템이 얼마나 독립적으로 판단하거나 행동할 수 있는지를 설명한다. 자동화는 인간의 업무를 얼마나 수행하는지 측정하며, 운영 범위는 치료에 얼마나 광범위하게 참여하는지를 나타낸다.

이러한 차원은 규제기관이 진단 보조 도구와 임상 행동을 개시하는 시스템을 구분하는 데 도움이 된다. 또한 병원이 책임이 주로 임상의, 조직, 제조사 또는 다른 참여자 중 누구에게 있는지 판단하는 데도 도움을 준다.

Shen과 Yu는 다른 질문을 제기한다. 기관들이 자신들 사이에서 책임을 배분할 수 있다 해도, 환자는 거버넌스 구조의 어디에 들어가는가?

그들의 답은 단호하다. 환자 권리는 프레임워크 설계에서 체계적인 자리를 받지 못한다. 사전 동의는 등장하지만, 그 밖에 환자는 결정을 형성하는 참여자가 아니라 결정의 영향을 받는 사람으로 남는다.

이 구분은 논의의 성격을 바꾼다. 동의는 일반적으로 특정 개입, 정보 공개 또는 데이터 사용과 연결된다. 거버넌스는 어떤 시스템이 치료에 도입되는지, 어떤 위험이 허용되는지, 성능을 어떻게 모니터링하는지, 실패 후 무엇이 일어나는지를 결정한다.

환자는 그러한 규칙의 형성에 참여하지 않은 채 치료에 동의할 수 있다. 병원 역시 환자가 알고리즘 권고에 이의를 제기하거나 자동화된 결정을 이해할 수 없도록 둔 채 동의 요건을 충족할 수 있다.

따라서 환자 중심 AI 거버넌스에는 또 하나의 정보 공개 화면 이상이 필요하다. 도입 전 참여, 치료 중 이해 가능한 설명, 피해 발생 후 실질적인 구제 수단을 기관이 고려해야 한다.

이는 타당한 두 목표 사이의 충돌을 만든다. 역량 기반 프레임워크는 복잡한 기술 시스템 전반에서 명확한 책임성을 추구한다. 환자 중심 거버넌스는 그 시스템이 임상적·개인적 결과를 감당하는 사람들을 보호하는지 묻는다.

이번 개입은 새로운 규제나 구속력 있는 표준이 아니라 서신이다. 모든 기존 프레임워크가 환자를 배제한다고 증명하지도 않는다. 그 중요성은 의료 AI의 권한이 커지는 시점에 반복되는 사각지대를 드러낸다는 데 있다.

프레임워크 논쟁은 보건 시스템에도 실질적인 경고를 준다. 사고 후 책임을 배정한다고 해서 사고 전 정당성이 자동으로 생기는 것은 아니다. 거버넌스 절차는 실패에 대해 누가 답해야 하는지 식별하면서도, 어떤 실패가 용납될 수 없는지 환자에게 묻지 않을 수 있다.

이 격차는 개발사에도 중요해야 한다. 제품팀은 종종 임상의나 병원을 주된 사용자로 취급한다. 그러나 의료에서 인터페이스를 조작하는 사람이 항상 가장 큰 위험을 부담하는 사람은 아니다.

의료 AI 책임은 여전히 기관을 중심으로 구축된다

대부분의 책임성 모델은 AI 시스템을 통제하는 조직에서 출발하며, 환자는 주로 잠재적 피해 수혜자로 등장한다.

Lam과 공동 저자들은 실제 문제를 해결하기 위해 의료 책임 프레임워크를 개발했다. 임상의와 AI 시스템이 함께 작업하면서 전문적 책임에 대한 기존 가정을 적용하기가 더 어려워지고 있다.

임상의는 모델이 어떻게 결론에 도달했는지 알지 못한 채 AI 권고를 받을 수 있다. 병원은 학습 데이터를 통제하지 못한 채 소프트웨어를 구성할 수 있다. 공급업체는 도입 후 시스템을 업데이트해, 이미 자리 잡은 워크플로 안에서 행동을 바꿀 수 있다.

단계적 프레임워크는 이런 관계를 더 쉽게 분석하게 해준다. 시스템이 더 자율적이고, 자동화되며, 운영상 광범위해질수록 책임은 그 행동을 더 많이 통제하는 당사자에게 이동해야 한다.

인간이 단순히 관여하고 있다는 사실만으로는 책임 문제가 해결되지 않기 때문에 이 논리는 가치가 있다. 임상의는 결과물에 의문을 제기할 시간이 없거나 자동화된 행동을 멈출 실질적 방법이 없다면 의미 있는 감독을 제공할 수 없다.

의미 있는 AI 감독에 관한 최근 연구는 이 운영상의 요점을 제시한다. 감독은 피할 수 있는 피해가 발생하기 전에 사람들이 AI가 매개한 치료 과정을 이해하고, 이의를 제기하고, 중단할 수 있는지에 달려 있다.

같은 연구는 사용 가능한 재정의 통제, 추적 가능한 개입, 피드백 루프, 도입 후 검토와 같은 구체적 조치를 설명한다. 또한 임상의가 의미 있게 통제할 수 없는 시스템의 기본 안전 보증인이 되어서는 안 된다고 주장한다.

이 조치들은 기관 간 책임성을 개선한다. 하지만 조달, 허용 가능한 성능, 상향 조정 규칙 또는 운영 중단에 관한 결정에서 환자에게 공식적 역할을 보장하지는 않는다.

거버넌스 위원회에는 임상의, 법무팀, 엔지니어, 보안 전문가, 행정 담당자가 포함될 수 있다. 그럼에도 거짓 음성, 설명되지 않은 지연, 접근하기 어려운 이의 제기 절차가 환자의 입장에서 어떤 느낌인지 이해하는 사람은 없을 수 있다.

이러한 부재는 위원회가 무엇을 측정하는지에도 영향을 미친다. 개발사는 흔히 전체 정확도를 강조하고, 임상의는 워크플로와 안전성에 초점을 둔다. 행정 담당자는 구현 위험, 운영 역량, 법적 노출을 우선시할 수 있다.

환자는 다른 우려를 제기할 수 있다. 성능이 공동체마다 달라지는지, 결정이 진료 현장에서 설명 가능한지, AI를 거부하면 치료 접근성이 달라지는지를 물을 수 있다.

또한 기존 지표가 놓치는 부담을 파악할 수도 있다. 부정확한 메시지는 임상의가 이를 바로잡기 전에 불안을 유발할 수 있다. 자동화된 일정 결정은 임상 오류로 드러나지 않은 채 치료를 지연시킬 수 있다.

환자 중심 모델은 기관의 책임성을 없애지 않는다. 대신 설계, 검토, 도입, 모니터링, 시정 과정에서 환자가 보이도록 하는 권리 기반 층위를 더한다.

핵심 압력은 병원과 규제기관에 가해진다. 양측은 이미 전문가 집단을 소집하고, 증거 기준을 정의하며, 기술을 승인한다. 환자 참여가 자문 역할에 그칠지, 대표성을 가질지, 실제 의사결정 권한과 연결될지를 결정해야 한다.

공급업체도 압박을 받는다. 보건 시스템이 문서화된 환자 참여를 요구한다면, 개발사는 사용성 테스트를 넘어서는 증거를 제시해야 한다. 환자 우려가 제품 또는 그 도입 조건을 어떻게 바꾸었는지 보여줘야 한다.

바로 이 지점에서 의료 AI 책임과 환자 중심 거버넌스가 갈라진다. 책임은 치료가 실패했을 때 누가 답해야 하는지를 묻는다. 환자 중심 거버넌스는 그 실패가 발생하기 전에 누가 시스템에 영향을 미칠 지위를 가졌는지도 묻는다.

환자 중심 AI 거버넌스에는 동의 이상이 필요하다

동의는 하나의 환자 권리이지만, 거버넌스에는 대표성, 투명성, 선택권, 이의 제기 가능성, 구제도 포함된다.

사전 동의는 여전히 필수적이다. 환자는 AI 시스템이 치료에 실질적으로 영향을 미치는 시점, 수행하는 역할, 그리고 임상 결정에 최종 책임을 지는 사람이 누구인지 알아야 한다.

그러나 거부가 현실적이지 않다면 동의는 상징적 절차가 될 수 있다. 환자에게 이용 가능한 병원, 보험 네트워크 또는 전문의가 하나뿐일 수 있다. AI가 매개된 워크플로를 거부하면 지연되거나 축소된 접근성을 감수해야 할 수 있다.

동의만으로 모든 거버넌스 부담을 감당할 수도 없다. 환자는 짧은 임상 고지만으로 모델의 하위 집단별 성능, 업데이트 정책, 사이버 보안 통제 또는 모니터링 계획을 평가할 수 없다.

기관은 개인 환자에게 선택을 요청하기 전에 이러한 보호 장치를 마련해야 한다. 환자의 결정은 신뢰할 수 있는 시스템 안에 놓여야 하며, 그 시스템을 대체해서는 안 된다.

세계보건기구의 보건 AI 가이드라인은 더 폭넓은 토대를 제공한다. 여섯 가지 원칙에는 자율성 보호, 웰빙과 안전 증진, 투명성 보장, 책임성 강화가 포함된다.

이 가이드라인은 유효한 동의를 개인정보 보호 및 의료 결정에 대한 인간의 통제와도 연결한다. 이러한 보호 장치는 환자 중심 AI 거버넌스를 기술적 위험 점수로 축소할 수 없는 이유를 보여준다.

실행 가능한 모델은 대표성에서 출발한다. 보건 시스템은 허용 가능한 사용 사례를 식별하고, 용납할 수 없는 결과를 정의하며, 도입 증거를 검토할 때 환자와 공동체를 참여시켜야 한다.

대표성은 영향을 받는 인구집단도 반영해야 한다. 한 명의 환자 대표가 모든 장애, 언어, 질병, 연령대 또는 불평등한 치료 경험을 대변할 수는 없다.

다음 요건은 이해 가능한 투명성이다. 환자에게 필요한 것은 시스템 아키텍처의 기술적 설명이 아니라 시스템 역할에 대한 설명이다.

유용한 설명은 실질적인 질문에 답해야 한다. AI가 권고를 생성했는가, 사례의 우선순위를 매겼는가, 메시지 초안을 작성했는가, 또는 업무를 개시했는가? 결과가 치료에 영향을 미치기 전에 자격을 갖춘 사람이 검토했는가?

선택권도 또 다른 요건이지만, 적용 사례에 따라 달라질 것이다. 저위험 행정 도구는 진단이나 약물 치료를 형성하는 시스템과 같은 선택권 문제를 만들지 않는다.

더 큰 결과를 초래하는 사용 사례에서는 기관이 비AI 경로의 존재 여부를 설명해야 한다. 또한 그 경로를 선택할 경우 시점, 접근성 또는 치료 선택지가 바뀌는지도 공개해야 한다.

이의 제기 가능성은 환자가 AI의 영향을 받은 결정에 도전할 수 있는 방법을 제공한다. 그 절차는 단순히 불만을 기록하는 데 그치지 않고 사건을 검토할 권한이 있는 사람에게 도달해야 한다.

피해 또는 아차사고 이후에는 구제책이 중요하다. 환자에게는 명확한 신고 경로, 시의적절한 조사, 부정확한 기록의 정정, 그리고 그에 따른 조치에 대한 설명이 필요하다.

이러한 권리는 기술적 모니터링과 연결되어야 한다. 특히 오류가 특정 하위 집단이나 워크플로에 집중될 때, 불만 양상은 전체 성능 점수가 가리는 실패 양식을 드러낼 수 있다.

따라서 환자의 지식은 장식이 아니라 증거다. 이는 숨겨진 비용, 혼란스러운 설명, 접근하기 어려운 인터페이스, 실질적인 이의 제기 장벽을 식별할 수 있다.

보건 시스템에는 이러한 증거를 포착할 체계적인 방법이 필요하다. 구조화된 인터뷰, 자문 패널, 사고 보고서, 지속적인 사용자 연구는 개인의 경험을 거버넌스 신호로 전환할 수 있다.

이 작업을 수행하는 팀은 문서화된 연구 분석 워크플로를 활용해 인터뷰를 체계화하고 반복적으로 제기되는 우려를 추적할 수 있다. 특히 민감한 건강 경험을 담은 자료를 다룰 때는 도구가 사람의 검토를 뒷받침해야 한다.

이러한 조치 중 어느 것도 환자에게 기술적 의사결정에 대한 단독 권한을 부여하지는 않는다. 환자 참여 역시 특정 개인 대표 한 명에게 부여된 거부권이 되어서는 안 된다.

목표는 영향력이 명확히 정의된 공동 거버넌스다. 기관은 어떤 환자 우려가 수용·거부·보류됐는지와 그 이유를 기록해야 한다.

이 기록이 없다면 참여는 의례적인 절차로 전락할 위험이 있다. 환자 패널이 존재하더라도 조달, 성능 기준, 배포 결정은 그대로일 수 있다.

핵심 상충 관계는 효율성과 환자 주체성의 대립이다

의료 AI는 접근성과 일관성을 개선할 수 있지만, 자동화가 이를 둘러싼 권리보다 빠르게 발전하면 환자의 주체성을 약화시킬 수 있다.

더 유능한 의료 AI를 도입해야 한다는 근거는 충분하다. 시스템은 진단을 지원하고, 임상 지침을 검색하며, 커뮤니케이션 초안을 작성하고, 복잡한 진료 경로 관리를 도울 수 있다.

2026년에 보고된 연구는 이러한 방향성을 보여준다. 의료 AI 시스템 두 가지인 MIRA와 Google의 AMIE는 진단부터 치료 계획 수립에 이르는 과제를 대상으로 평가됐다.

연구 발표에 따르면, AMIE는 100건의 가상 다회 방문 사례에서 21명의 일차 진료 의사와 비교됐다. 연구는 5개 의학 전문 분야를 다루었으며, 확립된 임상 지침을 활용했다.

발표문은 AMIE가 치료 관리 추론에서 의사들과 동등한 수준을 보였고, 정확성과 지침 부합성 관련 여러 지표에서는 더 나은 성과를 냈다고 설명한다. 연구진은 임상 사용에 앞서 추가 연구가 필요하다고도 경고했다.

이러한 단서는 중요하다. 가상 사례는 진료 환경의 모든 조건을 재현하지 못하기 때문이다. 실제 환자는 불완전한 병력을 제공하고, 변화하는 선호를 표현하며, 구조화된 평가로는 완전히 포착할 수 없는 현실적 제약 속에서 살아간다.

시스템이 권고를 넘어 행동으로 나아갈수록 잠재적 이점은 커진다. 동시에 영향을 받는 환자와 시스템을 설정하는 사람들 사이의 거리도 커진다.

임상의의 기록 초안을 작성하는 AI 보조 도구는 운영 범위가 제한적이다. 반면 포털 메시지의 우선순위를 정하거나 후속 조치를 시작하는 시스템은 누가 언제 관심을 받는지에 영향을 줄 수 있다.

이러한 발전 과정은 역량 기반 책임 프레임워크가 매력적인 이유를 설명한다. 거버넌스는 모든 머신러닝 활용에 하나의 규칙을 적용하는 대신 도구별 차이를 구분해야 한다.

그러나 역량 분류만으로 배포를 지배해야 할 가치가 정해지는 것은 아니다. 기술적으로 정확한 시스템도 환자의 선택을 제한하거나, 불충분한 설명을 제공하거나, 부담을 불공정하게 분배할 수 있다.

따라서 핵심 상충 관계는 AI 대 인간 진료가 아니다. 두 요소가 충돌할 때의 기관 효율성과 환자 주체성의 대립이다.

병원은 검토 시간을 줄여준다는 이유로 트리아지 시스템을 가치 있게 여길 수 있다. 환자는 이 시스템이 비정형 증상, 불리한 처지의 인구집단, 또는 덜 표준화된 방식으로 소통하는 사람들을 놓치지 않는지 합리적으로 물을 수 있다.

개발자는 환자 메시지 모델을 속도와 처리 완료에 맞춰 최적화할 수 있다. 환자들은 어조, 불확실성, 상위 단계 이관, 그리고 임상의가 원본 메시지를 확인했는지 여부를 더 중요하게 여길 수 있다.

이러한 우선순위는 공존할 수 있지만, 거버넌스가 이를 설계 요건으로 다룰 때만 가능하다. 환자 주체성은 일반적인 고지를 통해 배포 이후에 덧붙일 수 있는 것이 아니다.

상충 관계는 위험 수준에 따라 달라진다. 임상 기록 내의 맞춤법 보조 도구는 치료를 권고하거나 약을 갱신하는 시스템과는 다른 통제를 필요로 한다.

따라서 거버넌스는 역량 단계화와 권리 단계화를 결합해야 한다. 더 큰 자율성과 운영 범위에는 더 강력한 공개, 참여, 이의 제기 가능성, 모니터링 요건이 따라야 한다.

이 접근법은 기존의 책임성 논리를 대체하는 것이 아니라 강화한다. 통제권을 가진 당사자는 책임을 부담해야 하며, 위험에 노출되는 사람은 집행 가능한 보호를 받아야 한다.

또한 조달팀에 더 명확한 질문을 제공한다. 제품은 이해하기 쉬운 설명을 지원하는가? 직원은 결과를 추적하고, 조치를 중단하며, 환자의 이의를 문서화할 수 있는가?

조직은 적절한 경우 의미 있는 대안을 제공할 수 있는가? 공급업체는 특정 인구집단과 연관된 보고를 조사할 것이며, 병원은 그 결과에 따라 조치할 수 있는가?

이러한 질문은 도입을 늦출 수 있다. 그러나 시스템이 건강, 자율성, 의료 접근성에 영향을 미친다면 그 지연이 자동으로 낭비가 되는 것은 아니다.

반대의 위험도 주목할 필요가 있다. 과도한 절차 요건은 인력이 부족한 환경이나 전문의 접근이 제한된 지역사회에 유용한 도구가 도달하는 것을 막을 수 있다.

따라서 환자 중심 거버넌스는 비례성을 유지해야 한다. 목표는 모든 활용 사례에 최대 수준의 절차를 적용하는 것이 아니라, 결과의 중대성과 시스템 권한이 커질수록 보호를 강화하는 것이다.

환자 참여는 여전히 형식주의로 전락할 수 있다

AI 위원회에 환자 자리를 하나 추가한다고 해서 환자가 정보와 영향력을 갖거나 의사결정에 이의를 제기할 현실적인 방법을 갖게 되는 것은 아니다.

이는 현재 제안에 대한 가장 강력한 회의적 관점이다. 환자를 중심에 둬야 한다는 요구는 설득력 있게 들리지만, 기관은 이를 피상적으로 충족할 수 있다.

의료 AI는 기술적으로 복잡하다. 환자 대표는 회의 직전에 밀도 높은 문서를 받을 수 있는 반면, 임상의와 개발자는 수개월 동안 시스템을 다뤄왔을 수 있다.

권력 차이도 논의에 영향을 미친다. 병원이 초대한 환자는 의제를 통제하는 경영진, 의사, 기술 전문가에게 질문하기를 주저할 수 있다.

보상과 접근성도 중요하다. 무급 참여는 시간, 재정적 여유, 안정적인 교통수단, 기술적 자신감이 있고 건강상 제약이 적은 사람들에게 유리하다.

대표성은 또 다른 어려움을 만든다. 같은 시스템의 영향을 받는 환자들도, 특히 더 빠른 접근성이 프라이버시, 설명, 사람의 검토와 경쟁할 때 서로 상충하는 우선순위를 가질 수 있다.

보건 시스템은 혁신을 대체로 지지하는 대표를 선택할 수 있다. 또한 방향 전환이 비용과 정치적 부담을 수반하게 된 조달 이후에 의견을 수집할 수도 있다.

공공 및 환자 참여에 관한 연구는 이러한 과제를 인식하고 있다. 한 연구는 의미 있는 참여를 단순히 대중에 관해 또는 대중을 위해 수행되는 연구가 아니라, 대중과 함께 또는 대중에 의해 수행되는 연구로 정의한다.

같은 참여 연구는 AI, 빅데이터 연구, 공공 참여를 아우르는 협력의 실질적 어려움을 설명한다. 기술적 복잡성이 참여를 불가능하게 만들지는 않지만, 참여자에게 필요한 지원의 형태를 바꾼다.

기관은 공급업체나 최종 활용 사례를 선택하기 전에 참여를 시작해야 한다. 초기 참여는 환자가 거의 완성된 시스템에 반응하는 대신 문제 정의 자체를 형성할 수 있게 한다.

참여자에게는 의도된 용도, 검증 대상 인구집단, 알려진 한계, 업데이트 절차, 현실적인 대안에 관한 평이한 언어의 근거가 필요하다. 기술적 주장이 논쟁의 대상이 될 때는 독립적인 지원도 필요하다.

거버넌스 기구는 환자 참여에 부여되는 권한을 정의해야 한다. 자문, 의결권이 있는 구성원 자격, 상향 보고 권한, 감사 접근권은 서로 대체 가능한 것이 아니다.

기관은 의사결정 기록을 공개하거나 보관해야 한다. 이 기록은 환자 의견이 요건, 배포 조건, 모니터링 또는 거부 결정에 어떤 영향을 미쳤는지 설명해야 한다.

또한 참여가 결과를 바꾸는지도 추적해야 한다. 관련 근거에는 수정된 설명, 추가된 접근성 기능, 새로운 하위집단 테스트, 조정된 기준값, 더 강력한 이의 제기 절차가 포함된다.

피드백은 출시 후에도 계속돼야 한다. 배포 전 워크숍만으로는 실제 임상 워크플로가 만들어내는 모든 문제를 드러낼 수 없다.

배포 후 채널은 안전하고 사용하기 쉬워야 한다. 환자는 정확한 모델, 공급업체 또는 기술 구성 요소를 식별하지 못하더라도 AI 관련 우려를 보고할 수 있어야 한다.

그런 다음 직원은 해당 보고를 기술적·임상적 검토와 연결해야 한다. 그렇지 않으면 반복되는 모델 실패는 일반적인 고객 서비스 시스템 속으로 사라질 수 있다.

프라이버시는 또 다른 위험을 제기한다. 거버넌스팀이 여러 도구와 부서에 걸친 임상 경험을 결합할 때, 상세한 환자 경험을 수집하면 새로운 민감 기록이 만들어질 수 있다.

기관은 필요한 정보만 수집하고, 접근을 제한하며, 피드백이 어떻게 활용될지 설명해야 한다. 환자 중심 거버넌스가 건강 데이터를 추출하는 또 다른 경로가 되어서는 안 된다.

공공의 합의를 과장할 위험도 있다. 소규모 자문단이 모든 배포 결정에 민주적 정당성을 제공할 수는 없다.

환자 의견은 임상 근거, 기술 테스트, 법적 의무, 형평성 분석을 보완해야 한다. 이를 대체할 수는 없다.

반대로 기술적 근거가 살아 있는 경험을 침묵시켜서도 안 된다. 모델은 집계된 벤치마크를 충족하면서도 일반적인 패턴에서 벗어난 사람들에게 심각한 어려움을 초래할 수 있다.

올바른 기준은 결과를 낳는 참여다. 환자 참여는 시스템을 둘러싼 규칙, 근거, 인터페이스 또는 구제 수단에 추적 가능한 영향을 만들어야 한다.

아무것도 바뀌지 않았다면 기관은 그 이유를 설명할 수 있어야 한다. 설명할 수 없다면 환자 중심이라는 언어는 거버넌스가 아니라 브랜딩이 된 것이다.

거버넌스가 실제로 바뀌는지 보여줄 세 가지 신호

다음 시험대는 또 하나의 원칙 선언이 아니다. 규제기관과 보건 시스템이 환자 권리를 의사결정, 통제, 측정 가능한 근거로 전환하는지 여부다.

첫 번째 신호는 의료 AI 감독에서 환자에게 공식적 권한을 부여하는 것이다. FDA는 이미 인공지능, 사이버보안, 환자 생성 데이터를 검토할 수 있는 Digital Health Advisory Committee를 운영하고 있다.

이 기관은 의료기기 프로그램 내에서 환자 중심 개발 기능도 유지하고 있다. 중요한 질문은 이러한 구조가 구체적인 AI 평가 기준과 시판 후 통제에 영향을 미치는지 여부다.

더 강력한 신호는 고위험 시스템 검토에서 명확히 정의된 역할을 지닌 환자 대표를 포함하는 것이다. 공개된 질문, 권고 또는 의사결정 근거는 그 영향력을 평가하기 쉽게 만들 것이다.

규제기관이 환자 의견을 평가 기준에 명시적으로 연결한다면, Nature의 의료 AI 거버넌스 비판은 제도적 힘을 얻게 된다. 참여가 핵심 AI 의사결정과 분리된 채 남는다면, Shen과 Yu가 지적한 격차는 계속된다.

두 번째 신호는 병원의 조달 근거다. 보건 시스템은 공급업체에 환자 참여, 커뮤니케이션 계획, 이의 제기 경로, 하위집단 모니터링을 문서화하도록 요구하기 시작해야 한다.

이러한 근거는 배포 승인 전에 제시돼야 한다. 계약 체결 후에 열린 환자 자문 세션은 제품 선택에 대한 의미 있는 영향력을 입증하지 못한다.

조달 요건은 원칙을 시장 접근성으로 전환하기 때문에 개발자 행동을 빠르게 바꿀 수 있다. 구매자가 추적 가능성, 재정의 통제, 문서화된 환자 피드백을 요구하면 공급업체는 이에 대응한다.

신뢰할 수 있는 조달 기록은 어떤 우려가 구성이나 워크플로를 변경했는지 보여줄 것이다. 또한 제한, 중단 또는 철회를 유발하는 조건도 명시할 것이다.

병원이 이러한 요건을 채택한다면 환자 중심 AI 거버넌스는 운영 관행이 된다. 기술 성능과 임상의 사용성만 계속 측정한다면 제안은 불완전한 상태로 남는다.

세 번째 신호는 환자 경험을 포함하는 배포 후 보고다. 현재의 모니터링은 흔히 정확성, 사고, 가동 시간, 재정의, 임상의 반응을 강조한다.

이러한 조치는 중요하지만, 모든 피해를 포착하지는 못한다. 환자는 기존의 안전사건을 유발하지 않더라도 혼란, 진료 지연, 접근하기 어려운 의사소통, 신뢰 상실을 겪을 수 있다.

보건 시스템은 환자 불만과 이의제기를 모델 버전, 워크플로, 영향을 받은 인구집단과 연결해야 한다. 이후 이러한 패턴이 성능 저하나 설계 실패를 가리키는지 검토해야 한다.

임상 데이터와 공급업체 정보는 민감할 수 있으므로 공개 보고에는 신중함이 필요하다. 그럼에도 기관은 거버넌스 방식, 우려 사항의 범주, 그에 따른 시정 조치를 공개할 수 있다.

이 신호는 환자 보고가 실행 가능한 위험을 드러낸다는 점을 보여줌으로써 환자 참여의 필요성을 강화할 것이다. 활용 가능한 보고 경로가 없다면 환자가 중심에 있다는 주장은 설득력을 잃게 된다.

이 세 가지 신호는 실질적인 순서를 이룬다. 규제기관이 기대 기준을 정하고, 병원이 이를 구매 및 배포 규칙으로 옮기며, 모니터링은 그러한 규칙이 실제로 작동하는지를 드러낸다.

이 순서는 또한 누가 압박을 받는지도 분명히 한다. 규제기관은 환자 권리가 기술적 프레임워크 안에 포함되어야 하는지 결정해야 한다. 병원은 참여를 권한으로 전환해야 하며, 공급업체는 설명, 검토, 구제 절차를 지원해야 한다.

개발자와 기업 구매자에게 주는 교훈은 즉각적이다. 이제 의료 AI의 품질에는 벤치마크 성능뿐 아니라 모델을 둘러싼 거버넌스도 포함된다.

임상의에게 환자 중심 거버넌스는 분산된 기술 시스템이 만들어내는 모든 위험을 한 전문가가 떠안아야 한다는 기대를 줄일 수 있다. 명확한 권리와 에스컬레이션 경로는 실제 통제권을 가진 당사자들에게 책임을 분산한다.

환자에게 이 변화는 더 근본적일 것이다. 환자는 AI가 매개한 결정의 최종 수혜자라는 위치에서, 그러한 시스템의 운영 방식을 결정하는 데 참여하는 공인된 주체로 이동하게 된다.

그러한 결과가 보장되는 것은 아니다. Nature의 서신은 분명한 비판을 제기하지만, 완전한 실행 모델을 제시하거나 기관들이 이를 채택할 것임을 증명하지는 않는다.

다음 단계는 의료 AI가 진료에 도입되는 모든 곳에서 구체적인 질문을 던지는 것이다. 승인 전에 누가 환자를 대표했는가? 환자는 어떤 정보를 이해할 수 있으며, 어떤 결정에 이의를 제기할 수 있고, 실패가 발생했을 때 어떤 구제가 뒤따르는가?

Nature의 의료 AI 거버넌스 논의는 이제 빠진 당사자를 지목했다. 규제기관, 병원, 개발자는 다음 시스템이 환자 곁에 도달하기 전에 이러한 인정이 누가 발언권을 갖는지를 바꾸는지 보여야 한다.