Utah AI 헬스케어 샌드박스 확대, 그러나 책임성은 여전히 뒤처져

Utah는 책임 소재, 연방 감독, 독립적 근거를 둘러싼 의문이 해소되지 않은 상황에서도 세 건의 임상 시범사업을 추가해 AI 헬스케어 샌드박스를 확대했다. 새 협약은 여드름 치료, 일반 처방전 리필, 비대면 물리치료를 다룬다. 이들 사업은 인공지능을 환자 진료에 직접 영향을 미치는 결정에 한층 더 가깝게 끌어들인다.

Utah AI 헬스케어 샌드박스는 더 이상 단일 처방 서비스에 관한 좁은 실험이 아니다. 여러 헬스케어 기업과 두 대형 의료 시스템을 위한 규제 경로로 변화하고 있다. Utah는 운영 중인 참여 시스템을 검토할 외부 평가자 6명도 영입했다.

이러한 확대는 핵심 갈등을 낳는다. Utah는 완벽한 규정을 기다리기보다 실제 임상 사용을 통해 규제기관이 학습하기를 원한다. 의료 전문가들은 환자가 그 학습 과정의 위험을 부담해서는 안 된다고 주장한다. 이전 Doctronic 처방 시범사업은 이 두 입장이 왜 여전히 조화되기 어려운지를 보여줬다.

Utah의 샌드박스는 환자 진료에 더 깊이 들어가고 있다

Utah는 논란이 된 단일 서비스를 시험하는 단계에서 AI 매개 헬스케어를 위한 더 폭넓은 경로를 구축하는 단계로 확장했다.

10월 5일, Utah의 Office of Artificial Intelligence Policy는 August AI, Nolla Health, Expect Fitness와 관련된 협약을 발표했다. 주 정부는 University of Utah Health 및 Intermountain Health와도 포괄 협약을 체결했다.

August AI는 만성 질환 관리에 사용되는 일반 비규제 의약품의 처방 갱신을 시험한다. 이 시범사업은 단계별 승인 방식으로 운영되며, 시스템은 더 큰 운영 자율성을 얻기 전에 정해진 검토 단계를 통과해야 한다. 승인된 단계에서는 의사가 처방을 허가하기 전에 이를 검토해야 한다.

Nolla Health는 경증에서 중등도 여드름에 대한 시각 평가와 치료 경로를 시험한다. 이 시스템은 환자 정보와 이미지를 활용해 초기 평가를 지원한다. 전문의 감독 절차는 시범사업의 일부로 유지된다.

Expect Fitness는 산후 회복, 요실금, 골반 건강 관련 문제를 위한 AI 기반 물리치료 경로를 시험한다. 처방 시스템과 달리 이 시범사업은 안내형 운동과 지속적인 지원에 초점을 둔다. 임상적 위험의 성격은 다르지만, 잘못된 조언이나 경고 신호를 놓치는 일은 여전히 결과를 초래할 수 있다.

주 정부의 10월 협약은 1년에서 3년간 지속된다. 참여자는 AI 사용을 공개하고, 전문 의료과실 보험을 유지하며, 환자의 기존 법적 구제 수단을 보장하고, 24시간 사고 대응 요건을 따라야 한다.

University of Utah Health와 Intermountain Health는 다른 유형의 협약을 받았다. 이들의 포괄적 협약은 향후 시범사업 제안을 위한 신속한 경로를 만든다. 주 정부에 따르면 각 프로젝트는 여전히 개별 검토가 필요하지만, 제도적 틀은 이미 마련돼 있다.

이 차이는 중요하다. Utah는 단순히 독립된 제품 다섯 개를 승인하는 것이 아니다. 협상을 통해 정한 규칙 아래 더 많은 헬스케어 AI 프로젝트가 환자에게 도달할 수 있는 인프라를 구축하고 있다.

규제 샌드박스는 제한된 시험에 적용되는 일부 규칙을 일시적으로 조정하는 감독 프로그램이다. Utah는 기업들이 다른 법적 요건의 적용을 계속 받는다고 말한다. 또한 참여 허가는 지지나 일반적인 제품 승인을 의미하지 않는다고 밝혔다.

이 모델은 통제된 조건에서의 관찰을 우선시한다. 규제기관은 안전장치를 정하고 운영 데이터를 수집하며, 그 결과를 활용해 영구 정책을 권고한다. 이 접근법은 사용자 행동 변화나 환자 집단별 성능 차이처럼 실험실 시험이 놓치는 문제를 드러낼 수 있다.

그러나 헬스케어는 결과가 가볍지 않은 시험장이 아니다. 부정확한 쇼핑 추천은 불편할 뿐이다. 잘못된 약물 갱신, 놓친 금기 사항, 부적절한 운동은 신체적 피해를 일으킬 수 있다.

그렇기 때문에 세 건의 새 시범사업은 소프트웨어 시험으로만 평가할 수 없다. 각각은 일부 임상 업무를 자동화 시스템에 맡긴다. 중요한 질문은 그 위임이 잘못된 결과를 낳았을 때 누가 책임을 계속 지는가다.

Utah는 첫 처방 실험이 비판을 받은 뒤 안전장치를 추가했다. 그러나 주 정부가 책임 체계를 완성하거나 명확한 연방 입장을 확보하기 전에 확대가 이뤄지고 있다. 따라서 샌드박스는 학습 기회와 해결되지 않은 위험 노출을 함께 확대하고 있다.

이전 처방 시범사업은 여전히 논쟁을 규정한다

Doctronic 논란은 추상적인 정책 실험을 누가 의료행위를 할 수 있는가에 관한 분쟁으로 바꿨다.

Utah의 샌드박스는 주 정부가 Doctronic에 일반 처방 갱신 처리를 허용한 뒤 전국적 관심을 끌기 시작했다. 환자는 AI 기반 절차를 통해 신원을 확인하고 의료 정보를 제공하며 리필을 요청할 수 있었다.

이 시스템은 약국 데이터를 통해 처방 이력을 확인하고 적격 사례를 갱신 절차로 보낼 수 있었다. 복잡한 문제가 있는 요청은 임상의에게 이관될 수 있었다. 초기 단계에서는 사람이 의사들이 처방 지시를 검토했지만, 회사는 이후 더 높은 수준의 자동화를 예상했다.

초기 적격 목록에는 약물 190종이 포함됐다. 비판론자들은 환자의 건강 상태가 처방 사이에 바뀔 수 있으므로 “일상적” 갱신이라는 표현은 안전하지 않다고 주장했다. 이전에는 적절했던 약물도 새 진단, 상호작용, 증상 변화 이후에는 위험해질 수 있다.

Utah Medical Licensing Board는 뉴스 보도를 통해 이 시범사업을 알게 됐다고 밝혔다. 이후 이사회 구성원 11명은 시행 전에 의료 전문가들이 제안을 검토했어야 한다며 즉각적인 중단을 요구했다.

이사회 의장인 Dr. Alan Smith는 추적 진료 중에 드러날 수 있는 임상 정보를 강조했다. 리필을 원하는 환자에게 약물 위험을 바꾸는 질환이 새로 생겼을 수 있다. 자동화 시스템은 그 변화를 감지하거나 사례를 신뢰성 있게 이관해야 한다.

이 분쟁은 구체적인 수정을 강제했다. 주 정부 관계자에 따르면 Utah는 검토 이후 적격 목록에서 Butalbital과 Flecainide를 제외했다. Flecainide는 특정 부정맥을 치료하며, Butalbital은 일부 두통 약물에 포함된다.

주 AI 정책 책임자 Zach Boyd는 반응을 간결하게 표현했다. “우리는 민감한 지점을 건드렸다.” 이 발언은 단순한 전문직의 저항 이상을 포착했다. 이 시범사업은 임상의 지원과 면허를 가진 처방자에게 역사적으로 맡겨졌던 업무를 수행하는 것 사이의 경계를 넘었다.

이후 의료위원회는 주 규제기관과 매주 만나는 실무 그룹을 만들었다. Boyd는 6개월간의 논의와 프로그램 업데이트를 거쳐 관계가 개선됐다고 말했다. 이는 제도적 적응의 증거이지만, 중요한 임상 자문이 출범 이후에 이뤄졌다는 점도 보여준다.

처방 논쟁은 상반된 해석을 낳았다. 지지자들은 일반 처방 갱신을 지연을 줄이고 접근성을 높일 수 있는 제한된 활용 사례로 본다. 비판론자들은 근거와 책임성이 따라잡기 전에 처방 권한이 소프트웨어로 이동하고 있다고 본다.

Doctronic은 이전에 자사의 권고가 99% 이상의 사례에서 사람의 처방 결정과 일치했다고 밝혔다. 이 수치는 회사 데이터에 기반했으며 동료 심사를 거치지 않았다.

별도의 회사 작성 연구는 원격의료 상담 500건의 기록을 검토했다. 보고된 진단은 80%의 경우 사람 의사의 진단과 일치했다. 확대된 시범사업이 발표됐을 당시 이용 가능한 보도에 따르면, 이 연구 역시 독립적인 검토를 거치지 않았다.

이 수치들을 동일하게 취급할 수는 없다. 선별된 리필 결정에서의 일치는 더 광범위한 임상 진료에서의 진단 성능과 다르다. 어느 수치도 단독으로 지속적 배포의 안전성을 입증하지 못한다.

이 논란은 시간이 지나며 변하는 제품을 시험하는 어려움도 드러냈다. 모델 업데이트, 새 환자 집단, 다른 약물, 변경된 업무 흐름 규칙은 모두 성능에 영향을 줄 수 있다. 한 버전의 긍정적 결과가 다음 버전까지 자동으로 검증하는 것은 아니다.

새 시범사업은 이 역사를 이어받는다. Utah는 이제 더 많은 임상 참여와 외부 평가를 요구하지만, 근본 전략은 같다. 주 정부는 배포 이전에는 존재하지 않았던 근거를 만들기 위해 범위가 제한된 배포를 허용하고 있다.

이러한 순서는 의료위원회, 병원, 연방 기관에 부담을 준다. 이들이 과정 밖에 머문다면 주 정부 관계자와 공급업체가 운영 규칙을 정하게 된다. 참여한다면, 너무 이르다고 여길 수 있는 실험에 정당성을 부여하는 데 기여하게 된다.

Utah AI 헬스케어 샌드박스는 미해결 책임성과 맞바꿔 속도를 택한다

샌드박스는 감독된 시험을 가속할 수 있지만, 환자 피해에 대해 누가 답해야 하는지라는 문제를 협상으로 없앨 수는 없다.

Utah의 모델은 참여 기업에 합의된 제한, 공개, 모니터링, 데이터 제공의 대가로 규제 완화를 제공한다. 이 교환은 규제기관이 조정되는 규칙을 명확히 정의할 수 있을 때 가장 잘 작동한다.

책임은 이 틀에 깔끔하게 들어맞지 않는다. Utah 관계자들은 AI 사무국이 샌드박스 협약을 통해 책임법을 다시 쓸 권한이 없다고 결론 내렸다. 환자가 피해를 본다면, 누가 책임을 질 수 있는지는 기존 법률이 여전히 결정한다.

즉각적인 안전장치에는 전문 책임보험과 환자에게 법적 청구권 포기를 요구하는 행위의 금지가 포함된다. 이러한 조치는 보상을 받을 경로를 보존한다. 그러나 책임이 공급업체, 의사, 의료 시스템, 또는 다른 참여자에게 있는지는 해결하지 못한다.

Boyd는 기본적인 구조가 의사에게 지나치게 많은 책임을 지울 수 있다고 경고했다. 그러한 결과는 근본적인 불일치를 낳을 것이다. 의사는 자신이 설계하거나 학습시키지 않았고 완전히 검토할 수도 없는 시스템이 생성한 결정에 대해 법적 책임에 계속 노출될 수 있다.

사람의 승인을 요구한다고 해서 이 문제가 자동으로 해결되지는 않는다. 임상의가 많은 업무량, 불완전한 설명, 또는 자동화 권고를 받아들이도록 하는 강한 유인에 직면할 때 사람의 검토는 형식적인 절차가 될 수 있다. 검토자가 오류를 식별할 실질적 능력은 승인 버튼의 존재보다 중요하다.

반대의 구조도 문제를 만든다. 모든 자동화 결과에 대해 공급업체에 직접 책임을 지우면 유용한 실험이 위축될 수 있다. 병원이 시스템을 구성하거나 불완전한 데이터를 제공하거나 이관 경고를 무시하는 경우에는 책임 소재를 흐릴 수도 있다.

Utah는 이 분담 문제를 다루기 시작하기 위한 법안을 마련하고 있다. Boyd는 관계자들이 주 의회의 회기 사이 기간에 책임 법안을 제출하기를 바랐다고 말했다. 그는 이를 최종 해법이 아니라 수년에 걸친 과정의 시작으로 설명했다.

이 일정은 절충점을 드러낸다. 임상 시범사업은 현재 운영 중이지만, 지속 가능한 책임 구조는 여전히 개발 중이다. 보험은 임시 가교 역할을 하지만, Utah의 규제기관은 그 가교가 지속 가능한지 의문을 제기했다.

자동화가 늘어날수록 문제는 더 까다로워진다. August AI의 현재 시범사업은 처방이 허가되기 전에 의사의 검토를 요구한다. Nolla Health에는 전문의 감독이 포함된다. 초기 근거가 긍정적으로 보일 경우, 향후 단계에서는 사람의 개입이 줄어들 수 있다.

감독이 줄어들 때마다 통제권의 배분은 달라진다. 따라서 이는 단순한 기술 성능 점검이 아니라 새로운 책임 분석을 촉발해야 한다.

이 지점에서 “human-guided”라는 용어에도 정확성이 필요하다. 사람은 시스템 설계를 안내하고, 선택된 사례를 승인하며, 집계된 결과를 모니터링하거나, 사고 발생 후 개입할 수 있다. 이러한 역할은 서로 다른 수준의 보호를 제공한다.

주 정부는 모든 파일럿이 엄격한 감독 아래 유지될 것이라고 말한다. 하지만 감독은 단일한 보호 장치가 아니다. 여기에는 의사결정 로그 접근 권한, 임상 검토 권한, 사고 탐지, 집행 권한, 배포를 중단할 수 있는 능력이 포함된다.

환자들은 또한 중대한 결정을 내린 주체가 누구인지 알아야 한다. 일반적인 AI 고지는 의사가 권고안을 검토했는지, 또는 관련 의료 기록을 어느 기관이 보유하는지를 설명하지 않는다.

책임성 문제는 Utah를 넘어선다. 공급업체들은 여러 주에서 운영할 수 있는 제품을 원한다. 의료 행위법, 전문직 면허 요건, 책임 기준은 관할권마다 다르다.

Boyd는 한 번 검증한 뒤 여러 관할권이 감독을 분담하는 방식으로 광범위하게 배포할 수 있는 시스템의 매력을 설명해 왔다. 이러한 모델은 반복적인 검토를 줄이고 더 일관된 기대치를 만들 수 있다.

그러나 성공적인 국가 차원의 모델에는 주 정부, 연방 규제기관, 임상의, 법원이 모두 수용하는 권한 주체가 필요하다. Utah는 거버넌스 절차를 시험할 수는 있지만, 단독으로 그러한 권한을 만들 수는 없다.

따라서 주 정부의 실험은 자동화가 일상이 되기 전에 입법자들이 책임을 정의하도록 압박한다. 또한 공급업체가 기술적 정확성 주장에 그치지 않는 의무를 받아들이도록 압박한다.

기업 구매자에게 이 교훈은 의료 분야를 넘어선다. 중대한 워크플로에 AI를 배포하는 모든 조직은 증거, 결정, 에스컬레이션 규칙을 추적할 수 있는 기록이 필요하다. 구조화된 knowledge workflow는 팀이 정책과 원천 자료를 연결하는 데 도움이 될 수 있지만, 문서화가 임상적 책임을 대체하지는 않는다.

독립 평가는 Utah의 승부수의 중심이다

이제 Utah의 신뢰성은 독립 평가자들이 규제기관과 임상의가 검토할 수 있는 시의적절한 증거를 만들어낼 수 있는지에 달려 있다.

주 정부는 Coalition for Health AI, Clarion AI Partners, Glacis Technologies, mpathic AI, Vega Health, Stanford Clinical Excellence Research Center 등 6개 기관을 샌드박스 참여자 평가 기관으로 선정했다.

이들의 책임에는 기술적 주장 검증, 의사결정 보고 감사, 의료 기준에 따른 임상 성과 평가가 포함된다. Utah 관계자들에 따르면 향후 의료 파일럿은 독립 평가자와 계약을 체결해야 한다.

이 요건은 공급업체가 보고한 결과에 대한 비판에 직접 대응한다. 기업에는 유리한 결과를 부각할 상업적 유인이 있다. 외부 평가자는 연구 설계에 이의를 제기하고, 실패 사례를 점검하며, 제품 주장을 재현 가능한 증거와 구분할 수 있다.

Utah의 잠정적 증거 기준은 세 가지 가설을 중심으로 평가를 구성한다. 참여자들은 AI 지원 진료가 전통적 진료보다 열등하지 않다는 점을 보이고, 신체적·심리적 피해를 추적하며, 가능한 공중보건상 이점을 측정해야 한다.

비열등성은 제대로 적용될 경우 까다로운 개념이다. 시험 대상 경로와 기존 진료 사이의 사전 정의된 비교 및 허용 가능한 차이를 요구한다. 사용자가 만족해 보였다는 모호한 진술로는 이 기준을 충족할 수 없다.

안전성 요건 역시 단순한 민원 건수 이상을 필요로 한다. 일부 환자는 나중에 발생한 건강 문제를 자동화된 권고와 연결하지 못할 수 있다. 또 다른 환자들은 증상을 기업이나 주 정부가 아니라 의사에게 보고할 수 있다.

공중보건상 이점도 마찬가지로 복잡하다. 특히 임상의가 부족한 곳에서는 더 빠른 접근성이 진료를 개선할 수 있다. 그러나 편의성 지표가 임상 품질을 입증하지는 않는다. 시스템은 진료 중 드러났을 변화를 놓치면서도 요청을 빠르게 처리할 수 있다.

Utah는 파일럿별 평가 계획을 예상하고 있다. Vega Health의 최고경영자이자 공동 창업자인 Mark Sendak는 Nextgov/FCW에 관련 데이터는 애플리케이션, 대상 집단, 결과, 시스템 사양에 따라 달라질 것이라고 말했다.

여드름 평가, 약물 갱신, 골반 건강 치료는 서로 다른 위험을 수반하기 때문에 이러한 유연성은 합리적이다. 단일 벤치마크는 이러한 차이를 가릴 수 있다.

유연성은 비교 가능성을 낮출 수도 있다. 모든 기업과 평가자가 서로 다른 측정 기준을 선택한다면, 대중은 어느 파일럿이 좋은 성과를 냈는지 판단하기 어려울 수 있다. Utah는 긍정적인 결론이 의미를 갖도록 충분한 방법론적 세부 사항을 공개해야 한다.

지속적인 평가도 또 하나의 핵심 요소다. 임상 AI 시스템은 모델, 인터페이스, 환자 집단, 운영 규칙이 바뀔 때 성능 특성이 변할 수 있다. Sendak는 평가자들이 평가를 반복하고 최신 정보를 주 정부에 제공할 것으로 예상한다.

이러한 기대는 일회성 인증보다 강하다. 시스템의 안전성 프로필은 특정 버전과 환경에 속한다는 점을 인정한다. 검증된 제품도 중대한 변경 이후에는 더 이상 검증되지 않은 상태가 될 수 있다.

그럼에도 몇 가지 실무적 질문은 남아 있다. 대중은 누가 평가자 비용을 부담하는지, 이해상충을 어떻게 공개하는지, 평가자들이 어떤 데이터에 접근할 수 있는지, 기업이 공개를 제한할 수 있는지를 알아야 한다.

독자는 평가자의 역할과 규제 집행의 역할도 명확히 구분할 필요가 있다. 감사자는 문제를 식별할 수 있다. 결과를 부과하거나 사용을 제한하거나 파일럿을 중단할 수 있는 것은 권한을 부여받은 규제기관 또는 참여 의료 시스템뿐이다.

Utah는 파일럿 데이터를 입법자와 대중에게 공유하겠다고 약속했다. 이 약속의 가치는 시점과 세부성에 달려 있다. 배포가 한참 지난 뒤 공개되는 집계 요약만으로는 의미 있는 외부 감시를 뒷받침할 수 없다.

Boyd는 주 정부의 기대사항 문서를 논의하면서 불확실성을 인정했다. 그는 “절반”이라는 표현은 아마도 잘못되었을 것이라고 말하면서도, 이 문서가 현재 이용 가능한 프레임워크 가운데 가장 성숙한 것 중 하나라고 했다.

이 발언은 샌드박스의 전제를 드러낸다는 점에서 유용하다. Utah는 확정된 기준을 보유하고 있다고 주장하지 않는다. 대신 배포 데이터가 수정해 나갈 살아 있는 가설로 이 프레임워크를 다루고 있다.

이러한 솔직함이 위험을 없애지는 않는다. 오히려 보호 장치가 바뀔 때 투명한 버전 이력, 사고 보고서, 공개 설명의 중요성을 높인다.

따라서 평가자 네트워크는 Utah 규제 실험의 중심이다. 신뢰할 수 있고 비교 가능한 증거를 만들어낸다면, 샌드박스는 더 나은 정책 수립에 기여할 수 있다. 단지 공급업체 주도 연구에 외부 기관의 이름만 더한다면, 그 확장은 같은 증거 공백을 더 큰 규모로 재현하게 될 것이다.

책임과 연방 감독은 여전히 미해결 과제다

주 정부의 감독만으로는 FDA의 역할을 해결하거나 임상 AI에 대한 국가 기준을 수립할 수 없다.

미국의 의료 규제는 연방 및 주 정부 기관 사이에 권한을 나눈다. 주 정부는 의료 행위를 규제하고 전문가에게 면허를 부여한다. Food and Drug Administration은 해당 요건을 충족하는 소프트웨어 기능을 포함해 많은 의료 제품을 감독한다.

소프트웨어가 단순한 행정 지원을 넘어설 때 경계는 불분명해진다. 질환을 평가하거나, 치료를 권고하거나, 처방에 영향을 주는 시스템은 의료기기 소프트웨어와 유사할 수 있다. 동시에 전통적으로 주 정부가 규제해 온 의료 행위와도 닮아 있을 수 있다.

Doctronic의 경영진은 자사 시스템을 주 정부가 규제하는 의료 행위의 일부로 다뤄 왔다. 기존 보도에 따르면 이 회사는 FDA 승인을 신청했는지 공개적으로 명확히 밝히지 않았다.

FDA는 이전 처방 프로그램에 관한 질문을 받았을 때 AI 챗봇을 승인한 사례가 없다고 밝혔다. 또한 의료 혁신을 지지하면서도 의사결정에서 안전성을 핵심으로 유지한다고 말했다.

이 발언은 Utah의 시스템에 시판 전 검토가 필요한지 판단하지는 않았다. 새 파일럿이 발표됐을 당시 연방 기관은 Utah 실험에 공개적으로 개입하지 않았다.

이러한 침묵은 관할권 문제가 해결되기 전에 샌드박스가 운영상의 선례를 만들 수 있기 때문에 중요하다. 다른 주들도 자체 접근법을 검토하고 있으며, Texas와 Wyoming 역시 일부 AI 활동에 면제를 적용해 왔다.

여러 주의 입법자들은 AI 의료 서비스를 공식적으로 허가하는 법안을 검토해 왔다. 이 움직임은 유사한 시스템이 서로 다른 증거, 공개, 감독 요건을 적용받는 파편화된 체계를 만들 위험이 있다.

주별 접근 방식은 기업이 좁은 범위의 서비스를 시험할 여지를 준다. 그러나 특히 공급업체가 더 빠른 승인이나 덜 엄격한 요건을 가진 관할권을 선택할 수 있다면 규제 쇼핑을 부추길 수도 있다.

연방의 개입은 일관된 기술적 기대치를 가져올 수 있다. 하지만 중앙집중식 시판 전 검토는 느리게 진행될 수 있으며, 자주 업데이트되는 모델을 다루는 데 어려움을 겪을 수 있다. Utah의 지속 모니터링 접근법은 이러한 한계를 해결하려 한다.

가장 강력한 프레임워크에는 두 계층 모두가 필요할 가능성이 크다. 연방 당국은 제품 수준의 요건을 정의하고, 주 정부는 전문직 진료와 지역 배포에 대한 통제권을 유지할 수 있다. 공유 데이터 기준은 하나의 파일럿을 보편적 증거로 취급하지 않으면서 중복 작업을 줄일 수 있다.

이러한 구조가 마련되기 전까지 병원과 임상의는 불확실성에 직면한다. 주 정부와의 합의가 시험을 허용할 수는 있지만, 연방 규정 준수를 보장하지는 않는다. 또한 조직을 의료 과실 청구나 평판 손상으로부터 보호하지도 않는다.

Utah Medical Licensing Board의 이전 반대는 또 다른 거버넌스 위험을 보여준다. 기술 부서가 전문직 규정에 대한 규제 완화를 협상할 때, 해당 분야 규제기관은 영향력을 잃을 수 있다.

위원회의 주간 실무 그룹은 개선책이다. 향후 파일럿은 합의가 실제 운영에 들어가기 전에 관련 임상 당국을 참여시켜야 한다. 공개적 논란이 발생한 뒤 협의하는 것은 누락된 전문성을 발견하는 데 드는 비용이 큰 방식이다.

보안 테스트는 또 다른 미해결 층위를 더한다. 연구자들은 이전에 Doctronic의 공개 챗봇을 조작해 유해한 응답을 내놓도록 만들었다고 보고했다. 이 테스트는 Utah 파일럿에서 사용된 보호 장치가 적용된 시스템을 대상으로 하지 않았으므로, 임상 배포에도 동일한 취약성이 있었다는 점을 입증하지는 않는다.

그러나 이 사례는 환경별 레드팀 테스트가 중요한 이유를 보여줬다. 공개 시연과 보호된 임상 시스템은 모델 구성 요소를 공유할 수 있지만, 서로 다른 통제를 사용할 수 있다. 규제기관은 어느 한 버전에서 안전성을 추론하는 대신 실제 배포된 구성을 시험해야 한다.

의료위원회 분쟁은 처방 갱신이 단순한 행정 절차라는 생각에도 이의를 제기했다. 환자의 상황이 바뀌었다면 재처방에는 새로운 임상 판단이 필요할 수 있다.

이 우려는 새 파일럿에 서로 다른 방식으로 적용된다. 여드름 이미지는 기저 질환을 포착하지 못할 수 있다. 물리치료 시스템은 대면 평가가 필요한 증상을 인식하지 못할 수 있다. 갱신 도구는 다른 의료 제공자의 최신 기록을 갖고 있지 않을 수 있다.

따라서 에스컬레이션 성과는 자동화된 정확성만큼 큰 관심을 받아야 한다. 불확실한 사례를 전환하는 신중한 시스템은 환자를 보호할 수 있지만, 과도한 전환은 그 시스템이 주장하는 접근성 이점을 없앨 수 있다.

Utah의 프레임워크는 몇 개의 파일럿을 승인하는지가 아니라 이러한 긴장을 어떻게 다루는지로 평가받게 될 것이다. 핵심 척도는 시스템이 환자가 한계에 마주하기 전에 그 한계를 식별하는지 여부다.

모델의 작동 여부를 보여줄 세 가지 신호

다음 시험은 또 다른 발표가 아니다. Utah가 증거를 공개하고, 책임을 명확히 하며, 보호 장치가 실패할 때 행동하는지가 관건이다.

첫 번째 신호는 제안된 책임 법안이다. Utah 관계자들은 자동화 시스템의 책임을 다루기 위한 다년간의 입법 노력을 시작할 것으로 예상했다.

초기 법안은 입법자들이 공급업체에 직접 책임을 묻겠다는 것인지, 임상의의 책임을 유지하겠다는 것인지, 또는 운영 통제권에 따라 책임을 배분하겠다는 것인지를 보여줘야 한다. 모호한 문구는 샌드박스가 임시 보험 요건에 의존하게 만들 것이다.

신뢰할 만한 제안은 파일럿 단계 간 변화도 다뤄야 한다. 책임은 권한을 따라야 한다. 공급업체의 시스템이 의사의 검토를 덜 받으며 작동한다면, 그에 따라 공급업체의 의무도 강화돼야 한다.

두 번째 신호는 평가기관 보고서의 품질이다. 6개 외부 기관은 의사결정 로그, 사고 데이터, 시스템 버전, 관련 임상 결과에 접근할 수 있어야 한다. 이들의 공개 보고서는 방법론, 비교 집단, 한계, 이해 상충을 설명해야 한다.

유타주의 보도된 프레임워크는 모델과 환자 집단이 변화함에 따라 반복 평가를 요구한다. 처음 공개되는 평가 결과는 이 약속이 실질적인 투명성으로 이어지는지 보여줄 것이다.

광범위한 안전성 결론만 제시하는 보고서는 유타주의 주장을 약화시킬 수 있다. 명확한 실패 범주를 포함한 상세하고 버전 관리된 결과는 문제가 드러나더라도 이를 강화할 것이다.

세 번째 신호는 새로운 증거가 나온 뒤 파일럿 단계가 어떻게 바뀌는지다. August AI는 현재 처방이 승인되기 전에 의사의 검토를 요구한다. Nolla Health는 전문의 감독을 활용하며, Expect Fitness는 정해진 물리치료 경로 안에서 운영된다.

감독이 줄어든다면 유타주는 어떤 증거가 그 변화를 정당화했는지 설명해야 한다. 또한 에스컬레이션 비율, 중대한 사고, 서비스나 의약품을 적용 범위에서 제외한 이유를 공개해야 한다.

앞서 Doctronic의 목록에서 Butalbital과 Flecainide를 제외하기로 한 결정은 유용한 선례를 제공한다. 이는 감독이 진행 중인 프로그램을 바꿀 수 있음을 보여줬다. 확대된 포트폴리오 전반에도 같은 엄격함이 적용돼야 한다.

의료 시스템은 이 신호들을 면밀히 지켜봐야 한다. University of Utah Health와 Intermountain Health는 이제 향후 제안을 위한 신속 심사 경로를 갖추고 있다. 이들의 기관 평판은 샌드박스의 영향력을 넓히지만, 부실한 검토에 따르는 대가도 키운다.

개발자들도 같은 증거를 지켜봐야 한다. 유타주는 임상 AI 공급업체에 필요한 로그, 고지, 안전 조치, 평가 절차가 무엇인지 정의하기 시작하고 있다. 이러한 요건은 국가 표준이 나오기 훨씬 전부터 제품 아키텍처에 영향을 줄 수 있다.

기업 구매자는 헤드라인을 장식하는 정확도 주장보다 거버넌스에 초점을 맞춰야 한다. 이들은 시스템이 불확실한 입력, 불완전한 기록, 인구 집단 변화, 모델 업데이트, 인간 에스컬레이션을 어떻게 처리하는지 알아야 한다.

환자들은 더 단순한 질문에 대해 이해하기 쉬운 답변을 받아야 한다. AI가 관여했는가? 임상의가 결과를 검토했는가? 시스템은 어떤 정보를 사용했는가? 문제가 생기면 누구에게 연락해야 하는가?

유타 AI 헬스케어 샌드박스는 정책 논쟁을 운영 체계로 전환한다는 점에서 주목할 만하다. 이 파일럿들은 이론적 논쟁만으로는 만들 수 없는 증거를 생성할 것이다. 또한 관계자들이 규칙이 아직 완성되지 않았음을 공개적으로 인정하는 상황에서 환자들을 의사결정에 노출시킬 것이다.

그렇다고 이 실험이 본질적으로 무모하거나 책임감 있다는 뜻은 아니다. 결과는 증거가 기대와 충돌할 때 감독 체계가 얼마나 신속히 대응하는지에 달려 있다.

향후 몇 달 동안은 샌드박스에 참여하는 기업 수를 무시하라. 책임 법안, 첫 평가기관 보고서, 그리고 인간 검토의 모든 변화를 지켜보라. 이 신호들은 유타주가 책임 있는 임상 시험 체계를 구축하고 있는지, 아니면 단지 배포를 가속하고 있는지를 보여줄 것이다.