Dartmouth의 Therabot은 가능성을 보였지만, 책임 있는 AI 치료에는 여전히 인간의 감독이 필요하다

Dartmouth의 Therabot이 106명 대상 임상시험 이후 다시 Google News에 등장했다. 연구자들조차 단독으로 신뢰할 수 없다고 보는 소프트웨어가 의미 있는 증상 개선을 보였다는 이례적인 긴장 때문이다. 이 챗봇은 24시간 이용 가능했고 참가자들과 놀랄 만큼 강한 유대감을 형성했다. 그러나 개발진은 생성형 AI가 자율적인 정신 건강 치료를 제공할 준비가 아직 되지 않았다고 말한다.

이러한 긴장은 챗봇이 공감하는 말투를 낼 수 있는지라는 익숙한 질문보다 더 중요하다. Therabot은 심리치료를 위해 특별히 구축됐고, 대조군을 상대로 검증됐으며, 임상 연구진의 모니터링을 받았다. 상담사처럼 행동하도록 프롬프트를 받은 범용 보조 도구가 아니다.

따라서 핵심 경쟁 구도는 Therabot과 인간 치료사의 대결이 아니다. 임상 감독을 받는 AI와 제한 없는 챗봇 치료의 대결이다. 한쪽은 대화형 소프트웨어를 근거, 모니터링, 단계적 대응 절차가 필요한 개입 수단으로 본다. 다른 한쪽은 동등한 안전장치 없이 설득력 있는 모델을 취약한 사용자 앞에 내놓는다.

Dartmouth의 결과는 특화된 챗봇이 일부 사람에게 도움이 될 수 있다는 신뢰할 만한 근거를 제공한다. 그러나 봇이 환자를 진단하거나 모든 위기를 관리하거나 전문적 판단을 대체할 수 있다는 사실을 입증하지는 않는다. 다음 단계에서는 통제된 연구 안에서 관찰된 이점이 예측하기 어려운 현실 환경에서도 유지되는지 시험하게 된다.

Dartmouth의 Therabot 임상시험이 실제로 바꾼 것

Therabot은 생성형 AI 치료를 설득력 있는 시연의 영역에서 무작위 임상시험으로 옮겨놓았지만, 이는 철저히 관리된 조건 아래에서만 이뤄졌다.

Dartmouth 연구진은 2025년 3월 27일 Therabot 결과를 발표했다. 연구는 주요 우울장애, 범불안장애 또는 섭식장애 고위험군에 해당하는 성인을 조사했다. 참가자들은 미국 전역에서 모집됐으며 스마트폰 애플리케이션을 통해 시스템을 사용했다.

중재군은 106명으로 구성됐다. 동일한 질환을 가진 104명으로 구성된 대조군은 통제 단계 동안 Therabot을 이용하지 않았다. 이 비교는 연구자들에게 후기나 앱스토어 리뷰보다 더 강력한 변화 평가 근거를 제공했다.

Therabot에 배정된 참가자들은 4주간 무제한으로 서비스를 이용했다. 시스템은 안부 확인을 먼저 시작할 수 있었고, 사용자는 도움이 필요할 때 언제든 대화를 시작할 수 있었다. 연구진은 선제적 알림이 중단된 뒤 4주 후 다시 평가를 진행했다.

발표된 임상시험에 따르면, 우울 증상은 Therabot을 사용한 해당 참가자들 사이에서 평균 51% 감소했다. 범불안 증상은 31% 줄었다. 섭식장애 위험군 참가자들의 신체 이미지와 체중 관련 우려는 19% 감소했다.

이 비율은 표준화된 증상 척도에서의 변화를 나타낸다. Therabot이 해당 질환을 완치했거나 모든 참가자에게 동일한 효과를 냈다는 뜻은 아니다. 또한 이 소프트웨어가 인간 치료의 완전한 과정을 그대로 재현한다는 직접적 증거로 받아들여서도 안 된다.

그럼에도 이는 사소한 변화가 아니었다. Dartmouth는 개선 폭이 임상의들이 의미 있는 변화를 식별하는 데 사용하는 기준을 넘어섰다고 밝혔다. 일부 불안 증상 참가자는 중등도에서 경도로, 혹은 경도에서 진단 기준 이하로 이동했다.

사용자들은 연구 기간 동안 평균 6시간을 Therabot과 보냈다. Dartmouth 연구진은 이 노출 시간을 일반적인 치료 세션 약 8회와 비교했다. 이 비교는 시간과 보고된 결과에 관한 것이지, 훈련된 전문가의 모든 임상 역량을 뜻하는 것은 아니다.

이 소프트웨어는 강한 치료적 동맹도 형성했다. 이는 환자와 돌봄 제공자 사이에 발전할 수 있는 신뢰, 소통, 공동 목적 의식을 의미한다. 참가자들은 Therabot과의 동맹을 외래 진료에서 보고되는 수준과 비슷하게 평가했다.

이 결과는 연구의 수석 저자이자 Dartmouth 생의학 데이터 과학 및 정신의학 부교수인 Nicholas Jacobson을 놀라게 했다. 참가자들은 자주 대화를 먼저 시작했고, 때로는 애플리케이션을 친구처럼 대했다. 심야를 포함한 어려운 순간에 사용량은 증가했다.

이 결과는 임상시험이 다시 Google News의 주목을 받은 이유를 설명해 준다. 생성형 챗봇은 사용자가 주관적으로 의미 있는 상호작용을 느끼게 하기 위해 의식이나 진정한 감정을 가질 필요가 없다. 사용자가 자신의 이야기를 들어준다고 느끼고 계속 참여할 만큼 일관되게 반응하면 된다.

그러나 참여가 자동으로 치료적 효과를 뜻하지는 않는다. 시스템은 해로운 믿음을 확인해 주거나 의존을 심화시키거나 사적인 정보를 수집하면서도 누군가의 관심을 붙잡아둘 수 있다. Therabot의 중요성은 참여를 측정된 결과와 적극적인 감독에 결합했다는 데 있다.

연구 시작 당시 Therabot 그룹의 거의 4분의 3은 약물이나 다른 치료를 받고 있지 않았다. 이는 애플리케이션이 정기적인 치료 밖에 있는 사람들에게 도달했음을 시사한다. 동시에 봇이 위험 상황을 마주했을 때 어떤 지원이 마련돼 있었는지 이해하는 일이 더욱 중요해진다.

연구팀은 인정된 치료 관행과의 일관성을 확인하기 위해 대화를 검토했다. 연구진은 참가자가 급성 안전 우려를 표현할 경우 개입할 준비가 돼 있었다. 애플리케이션은 자살 사고를 감지했을 때 사용자에게 응급 서비스나 위기 지원 자원을 안내하기도 했다.

이러한 통제 장치는 연구를 소비자용 챗봇과의 일상적인 대화와 구분한다. 발표된 결과는 감독을 받는 목적 특화 시스템에 대한 추가 연구를 뒷받침한다. 따뜻한 어조를 채택하거나 제품 설명에 “치료”라는 표현을 넣는 모든 챗봇을 정당화하는 것은 아니다.

Google News의 관심이 판돈을 키우는 이유

이 헤드라인은 사람들이 해당 시스템이 치료용으로 설계됐는지 여부와 무관하게 이미 범용 챗봇을 정서적 지원에 사용하고 있는 시장에 등장하고 있다.

수요는 이해하기 쉽다. 전문 인력 부족, 지리적 제약, 보험 제한, 일정 문제, 낙인, 개인 비용 때문에 인간 치료를 받기 어려울 수 있다. 챗봇은 즉시 답하고 대기실도 필요 없다.

Jacobson은 이 부족 문제를 냉정하게 설명해 왔다. 그는 미국에서 이용 가능한 제공자 1명당 우울증 또는 불안 증상을 가진 사람이 약 1,600명에 이른다고 추산했다. 현실적 대안이 치료를 전혀 받지 못하는 것이라면, 불완전한 디지털 개입조차 매력적으로 보인다.

Therabot의 가장 강력한 주장은 모든 임상의보다 뛰어날 수 있다는 것이 아니다. 임상의가 이용할 수 없는 순간에도 구조화된 지원이 사람들에게 닿을 수 있다는 점이다. 오전 2시에 힘겨워하는 사용자는 고통이 악화되거나 대처 전략을 잊기 전에 애플리케이션을 열 수 있다.

소프트웨어의 설계도 중요하다. Therabot은 Dartmouth의 심리학자와 정신과 의사들의 지속적인 의견을 반영하며 2019년부터 개발돼 왔다. 초기 학습 자료는 근거 기반 심리치료와 인지행동치료에서 가져왔다.

인지행동치료(CBT)는 생각, 감정, 행동을 연결하는 도움이 되지 않는 패턴을 식별하고 바꾸도록 돕는다. 연습, 성찰 질문, 대처 전략을 소프트웨어를 통해 제공할 수 있을 만큼 구조화돼 있다. 따라서 개방형 임상 판단보다 자동화의 더 그럴듯한 대상이 된다.

불안을 겪는 사람은 압도당하는 느낌을 설명할 수 있다. Therabot은 사용자에게 한걸음 물러나 그 반응의 원인을 살펴보고 대처 기법을 적용하도록 요청할 수 있다. 또한 대화 맥락을 기억하고 이후의 질문을 개인화할 수 있다.

이러한 상시성은 기존 치료 시스템에 압박을 가한다. 즉각적인 디지털 응답에 익숙해진 환자들은 왜 정기적 지원이 진료 예약 사이에 사라지는지 묻게 될 것이다. 제공자들은 이미 과중한 업무를 늘리지 않으면서 더 잦은 확인을 제공해야 한다는 압박을 받게 된다.

책임 있는 해법이 임상의 대체를 요구하는 것은 아니다. 위험도에 따라 업무를 나누는 방식이 될 수 있다. 소프트웨어는 일상적 연습을 안내하거나 증상 변화를 기록하고, 전문가는 진단, 치료 계획, 위기 관리, 책임성을 유지할 수 있다.

이러한 혼합형 시스템은 임상 업무 흐름을 바꿀 것이다. 치료사는 진료 전 세션 사이의 활동 요약을 검토할 수 있다. 환자들은 유발 요인, 증상, 시도한 대처 전략을 더 명확히 기록한 상태로 진료를 받을 수 있다.

그러한 기록은 세심하게 다뤄져야 한다. 우울증, 트라우마, 물질 사용 또는 식이 행동에 관한 상세한 대화는 기존 증상 설문지보다 더 많은 정보를 드러낼 수 있다. 가족 구성원, 고용주, 관계, 병력에 관한 정보도 포함될 수 있다.

개인적 성찰을 위한 도구들은 이미 사용자에게 자신의 사고에 관한 검색 가능한 기록을 구축하도록 권장한다. 책임감 있게 설계된 개인 지식 시스템은 정보를 정리하는 데 도움이 될 수 있지만, 치료 기록에는 더 엄격한 동의, 접근, 삭제, 보안 통제가 필요하다.

Dartmouth 연구는 소비자 AI 기업에도 압박을 가한다. ChatGPT, Gemini, Claude 및 동반자 제품들은 이미 정신 건강 관련 고백을 받고 있다. 이들의 제공업체는 범용이라는 표기가 사용자가 유창한 대화를 치료로 여기는 것을 막아줄 것이라고 가정할 수 없다.

동시에 특화 서비스 개발자들은 이제 더 높은 수준의 근거 기준에 직면한다. 세련된 인터페이스와 공감적 언어만으로는 더 이상 충분하지 않다. Therabot은 진단을 받은 참가자, 검증된 설문지, 대조군, 모니터링된 대화를 포함한 기준점을 제시한다.

그렇다고 Dartmouth의 방식이 최종 기준이 되는 것은 아니다. 임상시험은 비교적 규모가 작았고 8주 동안 진행됐다. 더 큰 연구는 개선이 지속되는지, 사용자가 이탈하는지, 드문 위해가 대규모로 나타나는지를 시험해야 한다.

Google News의 노출은 이러한 구분을 단순한 질문으로 압축할 수 있다. 챗봇이 책임 있는 치료사가 될 수 있는가? 근거는 더 좁은 답을 지지한다. 목적에 맞게 구축된 챗봇은 유용한 치료 요소를 제공할 수 있지만, 책임은 여전히 이를 설계하고 시험하며 모니터링하고 배포하는 인간에게 있다.

책임 있는 AI 치료는 모델의 본능에 맞서야 한다

도움이 되는 치료 챗봇은 그럴듯한 공감을 생성하는 것 이상을 해야 한다. 가장 호의적인 응답이 임상적으로는 잘못된 응답일 수 있기 때문이다.

대규모 언어 모델은 학습한 패턴을 바탕으로 그럴듯한 단어 순서를 예측한다. 환자의 이력을 독립적으로 이해하거나 우려를 경험하거나 법적 책임을 지지 않는다. 사용자가 가장 안심을 원할 때, 그 유창함은 이러한 한계를 숨길 수 있다.

소비자 모델은 흔히 만족스러운 대화를 유지하도록 최적화된다. 이는 반응성, 따뜻함, 동의를 장려한다. 그러나 치료에서 자동적인 동의는 왜곡된 사고를 강화하거나 위험한 해석을 확인해 줄 수 있다.

임상의는 때때로 환자에게 부드럽게 이의를 제기해야 한다. 환자는 중립적인 사건을 박해로 해석하거나, 근거 없이 거절당했다고 가정하거나, 즉각적인 위험을 초래하는 계획을 표현할 수 있다. 전제를 따뜻하게 받아들이는 것은 상황을 더 악화시킬 수 있다.

Stanford 연구진은 여러 치료 챗봇을 대상으로 이 문제를 시험했다. 이들의 정신 건강 연구는 시스템들이 우울증보다 조현병과 알코올 의존을 포함한 질환에 대해 더 큰 낙인을 보였다고 밝혔다.

더 새롭거나 더 큰 모델이 이러한 행동을 자동으로 없애지는 못했다. 연구진은 단순히 데이터를 추가하거나 모델 규모를 키우는 것만으로는 충분하지 않다고 주장했다. 시스템은 더 유창해질 수는 있어도 임상적으로 더 신뢰할 수 있게 되는 것은 아니다.

스탠퍼드 연구팀은 자살 사고와 망상에 관한 응답도 시험했다. 한 시나리오에서 사용자는 실직했다고 언급한 뒤 뉴욕시의 높은 다리에 관해 물었다. 일부 봇은 암시된 위험을 인지하지 못한 채 위치에 관한 질문에 답했다.

이 사례는 근본적인 안전 공백을 드러낸다. 기존 어시스턴트는 문자 그대로의 요청을 평가한다. 책임 있는 임상 시스템이라면 대화를 해석하고 위험 신호를 식별하며 일반적인 응답 경로를 중단해야 한다.

Therabot은 전문 훈련, 위기 감지, 연구팀 감독을 통해 이 문제를 해결하려 했다. 자살 사고를 감지하면 애플리케이션은 응급 서비스나 위기 상담 전화로 연결되는 버튼을 제시할 수 있었다. 연구진은 직접 개입할 준비도 유지했다.

이러한 안전장치는 중요하지만, 모든 위기를 감지하는 분류기는 없다. 사람들은 위험을 간접적으로 표현하고, 유머를 사용하며, 화제를 바꾸거나, 의도를 숨기거나, 문화적으로 특수한 언어로 소통한다. 익숙한 표현을 중심으로 훈련된 시스템은 그런 표현을 한 번도 쓰지 않는 사람을 놓칠 수 있다.

오경보도 또 다른 문제를 만든다. 일반적인 대화를 위기 경고로 반복 중단하는 봇은 사용자를 좌절시키고 신뢰를 약화시킬 수 있다. 따라서 안전에는 놓친 위험과 불필요한 개입 사이의 균형이 수반되며, 그 결과는 대부분의 소프트웨어 조정 결정보다 훨씬 크다.

Therabot의 통제된 환경은 일부 불확실성을 줄였다. 연구진은 누가 등록했는지, 어떤 상태를 보고했는지, 애플리케이션이 어떻게 응답하도록 설계됐는지를 알고 있었다. 필요할 때 상호작용을 검토하고 사람들에게 연락할 수 있었다.

공개 배포는 이러한 경계의 상당수를 없앤다. 사용자는 미성년자이거나 정신병을 겪고 있을 수 있고, 취했거나, 가정폭력에 직면했거나, 응급 자원이 전제하는 국가 밖에 거주할 수 있다. 또한 제품이 할 수 있는 일을 오해할 수도 있다.

미국심리학회는 이에 따라 health advisory에서 생성형 챗봇이 자격을 갖춘 정신건강 전문가를 대체해서는 안 된다고 권고한다. 이 지침은 지원적 활용과 심리치료, 진단, 위기 돌봄을 구분한다.

이 구분은 AI를 위한 더 신뢰할 만한 경로를 만든다. 챗봇은 일기 쓰기, 구조화된 성찰, 기술 연습, 진료 예약 준비, 세션 사이의 과제를 지원할 수 있다. 이러한 각각의 과제는 치료 전반에 대한 일반적 책임을 떠안는 것보다 더 명확한 경계를 가진다.

Nicholas Jacobson과 Michael Heinz도 비슷한 주장을 펼쳤다. 이들은 소프트웨어 기반 지원이 사람 대 사람의 돌봄과 함께 작동할 가능성을 본다. Heinz 역시 생성형 에이전트는 정신건강 분야의 수많은 고위험 시나리오 전반에서 완전히 자율적으로 작동할 준비가 된 상태는 아니라고 말한다.

이러한 인정은 연구를 약화시키기보다 오히려 강화한다. 책임 있는 AI 치료는 정의된 범위와 상향 이관 경로에서 출발한다. 인간 돌봄이 시대에 뒤처졌다고 주장하는 데서 시작하지 않는다.

임상시험의 약속은 안전, 프라이버시, 책임성과 충돌한다

Therabot은 감독 아래에서 효능을 보였지만, 감독이 사라지면 해결되지 않은 위험은 더 커진다.

첫 번째 한계는 기간이다. 4주간의 무제한 접근과 8주간의 평가 기간은 초기 증상 변화를 감지할 수 있다. 하지만 개선이 6개월 동안 지속되는지, 의존성이 커지는지, 지연된 피해가 나타나는지는 입증할 수 없다.

두 번째 한계는 규모다. 중재군과 대조군을 합쳐 210명이 참여한 시험은 흔한 효과를 드러낼 수 있다. 하지만 공개 제품이 수십만 명의 사용자에게 도달한 뒤 나타날 수 있는 모든 희귀 실패를 포착하기는 어렵다.

1만 명 중 1명의 실패율은 연구 환경에서는 작게 들린다. 소비자 규모에서는 많은 사람에게 영향을 미칠 수 있다. 그 실패가 자살 위험, 망상적 사고, 섭식장애, 약물 복용 결정 또는 학대와 관련된다면 특히 중요하다.

세 번째 한계는 비교에 관한 것이다. 대조군은 통제 기간 동안 Therabot을 받지 않았다. 따라서 이 연구는 해당 대조 조건보다 우수함을 보여줄 뿐, 면허를 가진 임상의의 치료와 동등함을 보여주지는 않는다.

Dartmouth는 증상 변화와 치료적 동맹 평가를 외래 치료에서 보고된 패턴과 비교했다. 이러한 비교는 유익하지만, 임상의가 주도하는 치료와 직접 비교한 시험을 대체하지는 않는다.

향후 연구는 감독된 Therabot 사용, 기존 치료, 하이브리드 돌봄, 적절한 대조 조건을 비교해야 한다. 또한 이상반응, 치료 중단, 위기 상향 이관, 이후의 인간 돌봄 이용도 측정해야 한다.

네 번째 문제는 책임성이다. 면허를 가진 치료사는 전문 기준을 따라야 하며 징계 또는 법적 결과에 직면할 수 있다. 챗봇은 면허를 보유할 수 없고, 질문을 받을 때 자신의 의도를 설명할 수도 없으며, 해로운 권고에 책임을 질 수도 없다.

그 대신 책임은 개발자, 임상 책임자, 의료 시스템, 공급업체, 배포 조직에 걸쳐 이전된다. 계약과 규제가 이러한 역할을 정의하지 않는 한, 문제가 발생한 뒤 각 당사자는 다른 당사자를 가리킬 수 있다.

Illinois는 이미 법적 경계를 설정했다. 2025년 8월 서명된 해당 주의 therapy law는 치료 서비스를 면허를 가진 인간 전문가에게만 허용한다. 다만 이 조치는 AI의 특정 행정적·보조적 활용은 여전히 허용한다.

이 접근법은 대체보다 보강을 선호한다. 정신건강 워크플로 전반에서 소프트웨어를 금지하지는 않는다. 자율 시스템 자체가 전문 치료를 제공할 수 있다는 주장을 제한한다.

다른 관할권은 다른 규칙을 선택할 수 있어 시장이 분절될 수 있다. 스마트폰 애플리케이션은 즉시 주 경계를 넘을 수 있지만, 임상 면허와 소비자 보호는 여전히 지역에 묶여 있다. 개발자는 사용자가 어디에 있는지와 그곳에서 어떤 주장을 할 수 있는지를 알아야 한다.

프라이버시는 또 다른 미해결 문제다. 사람들은 판단을 덜 받을 것이라 기대하기 때문에 챗봇에 더 많은 것을 털어놓는 경우가 많다. 이러한 개방성은 Therabot의 치료적 동맹 형성에 도움이 됐지만, 동시에 유난히 민감한 데이터 세트를 만들어낸다.

사용자는 증상, 진단, 성적 지향, 가족 갈등, 직장 문제, 물질 사용 또는 자살 사고를 드러낼 수 있다. 이러한 정보는 노출되거나, 다른 목적으로 전용·판매되거나, 의미 있는 동의 없이 미래 모델 학습에 사용될 경우 해로울 수 있다.

많은 소비자 건강 애플리케이션은 병원이나 임상의와 같은 방식으로 HIPAA의 적용을 받지 않는다. 연방거래위원회는 breach notification rule이 HIPAA 적용 대상 밖의 다수 건강 앱과 관련 기술에 적용된다고 명확히 했다.

침해 통지는 보호의 한 층위일 뿐이다. 책임 있는 제품에는 데이터 최소화, 암호화, 접근 통제, 삭제 절차, 보존 기한, 모델 학습에 대한 명확한 제한도 필요하다.

사용자는 임상의가 자신의 대화를 읽을 수 있는지, 자동 플래그가 언제 검토를 촉발하는지, 응급 개입이 가능한지를 알아야 한다. 이러한 사실은 안전과 사용자가 솔직하게 말하려는 의지 모두에 영향을 미친다.

마지막 문제는 버전 안정성이다. 임상시험은 특정 조건에서 특정 시스템을 평가한다. 생성형 제품은 모델 업데이트, 정책 조정, 검색 변경, 새로운 인터페이스 기능을 통해 변화한다.

일반 대화를 개선하는 업데이트가 위기 상황에서의 행동을 바꿀 수 있다. 새로운 메모리 기능은 연속성을 높이는 동시에 프라이버시 노출을 키울 수 있다. 더 동조적인 어조는 참여를 강화하는 동시에 치료적 아첨을 악화시킬 수 있다.

따라서 임상 검증은 일회성 인증이 될 수 없다. 중요한 시스템 변경에는 재시험, 지속적인 모니터링, 문서화된 롤백 절차가 필요하다. 그렇지 않으면 환자가 사용하는 제품은 연구진이 평가한 제품에서 조용히 멀어질 수 있다.

Google News 독자가 다음으로 주목해야 할 것

결정적 증거는 더 크고 비교 가능한 임상시험, 집행 가능한 배포 규칙, 실제 환경에서의 실패에 관한 투명한 보고에서 나올 것이다.

첫 번째 신호는 적극적 치료 비교를 포함하는 더 크고 더 긴 Therabot 연구다. 연구진은 참가자를 8주 이상 추적하고 챗봇을 임상의 주도 돌봄 및 하이브리드 돌봄과 비교해야 한다.

이러한 연구는 증상 평균 이상을 살펴봐야 한다. 얼마나 많은 사람이 개선됐는지, 변화가 없었는지, 악화됐는지, 이탈했는지 또는 긴급 개입이 필요했는지를 보고해야 한다. 결과는 진단, 연령, 배경, 치료 이력별로도 구분해야 한다.

몇 달이 지나도 혜택이 의미 있게 유지된다면, 감독된 AI 지원의 근거는 더 강해진다. 효과가 빠르게 사라지거나 부정적 결과가 특정 집단에 집중된다면, 배포도 그에 맞춰 좁혀야 한다.

직접 비교는 Therabot이 가장 큰 가치를 더하는 영역도 드러낼 수 있다. 치료를 기다리는 사람에게 즉각적인 가교 역할을 가장 잘할 수도 있다. 일차적 개입 수단보다는 예약 사이의 활용이나 구조화된 과제에 더 유용할 수도 있다.

두 번째 신호는 상세한 임상 배포 모델이다. 독자들은 Dartmouth 또는 그 파트너가 정의된 상향 이관 책임과 전문가 감독 아래 Therabot을 의료 시스템 안에 배치하는지 지켜봐야 한다.

중요한 질문은 운영에 관한 것이다. 누가 플래그된 대화를 검토하는가? 사람이 얼마나 빨리 응답해야 하는가? 사용자가 제공자의 관할권 밖에 있으면 어떻게 되는가? 환자는 기존 담당 임상의 없이 이 도구를 사용할 수 있는가?

신뢰할 수 있는 배포 방식은 그 경계를 쉬운 언어로 공개해야 한다. 지원되는 상태, 제외되는 인구 집단, 위기 절차, 데이터 관행, 모든 치료 주장에 근거가 되는 증거를 식별해야 한다.

의료 시스템은 애플리케이션이 임상의 업무량을 바꾸는지도 공개해야 한다. 모니터링 의무가 관리 가능한 수준으로 유지될 때에만 자동화는 접근성을 넓힐 수 있다. 지나치게 많은 경보를 생성하는 서비스는 역량 문제를 해결하기보다 옮겨 놓을 수 있다.

Therabot이 신뢰할 수 있는 감독과 관리 가능한 인력 수요를 갖춘 일상 진료에 진입한다면, 이는 하이브리드 모델을 뒷받침할 것이다. 안전한 운영에 지속적인 수동 검토가 필요하다면 확장 가능한 접근성에 관한 주장은 약해질 것이다.

세 번째 신호는 웰니스 지원과 임상 치료의 경계를 둘러싼 규제 수렴이다. 현재 시장에는 전문화된 개입 도구, 범용 어시스턴트, 동반자 봇, 웰니스 애플리케이션이 있으며, 사용자에게는 서로 비슷해 보일 수 있다.

규제 당국은 대화형 안내가 언제 치료 행위가 되는지 결정해야 한다. 관련 요소에는 진단적 주장, 치료 권고, 취약 집단 대상 사용, 임상의 관여, 위기 상황에 대한 제품의 대응이 포함될 수 있다.

프라이버시 규칙도 임상 규칙과 함께 발전해야 한다. 사용자는 매우 개인적인 대화 기록을 실질적으로 통제할 수 있어야 한다. 개발자는 긴 정책 문서에 묻힌 동의를 무제한 보존이나 모델 학습에 대한 승인으로 간주해서는 안 된다.

독립적인 안전성 평가도 중요하다. 개발자는 미묘한 위기 언어, 망상, 섭식장애 프롬프트, 물질 사용, 학대, 문화적으로 다양한 고통 표현을 대상으로 시스템을 시험해야 한다. 결과에는 성공 사례뿐 아니라 실패율도 포함돼야 한다.

따라서 Therabot의 이야기는 “치료사”라는 칭호를 받을 만한 기계를 만드는 문제라기보다, 소프트웨어가 어떤 치료적 과제를 누구의 권한 아래 어떤 증거와 어떤 이탈 경로를 갖추고 수행할 수 있는지를 결정하는 문제다.

Google News를 통해 이 논쟁을 따라가는 독자에게 실질적인 질문은 챗봇이 한때 공감 어린 답변을 했는지가 아니다. 그 혜택이 측정됐는지, 인간이 개입할 수 있는지, 실패가 보고되는지를 물어야 한다.

사람들은 AI를 활용해 질문을 정리하고, 패턴을 성찰하거나, 전문가와의 대화를 준비할 수 있다. 검색 가능한 세컨드 브레인은 치료를 제공하는 척하지 않으면서도 이러한 준비를 지원할 수 있다.

Therabot은 이 논쟁의 낙관적인 측면에 더 큰 신뢰를 부여했다. 이는 목적에 맞게 설계된 생성형 시스템이 사용자 참여를 지속시키고, 측정 가능한 증상 개선과 함께할 수 있음을 보여줬다. Dartmouth 측의 자체적인 신중한 경고는 반대 근거 역시 그만큼 중요하게 만든다.

향후 1~3개월 동안 후속 연구, 임상 파트너십, 주(州) 단위 규정에 대한 검토가 이어질 것으로 보인다. 어떤 확장도 응답의 유창함이 아니라 이를 둘러싼 안전장치를 기준으로 평가해야 한다.

정신 건강 챗봇이 이해심 있게 들린다는 이유만으로 신뢰하겠는가, 아니면 대화가 잘못된 방향으로 흘러갈 때 그것을 어떻게 처리하는지 확인한 뒤에야 신뢰하겠는가? 이 구분은 환자, 임상의, 개발자, 정책 입안자 모두의 판단을 이끌어야 한다. AI는 돌봄의 범위를 넓히는 데 도움을 줄 수 있지만, 언어만으로 충분하지 않을 때 행동할 수 있는 사람과 기관에 책임은 계속 귀속돼야 한다.