Numan Nu AI Coach, 프롬프트 튜닝보다 평가 기준을 우선시하다
Numan은 Nu 건강 코치에 평가 우선 접근법을 적용한 사례를 상세히 공개하며, 더 나은 프롬프트가 신뢰할 수 있는 코칭의 핵심 요소라는 가정에 이의를 제기했다. 10월 19일 공개된 Numan Nu AI coach 사례 연구는 응답을 최적화하기에 앞서 허용 가능한 행동을 정의하는 데 더 큰 비중을 둔다.
핵심적인 긴장은 답변이 좋아 보이는지를 확인하는 것과 대화가 유용하고 범위 내에서 유지되는지를 확립하는 것 사이에 있다. 평가, 즉 eval은 AI 시스템을 정해진 기대치에 따라 측정하는 구조화된 테스트다. 사용자가 열린 형태의 대화에 개인 건강 관련 질문을 가져올 때 이러한 기대치는 중요한 의미를 갖게 된다.
이러한 긴장은 Included Health의 Dot 및 다른 환자 대상 어시스턴트에서도 나타난다. 개발자와 기업 구매자에게 이 문제는 모델 선택을 넘어선다. 누가 허용 가능한 행동을 정의하며, 그 정의를 신뢰할 근거는 무엇인가?
Numan이 Nu에 관해 공개한 내용
중요한 공개 내용은 Nu를 평가하는 방식이며, 아직 출시 결정을 뒷받침할 수 없는 실험적 테스트가 무엇인지도 포함한다.
Numan의 health coach evaluation 설명에 따르면, Nu는 에이전트 워크플로를 조율하는 프레임워크인 LangGraph와 추적 및 평가 플랫폼인 LangSmith를 사용한다. 감독 모델이 전문 에이전트를 지휘한다.
Numan은 범위가 제한된 검증을 위한 카테고리별 점수 데이터셋과, 저비용 모델이 환자를 시뮬레이션하는 프로토타입을 설명한다. 정적인 답변은 대화 맥락을 놓쳤고, 스크립트 기반 교환은 대화와 더 이상 맞지 않게 됐다.
기존의 안전성 회귀 테스트는 출시를 차단한다. 시뮬레이션 계층은 임상의가 채점 루브릭, 즉 문서화된 평가 기준을 승인하기 전까지는 그렇지 않다.
회사는 또한 응답 가드, 일일 인간 샘플링, 그리고 프로덕션 그래프를 통한 테스트를 설명한다. 상충하는 복용 누락 기준은 허용 가능한 응답에 대한 견해 차이를 드러냈다. 지속적인 온라인 채점은 아직 계획된 단계로 남아 있다.
이러한 구분은 발표를 바라보는 관점을 정리해 준다. 이는 더 나은 환자 결과에 대한 독립적 증거라기보다 평가 설계에 관한 엔지니어링 사례다. 그 의의는 수용 기준을 질문할 수 있을 만큼 가시화했다는 데 있다.
구매자에게 이는 유용한 후속 대화의 방향을 바꾼다. 어시스턴트에 안전성 테스트가 있는지 묻는 것은 너무 포괄적이어서 많은 것을 드러내지 못한다. 어떤 테스트가 출시를 중단시킬 수 있는지 묻는 편이 조직이 자신이 밝힌 경계를 얼마나 진지하게 다루는지 보여준다.
실험적 작업에도 같은 원리가 적용된다. 프로토타입은 무엇이든 인증할 준비가 되지 않았더라도 유용한 실패 패턴을 드러낼 수 있다. 이 역할들을 분리하면 예비 결과가 제품 보증으로 바뀌는 일 없이 연구를 진행할 여지가 생긴다.
따라서 평가 시스템에는 자체 권한에 대한 명확한 설명이 필요하다. 어떤 결과는 개발 우선순위를 알린다. 다른 결과는 이전에 허용되던 행동이 악화됐는지를 판단한다. 적절히 검증된 점검만이 그에 부여된 무게를 가져야 한다.
이는 독자가 “evaluation-first”라는 표현을 해석하는 방식도 바꾼다. 이 표현은 증거와 의사결정 사이의 관계를 설명해야 한다. 점수 대시보드의 존재만으로는 그 관계를 확립할 수 없다.
조직은 광범위한 점수를 생성하면서도 출시 기한이 모든 불편한 결과를 덮어쓰도록 허용할 수 있다. 반대로, 잘 정의된 소규모 점검 집합은 실패가 신뢰성 있게 조사를 촉발한다면 상당한 운영상 가치를 지닐 수 있다.
이번 공개는 더 엄격한 해석을 요구한다. 관련된 질문은 문서화된 기준이 제품 결정을 일관되게 통제하는지, 그리고 달리 보면 매력적으로 보이는 개선을 지연시킬 때도 그러한지다.
이 질문은 어시스턴트 출시를 책임지는 사람들에게까지 이어진다. 엔지니어에게는 실행 가능한 명세가 필요하다. 임상 검토자에게는 관련 경계에 대한 권한이 필요하다. 제품 리더는 통과 결과가 실제로 무엇을 주장할 수 있게 하는지 이해해야 한다.
답변 품질만으로는 건강 코치를 보호할 수 없는 이유
매끄러운 응답은 그 응답에 대한 증거일 뿐이며, 이를 둘러싼 상호작용의 품질을 확립하지는 못한다.
일상 습관을 유지하기 어려운 상황에 관한 가상의 코칭 대화를 생각해 보자. 사용자는 처음에 동기 부족을 설명할 수 있고, 어시스턴트가 질문한 뒤 실질적인 장애물을 밝힐 수 있다. 즉시 제공되는 조언은 그 장애물을 완전히 놓칠 수 있다.
비교를 위해 사용되는 사전 준비된 예시인 참조 답변은 즉각적인 조언을 성공처럼 보이게 할 수 있다. 하지만 관련 후속 질문을 던지는 코치가 대화에는 더 도움이 될 수 있다. 채점 결정은 테스트가 무엇을 측정하려는지에 달려 있다.
이 때문에 모든 바람직한 행동을 개별 응답 하나에 압축하려는 팀에는 문제가 생긴다. 공감, 명확화, 교육, 경계 처리가 반드시 모든 상황에 똑같은 비중으로 들어갈 필요는 없다. 이 모두를 요구하면 산만한 답변에 보상이 돌아갈 수 있다.
반대의 실수도 가능하다. 어시스턴트는 유용한 답변을 피하면서 계속 질문만 할 수 있다. 대화적 인내에는 끝점이 필요하며, 그 끝점은 긴 대화를 보편적으로 선호하는 방식이 아니라 상황에 따라 달라진다.
Anthropic의 conversational agent evaluation 논의 역시 상호작용 품질과 작업 완료를 별개의 평가 필요성으로 다룬다. 이 문서는 적응형 대화를 시험하는 한 가지 방식으로 시뮬레이션 사용자를 설명한다. 또한 자동화된 평가는 프로덕션 모니터링, 사용자 피드백, 인간 검토와 함께 이뤄져야 한다고 강조한다.
이 관점은 Nu 자체를 검증하지 않으면서도 전반적인 방향을 뒷받침한다. 평가 설계에 대한 합의가 특정 건강 코칭 답변에 대한 합의를 의미하지는 않는다. 도메인 특화 기준에는 여전히 자체적인 근거가 필요하다.
스크립트화된 환자는 또 다른 사각지대를 만들 수 있다. 어시스턴트가 예상치 못했지만 관련성 있는 질문을 하면, 미리 정해진 답변은 이를 무시할 수 있다. 그렇게 생성된 대화 기록은 인위적인 오해 상황에서의 행동을 측정하게 된다.
시뮬레이션 환자는 답변이 어시스턴트에 반응할 수 있기 때문에 다른 테스트 기회를 제공한다. 그러나 현실성은 검증해야 할 가설이다. 유창성만으로 시뮬레이션된 사람이 실제 사용자를 대표한다는 사실을 보여주지는 못한다.
예를 들어 시뮬레이션 사용자는 스트레스를 받는 실제 사람보다 자신의 목표를 더 명확하게 설명할 수 있다. 좌절한 사용자가 포기할 명확화 요청에도 협조할 수 있다. 또한 페르소나 설명을 지나치게 일관되게 따를 수도 있다.
이러한 가능성은 코칭 제품이 상호작용 자체를 통해 작동한다는 점에서 중요하다. 대화는 어떤 정보가 드러나는지, 어떤 불확실성이 해소되지 않은 채 남는지, 사용자가 다음 단계를 이해하는지에 영향을 준다.
개발자에게 주어진 과제는 유효한 모든 대화가 미리 정해진 스크립트를 따른다고 가장하지 않으면서 그 과정을 평가하는 것이다. 구매자에게 주어진 과제는 테스트 환경이 어떤 행동을 쉽게 간과하게 만드는지 묻는 것이다.
어시스턴트가 더 많이 적응할수록 단 하나의 이상적인 답변이 제공하는 정보는 줄어든다. 평가는 여전히 구체적인 성공 조건을 식별해야 하지만, 그 조건에 도달하는 여러 정당한 경로를 허용해야 한다.
이는 응답에 선호되는 문구가 포함됐는지만 확인하는 것보다 더 까다로운 명세 문제다. 또한 더 많은 프롬프트 실험에 앞서 더 나은 기준에 투자하는 일이 중요한 이유이기도 하다.
Numan Nu AI Coach가 제기하는 기준의 소유권 문제
수용 기준은 프롬프트 엔지니어링만으로 해결할 수 없는 의사결정을 떠맡는다.
프롬프트는 모델에 무엇을 하라고 지시한다. 루브릭은 평가자에게 무엇이 허용 가능한지 알려준다. 이 두 문서가 충돌할 때 프롬프트를 개선해도 근본적인 정책 분쟁은 해결되지 않는다.
유용한 일반 정보를 보상하는 가상의 평가와, 방향 전환을 넘어서는 모든 응답에 불이익을 주는 또 다른 평가를 상상해 보자. 동일한 답변이 양립할 수 없는 판단을 받을 수 있다. 그러면 최적화는 시스템을 경쟁하는 기대치 사이에서 움직이게 한다.
그 불일치는 이를 해결할 권한을 가진 담당자가 필요하다. 그렇지 않으면 가장 쉬운 대응은 점수가 올라갈 때까지 문구를 수정하는 것이다. 더 높은 점수는 해결되지 않은 제품 결정을 가리게 된다.
그 영향은 조직 구조로 확장된다. 엔지니어는 규칙을 정확하게 표현하고 이를 둘러싼 점검을 구현할 수 있다. 임상 전문성은 건강 맥락에서 어떤 지원이 적절한지에 관한 다른 판단을 제공한다.
자동화된 평가자가 프로세스에 들어온다고 해서 어느 역할도 불필요해지지는 않는다. 자동화는 이미 인코딩된 판단의 적용 범위를 넓힌다. 판단 자체에 관한 누락된 합의를 제공할 수는 없다.
Included Health CEO Owen Tripp는 회사의 clinical AI safeguards에서 유사한 거버넌스 중점을 설명한다. 회사는 Dot이 임상의 주도 검증, 정의된 출시 전 임계값, 지속적인 감독을 거친다고 말한다. 또한 제품이 기반 모델이 제공하는 보호 장치를 넘어서는 안전장치를 추가한다고 밝혔다.
Dot과 Nu는 서로 다른 워크플로를 다루므로, 이들의 안전성 주장을 상호 교환 가능한 결과로 순위를 매겨서는 안 된다. 유용한 비교 대상은 책임성이다. 두 설명 모두 모델의 기본 행동에만 의존하지 않고 모델 주변에 도메인 판단을 배치한다.
LangChain의 별도 healthcare evaluation workflows 설명은 Abridge가 전문가 주석을 재사용 가능한 평가자로 전환하는 과정을 다룬다. 또한 단계별 테스트와 프로덕션 검토도 설명한다. 벤더가 게시한 자료인 만큼, 이는 독립적인 비교 감사가 아니라 보조적인 구현 맥락을 제공한다.
이 사례들은 함께 실질적인 경쟁 압력을 시사한다. 제품 시연은 선택된 하나의 대화에서 무슨 일이 일어났는지를 보여준다. 문서화된 수용 프로세스는 조직이 그 시연을 넘어 허용 가능한 행동을 기대하는 이유를 설명하는 데 도움이 될 수 있다.
그 기대에는 여전히 조건이 따른다. 팀은 제품이 바뀌면서 기준을 유지해야 하고, 검토자 간 이견을 해결해야 하며, 기존 카테고리 밖에 있는 사례를 조사해야 한다. 재사용 가능성이 유지보수를 없애주지는 않는다.
기업 구매자에게 이 구분은 실사에 영향을 준다. 테스트된 모집단, 채점 규칙, 심각도 정의 없이 전체 품질 점수를 요청하는 것은 거의 맥락을 제공하지 못한다. 점수는 그 경계를 이해할 수 있을 때 유용해진다.
지식 관리 측면도 있다. 검토 결정의 근거가 메시지와 분리된 문서에 흩어져 있으면 그 가치는 사라진다. 검색 가능한 engineering knowledge base는 그 결정의 근거를 이를 다루는 예시와 함께 보존하는 데 도움이 될 수 있다.
문서화가 임상적 타당성을 확립하지는 않는다. 그 역할은 향후 변경으로 과거의 질문이 다시 제기될 때 의사결정을 점검 가능하고, 추적 가능하며, 이용 가능하게 만드는 것이다.
따라서 Numan Nu AI coach 사례는 엄격한 조직적 시험을 제기한다. 팀은 누가 기준을 승인했는지와 그 기준이 여전히 적절한 이유를 설명할 수 있는가?
출시 게이트는 실패의 정의를 중요하게 만든다
테스트 결과가 조직이 출시할 수 있는 범위를 바꿀 때 그 테스트는 운영상 의미를 갖게 된다.
회귀는 이전에 허용된 기준을 충족했던 행동이 악화되는 것을 뜻한다. 릴리스 게이트는 변경 사항이 사용자에게 도달하기 전에 반드시 통과해야 하는 조건이다. 이 둘을 연결하면 평가는 관찰에서 의사결정 메커니즘으로 바뀐다.
그 연결은 모호한 평가의 비용도 높인다. 테스트가 단지 대시보드에 정보를 제공한다면, 이의가 제기된 결과는 성가신 논의를 낳을 수 있다. 하지만 릴리스를 차단한다면, 그 이견에는 방어 가능한 해결책이 필요하다.
이 때문에 카테고리 수준의 보고에 주목할 가치가 있다. 종합 점수는 전반적인 흐름을 추적하는 데 도움이 될 수 있지만, 무관한 강점이 심각한 약점을 상쇄하게 만들 수도 있다. 적절한 해석은 카테고리 간 상쇄가 허용되는지에 달려 있다.
안전에 민감한 평가에서 일부 카테고리는 독립적으로 충족되어야 하는 조건을 나타낼 수 있다. 더 나은 어조가 허용할 수 없는 지시를 논리적으로 보상할 수는 없다. 점수 설계는 이 비대칭성을 혼합된 결과 속에 숨기지 말고 반영해야 한다.
동시에 더 엄격한 게이트가 자동으로 더 나은 것은 아니다. 제대로 보정되지 않은 평가기는 타당한 개선을 차단하거나 테스트를 통과하기 위한 어색한 행동을 부추길 수 있다. 기준은 양쪽 방향에서 검토되어야 한다.
안전한 결과를 문제 있는 것으로 잘못 분류하는 거짓 양성은 검토 시간을 소모하고 유용한 지원을 위축시킬 수 있다. 문제 있는 결과를 잘못 수용하는 거짓 음성은 근거 없는 신뢰를 만들 수 있다. 둘 다 게이트가 가질 만한 권한의 정도에 영향을 미친다.
이로 인해 검토자 간 이견은 가치 있는 증거가 된다. 이견은 모호한 규칙, 불충분한 맥락 또는 실제로 까다로운 판단을 드러낼 수 있다. 더 깔끔한 대시보드를 만들기 위해 이를 억누르면 명세가 약화될 것이다.
같은 논리는 테스트 환경에도 적용된다. 테스트는 제기되는 주장과 관련된 행동을 검증해야 한다. 단순화된 구성 요소를 테스트했다고 해서 이를 사용하는 모든 워크플로의 행동이 자동으로 입증되는 것은 아니다.
서로 다른 책임을 맡은 모델 기반 구성 요소들이 조정되는 멀티 에이전트 시스템에서는, 인계 과정 자체도 주목할 만하다. 전문 구성 요소가 수용 가능한 답변을 내놓더라도 전체 워크플로는 여전히 사용자의 필요를 잘못 처리할 수 있다.
이는 구성에서 비롯되는 분석적 결과다. 각 부분의 품질이 높다고 해서 각 부분이 올바른 맥락을 받거나 적절한 시점에 활성화된다는 보장은 없다. 시스템 수준의 주장은 시스템 수준의 증거를 요구한다.
따라서 구매자는 모델 품질과 제품 신뢰성을 구분해야 한다. 모델 비교는 구성 요소 선택에 정보를 제공할 수 있다. 하지만 조립된 애플리케이션이 요청을 적절히 라우팅하는지, 관련 정보를 보존하는지, 실패한 시도를 명확히 처리하는지는 판정하지 못한다.
더 어려운 상업적 질문은 예외에 관한 것이다. 릴리스가 중요한 검사를 통과하지 못했을 때 누가 결과를 재정할 수 있으며, 그 결정에는 어떤 증거가 수반되어야 하는가? 설명 없는 재정은 게이트의 가치를 훼손할 수 있다.
이러한 고려 사항은 단순히 엔지니어링 처리량이 아니라 출시 거버넌스에 압박을 가한다. 의미 있는 평가 프로그램은 일부 릴리스를 더 쉽게 정당화하게 하고, 다른 릴리스는 더 어렵게 만든다. 그 마찰은 목적의 일부다.
더 높은 테스트 점수가 더 나은 건강 결과를 입증하지는 않는다
평가 결과는 테스트된 행동에 관한 주장을 뒷받침하지만, 임상적 이점은 그보다 넓은 주장에 부합하는 증거를 요구한다.
“안전한”, “도움이 되는”, “효과적인”이라는 말은 서로 다른 결과를 가리킬 수 있으므로 이 구분은 중요하다. 어시스턴트는 금지된 응답을 피하면서도 사용자를 혼란스럽게 만들 수 있다. 건강 관련 결과를 개선하지 못하면서도 만족스러운 코칭을 제공할 수 있다.
이러한 가능성이 행동 테스트를 무효화하는 것은 아니다. 이는 그 한계를 규정한다. 유용한 평가 프로그램은 특정 조건에서 지정된 행동이 발생했는지를 확인할 수 있지만, 다른 질문은 여전히 답하지 못한 채 남긴다.
독립 연구는 일반적인 챗봇 역량이 왜 그 작업을 대체해서는 안 되는지를 보여준다. 2025년에 프리프린트로 게시된 의사 주도의 의료 조언 연구는 222개의 환자 질문에 대한 888개 응답을 평가했다. 이 연구는 Claude, Gemini, GPT-4o, Llama3-70B를 검토했다.
연구진은 테스트된 시스템 전반에서 안전하지 않은 응답 비율이 5%에서 13%에 이른다고 보고했다. 이러한 결과는 특정 모델, 질문 및 평가 조건에 관한 것이다. Nu를 측정하거나 그 성능을 예측하지는 않는다.
그 관련성은 더 좁지만 더 유용하다. 완성도 높은 범용 어시스턴트도 의사들이 안전하지 않다고 판단하는 응답을 생성할 수 있다. 따라서 도메인별 제품 주장은 기반 모델의 평판을 넘어서는 증거를 필요로 한다.
규제 관련 포지셔닝도 신중해야 한다. UK Medicines and Healthcare products Regulatory Agency는 많은 소프트웨어 및 AI 제품이 의료기기 규제를 받는다고 설명하는 의료 소프트웨어 지침을 제공한다. 기업이 선택한 설명 자체가 규제 기관의 승인을 구성하는 것은 아니다.
독자에게 실질적인 함의는 제품 의도와 외부 보증을 구분하는 것이다. 웰니스 설명은 기업이 자사의 어시스턴트가 수행하기를 의도하는 역할을 설명한다. 이를 가능한 모든 상호작용에 대한 포괄적 확인으로 읽어서는 안 된다.
시뮬레이션은 또 다른 한계를 가져온다. 모델이 생성한 환자는 자체 행동을 지닌 테스트 도구다. 그 도구가 까다로운 상호작용 패턴을 일관되게 간과한다면, 더 많은 대화를 실행해도 같은 누락이 더 큰 규모로 반복될 수 있다.
마찬가지로 자동화된 판정기는 더 깊은 문제를 인식하지 못한 채 익숙한 표현에 보상할 수 있다. 어시스턴트와 평가기 간의 일치는 사용자의 상황에 대한 신뢰할 만한 평가라기보다 공유된 가정을 반영할 수 있다.
이는 독립적인 점검, 다양한 사례 및 문서화된 이견을 찾아야 하는 이유다. Nu에서 특정 실패가 발생했다고 가정할 근거는 아니다. 이용 가능한 증거는 그러한 결론이 아니라 면밀한 검토를 뒷받침한다.
프라이버시도 같은 논의에 포함된다. 시스템이 코칭을 목적으로 하더라도 평가 기록에는 민감한 정보가 포함될 수 있다. 대화를 재사용하면 접근 권한, 보존 기간, 그리고 그 기록을 처리할 수 있는 목적에 관한 문제가 제기된다.
조직은 성능 주장과 함께 이러한 선택을 설명해야 한다. 신뢰할 수 있는 점수 산정 과정과 평가된 자료의 책임 있는 처리는 별개의 요건이다. 한쪽의 성공이 다른 쪽을 입증하지는 않는다.
Numan Nu AI coach에 대한 설명은 이러한 경계 안에서 읽을 때 가장 유용하다. 이는 더 나은 평가 설계의 사례를 제시하지만, 결과의 효과성과 독립적 검증은 별개의 질문으로 남긴다.
세 가지 신호가 이 접근법의 지속 가능성을 보여줄 것이다
다음으로 유용한 증거는 승인된 기준, 프로덕션 성능, 그리고 시뮬레이션과 실제 행동 간의 관계에 관한 것이다.
2026년 10월 말부터 2027년 1월까지, 주목할 첫 번째 신호는 실험적 대화 점수 기준에 대한 임상 승인이 될 것이다. 이는 관찰 기간이지 회사가 발표한 마감일은 아니다.
의미 있는 전개에는 무엇이 승인되었고 승인된 기준이 이제 어떤 결정을 뒷받침하는지에 대한 명확한 설명이 포함될 것이다. 범위 설명 없는 승인은 독자들이 그 의미를 추측하게 만들 것이다.
해결된 이견에 관한 증거는 핵심 주장을 강화할 것이다. 이는 평가 작업이 경쟁하는 선호의 또 다른 집합이 아니라 실행 가능한 기준을 만들어 냈음을 보여줄 것이다. 지속되는 모호성은 그 기준을 대상으로 한 자동화된 최적화에 대한 신뢰를 약화시킬 것이다.
두 번째 신호는 프로덕션 평가에서 나온 증거다. 유용한 보고는 자동화된 플래그와 인간 검토자가 확인한 문제를 구분할 것이다. 또한 검토 범위와 놓친 사례의 처리 방식도 설명할 것이다.
플래그 비율만으로는 해석하기 어렵다. 더 많은 플래그는 더 폭넓은 범위, 더 엄격한 평가기 또는 더 나쁜 행동을 반영할 수 있다. 더 적은 플래그는 개선 또는 민감도 저하를 반영할 수 있다.
중요한 것은 탐지와 재정의 관계다. 여기서 재정은 플래그가 지정된 사례에 대해 검토 후 내려진 최종 결정을 뜻한다. 이 관계를 보고하면 자동화가 전문가의 주의를 효과적으로 집중시키는지 이해하는 데 도움이 될 것이다.
세 번째 신호는 시뮬레이션 테스트와 실제 대화 검토 간의 일치다. 설득력 있는 설명은 테스트 중 발견된 실패 유형이 배포 후 중요해지는 유형과 유사한지를 보여줄 것이다.
어떤 변경이 시뮬레이션 성능을 개선했지만 검토자들이 일상적 사용에서 계속되는 문제를 관찰한다면, 테스트 방법은 수정이 필요하다. 안정적인 정의 아래 둘 다 개선된다면 평가 접근법에 대한 신뢰는 더 쉽게 정당화될 수 있다.
같은 비교에서는 여전히 충분히 대표되지 않는 사람이 누구인지도 살펴봐야 한다. 광범위한 평균은 의사소통 방식이나 사용자 상황에 따른 불균등한 성능을 숨길 수 있다. 더 강한 증거는 보편적 적용 범위를 주장하지 않으면서 그러한 점검의 범위를 설명할 것이다.
이 신호들은 구체적인 방식으로 평가 우선 주장을 강화하거나 약화시킬 것이다. 승인된 기준은 표준의 권위를 뒷받침한다. 유용한 프로덕션 탐지는 운영상의 가치를 뒷받침한다. 테스트와 배포 전반의 일치는 테스트 환경의 관련성을 뒷받침한다.
어느 것도 모든 대화가 잘 진행될 것이라는 약속을 요구하지 않는다. 조직이 의미 있는 문제를 식별하고, 이미 잘 작동하는 것을 보존하며, 결과가 충돌할 때 의사결정을 설명할 수 있다는 증거를 요구한다.
Numan Nu AI coach를 평가하는 개발자는 이 사례 연구를 자신의 어시스턴트에 적용되는 수용 규칙과 함께 읽어야 한다. 그러한 규칙이 실제로 어떤 결정을 통제하는지 파악하라. 전문가 간 이견이 어디에서 여전히 해결되지 않았는지, 테스트가 타당한 대화 변형을 허용하는지, 실제 사용자 상호작용이 어떤 방식으로 가정에 도전하는지 물어보라. 구매자는 주장된 개선을 정의된 행동 및 책임 있는 검토 절차와 연결하는 증거를 요청해야 한다. 그 증거를 평가할 때 모델 평판, 평가 점수 및 결과 주장을 구분하라. 가장 유용한 다음 질문은 구체적이다. 새롭게 발견된 어떤 실패가 팀으로 하여금 기준을 변경하고, 릴리스를 지연시키거나, 제품이 약속하는 역할을 좁히게 만들 것인가?
