Amplitude Wave, OpenAI와 함께 1~2일 내 제품 업데이트 목표
Amplitude는 OpenAI 기반 제품 에이전트가 팀의 개선 사항 출시 기간을 약 한 달에서 1~2일로 단축하는 데 도움을 줄 수 있다고 말한다. Amplitude Wave는 제품 행동을 조사하고, 코딩 에이전트를 위한 변경 사항을 준비하며, 출시 후 어떤 일이 일어나는지 측정한다. 이 주장은 프로그래밍 속도 향상을 넘어, 어떤 변경이 엔지니어링의 관심을 받을 가치가 있는지 결정하는 데 필요한 업무를 겨냥한다.
11월 12일 고객 사례는 요청에 따라 소프트웨어를 작성하는 방식에서 고객 증거를 바탕으로 가치 있는 요청을 찾아내는 방식으로의 전환을 설명한다. 변경 사항을 구현하는 소프트웨어 보조 도구인 코딩 에이전트에게도 여전히 유용한 과제가 필요하다. Wave는 뒷받침하는 증거와 측정 가능한 목표를 갖춘 과제를 제공하는 것을 목표로 한다.
이는 분석, 제품 기획, 엔지니어링 사이의 인수인계에 부담을 준다. Mixpanel도 에이전트 활동과 제품 결과를 연결하는 유사한 방식을 추진하고 있다. 그러나 핵심 경쟁은 더 빠른 코드 생산과 더 빠르고 증거 기반의 제품 개선 사이에 있다. Amplitude가 보고한 결과는 이러한 차이를 초기 단계에서 보여주지만, 측정과 배포에는 중요한 한계가 있다.
Amplitude Wave는 조사와 구현을 연결한다
핵심 변화는 고객 증거를 출시 결정까지 이어가려는 시도다.
제품 개선 워크플로에 따르면, Wave는 분석, 고객 피드백, 코드, 세션 리플레이(제품 내 상호작용을 녹화한 기록)를 결합한다. 팀은 목표를 제공한다. Wave는 기회를 도출하고 Codex를 포함한 에이전트에 기술 계획과 수용 기준(만족스러운 구현을 정의하는 조건)을 전달할 수 있다.
이러한 구성은 분석 시스템이 제공해야 할 결과물에 대한 기대를 바꾼다. 차트는 이례적인 패턴을 드러낼 수 있지만 그 원인을 해결하지는 못한다. 리플레이는 혼란을 보여줄 수 있지만 그 빈도를 입증하지는 못한다. 고객 불만은 불편을 파악할 수 있지만, 어떤 구현이 이를 해결할지를 설명하지는 못한다.
이러한 정보원을 연결하면 더욱 유용한 엔지니어링 과제를 만들 기회가 생긴다. 결과 제안서는 관찰된 문제, 영향을 받은 행동, 예상되는 이점을 설명해야 한다. 그럴듯한 설명도 여전히 가설이기 때문에, 증거와 해석도 구분해야 한다.
제품 팀에게 이 구분은 추천이 실제로 시간을 절약하는지에 영향을 준다. 검토자가 신뢰하기 전에 조사를 다시 구성해야 한다면, 잘 다듬어진 명세의 이점은 크지 않다. 유용한 결과물은 검토를 견디는 논거이며, 엔지니어가 가정에 이의를 제기할 수 있을 만큼의 맥락을 제공하는 것이다.
시점 역시 신중하게 다뤄야 한다. OpenAI는 고객이 베타 환경에서 Wave를 사용하고 있다고 설명한다. Amplitude의 11월 12일 출시 게시물은 적격 고객을 대상으로 한 더 폭넓은 유료 제공을 별도로 발표한다. 이러한 설명이 제품이 그날 처음 등장했다는 주장으로 바뀌어서는 안 된다.
따라서 이 발표는 새로 출시된 최첨단 모델이 아니라 상용화와 보고된 운영 결과에 관한 것이다. 근본적인 질문은 기존 모델 기능이 확립된 제품 기능들 사이에서 업무를 얼마나 효과적으로 이동시킬 수 있는지다.
코딩 보조 도구는 지시를 정확하게 구현할 수 있지만, 그 비즈니스 전제는 그대로 둘 수 있다. 제품 에이전트는 어디에 노력을 투입해야 하는지를 추천함으로써 그 전제의 일부를 맡는다. 이는 잠재적 가치를 확대하지만, 그 추론에 따르는 책임도 확대한다.
이 때문에 제안 단계는 중요하다. 부실한 구현은 기술 검증에 실패할 수 있다. 잘못된 문제에 대한 잘 구현된 대응은 그 검증을 통과하면서도 엔지니어링의 관심을 소모할 수 있다. 검토자가 두 종류의 실패를 모두 살필 수 있도록 증거는 과제와 함께 전달돼야 한다.
더 큰 약속은 도구와 팀 사이에서 맥락을 재구성하는 데 드는 시간을 줄이는 것이다. 그 약속이 지켜지는지는 추천이 도착한 뒤에도 얼마나 많은 업무가 남는지에 달려 있다. 조사 품질, 엔지니어링 실현 가능성, 검토 노력 모두가 이 평가에 포함된다.
더 빠른 코딩은 제품 판단에 부담을 준다
구현 속도가 빨라질수록, 업무를 선택하고 평가하는 일은 더욱 눈에 띄는 제약 요인이 된다.
Amplitude의 Wave 출시는 이러한 변화를 중심으로 제품을 설명한다. PixAI 사례는 인간 판단의 역할을 보여준다. Wave는 유지율과 관련된 기회를 발견했고, 고객은 제안된 개입 방식을 조정했다. Amplitude는 이후 Missions 열기가 76% 증가하고 Day 1 유지율이 3% 증가했다고 보고한다.
유의할 점은 그 조정이다. 에이전트의 최초 제안이 제품에 맞는 방식을 결정하는 고객의 역할을 없애지는 않았다. 증거는 출발점을 제공했고, 팀은 자신의 경험과 인센티브에 부합하는 개입 방식을 선택했다.
이는 제품 관리자의 변화하는 업무량에 대한 실용적인 해석을 시사한다. 제안을 구성하는 시간이 줄어든다고 해서 그 결과에 대한 책임이 줄어드는 것은 아니다. 누군가는 여전히 제안된 결과가 관심을 받을 가치가 있는지, 그리고 해결책이 제품의 방향성을 존중하는지를 판단해야 한다.
엔지니어링 리더도 비슷한 부담에 직면한다. 구현 준비가 된 제안의 공급이 늘어나면 검토 수요도 증가할 수 있다. 모든 추천이 검증 없이 백로그에 들어간다면, 더 빠른 조사는 더 빠른 개선이 아니라 또 다른 대기열을 만들 수 있다.
디자인 팀에는 별도의 우려가 있다. 국지적 행동 지표는 더 넓은 경험과 충돌하는 인터페이스 변경을 선호할 수 있다. 예를 들어 사용자의 원래 과제와 경쟁하는 더 눈에 띄는 프롬프트는 면밀한 검토가 필요하다. 구현이 간단하더라도 이는 평가의 문제다.
분석 팀에게 부담은 정의에 집중된다. 추천이 활성화를 목표로 한다면, 팀은 무엇이 활성화로 간주되는지에 대한 공통된 이해가 필요하다. 그렇지 않으면 자동화된 조사가 편리한 이벤트를 최적화하는 동안 이해관계자들은 다른 고객 결과를 기대할 수 있다.
이것이 제품 개발 주장이 엔지니어링 생산성을 넘어 중요한 이유다. 조직이 관찰된 행동에서 방어 가능한 결정으로, 반복적인 조정을 줄이며 이동할 수 있는지를 묻기 때문이다. 이는 코드를 더 빨리 생성하는 것보다 더 광범위한 운영상의 변화다.
예상되는 이점은 관련된 업무의 종류에 따라 달라진다. 간과된 인터페이스 문제는 전략적 제품 확장보다 조사하고 테스트하기 쉬울 수 있다. 이러한 업무를 서로 바꿔 쓸 수 있는 것으로 취급하면 짧은 출시 일정이 입증하는 범위를 과장하게 된다.
선택의 문제도 있다. 시스템은 설명하고 측정하기 쉬운 변경을 선호함으로써 생산적으로 보일 수 있다. 포지셔닝, 신뢰, 충분히 서비스받지 못한 고객에 관한 더 어려운 질문은 가장 강력한 증거 정보원 밖에 남을 수 있다.
따라서 구매자는 어떤 업무가 빨라지고 어떤 업무는 여전히 어려운지를 살펴봐야 한다. 범위가 제한된 개선의 주기가 짧아지는 것은 가치가 있을 수 있지만, 로드맵 결정이 자동화됐다는 뜻은 아니다. 가장 강력한 비즈니스 사례는 제거된 구체적인 조정 부담을 보여줄 것이다.
홈페이지 실험은 작동 방식과 한계를 보여준다
가장 명확한 사례는 새 제품을 발명하는 일이 아니라 기존 기능의 관련성을 높이는 일이다.
Amplitude 홈페이지에서 진행된 조사는 세션 리플레이 100개를 검토했다. 사용자는 80개 세션에서 직접 질문을 입력했고, 12개 세션에서는 제안 카드들을 선택했다. 회사에 따르면 개인화된 카드는 하루 후 대조군보다 카드 기반 메시지를 160% 더 많이 만들었다.
A/B 테스트(서로 다른 경험을 비교하는 실험)가 비교 기준을 제공했다. 이 개입은 최근 제품 맥락을 활용해 제안된 시작점을 개선했다. 사용자는 여전히 자유롭게 입력할 수 있었고, 개인화 맥락이 없을 때는 일반적인 제안도 계속 제공됐다.
이 결과를 보편적인 것으로 간주하지 않아도 작동 방식은 이해할 수 있다. 제안은 올바르게 작동하면서도 사용자가 완료하려고 온 과제를 놓칠 수 있다. 개인화는 관련 활동을 활용해 그러한 불일치를 줄이려는 시도다.
이는 고장 난 버튼을 고치는 것과는 다르다. 기술적 정확성만으로는 원래 제안이 유용했는지 확인할 수 없다. 행동 증거는 인터페이스의 의도된 목적과 사람들이 실제로 사용하는 방식 사이의 간극을 파악하는 데 도움이 된다.
이 결과는 지표의 표현 방식이 중요한 이유도 보여준다. 카드 기반 메시지는 특정 상호작용 채널을 설명한다. 해당 채널을 통한 활동 증가가 전체적으로 더 많은 성공적인 대화, 더 높은 고객 유지율, 또는 추가 수익을 자동으로 입증하지는 않는다.
일부 사용자는 입력 대신 카드를 선택했을 수 있다. 다른 사용자는 그렇지 않았다면 포기했을 대화를 시작했을 수 있다. 이러한 가능성은 서로 다른 함의를 가지며, 보고된 핵심 수치는 이를 구분하지 않는다.
더 강력한 제품 평가는 상호작용 변화를 이후의 과제 완료와 연결할 것이다. 사용자는 유용한 답변을 얻었는가? 더 적은 시도가 필요했는가? 경험이 의미 있는 일을 달성하는 데 도움이 됐기 때문에 다시 돌아왔는가?
짧은 관찰 기간도 같은 이유로 중요하다. 초기 행동은 유망한 개입을 확인할 수 있지만 그 지속성을 확정하지는 못한다. 기능은 처음에는 관심을 끌다가 이후 일상적인 요소, 무관한 요소, 또는 방해 요소가 될 수 있다.
구현의 경계 역시 이 이야기의 일부다. 자유 입력을 유지함으로써 카드가 필요와 맞지 않는 사람들을 위한 대체 경로를 보존했다. 일반적인 제안을 유지함으로써 관련 맥락을 사용할 수 없을 때의 대안을 제공했다.
이러한 선택은 구현 계획에 목표 지표 이상이 필요한 이유를 보여준다. 우선 경로가 적용되지 않을 때 허용 가능한 행동을 설명해야 한다. 그렇지 않으면 에이전트는 측정된 상호작용의 개선을 추구하면서 다른 영역의 경험을 좁힐 수 있다.
이 사례에서 Amplitude Wave의 작동 방식은 증거 기반 반복으로 이해하는 것이 가장 적절하다. 조사는 불일치를 파악했고, 제안은 그 불일치를 다뤘으며, 실험은 구체적인 행동 반응을 테스트했다. 각 단계는 자기 개선 소프트웨어라는 야심보다 더 제한적이었다.
이 사례는 해당 워크플로에 대한 추가 테스트를 뒷받침한다. 그러나 자율적인 제품 결정이 경험 많은 팀보다 일관되게 뛰어나다거나, 생성된 모든 기회가 출시할 가치가 있다는 점을 입증하지는 않는다.
모델 선택과 인간 검토가 워크플로를 좌우한다
자동화된 제품 워크플로에는 유능한 모델만큼이나 신뢰할 수 있는 인수인계가 필요하다.
Amplitude는 업무마다 서로 다른 모델 선택을 보고한다. 조사자 평가에서 GPT‑6.1 Sol은 5점 만점에 4.06점을 기록했다. 별도의 데이터 과학 평가에서는 100점 만점에 67.5점을 기록해, 다른 모델의 69.3점보다 낮았다.
이 결과들은 분리해서 봐야 한다. 조사 평가 기준과 데이터 과학 평가는 서로 다른 업무를 측정한다. 한 영역에서 앞선다고 해서 전체 제품 워크플로 전반에서의 우위를 입증하지는 않는다.
구매자에게 이러한 구분은 평가 질문을 바꾼다. 핵심은 모델이 수용 가능한 운영 프로세스 안에서 할당된 업무를 충분히 잘 수행하는지다. 일반 순위는 업무별 증거보다 덜 유용한 지침을 제공한다.
조사 오류는 후속 단계로 전파될 수 있다. 에이전트가 문제를 잘못 읽으면 기술적으로 유능한 코딩 에이전트가 잘못된 대응을 충실하게 구현할 수 있다. 더 나은 실행이 그 전제를 자동으로 바로잡지는 않는다.
인간 검토는 따라서 시스템 설계의 일부다. Amplitude는 팀이 자동화 수준을 통제하며, 규모가 큰 변경일수록 인간 검토를 거친다고 설명한다. 이는 허용 가능한 자율성에 관한 판단을 제품을 책임지는 조직에 맡기는 방식이다.
6월 10일 공개된 회사의 이전 Wave architecture 설명은 유용한 역사적 맥락을 제공한다. 이 글은 성숙한 코드베이스에서 인용 품질, 주관적 우선순위 설정, 환경 구성, 검토와 관련한 문제를 다뤘다. 이 공개 내용은 과거의 한계를 기록한 것이지, 현재 그 문제가 얼마나 심각한지를 입증하는 것은 아니다.
또한 현재 평가가 점검해야 할 실패 유형도 보여 준다. 오래된 출처는 시대에 뒤떨어진 권고를 뒷받침할 수 있다. 배포된 소프트웨어를 불완전하게 이해하면 이미 수정된 문제에 대한 제안이 나올 수 있다. 어느 쪽도 일반적인 코드 품질 검사에서 반드시 드러나는 것은 아니다.
새 애플리케이션과 이미 자리 잡은 제품의 차이는 특히 중요하다. 기존 소프트웨어에는 아키텍처 결정, 호환성 요구사항, 고객 기대가 축적돼 있다. 제안된 개선안은 국지적 변경이 단순해 보이더라도 이런 제약에 맞아야 한다.
따라서 Amplitude Wave가 실제 환경에서 어떻게 작동하는지는 각 작업에 연결된 맥락의 품질에 달려 있다. 검토자는 현재 실제 운영 중인 것이 무엇인지, 어떤 근거가 여전히 유효한지, 제안된 솔루션에 어떤 가정이 필요한지를 알아야 한다.
조직 지식도 마찬가지다. 과거의 결정은 겉보기에 자명한 변경이 왜 출시되지 않았는지를 설명하는 경우가 많다. 그런 판단 근거가 없으면 에이전트는 팀이 정당한 이유로 이미 거부한 아이디어를 반복해서 다시 발견할 수 있다.
이 문제를 검토하는 팀에는 기술적 결정을 계속 접근 가능하게 유지하는 방법을 다룬 searchable engineering knowledge base가 관련 맥락을 제공한다. 정보에 접근하는 것과 그 정보를 바탕으로 행동할 권한은 여전히 별개의 책임이다.
가장 강력한 형태의 워크플로는 근거와 가정을 검토할 수 있어 검토를 더 쉽게 만든다. 에이전트가 빠르게 구현할 수 있다는 이유만으로 검토자가 불투명한 권고를 신뢰하도록 요구해서는 안 된다.
고객 근거에는 성공 사례뿐 아니라 거부된 변경도 포함된다
유용한 제품 에이전트는 유망한 아이디어의 출시를 돕는 것만큼 약한 아이디어를 포기하도록 도와야 한다.
11월 9일 제품 관리자 Haley Eidem이 설명한 DigitalOcean 온보딩 실험은 더 다양한 모습을 보여 준다. 그의 설명에 따르면, 6주 동안 5개 제품 영역에서 55개의 기회가 확인됐다. 엔지니어들은 일부 실험을 구현했고, 팀은 결과를 검토했다.
한 결제 수단 배너는 대조군 대비 3.3% 개선을 보였으며, 실험에 설정된 80% 신뢰도 기준을 충족한 것으로 보고됐다. 반면 Harness Runtime 랜딩 페이지에 정보를 추가한 또 다른 테스트는 출시 확대를 정당화하지 못했다.
두 번째 결과는 조사와 확인을 구분한다는 점에서 중요하다. 타당한 가설도 설득력 있는 결과를 내지 못할 수 있다. 이 워크플로가 팀이 그 실패를 인식하고 확대 적용을 피하도록 돕는다면 여전히 유용하다.
명시된 신뢰도 기준 역시 긍정적인 결과와 함께 제시돼야 한다. 통계적 신뢰도는 실험 방법 안에서의 불확실성을 설명한다. 결과가 마케팅 사례가 됐다고 해서 기업의 의사결정 기준이 사라져서는 안 된다.
이 고객 사례는 Amplitude Wave 제품 개발에 대해 더 좁지만 신뢰할 수 있는 주장을 뒷받침한다. 즉, 팀이 조사하고 구현하며 때로는 거부하는 작업을 준비할 수 있다는 것이다. 발견된 모든 기회가 성공적인 출시로 이어진다고 설명하지는 않는다.
더 광범위한 출시 통계에도 같은 주의가 필요하다. OpenAI는 고객이 출시한 실험, 플래그, 가이드 중 4분의 1이 당일 배포됐다고 보고한다. 이 분모에는 시스템이 생성한 모든 기회가 아니라 실제 출시된 작업이 포함된다.
이 수치만으로 권고가 얼마나 자주 지연되거나 거부됐는지, 혹은 대규모 수정이 필요했는지를 확인할 수는 없다. 함께 제시된 차트도 제공된 이정표 사이를 보간해 사용한다. 매끄러운 곡선을 개별 출시를 관찰해 기록한 결과로 해석해서는 안 된다.
경쟁 구도는 결과를 살펴볼 필요성을 더욱 부각한다. Mixpanel은 8월 agent measurement 설명에서 자체 에이전트를 개선하기 위해 리플레이 분석을 사용했다고 밝혔다. 또한 단순 참여 지표만으로는 성공을 판단하기에 부족한 이유도 설명했다.
Mixpanel의 11월 agent analytics updates는 이 방향을 확장한다. Agent Intelligence 베타는 대화 활동을 제품 분석과 연결하며, 다른 업데이트는 실험 결과와 계획 수립을 기존 보고서에 더 가깝게 통합한다.
이런 서비스는 관련 맥락이지만, 발표 내용만으로 Wave와의 통제된 비교가 이뤄지는 것은 아니다. 서로 다른 제품 설명과 고객 사례만으로 어느 벤더가 더 나은 권고나 더 지속적인 개선을 제공하는지 판단할 수는 없다.
경쟁 순위보다 경쟁 압력이 더 분명하다. 분석 벤더들은 자사의 시스템이 어떻게 행동을 지원하고 그 결과를 평가하는지 점점 더 설명해야 한다. 차트를 요약하는 일과 팀이 변경 사항을 출시할지 결정하도록 돕는 일은 전혀 다른 제안이다.
엔터프라이즈 구매자에게 부족한 근거는 시도된 작업 전체에 관한 완전한 설명이다. 검토된 권고, 거부된 실험, 되돌린 변경, 지속된 효과는 모두 비즈니스 사례에 영향을 준다. 출시된 성공만 기념하면 실패한 작업의 비용은 논의 밖에 남는다.
지속 가능한 결과, 전체 파이프라인, 반복 사용을 살펴봐야 한다
다음 근거는 더 빠른 의사결정이 일상적인 업무 전반에서 지속적인 고객 가치를 만드는지 설명해야 한다.
앞으로 몇 달간 가장 먼저 살펴볼 신호는 보고된 실험에 대한 후속 측정이다. 성과가 지속되고 의미 있는 결과와 연결된다면 더 긴 관찰 기간은 주장을 강화할 것이다. 결과가 초기 상호작용에만 국한된다면 더 제한적인 해석을 뒷받침하게 된다.
홈페이지 사례에서는 제안 선택을 넘어선 근거가 필요하다는 뜻이다. 성공적인 대화, 반복 사용, 이후의 고객 행동은 개인화가 경험을 개선했는지 설명하는 데 도움이 된다. 입력 방식 간 변화만으로는 이 질문이 남는다.
같은 기준은 고객 사례에도 적용된다. 출시된 배너는 전체 온보딩 문제를 해결하지 못한 채 측정 가능한 한 단계를 개선할 수 있다. 후속 보고는 이 차이를 유지하고, 목표로 한 개선이 고객 여정의 더 뒤쪽 단계에서도 의미가 있는지 보여줘야 한다.
두 번째 신호는 전체 기회 파이프라인에 걸친 공개다. 구매자는 권고 중 몇 건이 승인된 조사, 구현된 실험, 지속적인 출시로 이어지는지 확인할 필요가 있다. 거부 이유와 수정 노력은 이런 전환을 더 쉽게 평가하게 해 준다.
더 완전한 보고는 비교 가능한 변경이 관리 가능한 검토와 함께 일관되게 더 빠르게 진행될 경우 1~2일 추정치를 강화할 것이다. 반대로 짧은 일정이 작고 유난히 단순한 일부 사례만을 설명한다면 더 광범위한 해석은 약화될 것이다.
이는 모든 권고가 성공해야 한다는 뜻은 아니다. 제품 조사 시스템은 때때로 실패하는 가설을 만들어야 한다. 핵심은 그 가설을 식별하고 검증하는 데 더 적은 조직적 노력을 쓰면서 더 나은 결정을 내릴 수 있는지다.
근거 없는 아이디어를 빠르게 거부하는 시스템은 귀중한 시간을 절약할 수 있다. 반면 대대적인 수정을 요구하는 매력적인 제안을 생성하는 시스템은 오히려 일을 만들어 낼 수 있다. 두 결과를 모두 보고하면 어떤 패턴이 우세한지 분명해질 것이다.
세 번째 신호는 초기 도입 기간 이후의 반복 사용이다. 팀이 새로운 목표를 가지고 다시 찾아오고 초기 실험에서 얻은 교훈을 유지할 때 Amplitude Wave 제품 개발은 더 설득력을 얻는다. 벤더 지원에 반복적으로 의존한다면 이는 다른 운영 모델을 의미한다.
고객 사례는 이 차이를 드러내야 한다. 연속된 출시 전반에서 시스템을 독립적으로 사용하는 팀은 고립된 시연보다 더 강력한 근거를 제공한다. 실패, 재정의, 검토 관행의 변화를 설명하는 사례는 특히 유용할 것이다.
경쟁사 출시도 비교 가능한 근거를 제공할 때 이 평가에 포함된다. 또 하나의 분석 에이전트 발표만으로는 큰 의미가 없다. 의사결정 품질, 구현 노력, 또는 지속적인 고객 결과가 개선됐다는 문서화된 증거가 더 중요하다.
Amplitude Wave의 이야기는 분석이 맡을 수 있는 더 넓은 역할, 즉 작업을 정의하고 그 근거를 구현으로 이어가며 결과를 평가하는 역할을 가리킨다. 현재 근거는 자율적 개선에 대한 일반적 약속보다 범위가 제한된 제품 반복 개선을 더 분명하게 뒷받침한다.
이 접근 방식을 평가한다면 출시되지 않은 권고까지 포함한 완전한 고객 사례를 요청해야 한다. 최초 근거, 제안에 대한 인간의 수정, 초기 테스트 이후의 결과를 살펴보라. 얼마나 많은 검토가 여전히 필요했는지, 어떤 결정에 여전히 제품 전문성이 필요했는지도 물어야 한다. 시스템의 권한을 확대하기 전에 이 기록을 기존 프로세스와 비교하라. 유용한 질문은 팀이 반복 작업을 줄이면서 더 탄탄한 근거에 기반한 결정을 내리는지다. 이 기준은 더 빠른 코딩, 거부된 가설, 신중한 인간의 판단을 모두 수용한다. 결과를 충분히 측정할 수 있는 제품 영역부터 시작한 뒤, 개선이 지속된다는 근거를 요구하라.



