AWS Agent DLC, 에이전트 출시의 기준을 제시하다
AWS는 2026년 11월 12일 AWS Agent Development Lifecycle을 소개하며 불편한 사례를 제시했다. 검색 정밀도는 완벽했지만 정책 관련 질문에는 답하지 못했다. AWS Agent DLC는 에이전트 개발과 출시 결정을 소유자가 승인한 명시적 수용 기준에 연결한다. 핵심 문제는 통과 점수가 실제로 중요한 행동을 측정하는지 여부다.
이번 발표는 어시스턴트를 데모 단계에서 직원 업무 흐름으로 옮기는 팀에 압박을 가한다. 그럴듯한 답변은 시스템이 때때로 작동한다는 사실을 보여줄 수 있다. 그러나 어떤 요청을 자동으로 처리해야 하는지, 어떤 요청은 상위 담당자에게 이관해야 하는지, 또는 어제의 개선이 다른 작업을 망가뜨렸는지는 입증하지 못한다.
비교 대상은 소프트웨어 검증과 배포를 자동화하는 기존의 지속적 통합 및 지속적 배포, 즉 CI/CD다. 이러한 관행은 여전히 필요하다. 문제는 통과한 빌드가 가변적인 에이전트 행동을 수용하는 주된 근거가 될 때 드러난다. 기존의 평가 중심 연구와 Anthropic의 엔지니어링 가이드는 이미 이 간극을 다뤘다. AWS는 여기에 의사결정을 둘러싼 배포 프레임워크를 더한다. 이 버전의 출시를 승인하려면 어떤 증거가 필요한가?
AWS Agent DLC는 수용 기준을 출발점으로 삼는다
AWS의 agent development lifecycle은 Define, Build, Evaluate, Release, Observe, Feed Back 단계로 작업을 구성한다. 이 프레임워크의 골드 스탠더드는 승인된 기준, 임계값, 사례의 묶음이다.
중요한 변화는 최신 결과를 해석하기 전에 수용 기준을 명시하는 데 있다.
팀이 답변을 두고 의견이 갈리기 전까지는 이는 행정적인 절차처럼 들릴 수 있다. 엔지니어는 문서 검색 결과와 진술이 일치한다는 이유로 답변을 정확하다고 판단할 수 있다. 사업 책임자는 직원의 다음 행동을 결정하는 예외 사항이 빠졌다는 이유로 이를 거부할 수 있다.
두 판단 모두 합리적인 품질 정의에서 비롯될 수 있다. 출시 문제는 데모 시점까지 이러한 정의가 명시되지 않을 때 시작된다. 그 시점에는 시스템을 수정하는 일과 시스템의 목적을 다시 협상하는 일이 구분되지 않는다.
명시적 기준은 이러한 결정을 분리한다. 제품 책임자는 필요한 결과를 식별한다. 엔지니어는 그 결과를 관찰 가능한 행동과 연결한다. 그러면 검토자는 그날 오후 주목받은 사례가 아니라 합의된 기대에 따라 후보 버전을 평가할 수 있다.
직장 정책을 설명하는 가상의 내부 어시스턴트를 생각해 보자. 그 목적은 단순해 보일 수 있다. 직원 질문에 정확히 답하는 것이다. 그러나 정확성만으로는 어시스턴트가 불완전한 질문에 답해야 하는지, 누락된 문서를 식별해야 하는지, 또는 직원을 권한 있는 검토자에게 안내해야 하는지가 해결되지 않는다.
이러한 선택은 제품의 범위를 결정한다. 근거가 부족한 요청을 식별하고 적절히 이관하는 어시스턴트는 요구사항을 충족할 수 있다. 반면 유창하지만 불완전한 지침을 제공하는 어시스턴트는 데모에서 더 유용해 보이더라도 실패할 수 있다.
이것이 이번 발표가 라이프사이클의 명칭을 넘어 중요한 이유다. 출시 압박이 예외 처리를 유혹하기 전에 사업상 수용 여부를 엔지니어링 논의에 포함시킨다. 이 기준은 사람들이 이의를 제기하고 수정할 수 있는 공동 산출물이 된다.
또한 이는 구매자가 조달 과정에서 물어야 할 질문도 바꾼다. 데모는 공급업체가 매력적인 결과를 낼 수 있는지에 답한다. 수용 근거는 공급업체가 어떤 행동을, 어떤 조건에서, 누구의 성공 정의에 따라 검증했는지에 답한다.
따라서 AWS Agent DLC에 유용한 질문은 이 프레임워크가 전반적으로 에이전트를 개선하는지보다 더 좁다. 팀이 출시 결정을 더 추적 가능하게 만들 수 있는지다. 검토자는 승인된 기능을 요구사항 및 이를 뒷받침하는 증거와 연결할 수 있어야 한다.
이 구분은 프레임워크가 또 하나의 프로세스 다이어그램이 되는 것을 막는다. 구체적인 사례와 책임 있는 승인이 없다면 단계는 활동을 설명할 뿐 분쟁을 해결하지 못한다. 그 가치는 에이전트를 수용하기 전에 사람들이 요구하는 증거를 실제로 바꾸는지에 달려 있다.
에이전트의 세 가지 특성은 통과한 빌드에 압박을 가한다
AWS는 가변적인 출력, 구성 수정으로 인한 행동 변화, 독립적으로 변화하는 외부 의존성이라는 세 가지 복잡성을 지적한다. 각각은 일반적인 출시 신뢰를 뒷받침하는 서로 다른 가정을 약화시킨다.
저장소가 변하지 않아도 사용자가 경험하는 행동은 변할 수 있다.
첫 번째 복잡성은 가변성이다. 에이전트는 같은 요청을 받아도 다른 표현이나 행동을 선택할 수 있다. 따라서 성공적인 데모는 다음 상호작용에 대한 보장이 아니라 관찰된 결과를 나타낸다.
실질적인 부담은 사용자 경험을 책임지는 사람에게 돌아간다. 직원이 내일 불완전한 답변을 받는다면, 어제 테스트가 통과했다는 사실은 진단에 거의 도움이 되지 않는다. 팀에는 반복되는 행동과 실패가 발생하는 상황에 대한 증거가 필요하다.
두 번째 복잡성은 무엇을 의미 있는 변화로 볼 것인가에 관한 문제다. 모델에 제공되는 지침을 담은 프롬프트는 텍스트 비교에서는 무해해 보일 수 있다. 그러나 그 효과는 주변 요청, 이용 가능한 정보, 가능한 행동에 따라 달라진다.
예를 들어 가상의 어시스턴트에게 더 간결해지라고 요청하면 반복 표현은 줄어들 수 있다. 하지만 직원이 잘못된 정책을 적용하지 않도록 하는 단서를 함께 제거할 수도 있다. 문구만 검토해서는 어느 효과가 더 큰지 판단할 수 없다.
같은 논리는 답변에 사용할 정보를 선택하는 과정인 검색에도 적용된다. 구성 변경은 더 깔끔해 보이는 구절을 생성하는 동시에 필요한 예외 사항을 제외할 수 있다. 지원되는 작업의 신뢰성은 낮아지는데 구현은 더 단순해 보일 수 있다.
세 번째 복잡성은 책임 범위를 최신 코드 변경 너머로 확장한다. 연결된 정보 소스는 내용을 바꿀 수 있다. 외부 서비스는 동작을 바꿀 수 있다. 모델 엔드포인트는 애플리케이션 팀의 저장소 밖에서 업데이트될 수 있다.
이러한 가능성은 인시던트 책임 소재를 복잡하게 만든다. 배포 없이 행동이 변할 때 팀은 애플리케이션이 기능적으로 동일하게 유지됐다고 가정할 수 없다. 운영 환경도 발생한 일을 설명하는 요소에 포함돼야 한다.
그렇다고 기존 소프트웨어 검증이 쓸모없어지는 것은 아니다. 인증 로직, 요청 검증, 애플리케이션 코드는 여전히 일반적인 엔지니어링 규율이 필요하다. 이는 그러한 검증이 에이전트가 사업상 요청을 수용 가능하게 처리하는지와는 다른 질문을 다룬다는 의미다.
엔지니어링 관리자의 입장에서 즉각적인 결과는 더 넓어진 출시 책임이다. 해당 커밋 없이 발생하는 실패를 포함해 배포 사이의 행동을 누군가는 책임져야 한다. 그렇지 않으면 조직은 배포 파이프라인은 갖추더라도 지속적인 수용 여부를 담당할 명확한 책임자는 없게 된다.
사업 책임자에게도 압박은 구체적이다. 수용 가능한 행동의 의미를 전적으로 모델 점수에 위임할 수 없다. 엔지니어가 평가 인프라를 운영하더라도, 어떤 누락이 중요한지와 어떤 실수가 이관을 요구하는지를 식별해야 한다.
그 결과의 업무 분담은 까다롭지만 이해할 수 있다. 엔지니어는 신뢰할 수 있는 측정과 조사를 제공한다. 도메인 책임자는 결과를 정의한다. 출시 권한은 녹색 빌드를 그 대체물로 취급하는 것이 아니라 이러한 책임을 연결하는 데 달려 있다.
완벽한 정밀도가 답하지 못한 질문을 가렸다
AWS의 HR 참조 실험은 세 가지 질문을 사용했다. 모두 청크 수준 정밀도 1.00을 받았다. 이는 검색된 구절이 전반적으로 관련성이 있는지를 측정하는 지표다. 그러나 병가 검색 범위는 0.00이었으며, 이는 검색된 자료가 질문에 답하지 못했다는 뜻이다.
관련 자료와 충분한 근거는 서로 다른 출시 조건이다.
이 구분은 왜 매력적인 집계 결과가 오해를 불러일으킬 수 있는지 설명한다. 한 구절은 직원 휴가와 관련될 수 있지만 특정 요청에 필요한 규칙은 담고 있지 않을 수 있다. 주제 유사성은 연결성을 보여주지만, 직원에게는 실행 가능한 답변이 필요하다.
분석상 오류는 단지 다른 질문에 답하지 못했다는 이유로 지표 자체에 결함이 있다고 보는 것이다. 정밀도는 선택된 자료의 한 특성을 설명한다. 범위는 그 자료가 요청에 필요한 정보를 제공하는지 묻는다.
HR evaluation sample은 구절 관련성과 사실 관련성, 질문 범위를 구분한다. 그 중요성은 진단적이다. 서로 다른 측정값은 조사해야 할 서로 다른 지점을 드러낸다.
이 사례에서 코퍼스에는 전용 병가 정책이 없었다. 프롬프트 변경은 성과 검토 사례에는 도움이 됐지만 병가 결과는 악화시켰다. 더 강한 지침으로는 없는 정책 정보를 제공할 수 없었다.
마감 압박을 받는 팀에게 이는 중요한 발견이다. 문구를 한 차례 더 바꾸는 작업은 누락된 소스를 해결하지 못한 채 시간을 소모할 수 있다. 실패의 일부는 단순히 답변 생성기가 아니라 이용 가능한 정보에 속한다.
이 사례는 책임 경계도 드러낸다. 엔지니어는 어시스턴트의 검색 방식이나 응답 방식을 조정할 수 있다. 하지만 조직에 없는 정책을 독립적으로 수립할 수는 없다. 유용한 진단은 해당 정보를 제공하거나 승인할 권한이 있는 사람에게까지 이어져야 한다.
별도의 복리후생 답변은 검색된 자료의 뒷받침 정도를 측정하는 근거성에서 0.90점을 받았지만, 개인의 연락 선호도를 지어냈다. 따라서 긍정적인 품질 결과가 사용자에 관한 거짓 진술과 공존했다.
우려는 주변 정책 설명이 대체로 맞았는지 여부를 넘어선다. 개인에 관한 주장은 사용자가 어시스턴트가 자신에 대한 지식을 갖고 있다고 믿게 만든다. 그 믿음은 지어낸 세부 사항이 평범해 보이더라도 신뢰에 영향을 줄 수 있다.
이러한 결과는 서로 다른 질문을 분명히 유지해야 한다는 근거가 된다. 소스가 요청을 포괄하는가? 답변은 소스를 따르는가? 사람에 대해 근거 없는 가정을 하는가? 하나의 품질 라벨만으로는 이러한 차이를 명확하게 전달할 수 없다.
이 실험은 고객 벤치마크나 일반적 개선의 증거가 아니라 작은 참조 실습에 불과하다. 가장 강력한 기여는 안심시키는 지표와 그 아래의 실패를 대비시킨 데 있다.
이 한계는 AWS Agent DLC를 해석할 때 중요하다. 이 사례는 더 나은 진단의 필요성을 뒷받침한다. 그러나 프레임워크 도입이 조직, 도메인 또는 모델 전반에서 예측 가능한 개선을 낳는다는 사실을 입증하지는 않는다.
지식 어시스턴트의 경우, 실질적인 의미는 정보 범위가 제품 수용 기준에 포함돼야 한다는 것이다. searchable knowledge base는 기술 자료를 정리하는 데 도움이 되지만, 정리만으로는 지원되는 모든 질문에 승인된 답변이 있다는 사실을 보장할 수 없다.
같은 구분이 데모도 형성해야 한다. 어시스턴트가 관련 문서를 찾았다는 사실을 보여주는 것은 유용한 기능을 입증한다. 그 문서에 필요한 규칙이 담겨 있음을 보여주는 것은 다른 사실을 입증한다. 구매자는 결과 답변을 판단하기 전에 두 종류의 증거를 모두 필요로 한다.
두 개의 루프는 에이전트 수정과 변화하는 요구사항을 분리한다
프레임워크는 고정된 기준에 따라 후보를 개선하는 내부 루프와, 증거를 바탕으로 그 기준을 수정하는 외부 루프를 구분한다. 이를 분리하면 개선이라는 개념의 의미가 보존된다.
더 나은 에이전트와 성공의 정의가 바뀌는 일에는 서로 다른 설명이 필요하다.
가상의 어시스턴트가 이미 승인된 요구사항을 충족하지 못한다고 가정해 보자. 기대되는 동작은 분명하지만 구현은 이에 미치지 못한다. 엔지니어링의 과제는 이미 작동하는 기능을 보존하면서 그 동작을 바로잡는 방법을 찾는 것이다.
이제 사용자가 제품이 한 번도 다루지 않았던 요청을 제기하는 경우를 생각해 보자. 담당자가 경계를 정의하기 전까지 팀은 성공을 일관되게 판단할 수 없다. 즉시 프롬프트를 수정하면 즉흥적인 제품 의사결정이 엔지니어링 변경 안에 스며들 위험이 있다.
이러한 상황은 비슷한 증상을 낳을 수 있다. 둘 다 만족스럽지 못한 답변으로 보일 수 있다. 그러나 원인은 다르며, 그 차이가 누가 행동해야 하는지를 결정한다. 구현 수정은 엔지니어의 몫이고, 미해결 요구사항에는 책임 있는 사업 의사결정이 필요하다.
비교 중에 기준을 고정해 두는 일은 해석도 보호한다. 팀이 후보와 기대 동작을 함께 바꾸면 더 높은 점수의 의미가 모호해진다. 검토자는 시스템이 개선된 것인지, 아니면 테스트가 쉬워진 것인지 알 수 없다.
반대로 적용 범위를 넓히면 에이전트가 더 나빠지지 않았더라도 점수가 낮아질 수 있다. 새 사례가 이전에는 측정되지 않던 약점을 드러낼 수 있기 때문이다. 이 결과는 이전에 지원되던 동작이 사라졌음을 뜻하는 엔지니어링 회귀로 자동 간주되기보다, 출시 경계를 정하는 데 반영돼야 한다.
이러한 구분에는 선례가 있다. Boming Xia와 동료들의 평가 주도 개발 연구는 평가를 개발과 운영 전반에 걸쳐 지속되는 기능으로 설명한다. 이들의 프로세스 모델은 오프라인 평가를 런타임 증거 및 관리되는 재개발과 연결한다.
이 연구는 AWS 발표의 맥락을 제공하지만, 이 구현을 독립적으로 검증하는 것은 아니다. 공통된 방향은 평가가 지속적인 개발 의사결정에 영향을 미쳐야 한다는 것이다. 특정 제공 프로세스의 실효성은 여전히 실제 사용에서 나온 증거를 필요로 한다.
Anthropic의 에이전트 평가 가이드도 자동화된 평가, 프로덕션 모니터링, 사람의 검토를 함께 다룬다. 이 가이드는 역량 테스트와 회귀 테스트를 구분하고 코드, 모델, 인간 평가자를 논의한다.
따라서 경쟁 구도는 양립할 수 없는 프레임워크 간의 단순한 경쟁이 아니라 평가 규율을 향한 수렴이다. 공급업체는 팀이 동작을 어떻게 측정하고 실패를 어떻게 조사하는지 점점 더 설명해야 한다. 성능이 뛰어난 모델에 대한 접근을 제공한다고 해서 이런 질문이 해결되는 것은 아니다.
유용한 비교는 워크플로상의 결과에 초점을 맞춰야 한다. 조직은 모델을 바꿀 때도 수용 사례를 보존할 수 있는가? 검토자는 공급업체의 대시보드에 전적으로 의존하지 않고 결과를 이해할 수 있는가? 사업 책임자는 자동화된 판단에 이의를 제기할 수 있는가?
이 질문들은 구매 유연성에도 영향을 미친다. 요구사항이 비공식적인 기대에만 존재한다면 플랫폼을 바꿀 때마다 품질에 관한 논쟁이 다시 시작된다. 명시적이고 이식 가능한 사례는 구매자에게 더 지속적인 비교 기반을 제공한다.
AWS Agent DLC는 이러한 책임성이 루프 전체에서 유지될 때 가장 유용하다. 에이전트를 수정한다고 해서 그 의무가 조용히 재정의되어서는 안 된다. 의무를 수정할 때는 검토자가 구현 진행 상황과 구분할 수 있는 가시적인 결정이 나와야 한다.
출시 기준은 여전히 인간의 판단에 달려 있다
명명된 라이프사이클이 수용 가능한 동작에 관한 모든 이견을 해결할 수는 없다. 기준 자체에도 누락, 비현실적인 임계값, 또는 실제 업무를 잘못 나타내는 사례가 포함될 수 있다.
형식화된 평가는 판단을 검토 가능하게 만들지만, 판단의 필요성을 없애지는 않는다.
이것이 핵심적인 회의적 관점이다. 조직은 모든 단계를 구현하고도 여전히 잘못된 범위를 승인할 수 있다. 아무도 사례가 사용자가 실제로 마주하는 의사결정을 제대로 나타내는지 검증하지 않는다면, 프로세스는 안심을 주는 서류 작업에 그친다.
좁은 평가는 단순한 요청을 과도하게 대표할 수 있다. 가상의 직장 어시스턴트는 직접적인 정책 질문에는 신뢰할 만해 보이면서도, 서로 충돌하는 문서나 불분명한 직원 상황에서는 어려움을 겪을 수 있다. 좁은 범위에서의 강력한 성과가 그러한 더 넓은 사례를 해결해 주지는 않는다.
자동화된 평가자는 또 다른 의존성을 만든다. 모델을 사용해 출력을 평가하는 모델 심사자는 인간 검토자와 의견이 다를 수 있다. 겉보기에 정밀해 보인다고 해서 그 판단 역시 검토가 필요하다는 사실이 가려져서는 안 된다.
Anthropic의 가이드는 인간 평가자와의 보정을 명시적으로 다룬다. 평가자가 사용자가 싫어하는 동작을 일관되게 보상할 수 있기 때문에 이러한 비교는 중요하다. 안정적인 점수는 그 점수가 의도된 요구사항을 제대로 추적할 때만 유용하다.
AWS 사례의 잘못된 개인적 선호 추정은 이러한 어려움을 잘 보여 준다. 응답은 이용 가능한 텍스트를 활용하면서도 사용자에 대해 정당화되지 않은 추론을 할 수 있다. 출처 근거만 평가하면 일반 정보와 개인적 주장 사이의 관계는 충분히 검증되지 않는다.
따라서 인간의 출시 승인 권한은 여전히 실질적이다. 누군가는 지원 범위와 미해결 약점에 대해 책임을 받아들여야 한다. 자동화된 결과는 그 결정에 정보를 제공할 수 있지만, 어떤 사업상 결과가 수용 가능한지를 독자적으로 결정할 수는 없다.
엄격한 제약도 별도로 다뤄야 한다. 용납할 수 없는 정보 공개가 답변의 유용성, 속도 또는 저렴한 비용 때문에 허용될 수는 없다. 관련 없는 차원을 유리한 평균으로 합치면 조직이 강제하려 한 경계가 가려진다.
여기에는 상업적 긴장도 있다. 팀은 평가가 제공 속도를 높이기를 바라지만, 신뢰할 수 있는 평가는 출시를 제한해야 할 이유를 드러낸다. 범위를 바꾸거나 후보를 차단하지 않는 프로세스는 그 권한이 실제라는 증거를 거의 제공하지 못한다.
인프라는 조사자가 그러한 결정을 살펴보는 데 도움을 준다. AWS의 에이전트 관측 가능성 문서는 지연 시간, 토큰 사용량, 오류를 포함한 실행 경로 검사와 운영 텔레메트리를 설명한다. 관측 가능성이란 내부 시스템 동작을 보이게 만드는 것을 의미한다.
이 기록은 실패가 어디서 발생했는지 설명하는 데 도움이 될 수 있다. 그러나 그 기저의 사업 규칙이 올바른지까지 확립하지는 않는다. 가시적인 실행 경로와 승인된 결과는 상호 보완적인 증거 형태로 남는다.
비용은 또 다른 미해결 상충 관계를 제시한다. 평가에는 엔지니어링 관심, 컴퓨팅 자원, 도메인 전문성이 소모된다. 핵심 질문은 그것이 더 명확한 진단과 적절히 제한된 출시를 포함해 그 노력에 걸맞은 의사결정을 만들어 내는지다.
이 발표는 모든 팀에 대해 그 균형을 해결하지 않는다. 조직은 실제 의사결정을 통해 프로세스를 평가해야 한다. 유용한 증거에는 출시 전에 포착된 실패, 단축된 조사, 그리고 직원들이 지원되지 않는 동작에 의존하기 전에 명확해진 요구사항이 포함될 수 있다.
프레임워크의 프로덕션 가치를 입증할 요소
향후 몇 달 동안 세 가지 신호에 주목할 필요가 있다. 더 폭넓은 재현, 작업 유형별로 정리된 의사결정, 그리고 수용 기준의 문서화된 변경이다. 각각은 프레임워크 약속의 서로 다른 부분을 시험한다.
프로덕션 가치는 수행된 평가의 횟수가 아니라 증거에 의해 바뀐 의사결정에 달려 있다.
첫째, 작은 HR 사례를 넘어선 결과를 살펴봐야 한다. 더 크고 다양한 평가는 진단상의 구분이 여러 도메인에서도 계속 유용한지 명확히 해 줄 것이다. 보고서는 테스트된 범위를 설명하고 참조 실험과 고객 운영 결과를 구분해야 한다.
팀이 누락된 정보를 반복적으로 식별했거나 유해한 변경을 분리해 냈다는 증거는 이 주장을 강화할 것이다. 유리한 평균에만 한정된 결과는 핵심 우려를 해소하지 못한다. 질문은 측정이 조사를 바꾸는가이다.
둘째, 작업 간 차이를 보존하는 출시 의사결정을 살펴봐야 한다. 어시스턴트는 일부 요청은 지원하되 다른 요청은 사람에게 안내할 수 있다. 이러한 경계에 대한 공개 사례는 단일한 프로덕션 준비 완료 주장보다 더 많은 정보를 제공할 것이다.
이 신호가 중요한 이유는 라이프사이클이 제공을 제약할 때 신뢰를 얻기 때문이다. 팀이 어떤 이유로 기능을 보류했는지 보여 주는 보고서는 수용 증거가 권한에 어떤 영향을 미쳤는지를 드러낸다. 성공적인 배포만 설명하는 보고서는 그보다 덜 드러낸다.
셋째, 실제 사용 이후 기준이 문서화되어 수정되는지를 살펴봐야 한다. 예상치 못한 요청은 때때로 제품을 판단하는 사례나 경계를 바꿔야 한다. 이러한 변경에는 적용 범위 확대와 동작 악화를 구분하는 설명이 필요하다.
명확한 기록은 피드백이 제품 의사결정에 이른다는 신뢰를 높일 것이다. 누락된 요구사항을 해결하지 않은 채 프롬프트만 반복해서 다시 작성한다면 그 신뢰는 약해질 것이다. 이 구분은 조직이 실패로부터 배우는지, 아니면 어시스턴트가 표현하는 방식만 바꾸는지를 결정한다.
이는 발표된 출시를 예측하는 것이 아니라 관찰 신호다. AWS는 프레임워크와 예시 실험을 제시했다. 더 폭넓은 프로덕션 가치는 이를 도입하는 팀이 검증해야 할 경험적 질문으로 남아 있다.
개발자에게 즉각적인 시사점은 출시를 승인하는 사람이 증거를 이해할 수 있게 만드는 것이다. 엔터프라이즈 구매자에게는 그 증거가 실제로 어떤 요청을 다루는지 묻는 일이다. 직원에게는 어시스턴트가 자신의 지식 경계를 인식하는지의 문제다.
또 다른 에이전트 시연을 승인하기 전에, 실패가 누군가의 다음 행동을 바꿀 실제 요청을 선택하라. 어떤 승인된 정보가 답변을 뒷받침하는지, 그리고 그 정보가 없을 때 시스템이 어떻게 해야 하는지 물어보라. 그런 다음 최신 변경이 다른 지원 작업을 손상시키지 않고 그 동작을 개선했는지 물어보라. AWS Agent DLC는 이러한 질문을 위한 구조를 제공하지만, 답은 자체 증거에서 나와야 한다. 기저 업무를 담당하는 사람들과 함께 수용 사례를 검토하라. 누가 출시를 승인할 수 있는지, 누가 요구사항을 수정할 수 있는지, 누가 출시 후 실패를 조사하는지 확인하라. 그 그룹은 현재 버전이 명시된 범위 안에서 신뢰받을 자격이 있는 이유를 설명할 수 있는가?



