Epoch AI 자동화 보고서: Claude Fable 5.1과 GPT-6 Astra, 자동화 기준에 못 미친 65%

Epoch AI 자동화 보고서에서 Claude Fable 5.1과 GPT-6 Astra는 AI에 업무를 맡기기 위한 조직의 기준에 못 미치는 65%를 기록했다. 이 모델들은 그래픽 디자인과 연구 계획 수립을 포함한 내부 과제를 수행했다. 이 점수는 직원 업무 시간 중 대체 가능한 비율이 아니라 평가 기준 충족도를 측정한다.

이 결과는 더 나은 벤치마크 성능이 곧바로 인간의 업무 감소로 이어져야 한다는 익숙한 가정에 의문을 제기한다. 산출물은 많은 요건을 충족하면서도, 그 핵심 결론이 누구의 관심을 받을 만한지 전문가가 판단해야 할 수 있다. 그럴듯한 결과물을 만드는 일과 그 품질에 책임지는 일은 여전히 다른 업무다.

Epoch는 10월 8일 전체 보고서를 공개했고, 10월 26일 뉴스레터 요약본을 뒤이어 발행했다. Anthropic의 Claude와 OpenAI의 GPT 시스템이 공동 선두를 차지했다. 그러나 핵심 경쟁은 어느 회사가 또 다른 리더보드에서 이기느냐가 아니라, 유용한 지원과 신뢰할 수 있는 자율적 제공 사이의 차이에 관한 것이다.

Epoch AI 자동화 보고서는 직원 기준에 맞춰 업무를 측정한다

Epoch는 평가 대상을 고립된 문제 해결에서 자체 직원들이 받아들일 수 있는 업무 결과물 생산으로 바꿨다. 이 때문에 수용 기준이 이 이야기의 중심이 된다.

이 조직의 업무 자동화 요약은 선도 모델들이 평가표 항목의 65%를 충족했다고 설명한다. 평가표는 산출물을 판단하는 데 쓰이는 구조화된 기준 집합이다. Epoch는 과제 자동화 기준 충족을 100%로 본다.

이 구분은 쉬운 오해를 막는다. 이 점수가 직원의 근무일이 실질적으로 크게 짧아졌음을 뜻하지는 않는다. 또한 남은 업무 가운데 단순 정리 작업과 까다로운 판단이 각각 얼마나 차지하는지도 측정하지 않는다.

요청된 형식을 따르고, 관련 참고자료를 포함하며, 읽기 쉬운 차트를 제시하는 가상의 연구 브리프를 생각해 보자. 이런 요소들은 중요하다. 하지만 주변 요건을 얼마나 많이 충족했는지와 관계없이, 오도하는 결론 하나만으로도 전체 브리프가 배포에 부적합해질 수 있다.

따라서 이 평가는 “완료”의 의미를 다시 생각하게 한다. 시스템은 파일 생성을 끝낼 수 있지만, 조직의 관점에서는 과제를 끝내지 못할 수 있다. 누군가는 여전히 그 파일들이 질문에 답하고 의도한 독자의 요구를 충족하는지 판단해야 한다.

이는 형식상의 기술적 문제가 아니라 수용의 문제다. 조직은 방어 가능한 분석이나 발행 가능한 그래픽처럼 결과물을 구매한다. 결과물이 실제로 작동한다는 보장 없이 개별 체크리스트 항목만 충족한 모음집을 구매하는 경우는 드물다.

날짜도 주의해서 봐야 한다. 10월 26일 뉴스레터는 10월 8일 보고서의 결과에 다시 관심을 불러일으켰다. 뉴스레터를 완전히 새로운 실험으로 취급하면 연구의 공개와 이후 설명 사이의 구분이 흐려진다.

당장의 변화는 자동화를 논의하는 기준이 더 명확해졌다는 점이다. Epoch는 AI가 인상적인 결과물을 만들었는지를 묻는 대신, 자신의 팀이 그 결과물을 받아들일지를 묻는다. 이 틀은 논의를 실제 의사결정에 연결해 둔다.

통과 결과는 특정 과제의 배정 방식을 바꿀 근거가 될 수 있다. 부분적인 결과는 지원, 약점, 추가 테스트에 관한 증거를 제공한다. 이는 유용한 발견이지만, 서로 다른 운영상 선택을 뒷받침한다.

업무용 AI를 평가하는 독자에게는 헤드라인 순위보다 이 구분이 더 중요하다. 질문은 시스템이 다음 수령자에게 바로 전달할 수 있는 결과물을 제공하는지로 바뀐다. 설득력 있는 시연은 그 평가의 시작일 뿐이다.

“직원”이라는 단어에도 경계가 있다. 이 벤치마크는 산출물을 직원 업무 기준과 비교한다. 직업을 가진다는 데 수반되는 모든 책임, 관계, 예기치 못한 요구까지 재현하지는 않는다.

따라서 특정 과제에서 수용 가능한 성능을 보였다는 사실은 그 과제 자동화를 뒷받침할 수 있다. 하지만 그 주변 역할 자체가 사라졌다는 점까지는 단독으로 입증하지 못한다. 분석 단위는 여전히 평가 대상 업무 결과물이다.

구매자는 초안과 납품물 사이의 격차에 직면한다

이 결과는 여전히 전문가 검토가 필요한 시스템에 자율적 제공을 기대하는 구매자에게 가장 큰 압박을 준다. 이들의 실질적인 질문은 생성이 끝난 뒤 누가 책임지는가에 관한 것이다.

보조 도구는 독립적으로 운영할 자격을 얻지 못해도 가치를 만들 수 있다. 초안은 분석을 시작하는 데 필요한 노력을 줄일 수 있다. 자율 워크플로는 다른 부담을 진다. 자체 결과물을 언제 보류해야 하는지도 인식해야 한다.

이 구분은 구매자가 성공적인 시연을 해석하는 방식을 바꾼다. 누군가 사용하기 전에 전문가가 조용히 산출물을 수정했다면, 그 시연에는 인간의 노동이 포함돼 있다. 그 워크플로는 여전히 가치 있을 수 있지만, 인력 가정에는 그 기여가 포함돼야 한다.

검토는 교정과도 다르다. 교정은 표현이 명확하고 기계적으로 올바른지 확인한다. 실질적 검토는 업무가 정확하고 관련성이 있으며 이용 가능한 증거로 뒷받침되는지 묻는다.

두 번째 활동에는 흔히 해당 주제에 대한 익숙함이 필요하다. 잘못된 가정을 식별할 수 없는 검토자는 그 가정 위에 세워진 결론을 신뢰성 있게 승인할 수 없다. 세련된 문장이 이 의존성을 없애지는 못한다.

이는 전문 업무를 위임하려는 팀에 실질적인 긴장을 만든다. 위임의 목적이 그 전문성에 대한 요구를 줄이는 것일지라도, 시스템을 감독할 만큼의 전문성은 필요하다. 이 방식이 노력을 절감하는지는 특정 과제에 달려 있다.

가상의 시장 분석은 이 문제를 보여 준다. 보조 도구는 기업 설명을 수집하고 일관된 서사를 구성할 수 있다. 하지만 검토자는 선택된 기업들이 같은 비교군에 속하는지, 증거가 추천을 뒷받침하는지 여전히 확인해야 한다.

그 판단이 과제의 대부분을 차지한다면, 서사를 더 빨리 만드는 것만으로는 생산성 문제가 해결되지 않는다. 반대로 자료 수집과 정리가 대부분을 차지한다면 지원은 여전히 가치가 있을 수 있다. 벤치마크 평균은 다른 조직을 위한 그 균형을 결정할 수 없다.

AI 직무 자동화의 더 긴 역사는 Epoch가 왜 이 구분을 추구했는지 설명한다. 2월에 연구자 Anson Ho는 자신의 업무를 위임하려 한 시도를 설명했다. 그의 기록은 기능적으로 보이는 산출물과 자신이 실제로 사용하고 싶은 산출물의 차이를 강조했다.

그 이전 실험은 개선도를 계산하기 위한 통제된 기준선이 아니라 역사적 맥락을 제공한다. 서로 다른 과제, 모델, 평가 조건은 직접 비교를 어렵게 한다. 그 관련성은 반복되는 수용의 질문에 있다.

개발자에게 이 시사점은 제품 설계와 관련된다. 워크플로에는 명확한 인계 지점과 해결되지 않은 불확실성의 명확한 담당자가 필요하다. 그렇지 않으면 시스템은 미완성 판단을 다른 사람이 발견해야 하는 받은편지함으로 옮길 뿐이다.

관리자에게 이 시사점은 구매 언어와 관련된다. “연구를 지원할 수 있다”와 “승인된 연구를 독립적으로 제공할 수 있다”는 서로 다른 약속을 뜻한다. 팀이 더 강한 주장에 맞춰 재편되기 전에 평가는 이 차이를 드러내야 한다.

같은 논리는 내부 정보 접근에도 적용된다. 검색 가능한 지식 기반은 관련 맥락을 이용 가능하게 만드는 데 도움이 될 수 있다. 맥락에 대한 접근과 그 맥락에 관한 건전한 판단은 별도로 평가해야 한다.

이 모든 것이 부분 자동화를 무의미하게 만드는 것은 아니다. 그것을 정당화하는 데 필요한 증거를 규정할 뿐이다. 팀은 유용한 지원을 가치 있게 여기면서도, 수용이 입증된 과제에만 자율적 제공을 남겨둘 수 있다.

Claude Fable 5.1 vs GPT-6 Astra는 평균의 한계를 드러낸다

공동 헤드라인 점수만으로 선도 시스템들이 서로 대체 가능하다는 사실이 입증되지는 않는다. 구매자는 평균 아래에 있는 업무를 살펴봐야 한다.

공개된 업무 과제 벤치마크는 5개 범주에 걸친 11개 과제를 다룬다. Claude Fable 5.1과 GPT-6 Astra는 모두 평균 65%를 기록했다. Grok 4.6은 59%로 뒤를 이었으며, Qwen 3.8 Max, Kimi K3, Gemini 3.8 Flash는 더 낮은 점수를 받았다.

이는 Epoch의 조건 아래에서 평가된 시스템들의 결과다. 모든 기업 과제를 위한 보편적 순위는 아니다. Epoch의 업무와 다른 업무를 수행하는 구매자는 이 순위를 조사 출발점으로 받아들여야 한다.

평균은 서로 다른 강점과 약점을 편리한 비교 지표로 압축한다. 이 압축은 독자가 리더보드를 빠르게 훑는 데 도움이 된다. 그러나 팀이 감수할 수 있는 실패와 전체 납품물을 훼손하는 실패의 차이도 감춘다.

내부 시각 커뮤니케이션을 위한 보조 도구를 선택하는 팀을 생각해 보자. 이 팀의 관련 질문은 시스템이 자신의 독자를 위해 명확하고 정확한 그래픽을 만드는지에 관한 것이다. 다른 유형의 업무까지 포함한 종합 점수는 이처럼 좁은 평가를 대체할 수 없다.

연구 그룹은 다른 수용 결정을 마주한다. 제안된 방법이 의도한 질문에 답할 수 있는지 알아야 한다. 프레젠테이션이나 구현에서 뛰어난 성능을 보여도 실험적 추론의 약점이 자동으로 해소되지는 않는다.

그러므로 Claude Fable 5.1 vs GPT-6 Astra 비교는 절제된 결론을 뒷받침한다. 두 시스템은 이번 평가에서 전체적으로 선두를 차지했다. 어느 쪽의 종합 점수도 구매자가 실제로 위임하려는 과제의 테스트를 건너뛸 근거가 되지는 않는다.

또 다른 비교의 경계도 있다. Epoch는 해당 에이전트 시스템 안에서 모델을 평가한다. 에이전트 하네스는 모델에 도구를 제공하고 실행을 관리하는 소프트웨어 환경이다. 이 환경들의 차이는 결과 시스템이 달성하는 성과에 영향을 줄 수 있다.

구매자에게는 완전한 시스템을 평가하는 것이 실용적인 의미를 갖는다. 직원들은 특정 인터페이스, 권한, 통합 기능을 갖춘 제품을 사용한다. 필요한 모든 도구와 분리된 추상적 모델과 상호작용하지는 않는다.

연구자에게는 같은 설정이 인과적 귀속을 복잡하게 만든다. 산출물의 차이는 모델의 행동, 도구 접근성, 또는 이들의 상호작용을 반영할 수 있다. 리더보드는 모델 이름을 점수 옆에 놓는 것만으로 이 요인들을 분리할 수 없다.

같은 결과에 대해 경쟁하는 해석이 가능한 이유다. 제품 구매자는 어떤 이용 가능한 시스템이 더 잘 작동하는지 합리적으로 물을 수 있다. 모델 연구자는 어떤 기저 역량이 그 차이를 만들었는지 합리적으로 물을 수 있다.

이 질문들은 서로 다른 후속 실험을 요구한다. 도구를 고정하면 모델 차이를 조사하는 데 도움이 된다. 실제 배포 환경을 테스트하면 운영상 유용성을 조사하는 데 도움이 된다. 어느 접근도 단독으로 모든 질문에 답하지는 못한다.

독자가 이러한 경계를 보존할 때 Epoch AI 자동화 보고서는 가장 유용하다. 점수는 살펴볼 가치가 있는 시스템과 연구할 가치가 있는 과제를 식별한다. 수용 결정은 여전히 산출물을 사용할 조직의 몫이다.

따라서 경쟁 압박은 더 높은 평균을 향한 경쟁보다 넓다. 공급업체는 특정 과제에서 자사 시스템이 일관되게 작동한다는 증거도 제시해야 한다. 구매자는 어떤 실패가 남아 있는지, 그러한 실패에 어떤 감독이 필요한지 확인해야 한다.

어려운 실패는 잘못된 결론을 받아들이는 데 있다

가장 중대한 격차는 결과물을 신뢰할 만한지 판단하는 능력에 관한 것이다. 더 많은 자료를 생성한다고 해서 반드시 그 격차가 해소되는 것은 아니다.

Epoch의 개방형 작업 평가는 구체적인 사례를 설명한다. Fable은 하우스 스타일 참고 자료를 받았음에도 지나치게 빽빽한 그래픽을 만들었다. Astra는 구현 방식이 충분히 구체화되지 않은 연구를 제안했고, 파일럿 분석에서는 부적절한 응답 허용량의 영향을 받은 결과에 오해를 불러일으킬 만한 유의성을 부여했다.

그래픽 사례는 커뮤니케이션 문제를 부각한다. 디자인에 관련 정보가 담겨 있어도 핵심 요지를 쉽게 이해하게 만들지 못할 수 있다. 참고 자료의 눈에 보이는 특징을 맞춘다고 해서 그 특징이 왜 사용됐는지 이해한다는 보장은 없다.

인간 검토자에게 여기서 제기되는 질문은 목적에 관한 것이다. 추가한 레이블이 독자가 설명을 따라가는 데 도움이 되는가? 또 다른 패널이 비교를 명확히 하는가, 아니면 결과물을 더 정교해 보이게 할 뿐인가?

이러한 판단은 단순한 개수 세기로는 하기 어렵다. 더 많은 레이블, 인용 또는 문단은 어떤 조건에서는 결과물을 개선하지만 다른 조건에서는 약화할 수 있다. 평가자는 각 요소를 과제의 실제 목표와 연결해야 한다.

연구 사례는 해석 측면에서 더 큰 위험을 수반하는 관련 문제를 제기한다. 실험 설정이 충분한 응답을 막는다면, 그에 따른 실패는 조사 대상의 역량을 곧바로 설명하지 않는다. 이는 측정 과정도 함께 설명한다.

신중한 분석가는 결과를 제시하기 전에 이 두 설명을 구분해야 한다. 그렇지 않으면 실험의 기술적 한계가 대상에 관한 뒷받침되지 않은 주장으로 바뀔 수 있다. 최종 서술은 일관성 있어 보이면서도 잘못된 질문에 답할 수 있다.

겉보기에 성공한 실행 과정도 검토받아야 하는 이유가 여기에 있다. 시스템은 실험을 수행하고, 결과물을 수집하고, 결과를 요약하면서도 그 결과가 무엇을 의미하는지는 잘못 다룰 수 있다. 절차를 완료했다고 해서 결론의 타당성이 입증되는 것은 아니다.

이 구분은 자기비판 역시 평가가 필요한 이유를 설명한다. 시스템에게 자신의 작업을 검토하라고 요청하는 것은 추가 작업이다. 그 작업이 중대한 실수를 포착하는지는 여전히 실증적으로 확인해야 할 질문이다.

따라서 검토자는 비판 단계가 존재한다는 사실만으로 오류 인식이 이뤄졌다고 가정하기보다 그 증거를 찾아야 한다. 정교한 워크플로도 최초의 오해를 그대로 유지할 수 있다. 활동이 추가된다고 해서 자동으로 수정 활동이 되는 것은 아니다.

이 사례들이 모든 모델이 모든 개방형 과제에서 실패한다는 점을 입증하는 것은 아니다. 이 평가는 관찰된 실패 양상을 식별한다. 그 가치는 인수 테스트가 무엇을 검토해야 하는지 보여주는 데 있다.

건설적으로 해석할 여지도 있다. 실패가 반복되는 모호성과 관련된다면, 팀은 더 명확한 지침으로 문제가 해결되는지 시험할 수 있다. 적절한 맥락을 제공했는데도 문제가 지속된다면, 남은 문제에는 다른 설명이 필요하다.

이 구분은 제품 개발자에게 중요하다. 사례에 더 잘 접근할 수 있으면 시스템이 관련 관행을 찾아내는 데 도움이 될 수 있다. 그래도 어떤 관행이 적용되는지, 그리고 그것이 현재 과제에 어떻게 기여하는지는 판단해야 한다.

실무적 쟁점은 검토자가 미묘한 실수를 탐지할 수 있는지에 있다. 명백히 잘못된 차트는 수정을 유도한다. 하지만 무효한 추론을 바탕으로 한 읽기 쉬운 설명은 표현이 완성돼 보인다는 이유로 워크플로를 통과할 수 있다.

따라서 지식 노동자에게 유용한 질문은 구체적이다. 이 과제에서 증거가 결론을 뒷받침하는지 판단해야 하는 부분은 어디인가? 바로 그 지점에서 자율성에는 특히 설득력 있는 검증이 필요하다.

이 평가의 한계는 보편적 결론을 막는다

Epoch의 결과는 자율적 납품에 대해 신중해야 한다는 근거를 제공하지만, 모든 직장 AI에 관한 더 광범위한 주장은 아직 확정하지 못한다. 해당 조직의 자체 방법론도 그러한 외삽에 한계를 둔다.

이 벤치마크는 소규모 과제 모음을 사용하며, 각 모델은 과제당 한 번씩만 실행된다. 인간 평가는 주관적 판단을 포함하고, 작업은 Epoch의 필요를 반영한다. 이러한 조건 때문에 정확한 순위는 헤드라인의 백분율이 시사하는 것보다 덜 안정적이다.

단 한 번의 시도는 신뢰성에 대한 완전한 설명이 아니라 하나의 관찰을 제공한다. 동일한 시스템이 반복 시도에서 얼마나 자주 성공할지는 보여주지 않는다. 실패가 나타나는 모든 방식도 보여줄 수 없다.

주관적 기준은 또 다른 불확실성을 만든다. 사람들은 커뮤니케이션이 중요하다는 데 동의하면서도 특정 그래픽이 효과적으로 전달되는지에는 의견이 다를 수 있다. 그렇다고 그 기준이 쓸모없어지는 것은 아니지만, 평가자 간 일치도가 중요해진다.

적절한 대응은 합리적인 평가 변경에도 결론이 얼마나 견고하게 유지되는지 묻는 것이다. 다른 자격 있는 검토자도 같은 결과물을 거부할까? 반복 시도에서도 같은 약점이 드러날까?

과제 선정도 중요하다. 연구 조직에서 구성한 과제 모음은 그 조직에 직접적인 관련성을 제공한다. 다른 직장과의 관련성은 책임과 인수 기준이 얼마나 유사한지에 달려 있다.

지원팀, 법무 부서, 디자인 스튜디오는 동일한 시사점을 가정해서는 안 된다. 이들의 업무는 구조, 피드백, 결과 면에서 다르다. 각각은 직원들이 실제로 내리는 의사결정과 연결된 증거가 필요하다.

벤치마크 현실성의 역사적 논의는 유용한 맥락을 더한다. Anson Ho와 Jean-Stanislas Denain은 벤치마크가 경제적 영향을 예측하는 것과 다른 목표를 위해 사용된 경우가 많았다고 주장했다. 이들의 요점은 벤치마크 진전의 가치가 없다는 주장이 아니라 평가 설계에 관한 것이다.

벤치마크는 배포 수익을 예측하지 못하더라도 시스템 비교에는 유용할 수 있다. 혼란은 독자가 측정된 질문을 그것이 결코 시험하지 않은 질문으로 조용히 바꿔치기할 때 시작된다.

이러한 신중함은 양쪽 모두에 적용된다. 실망스러운 자율성 결과가 감독된 지원에 가치가 없다는 점을 입증하지는 않는다. 독립적 완료와 지원을 통한 인간 생산성을 측정하려면 서로 다른 실험 설계가 필요하다.

반대 추론도 마찬가지로 약하다. 도움이 되는 초안이 시스템이 워크플로를 혼자 안전하게 완료할 수 있음을 입증하지는 않는다. 지원 능력을 입증한다고 해서 자율적 인수라는 별개의 문제를 해결할 수는 없다.

따라서 Epoch AI 자동화 보고서는 더 좁고 검증 가능한 주장에 정보를 제공해야 한다. 이 보고서는 이 시스템들이 이러한 조건에서 이 과제들을 시도했다는 증거를 제공한다. 다음 단계는 어떤 결과가 이전될 수 있고 어떤 결과가 환경에 의존하는지 살펴보는 것이다.

해결되지 않은 경제적 질문은 전체 워크플로에 관한 것이다. 준비, 감독, 수정, 승인에는 얼마나 많은 노력이 들어가는가? 이런 활동을 측정하지 않으면 품질 점수는 신뢰할 수 있는 노동 절감 추정치가 될 수 없다.

이것이 헤드라인에 대한 가장 강한 회의적 해석이다. 65%라는 수치는 유익하지만, 그 겉보기 정밀도가 연구 범위를 넘어서는 안 된다.

인수된 과제, 반복 가능성, 검토 노력을 지켜보라

다음으로 의미 있는 발전은 특정 과제가 일관되게 인수 기준을 넘는다는 증거가 될 것이다. 더 높은 전체 평균은 덜 실용적인 질문에 답할 뿐이다.

첫 번째 신호는 문서화된 과제가 일상적 사용으로 옮겨가는 것이다. Epoch는 Fable이 허용 가능한 결과를 충분히 자주 산출해 그 단계를 부분적으로 자동화할 수 있게 되자, 기본 차트 생성 과제를 제거했다고 말한다. 이는 직무를 자동화하는 것보다 범위가 좁은 구체적인 운영 변화다.

향후 사례는 과제와 인수 결정을 명확히 식별해야 한다. 더 많은 과제가 일상적 사용에 편입된다면 위임 확대의 근거가 강해진다. 결과물이 개선돼도 허용 가능한 수준에 이르지 못한다면, 여기서 강조한 격차는 남는다.

두 번째 신호는 반복 가능성이다. 추가 실행과 독립적인 평가는 지속적인 성능을 우연히 유리했던 시도나 검토자의 판단과 구분하는 데 도움이 된다. 일관된 인수는 평가된 워크플로 배포에 대한 신뢰를 강화할 것이다.

최고의 결과물이 훌륭해 보이더라도 결과가 일관되지 않다면 지속적인 감독이 필요하다는 뜻이다. 구매자는 시스템의 일반적인 행동이 자신의 요구에 맞아야 한다. 선별된 성공 사례만으로는 그런 행동을 입증할 수 없다.

세 번째 신호는 측정된 인간 검토 노력이다. 감독된 워크플로는 인수된 결과에 도달하는 데 필요한 노력으로 평가해야 한다. 생성만으로는 실제 납품 가능 여부를 결정하는 작업이 빠진다.

검토와 수정은 줄어들면서 품질이 유지된다면 경제적 근거는 더 설득력 있어진다. 검증에 겉보기 절감분이 소모된다면, 루브릭 점수의 개선은 인력 배치나 책임 변경을 뒷받침하는 근거가 약해진다.

이는 발표된 이정표가 아니라 향후 몇 달간의 관찰 우선순위다. Epoch는 모델이 출시됨에 따라 과제 모음을 확장하고 결과를 업데이트할 계획이라고 말한다. 그러한 업데이트의 시점과 내용은 아직 열려 있다.

그 업데이트가 나오면 Claude Fable 5.1과 GPT-6 Astra의 순위가 주목을 받을 것이다. 더 유용한 해석은 각 변화를 과제, 실패 양상, 인간의 인수 결정과 연결하는 것이다.

Epoch AI 자동화 보고서에서 당장 얻어야 할 핵심은 업무가 실제로 언제 사용 가능한 상태가 되는지 살펴보는 것이다. 점수와 함께 과제 설명을 읽고, 자신의 워크플로에 여전히 필요한 판단이 무엇인지 확인하라. 시스템이 무효한 결과를 인식하는지, 다른 시도에서도 같은 품질에 도달하는지, 검토가 과제를 직접 수행하는 것보다 적은 노력이 드는지를 물어보라. 지원과 독립적 납품은 별개의 구매 결정으로 유지해야 한다. 모델은 최종 결과에 대한 책임을 맡기 전에 일상 업무에서 자리를 얻을 수 있다. 다음 벤치마크가 나올 때는 평균을 넘어 살펴보라. 이제 어떤 결과물이 전문가의 보수 없이 수신자에게 도달할 수 있는가?