Jack Clark의 자기개선 AI 전망, 2027년으로 앞당겨져

Anthropic 공동 창업자 Jack Clark은 완전한 자기개선 AI가 등장할 수 있는 시점에 대한 자신의 선호 전망을 2028년에서 2027년으로 앞당겼다. Jack Clark의 자기개선 AI 전망은 이제 그 가능성을 더 가깝게 보지만, 핵심 기술적 질문은 여전히 미해결로 남아 있다. 연구 성과가 향상됐다고 해서 AI가 독자적으로 더 강력한 후속 시스템을 구축할 수 있다는 점이 입증되는 것은 아니다.

이 구분은 중요하다. AI가 더 나은 후속 시스템을 개발하고, 그 후속 시스템이 다시 추가 개선을 뒷받침하는 재귀적 자기개선에는 뛰어난 코딩 능력 이상의 것이 필요하기 때문이다. 핵심 경쟁은 갈수록 자동화되는 연구 과제와 독립적으로 작동하는 연구 순환 사이에서 벌어진다. Google DeepMind의 AlphaEvolve는 이 경계를 이해하는 데 유용한 참고 사례다.

개발자와 기업 구매자에게 즉각적인 의미는 카운트다운이 아니라 근거에 있다. 더 짧아진 전망은 연구소가 진전을 어떻게 측정하고, 실패를 어떻게 공개하며, 인간의 통제를 어떻게 유지하는지에 대한 의문을 제기한다. 이는 자율 연구 시스템이 언제 등장할지나 고객이 어떤 접근 권한을 받게 될지를 확정하지는 않는다.

Jack Clark의 자기개선 AI 전망이 실제로 바꾸는 것

Clark은 Anthropic이 이를 달성했다고 발표한 것이 아니라, 완전한 자기개선이 가능해질 시점에 대한 개인적 판단을 수정했다.

10월 12일자 뉴스레터에서 Clark은 완전한 재귀적 자기개선이 2028년보다 2027년에 가능해질 확률이 더 높아 보인다고 썼다. 그는 수학적 발전과 AI의 연구 판단력이 개선되고 있다는 증거를 언급했다. 그의 자기개선 전망에는 갱신된 수치 확률이 제시되지 않았다.

그 표현은 몇 가지 구분을 그대로 유지한다. 기술적 가능성은 일상적 배포와 다르며, 성공적인 시연은 신뢰할 수 있는 운영 프로세스와 다르다. 어느 쪽도 연구소가 전체 연구 프로그램을 안전하게 위임할 수 있다는 뜻은 아니다.

전망에는 명확한 결승선도 필요하다. 소규모 실험용 후속 시스템을 훈련하는 것은 현존하는 가장 강력한 모델을 독자적으로 발전시키는 것보다 더 좁은 질문에 답한다. 독자는 향후 발표가 실제로 어떤 결과를 설명하는지 물어야 한다.

Clark의 이전 연구 평가는 2028년 말까지 인간이 관여하지 않는 AI 연구개발이 이뤄질 가능성을 60% 이상으로 제시했다. 그는 또한 소규모 개념증명 시스템과, 현재 이용 가능한 시스템 가운데 가장 성능이 뛰어난 시스템을 의미하는 프런티어 모델이라는 더 어려운 과제를 구분했다.

그 이전의 단서는 여전히 유용하다. 연구소는 다른 영역에서는 상당한 인간 개입을 유지한 채, 관리 가능한 규모에서 자율 개선 순환을 시연할 수 있다. 그러한 성과를 정확히 보도하려면 그 경계를 설명해야 한다.

한 모델이 훈련 프로그램과 평가 목표를 받는 예시적 실험을 생각해 보자. 모델은 프로그램을 수정하고, 훈련을 실행하며, 더 나은 결과를 내는 후속 시스템을 만든다. 결정적인 질문은 누가 목표를 선정하고, 실패를 수정하며, 최종 비교를 승인했는지다.

시스템이 멈출 때마다 연구자가 개입한다면, 결과는 여전히 유용한 자동화를 보여줄 수 있다. 개입 기록이 그 실험이 어느 정도의 자율성을 뒷받침하는지 결정한다. 이 기록을 숨기면 헤드라인을 평가하기가 더 어려워진다.

후속 시스템 자체에도 같은 원칙이 적용된다. 최적화 목표에서 더 높은 점수를 받았다면, 시스템이 직접 추구하지 않은 과제에서 별도의 검증이 필요하다. 그렇지 않으면 겉보기 개선은 선택된 측정 기준에 맞춘 특화에 불과할 수 있다.

따라서 Jack Clark의 자기개선 AI 전망은 기대 변화로서 주목할 만하다. 그 증거 가치는 명시적인 성공 기준을 갖춘 후속 시연에 달려 있다. 수정된 연도만으로는 근본적인 질문을 해결할 수 없다.

헤드라인을 통해 이 이야기를 접하는 독자에게 실질적인 해석은 간단하다. 정통한 한 참여자가 자신의 시간표를 앞당겼다. 공개된 증거는 여전히 주장된 자기개선의 범위, 재현성, 독립성을 입증해야 한다.

연구 판단력이 더 흥미로운 시험대가 되고 있다

중요한 변화는 AI가 연구자가 작성한 지시를 단순히 실행하는 수준을 넘어, 유용한 실험을 선택할 수 있는지에 관한 것이다.

P-Zero Research의 실험 연구 벤치마크는 이보다 좁은 역량을 살펴본다. TasteVal은 모델에 고정된 연구 문제를 제공하고, 모델이 실험을 설계하고 결과를 해석하는 효율을 측정한다. 별도의 코딩 에이전트가 모델의 선택을 구현한다.

이 벤치마크는 8개 과제를 다루며 24명의 전문가를 바탕으로 한 기준선을 사용한다. 저자들은 Opus 5.5가 컴퓨트 배수 2.30에서 그 기준선을 넘어섰다고 보고한다. 이들의 정의에 따르면, 이는 전문가 대비 실험 컴퓨팅 효율을 측정한 것이다.

저자들은 또한 2025년 12월 이후 두 배 증가 간격이 3.0개월이라고 보고한다. 다만 과제가 비교적 검증하기 쉽고, 기준선에 최고 수준 연구자가 포함되지 않았으며, 문제 선택은 아직 검증되지 않았다는 한계를 명시적으로 지적한다. 이들의 외삽을 확정된 도래 시점으로 받아들여서는 안 된다.

이러한 단서는 독자가 결과에서 무엇을 받아들여야 하는지를 규정한다. 연구자의 업무에는 실험을 설계하기 전에 어떤 불확실성이 주목할 가치가 있는지 판단하는 일이 포함된다. 누군가가 문제를 제공한 뒤의 성공은 그 이전의 결정을 미해결 상태로 남긴다.

예시적인 모델 개발 프로젝트는 이 차이를 구체적으로 보여준다. 한 팀이 특화된 어시스턴트에서 더 나은 답변을 원한다고 가정해 보자. 이들은 훈련 예시를 바꾸거나, 훈련 과정을 조정하거나, 정보 검색을 개선하거나, 평가 방식을 수정할 수 있다.

각 선택지는 서로 다른 진단을 전제한다. 더 나은 실험 선택은 어떤 시험이 경쟁하는 설명들을 가장 효율적으로 구분할지 식별하는 것을 의미한다. 이 역량은 시스템이 새로운 연구 방향을 전혀 발명하지 못하더라도 노력을 절약할 수 있다.

문제 선택은 더 넓은 질문을 던진다. 팀은 신뢰할 수 없는 출처 문서가 모델의 훈련 절차보다 더 중요하다는 점을 발견할 수 있다. 자율 연구자는 잘못된 목표에 갇히지 않은 채 이 가능성을 알아차릴 필요가 있다.

이 때문에 연구 판단력이 주목받는다. 코딩 어시스턴트는 지정된 실험을 정확히 구현하면서도, 그 실험을 수행할 가치가 있었는지에 대한 판단에는 거의 기여하지 않을 수 있다. 실험 기획자는 프로젝트의 방향에 영향을 줄 수 있다.

Anthropic AI 연구에서도 이 구분은 설득력 있는 평가가 무엇을 보여줘야 하는지를 바꾼다. 독자는 이용 가능한 선택지, 제공된 정보, 그리고 잘못된 결정이 낳은 결과를 확인할 필요가 있다. 최종 점수는 그 과정의 상당 부분을 감춘다.

모델은 엄밀한 추론, 광범위한 시행착오, 또는 운 좋은 초기 추측을 통해 좋은 결과에 도달할 수 있다. 이 경로들은 신뢰성에 서로 다른 의미를 갖는다. 반복 시도와 완전한 실험 이력은 이를 구분하는 데 도움이 된다.

관련된 경제적 질문 역시 모델이 제안을 얼마나 빨리 만들어 내는지를 넘어선다. 누군가가 제안을 구현하고, 점검하고, 후속 조치를 할 때 제안은 자원을 소모한다. 인상적인 아이디어의 흐름은 전체 과정이 신뢰할 수 있는 발견을 낼 때에만 유용해진다.

이러한 이유로 벤치마크 성과 향상은 자율적 과학 역량보다 더 좁은 결론을 뒷받침한다. 이는 조사할 가치가 있는 역량을 식별한다. 이 역량이 더 긴 연구 프로그램 안에서 어떻게 작동하는지를 시험할 필요성을 없애지는 않는다.

더 빨라진 실험이 연구소와 구매자에게 가하는 압력

즉각적인 압력은 결정이 내려진 이유를 놓치지 않으면서 더 많은 연구 산출물을 검증해야 하는 조직에 가해진다.

실험 생성이 쉬워지면 검토가 병목 단계가 될 수 있다. 연구소는 여전히 어떤 발견을 신뢰할 수 있는지, 어떤 발견이 추가 투자를 받을 가치가 있는지 결정해야 한다. 더 빠른 제안만으로는 그 책임이 해결되지 않는다.

이는 기술적 문제와 함께 관리 문제를 만든다. 연구 책임자에게는 가설과 구현, 관찰, 해석, 최종 결정을 연결하는 기록이 필요하다. 연결 고리가 빠지면 유망한 결과가 퍼진 뒤 오류를 진단하기가 더 어려워진다.

예시적인 훈련 실패는 그 이유를 보여준다. 제안된 변경이 성능을 개선하는 것으로 보이고, 자동화된 보고서는 도입을 권고한다. 그러나 나중에 살펴보니 비교에 서로 다른 평가 조건이 사용됐음이 드러난다.

기저의 코드는 올바르게 실행됐을 수 있다. 실패는 비교를 둘러싼 추론에 있다. 소프트웨어의 정확성에만 집중하는 검토 과정은 더 중대한 실수를 놓칠 수 있다.

유용한 실험 기록은 시스템이 무엇을 예상했는지, 무엇을 바꿨는지, 어떤 증거가 그 결론을 정당화했는지를 보존한다. 또한 불확실성과 인간의 개입도 식별해야 한다. 이러한 구조는 결과가 통용되는 관행이 되기 전에 이견을 제기할 수 있게 한다.

같은 논리는 AI 연구소 밖에도 적용된다. 자율 연구 주장을 평가하는 기업 팀은 내부 연구소의 진전과 고객 제품에서 이용 가능한 역량을 구분해야 한다. 공급업체의 성공적인 연구 워크플로가 기업 배포를 자동으로 설명하는 것은 아니다.

구매자는 위임할 특정 업무에 관해 물어야 한다. 후보 분석을 생성하는 일은 운영 변경을 선택하고, 적용하며, 그 결과를 점검하는 일과 다르다. 추가되는 책임 하나하나가 승인에 필요한 증거를 바꾼다.

소프트웨어 팀의 경우, 적절한 평가는 시스템이 성능 저하를 조사하고 근거 있는 수정안을 제안할 수 있는지를 검토할 수 있다. 평가는 실패한 접근법과 검토자에게 부과된 부담을 포함해야 한다. 잘 다듬어진 시연만으로는 그러한 비용이 분명하지 않다.

지식 근로자에게 당면한 과제는 주장과 증거 사이의 연결을 보존하는 것이다. 간결한 요약은 결론이 실험, 기업의 발표, 혹은 전망 중 어디에서 나왔는지를 흐릴 수 있다. 이 범주들은 서로 다른 수준의 신뢰를 받을 만하다.

검색 가능한 지식 베이스를 유지하면 팀이 실험 보고서, 기술적 결정, 뒷받침 문서를 보존하는 데 도움이 될 수 있다. 목적은 가정이 바뀔 때 추론을 검토 가능하게 만드는 데 있다.

이는 인력이나 지출에 관한 예측이 아니라, 실험 가속화가 낳는 실질적 함의다. 조직은 특정 도래 시점이 맞다고 가정하지 않고도 검토 프로세스를 점검할 수 있다. 이 작업은 다양한 결과 범위에서 계속 유용하다.

따라서 가장 강력한 조달 질문은 구체적이다. 이 시스템은 실제 워크플로 안에서 무엇을 신뢰성 있게 완료할 수 있는가? 재귀적 AI 개선에 대한 광범위한 주장은 맥락을 제공한다. 고객이 위임하려는 업무에 관한 증거를 대체할 수는 없다.

AlphaEvolve는 명확한 경계를 갖춘 작동하는 피드백 순환을 보여준다

Google DeepMind는 구체적인 비교 사례를 제공한다. 자동화된 알고리즘 개선은 신중하게 규정된 평가 과정 안에서 작동하면서도 유용할 수 있다.

DeepMind의 알고리즘 발견 연구는 코드 변경을 제안하고 평가자 피드백을 활용해 알고리즘을 개선하는 AlphaEvolve를 설명한다. 연구진은 데이터센터 스케줄링, 하드웨어 설계, 모델 학습 효율 분야에 적용했다고 보고했다.

이 연구는 AI가 AI를 뒷받침하는 인프라에 기여하는 관련 사례를 제공한다. 논문에 따르면 AlphaEvolve는 시스템 자체의 기반이 되는 모델 학습을 가속했다. 보고된 결과는 특정 최적화 과정에 관한 것이며, 후속 개발 전체를 자율적으로 주도한다는 뜻은 아니다.

이 비교는 작동 방식과 더 큰 예측을 구분하는 데 도움이 된다. 피드백 루프는 반복적으로 변경을 제안하고, 결과를 측정하며, 개선 사항을 유지할 수 있다. 이것이 더 폭넓은 자기개선을 뒷받침하는지는 평가자가 무엇을 측정하고 무엇이 그 범위 밖에 있는지에 달려 있다.

신뢰할 수 있는 정확성 테스트와 명확히 측정되는 실행 시간을 갖춘 최적화 과제를 상상해 보자. 후보 프로그램은 테스트를 통과하지 못하면 제외할 수 있다. 유효한 후보 가운데에서는 더 빠르게 실행되는 프로그램을 선호할 수 있다.

이 구조는 탐색에 유용한 방향을 부여한다. 평가자는 어떤 변경이 도움이 되는지에 관한 정보를 제공하고, 시스템은 후보를 탐색한다. 인간의 전문성은 과제 정의, 제약 조건, 측정 방식에 여전히 내재돼 있다.

더 광범위한 연구 프로그램은 더 까다로운 선택을 제시한다. 어떤 변경은 한 행동을 개선하는 반면 평가자가 거의 시험하지 않는 다른 행동을 약화할 수 있다. 연구자는 측정된 향상이 더 큰 목표를 향한 진전을 의미하는지 판단해야 한다.

이는 범위가 제한된 최적화의 가치를 줄이지 않는다. 구성 요소를 개선하면 모든 과학적 또는 조직적 문제를 해결하지 않더라도 실질적인 이점이 있을 수 있다. 정확한 경계는 결과를 평가하고 재현하기 쉽게 만든다.

이 구분은 기업 간 오해를 부르는 비교도 막아 준다. Anthropic과 Google DeepMind가 동일한 시스템을 사용할 필요는 없다. 두 기업의 작업은 신뢰할 수 있는 평가 아래 연구 판단을 얼마나 위임할 수 있는지라는 같은 질문을 조명할 수 있다.

재귀적 AI 개선에서는 시스템이 자체 개발 과정에 영향을 미칠 수 있을 때 평가자가 특히 중요해진다. 같은 시스템이 성공의 정의를 조용히 바꿀 수 있다면 좋은 점수의 의미는 줄어든다. 결과를 해석하려면 독립적인 검증이 필요해진다.

따라서 설득력 있는 시연은 어떤 부분이 고정돼 있었고 어떤 부분을 시스템이 바꿀 수 있었는지 설명해야 한다. 누가 평가를 통제했는지와 후속 시스템을 어떻게 시험했는지도 기술해야 한다. 이런 세부 사항이 피드백 루프가 무엇을 입증하는지 결정한다.

주목할 만한 경쟁 신호는 비교 가능한 제약 아래 문서화된 개선이다. 시스템이 더 넓은 책임을 맡을수록 자율성에 관한 주장은 더 구체적이어야 한다. 이러한 구체성은 독자가 의미 있는 진전과 용어 변경을 구분하는 데 도움이 된다.

인간 감독은 여전히 지원과 완전한 자율성을 가르는 기준이다

Anthropic의 자체 측정치는 상당한 위임을 보여주면서도 AI 주도 작업과 완전 자율 연구 사이의 분명한 구분을 유지한다.

Anthropic은 연구 자동화 측정에서 2026년 8월 기준 Claude가 자사 연구개발 업무의 26%를 주도했다고 보고했다. Anthropic의 정의에 따르면 AI 주도 작업에도 인간 감독은 여전히 포함된다.

이 회사는 측정된 해당 업무의 어떤 하위 집합에서도 Claude가 완전 자율적으로 작동하지 않았다고도 밝혔다. Anthropic은 연구소 간 비교의 어려움과 다른 모델을 평가하는 데 모델을 사용하는 문제를 인정한다. 이는 여전히 기업이 자체 보고한 측정치다.

이 구분은 예측을 지나치게 확대 해석하는 데 유용한 점검 기준을 제공한다. 고수준 프롬프트에서 과제를 주도한다고 해서 인간이 이를 제한하고, 점검하고, 방향을 바꿀 여지가 사라지는 것은 아니다. 그 역할을 제거하면 검증 대상이 되는 주장이 달라진다.

인간 감독 자체에도 정의가 필요하다. 관련 증거를 검토하는 검토자는 실질적인 통제권을 행사할 수 있다. 불투명한 결론을 받고 시간 압박 속에서 승인하는 검토자의 역할은 더 제한적이다.

따라서 평가는 인간이 실제로 무엇을 하는지 설명해야 한다. 검토자는 실험을 이해하고, 의심스러운 결과물을 살피며, 과정을 중단할 권한이 있는가? 시스템이 이에 따라 행동하기 전에 오류를 찾아낼 수 있는가?

과제들이 서로 의존할 때 이러한 질문은 더 어려워진다. 초기 해석이 이후 실험의 방향을 결정할 수 있어 작은 오류도 중대한 결과를 낳을 수 있다. 최종 보고서만 검토하면 연구 방향이 어디에서 잘못됐는지 놓칠 위험이 있다.

회의적인 관점은 AI 연구 성과가 허상이라고 가정할 필요가 없다. 개별 과제에서의 성공이 더 넓은 과정을 신뢰성 있게 통제하는 능력으로 이어지는지를 묻는다. 이는 전체 워크플로 전반의 증거가 필요한 실증적 질문이다.

오류를 탐지하는 것과 오류에서 회복하는 것 사이에도 차이가 있다. 시스템은 학습이 실패했다는 사실을 인식하면서도 이유를 잘못 이해할 수 있다. 유용한 회복은 원래 목표를 유지하고 눈에 띄지 않는 타협을 도입하지 않아야 한다.

Anthropic의 AI 연구 주장에서는 실패 사례를 공개하는 것이 특히 유익할 수 있다. 독자는 실패가 실행, 해석, 계획 또는 감독과 관련되는지 검토할 수 있다. 각 범주는 서로 다른 남은 장애물을 가리킨다.

동일한 기준은 경쟁사에도 적용돼야 한다. 강력한 공개 시연은 독자가 한계를 추론하도록 맡기지 않고 그 한계를 명시해야 한다. 명확한 경계는 비교의 신뢰도를 높이고 자율성의 의미를 둘러싼 혼란을 줄인다.

Jack Clark의 자기개선 AI 예측은 이러한 미해결 단계가 중요하기 때문에 여전히 예측이다. 성능 향상은 통합과 신뢰성에 대한 불확실성을 남긴 채 기대치를 조정할 근거가 될 수 있다. 두 판단은 모순 없이 함께 성립할 수 있다.

따라서 생산적인 논쟁은 관찰 가능한 행동에 초점을 맞춰야 한다. 시스템은 어떤 결정을 내렸고, 사람들은 어떤 개입을 제공했으며, 어떤 개선이 독립적인 테스트를 견뎠는가? 이러한 질문은 자신감이나 회의론을 측정의 대체물로 취급하는 것보다 더 유용하다.

또 다른 일정 수정안보다 더 중요한 세 가지 신호

다음으로 의미 있는 증거는 독립적 평가, 반복되는 후속 시스템 개선, 효과적인 감독을 연결해야 한다.

향후 몇 달간 주목할 첫 번째 신호는 연구 판단 능력 향상에 대한 독립적 재현이다. 외부 평가는 새로운 과제, 비교 가능한 자원, 명확히 설명된 인간 기준선을 사용해야 한다. 서로 다른 환경에서의 일치는 이러한 향상이 일반화된다는 주장을 강화할 것이다.

재현 연구는 결과가 설정에 얼마나 민감한지도 살펴봐야 한다. 이용 가능한 도구나 과제의 표현을 바꾸면 의존성을 드러낼 수 있다. 합리적인 변경에도 유지되는 능력은 좁은 조건에 묶인 능력보다 더 강한 증거를 제공한다.

결과 재현 실패가 자기개선 논쟁 전체를 결론짓는 것은 아니다. 다만 더 빠른 타임라인을 뒷받침하는 특정 증거는 약화할 것이다. 독자는 각 결과를 보편적 판결로 취급하기보다 그 수준에서 신뢰도를 조정해야 한다.

두 번째 신호는 성공적으로 반복되는, 문서화된 후속 시스템 개발 실험이다. 보고서는 출발 시스템이 무엇을 받았는지, 무엇을 만들었는지, 사람이 얼마나 개입했는지를 보여줘야 한다. 독립적 평가는 후속 시스템이 최적화 목표를 넘어 개선됐는지 입증해야 한다.

추가 주기는 또 다른 중요한 질문에 답할 수 있다. 개선된 후속 시스템은 유사한 제약 아래 지속적인 진전에 기여할 수 있는가? 반복은 재사용 가능한 과정과 성공적인 단발성 실험을 구분하는 데 도움이 될 것이다.

규모와 범위는 계속 명확히 밝혀야 한다. 소규모 모델 시연은 최전선을 발전시키는 시스템과는 다른 것을 입증한다. 두 사례 모두 정확한 보도를 받을 가치가 있으며, 주장은 실제로 시험된 조건에 한정돼야 한다.

세 번째 신호는 위임이 확대돼도 감독이 효과적으로 유지된다는 증거다. 연구소는 검토자가 중대한 오류를 탐지하고 과정을 중단할 수 있음을 보여줘야 한다. 성공적인 연구 결과물만 보고하면 이 질문은 답을 얻지 못한다.

유용한 감독 증거에는 의도적으로 도입한 문제와 이에 대한 시스템의 대응이 포함될 것이다. 독자는 실패가 확산되기 전에 모니터가 이를 포착하는지 살펴봐야 한다. 안전장치에 대한 설명은 그 행동을 시험하는 것보다 정보성이 낮다.

이 세 가지 신호는 이야기를 따라갈 실용적인 방법을 함께 제공한다. 독립적 재현은 일반성을, 반복되는 후속 시스템 개발은 개선 루프를, 감독 테스트는 통제를 다룬다. 세 영역 모두에서의 진전은 더 짧은 타임라인을 뒷받침하는 논거를 강화할 것이다.

불균등한 진전은 더 제한적인 평가를 뒷받침할 것이다. 강력한 실험 계획과 취약한 회복 능력이 함께 나타난다면, 이는 한계가 남아 있는 가치 있는 연구 보조자를 시사한다. 인간의 개입이 큰 성공적 후속 시스템 학습은 완전 자율성과는 다른 이정표를 입증한다.

개발자에게 이 프레임워크는 새로운 도구를 신중하게 평가하는 데 도움이 된다. 기업 구매자에게는 현재 이용 가능한 역량과 미래 시스템에 관한 예측을 구분해 준다. 정책 입안자에게는 단일 날짜에 합의하지 않아도 면밀히 검토할 만한 증거를 제시한다.

Jack Clark의 자기개선 AI 예측을 증거를 더 면밀히 살피는 계기로 활용하라. 원래 주장을 읽고 벤치마크의 한계를 유지하며, 시연과 배포 약속을 구분하라. 다음 발표가 나올 때는 누가 목표를 선택했는지, 누가 결과를 확인했는지, 무엇인가 실패했을 때 누가 개입했는지 물어보라. 시스템이 선호하는 자체 점수가 아니라 독립적인 테스트를 기준으로 후속 시스템을 비교하라. 개선이 반복되는지, 감독이 중대한 실수를 포착하는지 추적하라. 이러한 관찰은 또 한 번 수정된 연도보다 더 탄탄한 판단 근거를 제공할 것이다. 헤드라인의 타임라인을 받아들이기 전에, 성공으로 인정할 공개 증거와 생각을 바꾸게 할 결과를 식별할 수 있는가?