METR 업데이트, AI 코딩과 판단력 사이의 격차 드러내
METR는 2026년 11월 20일 AI 역량 평가를 확대하며, 판단력이 필요한 과제에서는 성과가 약한 반면 전반적으로는 지속적인 지수적 진전이 나타났다고 밝혔다. METR 시간 지평선 업데이트는 측정된 과제 지평선의 두 배 증가 주기를 약 3.6개월로 추정한다. 그러나 이 추세가 AI가 감독 없이 얼마나 오래 안전하게 작업할 수 있는지, 또는 유용한 연구를 독립적으로 이끌 수 있는지를 입증하는 것은 아니다.
정의된 프로그래밍 과제를 완료하는 일과 가치 있는 실험을 선택하는 일은 서로 다른 성공 증거를 요구하기 때문에 이 구분은 중요하다. 프로그램은 테스트를 통과할 수 있지만, 더 큰 목적 자체가 잘못 선택됐을 수 있다. METR의 확대된 평가 모음은 이 경계의 양쪽을 모두 살피며, 에이전트가 명확한 피드백을 받을 때 더 강한 결과를 보인다.
이번 결과는 코딩의 진전이 곧바로 자율 AI 연구로 이어진다는 주장에 압박을 가한다. 동시에 판단력의 약점이 연구 자동화에 장기간의 공백을 보장한다는 반대 가정에도 의문을 제기한다. METR는 상당한 역량, 의미 있는 한계, 그리고 이들 사이의 관계를 측정하기가 점점 더 어려워지고 있음을 확인했다.
METR 시간 지평선 업데이트가 실제로 측정하는 것
이 차트는 에이전트의 안정적인 작업 가능 시간을 측정하는 대신, 인간의 과제 완료 시간을 통해 과제 난도를 추적한다.
시간 지평선은 평가 모음 전반에서 특정 모델 성공률에 대응하는 인간 과제 수행 시간을 뜻한다. 흔히 논의되는 50% 기준에서 모델은 해당 난도의 과제를 약 절반의 확률로 완료할 것으로 예측된다. 이 시간은 모델이 실행에 소비하는 시간이 아니라 인간 기준 작업량을 설명한다.
따라서 METR의 과제 완료 지평선은 에이전트가 근무 시간 전체를 처리한다는 식의 헤드라인보다 더 신중하게 읽어야 한다. 더 긴 지평선은 측정된 과제 분포에서 성능이 더 우수하다는 뜻이다. 사람이 그만큼 오래 걸리는 모든 과제에서 신뢰할 수 있는 성능을 인증하는 것은 아니다.
11월 보고서는 기존의 소프트웨어 중심 평가를 AI 연구·개발과 관련된 역량을 겨냥한 과제로 확장했다. 결과는 Anthropic의 Opus 5.5와 OpenAI의 GPT-6 Astra를 포함한 공개 모델을 다룬다. 이 모델들은 에이전트로 작동하며, 즉 도구를 사용하고 부여된 목표를 향해 연속적인 행동을 수행한다.
보고서는 세 가지 별도 평가 모음을 다룬다. Time Horizon 1.1은 222개 과제, MirrorCode는 75개 소프트웨어 복제 과제, TH2는 12개 계열에 걸친 36개 과제로 구성된다. 이 수치는 동일 벤치마크의 상호 교환 가능한 버전이 아니라 서로 다른 과제 집합을 설명한다는 점에서 중요하다.
TH2에는 검증 가능한 결과를 가진 8개 계열과 검증이 더 어려운 연구 또는 판단 관련 4개 계열이 포함된다. 검증 가능한 과제는 평가자가 정의된 목표에 따라 결과를 확인할 수 있다. 판단 과제는 명확하고 빠른 피드백이 없을 때 유용한 선택을 요구한다.
Time Horizon 1.1과 TH2를 합친 평가 모음에서 METR는 50% 성공 시간 지평선이 약 3.6개월마다 두 배가 된다고 추정한다. 이는 이 특정 측정 방식에서의 지수적 추세다. 모든 AI 역량이 같은 속도로 향상된다는 의미는 아니다.
더 어려운 과제를 추가하면 차트의 해석도 달라진다. METR는 특정 모델에서 Time Horizon 1.1 단독 결과보다 결합 평가 모음에서 더 낮은 지평선을 보고한다. 테스트를 확장한 뒤 측정치가 낮아졌다고 해서 모델의 역량이 줄었다는 뜻은 아니다.
이 확장은 실질적인 문제에 대응한 것이다. 모델이 향상되면서 이전 과제들은 정보성이 떨어졌다. METR는 구형 평가 모음이 포화 상태에 이르러 더 강한 시스템을 구분하는 능력이 제한됐다고 설명한다. 업데이트된 테스트는 더 어려운 작업과 더 넓은 역량 프로필을 추구한다.
따라서 이번 업데이트는 익숙한 상승선 위의 또 다른 점에 그치지 않는다. 이는 평가자가 그 선에 대해 던질 수 있는 질문 자체를 바꾼다. 핵심 문제는 정의된 과제에서의 향상이 성공의 기준을 식별하는 일 자체가 과제의 일부인 작업으로 확장되는지 여부다.
자율 연구 주장은 다른 시험대에 놓인다
즉각적인 압박은 연구 자율성에 관한 주장에 가해진다. 이 영역에서는 산출물을 만드는 일이 유용한 작업을 제공하는 것의 일부일 뿐이다.
AI 연구에는 구현, 실험, 해석, 그리고 무엇에 추가 노력을 기울일 가치가 있는지에 관한 결정이 포함된다. 한 활동의 진전은 나머지를 대체하지 않고도 팀의 속도를 높일 수 있다. 11월의 결과는 이 구분을 더 이상 외면하기 어렵게 만든다.
METR는 현재의 프런티어 모델이 코딩 및 최적화 과제에서 모집한 숙련된 인간 참가자와 비슷하거나 더 우수한 성과를 보이는 경우가 많다고 보고한다. 최적화란 주어진 제약 아래 특정 점수나 목표를 개선하는 것을 뜻한다. 이런 환경에서는 에이전트가 시도를 비교하고 계속 개선할 수 있는 직접적인 방법이 주어지는 경우가 많다.
에이전트가 더 큰 연구 의제를 선택하지 않더라도 이 강점은 실질적인 의미를 갖는다. 연구자는 실험 우선순위에 대한 책임을 유지하면서 구현을 위임할 수 있다. 구현 역량이 높아지면 팀이 완료하는 작업량도 늘어날 수 있다.
인간 전문가와의 비교는 보편적 우월성 주장을 하기에는 여전히 제한적이다. METR는 모집한 참가자가 각 전문 분야에서 프런티어 연구소 직원과 맞먹는지에 관한 불확실성을 인정한다. 과제가 길어질수록 필요한 전문성과 가용성을 모두 갖춘 사람을 모집하기는 어려워진다.
더 큰 역사적 비교 집단이 존재하는 곳에서는 결과가 뛰어난 인간 성과의 여지도 남긴다. METR는 프로그래밍 최적화 대회에서 모델이 강한 순위를 기록했지만, 일반적으로 최고의 인간 참가자가 여전히 앞선다고 밝혔다. 학습 스크립트 최적화에서도 최상위 기여자들은 가장 강력한 에이전트 실행 결과를 넘어서는 개선을 달성했다.
OpenAI가 11월 18일 공개한 연구 가속 설명은 연구소 내부에서 본 관련 기업 보고 관점을 제시한다. 이 자료는 위임된 연구 과제의 성공률이 상승하고 있지만 활동별 편차가 크다고 전한다. 개발 과정에 관한 OpenAI의 설명에서는 인간이 여전히 핵심 역할을 맡는다.
이 증거는 연구 워크플로 전반에서 자동화가 고르지 않게 진행된다는 그림을 뒷받침한다. 그러나 METR 결과를 대체할 수 있는 검증을 제공하지는 않는다. 내부 업무 과제, 벤치마크 과제, 사후적 성공 평가는 서로 다른 방법을 사용하며 서로 다른 조건을 포착한다.
Anthropic, OpenAI 및 다른 개발사에 더 어려운 질문은 구현이 쉬워진 뒤 무슨 일이 일어나는지에 관한 것이다. 에이전트는 어떤 실험이 불확실성을 의미 있게 줄일지 식별할 수 있을까? 긍정적 결과가 부실한 테스트를 반영할 때 이를 알아차릴 수 있을까?
기술 업무용 에이전트를 평가하는 기업 구매자도 이와 관련된 구분에 직면한다. 명확한 승인 테스트가 있는 성공적 시연은 해당 구체적 사용 사례를 뒷받침한다. 그러나 목표가 모호하거나 요구 사항이 바뀌거나 결과가 늦게 나타나는 과제에 대해서는 증거가 훨씬 적다.
METR 시간 지평선 업데이트는 근본적인 진전을 부정하지 않으면서 이러한 주장에 대한 기준을 높인다. 설득력 있는 자율 연구 설명에는 실행뿐 아니라 방향 설정과 평가에 관한 증거도 필요하다. 코딩 성능은 이 설명의 의미 있는 요소이지만, 보고서는 그것만으로 전체 그림이 완성된다고 입증하지 않는다.
뛰어난 코딩이 판단력 문제를 해결하지는 않는다
METR가 가장 잘 드러낸 실패 사례는 모델이 무엇이 평가를 유용하게 만드는지 결정해야 했을 때 나타났다.
한 TH2 과제는 에이전트에게 모델 역량에 대한 METR의 평가에 도움이 될 평가를 만들도록 요청했다. 이는 작동하는 소프트웨어를 작성하는 것 이상을 요구했다. 제안된 테스트는 METR가 가치 있다고 여기는 질문에도 답해야 했다.
역량 평가 결과에 따르면, 에이전트가 만든 과제 중 유용한 새 평가로서 보고서에 포함할 만한 것은 없었다. 일부 결과물은 유용성에 가까워졌으며, 이는 더 약한 모델보다 진전된 모습을 보여준다. 그러나 점수 체계 안에서의 개선은 METR가 채택하기로 선택한 작업으로 이어지지 않았다.
에이전트들은 대체로 자동 채점되는 최적화 과제를 선호했다. 단기 피드백이 부족한 의사결정이 포함된 과제를 명시적으로 요청한 후속 실험에서도 같은 경향을 보였다. 이 행동은 측정 가능한 도전을 만드는 일과 정보 가치가 있는 연구 질문을 식별하는 일 사이의 불일치를 드러냈다.
METR는 에이전트가 인터넷에 접근할 수 있었음에도 조직이 가장 가치 있게 여길 과제 유형을 독립적으로 조사하지 않았다고도 보고한다. 연구진은 제안된 평가의 배경에서 새로운 위협 모델링이나 특히 통찰력 있는 가설을 관찰하지 못했다. 이는 영구적인 능력 부재의 증거가 아니라 테스트된 설정에서의 관찰이다.
이 구분은 구체적이다. 평가는 정확히 실행되더라도 연구자가 알아야 할 내용을 거의 알려주지 못할 수 있다. 구현 품질과 연구 가치는 둘 다 최종 결과에 영향을 미치지만 별개의 속성이다.
두 번째 실험은 모델이 다른 모델이 만든 평가를 판단할 수 있는지 살폈다. 강력한 판단 모델은 약한 생성 모델을 평가할 때 인간 평가와 더 밀접하게 일치했다. 생성 모델이 비슷하게 강하거나 더 강한 경우, 판단 모델은 지나치게 관대한 점수를 매기는 경향을 보였다.
이 결과는 약한 감독에 대한 흔한 해결책, 즉 다른 AI에게 작업을 검토하게 하자는 방안을 복잡하게 만든다. 검토자는 명백한 결함을 찾아낼 수 있지만 더 그럴듯한 오류는 놓칠 수 있다. 따라서 작성자와 검토자 사이의 일치는 품질을 독립적으로 입증하지 못한다.
METR는 이 패턴에 대해 하나 이상의 설명을 제시한다. 모델에 이런 과제를 평가하는 데 필요한 판단력이 부족할 수 있고, 더 강한 생성 모델이 더 약한 판단 모델을 오도하는 결과물을 만들 수도 있다. 실험은 이 두 가능성을 결정적으로 구분하지 못한다.
더 넓은 메커니즘은 피드백과 관련된다. 강화학습, 즉 점수 체계 아래의 결과에 보상을 주는 훈련은 어떤 시도가 성공했는지에 관한 유용한 신호의 혜택을 받는다. 코딩과 최적화는 테스트나 측정된 성능을 통해 이러한 신호를 제공하는 경우가 많다.
개방형 연구에서는 그 피드백이 늦어지거나 얻는 데 큰 비용이 들 수 있다. 유망한 제안도 상당한 실험 뒤에야 실패할 수 있다. 겉보기에는 비생산적인 방향도 연구자가 간과된 가정을 찾아내면 유용한 것으로 드러날 수 있다.
이 보고서는 판단력과 코딩이 근본적으로 분리된 능력이라고 입증하지는 않는다. METR는 일부 머신러닝 최적화 과제에서 유용한 모델 판단력의 증거를 관찰했다. 이러한 성공은 역량이 약한 판단력 결과가 시사하는 것보다 더 멀리 전이될 가능성을 열어 둔다.
따라서 이 반전은 구체적이다. 인상적인 실행 능력이 시스템의 자기 작업 평가를 자동으로 검증하지는 않는다. 모델은 향상될 수 있지만 그 평가는 신뢰할 수 없는 상태로 남을 수 있다. 자율 연구에서는 이 역량들 사이의 관계가 각 점수 자체만큼 중요하다.
더 나은 테스트를 만드는 일은 점점 더 어려워지고 있다
확대된 평가는 현실적인 피드백이 흔히 비용이 많이 들고, 느리거나, 전문가에게 의존한다는 측정 문제를 드러낸다.
METR는 평가를 반복적으로 만들고, 실행하고, 채점하는 데 필요한 노력을 대략적으로 추정하는 지표로 라이프사이클 비용을 도입한다. 이 측정치는 실행과 평가뿐 아니라 개발 및 품질 보증도 포함한다. 이는 인간 과제 수행 시간만으로는 놓치는 제약을 포착하는 것을 목표로 한다.
두 작업은 비슷한 수준의 인간 노동을 요구할 수 있지만, 평가에 따르는 부담은 서로 다를 수 있다. 하나는 자동으로 검증되는 답으로 끝날 수 있다. 다른 하나는 전문가가 추론을 검토하고, 빠진 맥락을 평가하거나, 연구 기여의 중요성을 판단해야 할 수 있다.
그 밖의 부담으로는 복잡한 환경, 컴퓨팅 요구 사항, 모니터링, 긴 피드백 주기가 있다. 테스트에는 보상 해킹, 즉 의도한 목적을 달성하지 않으면서 점수 규칙을 악용하는 행동에 대한 방어도 필요하다. 더 강력한 모델은 이전 평가에서 예상하지 못한 지름길을 드러낼 수 있다.
METR의 데이터셋에서는 인간의 작업 시간을 고려한 뒤에도, 추정된 전체 수명주기 비용이 높은 작업일수록 모델에게 더 어려운 경향이 있다. 이 연관성은 저렴한 평가가 난이도의 중요한 측면을 놓칠 수 있음을 시사한다. 그러나 비용 자체가 성능 저하를 일으킨다는 사실을 입증하지는 않는다.
METR는 연구자들의 평가에 맞춰 보정한 모델 기반 심사 방식을 사용해 수명주기 비용을 추정한다. 이 추정치는 해당 조직의 경험과 제약을 반영한다. 최전선 연구소는 다른 비용 구조에 직면할 수 있으며, 모델 역량의 변화는 평가의 경제성을 바꿀 수 있다.
이 보고서는 고비용 작업과 저비용 작업 하위 집합에서 개선 속도가 비슷하다는 점도 발견했다. 이 단서는 중요하다. 비용이 많이 드는 평가에서 현재 성능이 더 낮다고 해서 해당 평가에서의 발전이 멈췄다는 뜻은 아니다.
인간 기준 측정치에도 한계가 있다. 직접적인 인간 기준선은 보고서의 인간 작업 시간 추정치 중 9%만 뒷받침한다. 나머지 추정치는 전문가 평가, 공개 증거, 외삽에 의존한다.
이는 독자가 어려운 작업에 부여된 시간을 어느 정도 확신을 가지고 해석해야 하는지에 영향을 준다. 추정 기간도 여전히 유용한 정보를 제공할 수 있지만, 관찰된 완료 시간과 같은 증거 기반을 갖지는 않는다. 체계적인 추정 오류는 작업 그룹 간 비교에 영향을 줄 수 있다.
인간 비교에는 AI 보조도 포함된다. METR는 참가자들이 구현에 Sonnet 5를 사용할 수 있도록 허용했는데, 이는 채용을 지원하고 이미 자리 잡은 업무 습관을 수용하기 위해서이기도 했다. 따라서 그 결과 기준선은 보조 없는 인간 성능으로 설명되어서는 안 된다.
검증하기 어려운 작업은 추가적인 주관성을 도입한다. 제안된 평가가 가치 있는지는 METR의 연구 우선순위와 관련 위험에 대한 믿음에 부분적으로 좌우된다. 조직은 그러한 판단이 틀릴 수 있음을 인정한다.
철학 비평 작업은 누구의 판단이 기준이 되는지와 관련된 문제도 제기한다. 모델은 전문가 평가를 기준으로 평가되지만, 일치 여부는 전문가 구성과 그들이 투입할 수 있는 시간에 따라 달라질 수 있다. 이는 결과를 유의미하게 만들지만, 인간 판단을 포괄적으로 측정하는 기준으로 바꾸지는 않는다.
이러한 단서는 METR의 이전 시간 지평 한계를 강화한다. 벤치마크 점수는 직장이나 안전에 관한 주장으로 이어지기 전에 맥락이 필요하다. 업데이트된 평가군은 불확실성을 더하면서 증거의 범위를 넓힌다. 더 나은 범위와 더 깔끔한 측정이 항상 함께 도래하는 것은 아니다.
차트만으로는 연구 도약 시점을 정할 수 없다
지수적 개선이 계속된다고 해서 AI 시스템이 언제 자체 개발을 독립적으로 가속할지 확립되는 것은 아니다.
매력적인 외삽은 측정된 배가 시간을 출발점으로 삼아, 점점 더 긴 과제로 곡선을 연장한다. 이러한 예측은 변하지 않는 추세가 시사하는 바를 보여줄 수 있다. 그러나 동일한 작업, 방법, 관계가 계속 대표성을 유지할 것임을 입증할 수는 없다.
11월 보고서에서는 작업 선택이 이미 적합된 추세에 영향을 미친다. METR는 확장된 평가군의 하위 집합을 분석할 때 서로 다른 결과를 발견한다. 연구자들은 모델이 더 새로운 작업을 통과하기 시작하면서 나타나는 난이도 프로필의 변화를 포함해 몇 가지 가능한 설명을 논의한다.
METR는 문항 반응 이론, 즉 모델 능력과 작업 난이도를 연결하는 통계적 방법을 사용해 구축한 복합 지표인 METR Capability Index도 도입한다. 이는 테스트된 시스템 전반의 성능을 추적하는 또 다른 방법을 제공한다. 그러나 모델링 선택에 대한 의존성을 없애지는 못한다.
이 지수에서 METR는 테스트한 공개 최전선 모델 전반에 걸쳐 뚜렷한 가속이나 감속을 발견하지 못한다. 일부 조건에서는 개발사별 변화가 불확실하게 나타난다. 이러한 결과는 방법론적 결정에 민감하므로, 변화하는 성장률에 대한 강한 주장을 제한한다.
여기서는 지수적 진전과 가속되는 진전의 구분이 중요하다. 어떤 지표는 배가 간격이 짧아지지 않은 채 일정한 간격으로 두 배가 될 수 있다. 상승하는 곡선만으로 새롭게 강화되는 피드백 루프가 입증되지는 않는다.
연구 자동화는 인과적 질문을 추가한다. 연구소가 AI를 사용하는 동안 더 나은 모델이 관찰된다고 해서, 그러한 보조가 없었다면 발전이 어떻게 전개됐을지는 알 수 없다. METR는 빠진 비교가 추세의 원인을 명확히 귀속시키는 것을 막는다고 명시적으로 지적한다.
공개 출시가 보여주는 범위에도 한계가 있다. 공개 모델이 반드시 연구소 내부에서 이용 가능한 가장 강력한 시스템을 대표하는 것은 아니다. 출시 시점의 차이는 근본적인 개발 속도 변화를 감지하려는 시도를 복잡하게 만들 수 있다.
판단 관련 결과 역시 상반된 해석을 뒷받침한다. 유망한 질문과 실험을 선택하는 능력인 연구 감각은 자율 연구를 제약할 수 있다. 반대로, 인간이 계속 방향을 선택하는 동안이라도 검증하기 쉬운 작업에서 충분히 강한 성능이 개발을 가속할 수 있다.
MIT Technology Review의 판단 격차 분석은 연구자들 사이의 이러한 견해 차이를 설명한다. Sayash Kapoor는 연구 감각을 잠재적으로 중요한 병목으로 본다. Najoung Kim은 관찰된 개선을 외삽하는 데 따른 불확실성을 강조한다.
이러한 관점이 문제를 해결하지는 않지만, 현재 증거가 열어 둔 부분을 보여준다. 현재의 판단 약점은 관련 있는 관찰 결과다. 이를 영구적인 장벽으로 간주하려면 보고서가 제시하지 않는 추가 논거가 필요하다.
METR 자체의 입장은 안심과 경고 모두에 대해 신중하다. 공개 증거만으로는 향후 몇 년 안에 AI 연구 가속이 급격히 일어날 가능성을 배제할 수 없다고 말한다. 이는 날짜나 확률을 부여하는 예측이 아니라, 아직 해소되지 않은 가능성에 관한 진술이다.
따라서 METR의 시간 지평 업데이트는 완전한 자율 연구까지의 카운트다운도, 장기간 인간 통제가 유지된다는 보장도 뒷받침하지 않는다. 이는 변화하는 평가 체계 안에서 상당한 진전을 기록한다. 다음 추론에는 연구 과정 자체에 대한 증거가 필요하다.
다음 바이럴 곡선보다 중요한 세 가지 신호
다음으로 유용한 증거는 더 강한 실행력이 더 나은 연구 선택, 신뢰할 수 있는 검토, 지속되는 결과로 이어지는지를 검증해야 한다.
첫 번째 신호는 독립적인 전문가 검토 후 에이전트가 설계한 평가 또는 연구 제안이 채택되는지 여부다. METR의 평가 생성 작업은 구체적인 기준점을 제공한다. 전문가들이 가치 있는 질문에 답하기 때문에 결과물을 사용한다면, 향후 결과는 더 설득력 있어질 것이다.
평가는 기술적으로 정확한 산출물과 연구 의사결정을 바꾸는 기여를 구분해야 한다. 추가 검토자와 더 넓은 작업 범위는 유용성이 한 조직의 선호를 넘어 확장되는지 검증하는 데 도움이 될 것이다. 반복된 성공은 연구 감각이 주요 제약으로 남아 있다는 주장을 약화할 것이다.
채택 없이 개선만 지속된다면 더 제한적인 해석을 뒷받침할 것이다. 에이전트는 그럴듯한 평가를 만드는 능력은 좋아지지만, 유익한 평가를 식별하는 데는 여전히 약할 수 있다. 그러면 완성도 높은 실행과 유용한 방향 사이의 격차는 유지된다.
두 번째 신호는 AI 검토자가 동등하거나 더 강력한 모델의 작업을 평가할 때 보정 능력이 향상되는지 여부다. 보정이란 검토자의 평가가 실제 품질과 신뢰할 수 있게 일치한다는 뜻이다. 11월의 결과는 이 문제에 구체적인 실험적 기반을 제공한다.
유용한 후속 연구는 더 폭넓은 산출물에 걸쳐 모델 평가와 독립 전문가 평가를 비교하는 방식이 될 것이다. 어려운 산출물에서 더 나은 일치가 나타난다면 더 많은 검토를 위임할 근거가 강화될 것이다. 지속적인 과대평가는 더 강한 AI 저자를 단순히 AI 심사자를 추가하는 방식으로 감독할 수 있다는 주장을 약화할 것이다.
에이전트가 전체 연구 프로젝트를 독립적으로 수행하지 못하더라도 이 질문은 중요하다. 팀은 이미 어떤 산출물이 주목할 가치가 있는지, 어떤 산출물이 수정이 필요한지 결정해야 한다. 결함을 놓치면서 자신감 있게 들리는 검토는 인간의 업무량을 없애기보다 옮길 수 있다.
세 번째 신호는 더 강한 인간 기준선과 지연된 결과 확인을 갖춘 더 폭넓은 평가다. 더 많은 직접 기준선은 추정 작업 시간에 대한 신뢰를 높일 것이다. 산출물이 사용된 뒤 어떤 일이 일어났는지 평가하면 단기 점수가 지속적인 가치를 포착했는지 검증할 수 있다.
연구소 보고서에서 중요한 구분은 활동을 더 많이 하는 것과 더 나은 연구를 생산하는 것 사이에 있다. 추가 코드나 실험은 진전을 뒷받침할 수 있지만, 그 가치는 어떤 질문을 다루는지에 달려 있다. 에이전트의 기여를 검증된 결과와 연결하는 증거는 자율 연구의 근거를 강화할 것이다.
이는 발표된 출판 약속이 아니라 앞으로 몇 달 동안의 관찰 우선순위다. 새로운 모델 출시만으로는 이를 해결할 수 없다. 중요한 변화는 역량 측정치와 그 측정치가 나타내는 의사결정 및 결과를 연결하는 더 강한 증거가 되는 것이다.
기술 업무에서 AI를 사용하는 팀이라면, 실무적 대응은 그 연결을 보존하는 것이다. 원래 과제, 수용 기준, 산출물, 전문가 평가를 함께 이용할 수 있도록 유지하라. 검색 가능한 지식 기반은 겉보기에 성공한 결과가 새로운 요구 사항과 마주할 때 나중의 비교를 지원할 수 있다.
METR 시간 지평 업데이트를 그 곡선 뒤에 있는 작업과 한계와 함께 읽어야 한다. 그 궤적을 업무에 적용하기 전에 무엇이 성공으로 간주되는지, 누가 이를 검증할 수 있는지 파악하라. 즉시 테스트할 수 있는 과제와 결과가 나중에 나타나는 결정을 구분하라. 그런 다음 자신의 증거가 완료된 작업, 유용한 작업, 혹은 그저 설득력 있는 산출물 중 무엇을 측정하는지 물어보라. 이러한 구분은 모델이 개선되더라도 계속 가치가 있을 것이다. 다음으로 헤드라인을 장식할 점수는 주목할 만하지만, 더 조용한 결과도 중요하다. 즉, 에이전트가 가치 있는 질문을 선택하고, 타당한 답을 만들며, 독립적인 검토를 통과하는 것이다. 이 연결 고리 가운데 현재의 평가는 실제로 어느 부분을 검증했는가?



