Mercor AI 벤치마크 범위, 미국 노동 시간의 90%를 사각지대에 남겨

Mercor의 새로운 경제 지도에 따르면, Mercor AI 벤치마크 범위는 미국 전체 노동 시간의 약 90%를 의미 있는 수준에서 거의 또는 전혀 포괄하지 못한다. 이 결과는 인공지능과 고용에 관한 수많은 주장 뒤에 깔린 핵심 가정에 의문을 제기한다. 모델 점수는 인상적으로 보일 수 있지만, 미국 전역에서 수행되는 대다수 업무에 대해서는 놀랄 만큼 적은 정보를 제공할 수 있다.

Mercor는 미국 노동시장의 923개 직업에 걸친 18,797개 과업에 대해 29개의 에이전트형 벤치마크를 매핑했다. 이 가운데 범위 기준을 충족한 과업은 924개에 불과했다. 5개 이상의 벤치마크 프롬프트로 대표되는 과업이 하나 이상인 직업은 208개에 그쳤다.

이 격차가 AI가 나머지 업무를 수행할 수 없다는 뜻은 아니다. 연구자들이 그것을 수행할 수 있는지 충분히 측정하지 않았다는 뜻이다. 이는 자동화 결정을 내리는 고용주, 경력 위험을 평가하는 근로자, 노동시장 교란을 예측하는 정책 입안자에게 중요한 구분이다.

온라인 반응은 이 대립을 빠르게 보여줬다. 일부 독자는 이 지도를 AI의 경제적 영향 범위가 여전히 좁다는 증거로 봤다. 다른 이들은 누락된 벤치마크가 역량의 한계가 아니라 측정의 적체를 드러낸다고 주장했다.

따라서 진짜 경쟁 구도는 AI와 인간 노동의 대결이 아니다. 벤치마크에 대한 확신과 복잡한 노동 현실의 대결이다. Mercor의 지도는 경제 전반의 자동화 전망을 뒷받침하는 근거가 자신감 넘치는 많은 예측이 시사하는 것보다 훨씬 빈약하다는 점을 보여준다.

Mercor AI 벤치마크 범위는 AI의 한계가 아니라 시험을 측정한다

핵심 수치는 AI가 수행할 수 없는 업무의 비율이 아니라 측정 격차를 설명한다.

Mercor는 미국 경제의 벤치마크 지도(Benchmark Map)라고 부르는 자료를 구축했다. 이 프로젝트는 29개 AI 평가의 프롬프트를 노동부 직업 분류체계의 과업 설명과 연결한다.

이들 평가는 에이전트형 과업에 중점을 둔다. 에이전트형 과업은 사실 질문에 답하는 대신 모델이 결과물이나 업무 흐름을 완성하도록 요구한다. 예로는 스프레드시트 편집, 소프트웨어 문제 해결, 전문 분석 자료 작성 등이 있다.

벤치마크 지도는 18,797개 직업 과업 가운데 924개가 충분한 대표성을 갖는다고 보고한다. Mercor는 AI 심사 모델이 선정된 벤치마크의 프롬프트 최소 5개와 연결할 때 해당 과업을 포괄된 것으로 분류한다.

이 규칙은 뚜렷한 결과를 낳는다. 923개 직업 중 5개 프롬프트 기준을 통과한 과업을 하나라도 포함한 직업은 208개뿐이다. 22개 직업군 중 6개는 기준을 충족하는 직업이 하나도 없다.

분야별 범위도 크게 다르다. 컴퓨터·수학 직군은 36개 직업 중 29개가 대표된다. 경영·금융 운영 직군은 48개 중 33개에 이르지만, 법률 직군은 7개 중 5개에 그친다.

경제의 다른 영역은 훨씬 빈약하다. 의료 전문가 직군은 89개 직업 가운데 12개가 대표된다. 교육 및 도서관 업무는 62개 직업 중 9개, 건축 및 엔지니어링은 56개 중 19개에 이른다.

이 수치를 모델 성능 점수로 해석해서는 안 된다. 평가 대상 모델의 성능이 낮더라도 한 직업은 포괄될 수 있다. 반대로 상용 시스템이 이미 사람을 지원하고 있더라도 과업은 포괄되지 않은 것으로 나타날 수 있다.

여기서 범위란 포함된 벤치마크가 제한적인 평가를 뒷받침할 만큼 충분한 프롬프트를 제공하는지 여부를 뜻한다. 이는 현재 AI가 할 수 있는 모든 것의 목록이 아니라, 이용 가능한 시험의 목록이다.

이 구분은 공개 토론에서 제기된 한 비판에 답한다. 식당 자동화, 음성 주문, 창고 로보틱스는 Mercor가 선정한 벤치마크 집합에 나타나지 않더라도 존재할 수 있다. 이들이 빠져 있다고 해서 이미 배치된 시스템이 사라지는 것은 아니다.

같은 주의는 반대 방향에서도 적용된다. 모델이 하나의 과업과 관련한 프롬프트를 통과한다고 해서 그에 해당하는 근로자를 대체할 수 있다는 의미는 아니다. 직업에는 판단, 조정, 물리적 행동, 예외 처리, 제도적 책임이 결합돼 있다.

법률 벤치마크는 계약서 초안을 평가할 수 있지만, 고객 상담, 협상, 감독, 법정 업무는 빠뜨릴 수 있다. 눈에 보이는 결과물 하나를 측정한다고 해서 고용주가 변호사를 채용할 때 구매하는 완전한 업무 묶음을 포착하는 것은 아니다.

Mercor는 초기 목록이 잠정적이라고 명시한다. 경제적으로 더 관련성 높은 평가가 등장함에 따라 지도가 확장될 것이라고 설명한다. 이 한계는 결과의 결정성을 낮추지만, 동시에 핵심 발견을 강화한다.

수년간 벤치마크가 빠르게 생산된 뒤에도 평가 생태계는 여전히 경제의 좁은 단면만 관찰한다. 따라서 광범위한 노동 대체에 관한 주장은 이용 가능한 시험을 훨씬 넘어선다.

AI 평가는 왜 가치 있는 디지털 업무에 집중되는가

벤치마크는 업무가 디지털화돼 있고, 비용이 크며, 반복 가능하고, 비교적 채점하기 쉬운 곳에 집중된다.

이 지도의 사각지대는 무작위로 분포하지 않는다. Mercor는 언어 모델에 노출된 것으로 분류되는 과업이 벤치마크 집합에 포함될 가능성이 약 6배 높다는 사실을 발견했다.

이 패턴은 이해할 만하다. 연구자들은 고급 모델 간 차이를 드러낼 수 있는 평가를 원한다. 디지털 지식 업무는 접근 가능한 입력값, 재현 가능한 환경, 그리고 소프트웨어나 전문가 채점자가 검토할 수 있는 결과물을 제공한다.

소프트웨어 엔지니어링은 프로그램을 자동으로 시험할 수 있는 경우가 많아 초기 목표가 됐다. 코드는 컴파일되거나, 테스트를 통과하거나, 정의된 결과를 산출한다. 이런 피드백 고리는 평가와 모델 개선을 더 쉽게 만든다.

재무 분석도 익숙한 디지털 산출물을 만든다. 벤치마크는 원본 문서를 제공하고, 가정을 지정하며, 스프레드시트나 프레젠테이션을 요청할 수 있다. 이후 검토자는 계산, 구조, 결론을 비교할 수 있다.

물리적·대인 업무는 더 까다로운 측정 문제를 만든다. 프롬프트만으로 혼잡한 교실, 예측하기 어려운 정비 현장, 또는 가족과의 민감한 대화를 완전히 재현할 수는 없다.

공식 O*NET 데이터베이스는 연구자들이 이런 업무를 설명하는 데 도움이 되지만, 과업 설명문 자체가 벤치마크 환경은 아니다. 이들은 현실적인 입력값, 도구, 제약, 채점 규칙을 자동으로 생성하지 않은 채 업무를 식별한다.

Mercor의 분석은 임금 총액이 큰 직업의 과업일수록 더 많은 범위를 확보한다는 점도 발견했다. 이 관계는 추정된 AI 노출도를 고려한 뒤에도 유지된다.

이러한 유인은 경제적으로 합리적이다. 비용이 큰 직업의 일부를 자동화하면 더 작은 노동시장에 대한 평가를 구축하는 것보다 잠재적 수익이 더 명확하다. 고객 또한 높은 보상과 연결된 시험에 자금을 댈 이유가 더 크다.

과업의 중요도는 또 다른 선택 효과를 만든다. 한 직업 내에서 가장 중요하다고 평가된 과업은 가장 중요하지 않은 과업보다 벤치마크 범위를 확보할 가능성이 약 6배에서 10배 높았다.

중요한 업무의 우선순위를 높이는 일은 타당하게 들린다. 하지만 직업은 주요 결과물을 가능하게 하는 수많은 작은 활동에 의존하는 경우가 많다. 여기에는 맥락 수집, 요구사항 확인, 승인 조율, 예외 감지, 오해 수정 등이 포함된다.

벤치마크는 프로세스 마지막에 나타나는 문서를 포착할 수 있다. 그러나 그 문서가 정확하고, 제때 제공되며, 신뢰받고, 실제로 활용 가능한지를 결정하는 조직 내 업무까지 포착하는 경우는 드물다.

이는 Hacker News 토론에서 제기된 도어맨 문제와 비슷하다. 문을 여는 일이 핵심 과업처럼 보이지만, 자동화는 그 근로자가 길 안내, 보안 인식, 비공식적 지원도 제공했음을 드러낸다.

지식 업무에도 이와 비슷한 숨은 기능이 있다. 제품 관리자는 단순히 요구사항 문서를 작성하지 않는다. 이 역할에는 상충하는 요구 조정, 이전 결정 기억, 빠진 증거 발견, 약속 확보가 포함된다.

AI는 눈에 보이는 산출물 생성을 가속할 수 있지만, 주변의 제약은 그대로 남긴다. 경우에 따라 더 빠른 생성은 팀이 더 많은 양의 그럴듯한 결과물을 검증해야 하므로 추가적인 검토 업무를 만든다.

그래서 개인 또는 팀 지식 베이스는 또 하나의 고립된 생성 도구보다 더 중요할 수 있다. 병목은 흔히 다른 초안을 만드는 데 있지 않고, 맥락을 복원하고 결정을 검증하는 데 있다.

따라서 벤치마크 집중 현상은 기술적 실현 가능성과 시장 유인을 모두 반영한다. 이는 평가 구축자가 오늘날 신뢰할 만한 시험을 만들 수 있는 곳을 보여줄 뿐, 경제적 변화가 내일 어디에서 멈춰야 하는지를 보여주지는 않는다.

90%라는 결과는 여러 추정 단계를 거쳐 나온다

Mercor의 결과는 공식 노동 데이터와 모델이 생성한 매핑을 결합하므로, 각 단계는 유용한 구조와 추가적인 불확실성을 함께 더한다.

이 프로젝트는 직업, 근로자 특성, 직무 과업을 설명하는 연방 데이터베이스인 O*NET에서 시작한다. Mercor는 923개 직업과 이에 연결된 18,797개 과업 설명문을 사용한다.

그다음 연구자들은 벤치마크 프롬프트를 해당 과업과 연결한다. Mercor는 활동이 겹칠 경우 LLM 심사 모델이 하나의 프롬프트를 여러 직업 과업에 할당할 수 있다고 설명한다.

회사는 자체 APEX 벤치마크에 대해 이 과정을 인간 전문가 라벨과 비교해 검증했다. 그러나 이 검증은 29개 평가 가운데 일부에 적용되며, 포함된 모든 프롬프트에 반드시 적용되는 것은 아니다.

Mercor는 5개의 매핑된 프롬프트를 기준으로 범위를 정의한다. 이 기준은 사례 하나를 충분한 대표성으로 간주하는 일을 막지만, 5개 항목 역시 복잡한 과업에 대해 제한적인 증거만 제공한다.

한 토론 참여자는 사회복지 업무를 예로 들어 이 문제를 지적했다. 13개의 프롬프트가 상담 업무를 기술적으로 포괄할 수는 있지만, 모든 내담자, 법적 제약, 감정적 역학, 부정적 결과를 대표할 수는 없다.

90% 추정에는 한 단계가 더 필요하다. O*NET은 과업의 중요도와 빈도를 기록하지만, 모든 근로자가 각 과업에 투입하는 시간을 완전하게 배분한 자료를 직접 제공하지는 않는다.

따라서 Mercor는 언어 모델을 활용해 과업별 노동 시간 비중을 추정하는 연구를 사용한다. 이를 고용 및 임금 데이터와 결합해 미국 노동 시간이 어떻게 분포하는지 근사한다.

직업별 임금 총액은 추정 고용 규모와 평균 임금으로 계산된다. 모델은 이 총량을 노동 지표로 환산할 때 주 40시간 근무를 가정한다.

그 결과 일관된 경제 지도가 만들어지지만, 직접적인 전국 시간 사용 조사는 아니다. 최종 비율은 과업 정의, 추정 시간 비중, 벤치마크 선정, 프롬프트 매핑, 5개 프롬프트 규칙에 따라 달라진다.

Mercor는 몇 가지 한계를 인정한다. 목록은 불완전하며, 누락된 벤치마크는 겉으로 드러나는 범위를 줄인다. 또한 회사는 소프트웨어 엔지니어링이 집합을 지배하지 않도록 집중적으로 연구된 직업군의 대표성을 제한했다.

이 결정은 폭을 넓히는 대신 인기 범주의 측정 깊이를 낮춘다. 포화된 벤치마크를 제외하면 모델이 이미 잘 수행하는 과업도 가려질 수 있다.

그런 벤치마크를 포함하면 다른 문제가 생긴다. 쉽거나 비현실적인 평가는 실제 배치에 관한 유용한 증거를 제공하지 못한 채 겉보기 경제 범위를 부풀릴 수 있다.

선정 기준에도 판단이 개입된다. “경제적 현실성”은 객관적으로 들리지만, 연구자들은 여전히 어떤 프롬프트가 기업 내부에서 수행되는 업무와 닮았는지를 결정해야 한다.

따라서 90%라는 수치는 명시적인 방법론으로 생성된 추정치로 다뤄져야 한다. 이는 인구조사 결과가 아니며, 경제의 고정된 속성도 아니다.

그러나 이러한 불확실성이 이 프로젝트를 무의미하게 만드는 것은 아니다. 상당한 수정이 이뤄진다 해도 평가 지형은 여전히 불균등할 것이다. 커버리지가 10%에서 15% 또는 20%로 늘어난다고 해서 경제 전반을 볼 수 있게 되는 것은 아니다.

방어 가능한 결론은 더 좁지만 더 중대하다. 기존 에이전트형 벤치마크는 미국 내 대부분의 업무 시간에 대해 확신 있는 판단을 뒷받침하지 못한다.

이 결론은 독자가 리더보드 성과 향상을 해석하는 방식을 바꿔야 한다. 점수 상승은 테스트된 영역 안에서의 진전을 보여줄 수 있지만, 수천 가지 다른 과제는 여전히 검토되지 않은 채 남는다.

더 현실적인 벤치마크도 업무 전체를 포착하지 못한다

새로운 평가는 더 현실적으로 변하고 있지만, 일부 직업 안에서의 현실성은 경제를 대표하는 커버리지와는 다르다.

벤치마크 분야는 이미 상식 퀴즈와 학술 시험을 넘어섰다. 최근의 테스트는 모델에게 보고서를 작성하고, 소프트웨어를 조작하며, 전문 자료를 분석하고, 여러 단계의 과제를 완료하도록 요구한다.

OpenAI의 GDPval evaluation은 이러한 변화를 잘 보여준다. 이 평가는 9개 산업의 44개 직업을 다루며, 모델이 전문적 결과물과 비교해 평가되는 업무 산출물을 만들도록 한다.

GDPval 전체 컬렉션에는 1,320개의 과제가 포함돼 있다. OpenAI는 주요 임금 규모와 연결된 지식 노동을 강조하며 경제적으로 중요한 부문의 직업을 선정했다.

이 접근법은 고립된 추론 문제를 측정하는 것보다 경제적 관련성이 높다. 동시에 Mercor가 지적한 집중 현상도 공유한다. 첫 버전은 가치가 높고 디지털 방식으로 표현 가능한 업무를 우선시한다.

소프트웨어 테스트도 더 좁은 범위에서 같은 패턴을 보인다. 에이전트가 저장소의 문제를 수정할 수 있는지는 측정할 수 있지만, 그 결과가 현업 엔지니어의 모든 책임을 포착하지는 못한다.

엔지니어는 모호한 사고를 조사하고, 기술 부채를 조율하며, 변경 사항을 검토하고, 동료를 지원하며, 불완전한 정보 속에서 결정을 내린다. 이 업무의 상당 부분은 축적된 조직 맥락에 의존한다.

METR의 time-horizon research는 또 하나의 유용한 척도를 더한다. 이는 에이전트가 특정 성공 확률을 보이는 과제의 소요 시간을 추정한다.

METR은 이러한 결과를 일반적인 고용 시간과 동일하게 해석해서는 안 된다고도 경고한다. 평가 과제에는 대체로 시작에 필요한 정보가 포함되지만, 직원들은 이전 대화와 암묵지를 활용한다.

이 차이는 Mercor의 이야기에서 핵심적이다. 벤치마크는 연구자가 채점할 수 있도록 업무를 분리한다. 실제 조직은 사람, 시스템, 역사, 그리고 변화하는 우선순위 전반에 걸쳐 업무를 통합한다.

모델은 명확히 정의된 과제를 완료할 수 있지만, 요구사항이 암묵적으로 남아 있을 때는 실패할 수 있다. 숙련된 분석가만 알고 있는 비즈니스 규칙을 놓치면서도 그럴듯한 스프레드시트를 생성할 수 있다.

배포에는 벤치마크 점수가 흔히 제외하는 비용도 따른다. 직원은 입력을 준비하고, 시스템 접근 권한을 부여하며, 결과를 검토하고, 실패를 처리하고, 책임 소재를 문서화하며, 언제 사람에게 이관해야 하는지 결정해야 한다.

모델의 출력은 후속 업무도 바꿀 수 있다. 코드 생성이 빨라지면 검토와 테스트로 넘어가는 물량이 늘어난다. 콘텐츠 생성이 빨라지면 사실 확인과 승인을 거쳐야 할 자료가 더 많아진다.

이는 측정된 성과 향상이 항상 조직 생산성으로 곧바로 이어지지 않는 이유 중 하나다. 한 단계를 자동화하면 관심은 가장 느리게 남아 있는 제약으로 이동한다.

물리적 과제는 격차를 더욱 넓힌다. remote-work estimate에 관한 연구는 미국 일자리의 37%가 완전히 재택으로 수행될 수 있다고 결론지었다. 나머지 일자리에는 기존 언어 모델 벤치마크가 재현하기 어려운 물리적 요소가 포함된다.

로보틱스는 언젠가 이러한 활동을 더 쉽게 평가할 수 있게 만들 수 있다. 하지만 물리 노동용 벤치마크는 지각, 조작, 안전, 환경 변화, 예기치 못한 상황으로부터의 복구를 모두 나타내야 한다.

시뮬레이션에서의 성공이 병원, 공장, 주방, 공공도로에서의 안전한 수행을 자동으로 입증하지는 않는다. 실패의 비용도 디지털 샌드박스에서 오답을 내는 경우와 크게 다를 수 있다.

따라서 앞으로의 길은 프롬프트를 추가하는 것보다 더 넓다. 벤치마크 설계자는 더 풍부한 환경, 더 긴 워크플로, 인간 협업 측정치, 과제 수행과 경제적 가치 사이의 더 명확한 연결고리가 필요하다.

이 지도가 고용주와 근로자에게 바꾸는 것

이 지도는 자신감 있는 자동화 전망을 약화하는 한편, 더 좁고 워크플로별 평가의 필요성을 강화한다.

고용주는 최첨단 모델의 종합 리더보드 순위에서 출발해서는 안 된다. 유용한 질문은 그 모델이 현실적인 조건에서 조직의 실제 과제를 수행하는지다.

이 평가는 워크플로를 분해하는 것에서 시작한다. 팀은 입력, 도구, 의존성, 승인 요건, 흔한 예외 상황, 그리고 잘못된 결과가 초래하는 영향을 파악해야 한다.

예를 들어 보험금 청구 처리자는 벤치마크 입력과 유사한 문서를 검토할 수 있다. 그러나 실제 워크플로에는 누락된 기록, 정책 변형, 규제 기한, 사기 신호, 고객 커뮤니케이션, 이관 절차도 포함된다.

하나의 정제된 과제에서 보인 성과는 이 전체 사슬에서 시스템의 신뢰성에 대해 거의 말해주지 않는다. 고용주는 모든 중요한 전환 지점을 테스트해야 하며, 특히 오류가 비용 부담을 키우거나 되돌릴 수 없게 되는 지점에 집중해야 한다.

Mercor의 데이터는 직업을 나눌 수 없는 단위로 다루지 말아야 한다는 주장도 뒷받침한다. AI 도입은 대체로 일자리 전체를 없애기 전에 과제 구성을 바꾼다.

어떤 근로자는 초안 작성에 쓰는 시간이 줄고 증거를 검증하는 시간이 늘어날 수 있다. 또 다른 역할은 고객 커뮤니케이션, 예외 처리, 또는 자동화 시스템 간 조정 쪽으로 이동할 수 있다.

이러한 재분배도 고용에 영향을 줄 수 있다. 한 사람이 더 많은 업무를 완료하면 조직은 채용을 줄이거나 인력을 재배치할 수 있다. 하지만 그 영향은 수요, 프로세스 제약, 감독 비용에 따라 달라진다.

근로자도 경력 위험에 같은 과제 수준의 사고방식을 적용해야 한다. 벤치마크 커버리지가 높은 직업이 자동으로 사라지는 것은 아니다. 다만 공급업체가 관련 역량을 측정하고 개선할 수 있기 때문에 더 빠른 실험의 대상이 된다.

소프트웨어 개발자, 금융 분석가, 변호사는 이처럼 관측이 밀집한 영역에 속한다. 이들의 업무는 디지털 산출물을 만들고, 벤치마크 투자를 끌어들이며, 빠른 반복을 뒷받침하는 피드백을 제공한다.

커버리지가 낮은 직업이 영구적으로 보호되는 것도 아니다. 단지 당장의 불확실성이 더 크다. 벤치마크 부족은 어느 방향으로도 강한 결론을 막는다.

이 지도는 낮은 커버리지에 대한 흔한 해석에도 이의를 제기한다. 테스트가 없다고 해서 어떤 과제가 유독 인간적이라는 증거는 아니다. 그 과제가 명세화, 채점, 디지털화 또는 자금 조달이 까다롭다는 뜻일 수 있다.

그러한 장애물도 상업적으로는 여전히 중요하다. 신뢰성 있게 평가할 수 없는 역량은 구매, 거버넌스, 보험 가입, 대규모 배포가 어렵다.

기업 구매자에게 가장 좋은 대응은 내부 사례를 활용한 통제된 평가다. 팀은 모델 출력을 현재 업무와 비교하고, 검토 시간을 측정하며, 실패 유형을 기록하고, 완전한 프로세스 전반에서 성과가 유지되는지 추적해야 한다.

또한 증강과 자율성을 분리해 테스트해야 한다. 전문가가 더 빨리 업무를 끝내도록 돕는 모델은 워크플로 전체를 맡을 수 없더라도 가치를 제공할 수 있다.

반대로 벤치마크에서 단독으로 좋은 성과를 보이는 모델도 회사 내부에서는 거의 도움이 되지 않을 수 있다. 직원들이 절약하는 시간보다 프롬프트 준비, 출력 확인, 통합 실패 복구에 더 많은 시간을 쓸 수 있다.

정책 입안자에게 Mercor의 지도는 증거 문제를 부각한다. 규제, 교육 투자, 노동력 전망에는 폭넓은 모델 지능에 관한 주장 이상의 것이 필요하다.

공공기관에는 대표성 있는 직업 전반을 아우르는 투명한 평가가 필요하다. 이러한 테스트에는 물리 노동, 대민 서비스, 저임금 역할, 그리고 매끄러운 출력보다 책임성이 더 중요한 과제가 포함돼야 한다.

따라서 이 지도가 주는 가장 유용한 메시지는 안심도 경보도 아니다. 제도가 되돌릴 수 없는 결정을 내리기 전에 더 나은 측정을 요구하는 메시지다.

사각지대가 좁혀지는지 보여줄 세 가지 신호

AI 노동 연구의 다음 단계는 커버리지의 폭, 배포 증거, 완전한 워크플로에 대한 신뢰할 만한 테스트로 평가받게 될 것이다.

첫 번째 신호는 Mercor 자체 지도의 확장이다. 이 회사는 현재의 29개 벤치마크 지수를 출발점으로 설명하며, 연구자들에게 추가 평가를 제출해 달라고 요청한다.

새로 추가되는 항목이 직업 커버리지를 의미 있게 넓히는지 지켜봐야 한다. 또 하나의 코딩 제품군은 더 넓은 경제 전반의 불확실성을 줄이지 못한 채 익숙한 영역의 증거만 깊게 만들 수 있다.

더 강력한 업데이트라면 교육, 의료 지원, 행정, 숙련 기술직, 운송, 서비스 업무를 위한 신뢰할 수 있는 벤치마크가 추가될 것이다. 또한 대안적인 커버리지 기준 아래에서 90% 추정치가 어떻게 달라지는지도 보고해야 한다.

확장된 컬렉션 이후에도 수치가 현재 수준에 가깝게 유지된다면, 측정 문제는 구조적이다. 연구자들은 인간 업무의 상당 부분을 반복 가능하고 채점 가능한 에이전트 과제로 옮기는 데 어려움을 겪을 수 있다.

수치가 급격히 하락한다면 헤드라인의 힘은 약해지는 대신 증거 기반은 개선될 것이다. 이는 초기 결과가 지속적인 평가 장벽보다 벤치마크 선택을 더 많이 반영했다는 점을 보여줄 것이다.

두 번째 신호는 독립적인 직장 검증이다. 모델 개발자와 벤치마크 제작자는 점점 더 선별된 과제에서 전문직 수준의 성과를 주장하고 있다.

이러한 주장은 실제 배포 결과와 비교할 필요가 있다. 유용한 증거에는 총 완료 시간, 사람의 검토 노력, 수정률, 예외 발생 빈도, 후속 품질이 포함된다.

핵심 단위는 생성된 산출물이 아니라 완전한 워크플로다. AI가 초안은 더 빨리 완성하지만 검토와 승인을 늘린다면, 조직은 업무를 없앤 것이 아니라 옮긴 것이다.

여러 조직에서 일관된 생산성 향상이 나타난다면 테스트된 역량이 실제 운영으로 이전된다는 주장은 더 강해질 것이다. 결과가 엄격히 통제된 파일럿에만 한정된다면 벤치마크 성공과 경제적 영향 사이의 격차는 유지될 것이다.

세 번째 신호는 순수한 디지털 지식 노동 밖의 평가에서 나타나는 진전이다. 언어 모델은 도구를 지휘할 수 있고, 로보틱스 시스템은 계획을 물리적 행동과 연결할 수 있다.

의미 있는 증거를 얻으려면 다양한 환경과 투명한 실패 보고가 필요하다. 한 곳의 준비된 환경에서 성공한 로봇이 가정, 병원, 창고, 공공장소 전반에서 신뢰할 만한 성능을 입증하는 것은 아니다.

연구자들은 인간 협업도 측정해야 한다. 대부분의 단기 시스템은 직원과 함께 작동할 것이므로, 증강의 품질은 자율적 완료만큼 중요하다.

유용한 벤치마크는 AI가 단지 답을 생성하는지가 아니라 사람이 더 나은 결정을 내리도록 돕는지를 테스트할 것이다. 여기에는 맥락 검색, 불확실성 전달, 수정, 이관이 포함된다.

이러한 신호가 중요한 이유는 Mercor AI 벤치마크 커버리지 격차가 모델 점수 상승만으로는 좁혀지지 않기 때문이다. 평가는 경제의 더 많은 부분을 대표하고 실제 직장 성과를 예측할 때 그 격차가 좁혀진다.

다음 자동화 전망에 어느 정도의 신뢰를 둘지 결정하는 독자라면 세 가지 질문을 해야 한다. 어떤 직업 과제가 테스트됐는가, 얼마나 많은 사람의 지원이 필요했는가, 그리고 측정된 성과 향상이 실제 배포에서도 유지됐는가?

그 답이 일상이 되기 전까지 AI와 고용에 관한 폭넓은 주장은 계속 증거를 앞서갈 것이다. 지도의 확장을 추적하고, 워크플로 수준의 결과를 요구하며, 모든 리더보드를 하나의 좁은 창을 통한 관점으로 받아들여야 한다.