GDPx 벤치마크, 고부가가치 AI 업무를 겨냥하다: 최고 점수는 12%
SemiAnalysis는 2026년 11월 2일 GDPx 벤치마크를 출시했으며, 최고 순위 모델은 11개 분야에서 12%를 기록했다. 이 결과는 최첨단 AI 개발자들에게 까다로운 새로운 기준점을 제시한다. 또한 평가 자체에 대한 질문도 제기한다. 테스트는 오늘날의 경제를 반영해야 할까, 아니면 최첨단 AI 지출을 끌어들일 것으로 예상되는 전문 업무를 반영해야 할까?
SemiAnalysis에 따르면 GDPx는 고도화된 AI가 특히 매력적인 수익을 제공할 수 있는 영역에 초점을 맞춘다. 그 범위는 칩 설계와 과학 연구부터 금융, 법률 업무, 소프트웨어 엔지니어링까지 이른다. 이러한 선택은 이 벤치마크가 현재 역량의 측정인 동시에 미래 수요에 관한 주장임을 보여준다.
OpenAI의 GDPval과의 대비는 중요하다. GDPval은 직업과 경제적으로 중요한 산업을 통해 전문 업무를 표본화하는 반면, GDPx는 최첨단 지능이 어디에 활용되어야 하는지에 대해 다른 판단에서 출발한다. 개발자와 기업 구매자에게 이 접근 방식들은 서로 다른 질문에 답한다. 어느 쪽이든 헤드라인 점수 하나만으로는 에이전트가 회사의 실제 업무량을 신뢰성 있게 처리할 수 있음을 입증하지 못한다.
GDPx 벤치마크는 전문 업무를 중심에 둔다
SemiAnalysis는 자사의 최첨단 역량 벤치마크를 경제적으로 가치 있는 기술 및 전문 분야를 아우르는 시험으로 설명한다. 발표문은 현재 경제 활동의 대표 표본보다 고도화된 AI가 가져올 것으로 예상되는 기회를 명시적으로 우선시한다. 독자들이 순위를 해석하기 전에 이해해야 할 결정이 바로 이것이다.
GDPx는 경제 전체의 자동화를 측정하는 대신, 가치 있는 최첨단 업무에 대한 선별된 관점을 시험한다.
이 구분은 성공의 의미를 바꾼다. 강력한 결과는 벤치마크가 선택한 환경 안에서의 성과에 관한 주장을 뒷받침한다. 그것이 모든 직업, 비즈니스 프로세스, 고객 상호작용 전반의 폭넓은 역량을 입증하는 것은 아니다. 마찬가지로 약한 결과가 모델이 더 좁은 범위의 지원에 가치가 없다는 뜻도 아니다.
엔지니어가 설계를 검토하도록 돕는 것과, 수용 가능한 엔지니어링 결과물을 독립적으로 제공하는 것의 차이를 생각해 보자. 전문 인력이 부족한 맥락을 보완하고, 실수를 포착하며, 추가 조사가 필요한 사항을 결정할 때 지원은 여전히 유용할 수 있다. 자율 실행은 시스템 자체의 선택에 더 큰 책임을 부여한다.
까다로운 에이전트 업무를 겨냥한 벤치마크라면 이 차이를 드러내야 한다. 목표를 향해 행동하는 AI 시스템을 뜻하는 에이전트는 그럴듯한 설명을 만들어내는 것 이상을 해야 한다. 유용한 행동을 선택하고, 피드백을 해석하며, 초기 접근이 실패했을 때 회복할 수 있어야 한다.
따라서 완료 기준은 특히 중요하다. 매끄러운 답변은 해결되지 않은 의존성이나 뒷받침되지 않은 가정을 감출 수 있다. 반대로 어색하게 제시된 결과물도 기술적으로는 정확한 작업을 담고 있을 수 있다. 독자들은 점수를 전문적 유용성의 증거로 받아들이기 전에 평가가 어떤 특성에 보상하는지 알아야 한다.
이번 출시는 AI 개발자들에게 실패를 조사할 수 있는 공통의 장을 제공하기도 한다. 어려운 과제는 계획, 도구 사용, 검증 또는 전문 추론의 약점을 드러낼 수 있다. 이러한 약점에는 서로 다른 개입이 필요하다. 지침을 개선한다고 해서 부족한 기술적 역량이 반드시 해결되는 것은 아니며, 더 강력한 모델이 끊어진 도구 연결을 자동으로 복구하는 것도 아니다.
따라서 구매자에게 당장의 가치는 진단에 있다. 이 벤치마크는 제안된 도입 환경에 관해 물어볼 만한 질문을 만든다. 어떤 과제가 의도한 워크플로와 닮았는가? 검토자가 포착할 실패는 무엇인가? 어떤 실수가 이후 단계의 문제를 일으킬 때까지 보이지 않을 것인가?
이 질문들이 순위와 함께할 때 GDPx 벤치마크는 더 유용해진다. 그 점수를 보편적 척도로 취급하면 평가에 정체성을 부여하는 분야 선택을 버리게 된다.
12% 선두 모델은 구매자가 물어야 할 질문을 바꾼다
공개된 에이전트 성능 리더보드에는 Claude Opus 5.5가 12.0%, Gemini 4 Carbon이 10.9%, GPT-6 Astra가 9.6%로 올라와 있다. 이 평가는 분야를 동일한 비중으로 반영하고, 각 분야 내 파트너도 동일한 비중으로 반영한다. 과제는 이진 또는 연속 채점 방식을 사용하며, 점수는 세 번의 시도에 걸쳐 평균을 낸다.
헤드라인 백분율은 이 평가의 채점 체계를 설명할 뿐, AI가 자동화할 수 있는 사무 업무의 비중을 뜻하지는 않는다.
연속 채점은 성공 또는 실패만으로 판단하지 않고 부분적인 공로를 부여한다. 이 방식이 이진 채점과 함께 사용될 경우, 독자들은 집계 점수를 단순 완료율로 가볍게 옮겨 해석하지 않아야 한다. 백분율이 무엇을 나타내는지는 채점 규칙이 결정한다.
동일한 분야 가중치는 또 다른 해석상의 경계를 만든다. 헤드라인 수치에서 한 분야가 차지하는 비중은 특정 구매자에게 그 분야가 얼마나 중요한지를 직접 반영하지 않는다. 반도체 팀과 법무 부서는 같은 평가를 검토한 뒤에도 합리적으로 서로 다른 시스템을 선호할 수 있다.
그렇다고 공통 점수의 가치가 약해지는 것은 아니다. 집계는 폭넓은 비교를 더 쉽게 훑어볼 수 있게 한다. 문제는 편의성이 세부 검토를 대체할 때 발생한다. 조달 결정에는 관련 분야의 결과, 과제 조건, 허용 가능한 실패 양상이 필요하다.
기술 문서 검토용 에이전트를 평가하는 회사를 상상해 보자. 구매자는 완전한 답변을 빠르게 만드는 것보다 누락된 증거를 인식하는 능력을 더 중요하게 볼 수 있다. 다른 회사는 모든 결과물이 이미 전문가 검토를 거치기 때문에 초안 작성 속도를 우선할 수 있다. 이들이 선호하는 시스템이 같을 필요는 없다.
낮은 집계 점수에도 여러 가능한 설명이 남는다. 과제가 시스템에 없는 지식을 요구할 수도 있고, 도구가 수행할 수 없는 행동을 요구할 수도 있으며, 시스템이 유지할 수 없는 조정을 요구할 수도 있다. 평가는 그 원인을 즉시 식별하지 못하더라도 성능 격차를 드러낼 수 있다.
따라서 다음으로 유용한 질문은 시스템이 어디에서 진전을 멈췄는지다. 목표를 오해했는가? 잘못된 도구를 선택했는가? 대부분의 단계를 마쳤지만 최종 검증에 실패했는가? 이러한 구분은 고립된 순위보다 구현에 더 중요하다.
구매자는 부분적 유용성과 독립적 신뢰성도 분리해야 한다. 어려운 과제를 끝내지 못하는 시스템도 가치 있는 중간 산출물을 만들 수 있다. 자격을 갖춘 사람이 모든 작업을 다시 수행하지 않고도 그 산출물을 평가할 수 있다면, 이는 잠재적인 지원 활용 사례가 될 수 있다.
반대의 문제도 똑같이 주목할 만하다. 완성된 것처럼 보이는 결과물은 누구든 신뢰하기 전에 광범위한 검토가 필요할 수 있다. 검증이 주된 업무가 된다면, 겉보기 자동화는 노력을 줄이기보다 옮기는 결과를 낳을 수 있다.
따라서 GDPx 결과는 수용 기준을 더 명확히 해야 한다. 도입 제안에는 만족스러운 작업의 정의, 검토 절차, 뒷받침되지 않은 결과물을 식별하는 방법이 필요하다. 리더보드는 비교 증거를 제공하지만, 어떤 증거가 충분한지는 조직이 여전히 결정해야 한다.
GDPx와 GDPval의 차이는 무엇을 측정할 것인가에 관한 논쟁이다
OpenAI는 44개 직업에 걸친 업무를 통해 GDPval에서 경제적으로 가치 있는 과제를 도입했다. 공개된 방법론은 과제 선택을 미국 경제 생산에 크게 기여하는 산업과 연결한다. SemiAnalysis는 다른 출발점을 취한다. 최첨단 지능이 특히 매력적인 수익을 제공할 것으로 예상되는 분야를 우선시하는 것이다.
핵심적인 의견 차이는 어떤 모델이 가장 잘 수행하는가보다 먼저, 업무 표본에 관한 것이다.
직업 기반 평가는 확립된 경제 구조 전반에서 AI가 인식 가능한 전문 산출물을 어떻게 처리하는지 묻는다. 최첨단 중심 평가는 고도화된 역량 및 예상 수요와 관련된 선별 영역에서 시스템이 어떻게 수행하는지 묻는다. 이들은 연관된 질문이지만, 답을 서로 바꿔 쓸 수는 없다.
구매자에게 경제적 폭은 한 종류의 관련성을 제공한다. 이는 평가를 기존 역할, 부서, 익숙한 산출물과 연결하는 데 도움이 된다. 기업은 업무 산출물을 알아보고, 그것이 이미 배정하는 과제와 닮았는지 평가할 수 있다.
전문화된 깊이는 또 다른 종류의 관련성을 제공한다. 기술적으로 까다로운 워크플로는 일반적인 산출물의 폭넓은 모음이 놓칠 수 있는 한계를 드러낼 수 있다. 자율 시스템을 전문 환경에 투입하는 팀에게는 그러한 한계를 직접 측정할 필요가 있다.
어느 접근도 벤치마크 설계에서 판단을 제거하지는 않는다. 누군가는 과제를 선택하고, 제공할 맥락을 정하며, 수용 가능한 결과를 정의해야 한다. 경제 범주가 그러한 선택을 중립적으로 만들지는 않는다. 미래 AI 투자와 연관된 부문을 선택하는 경우도 마찬가지다.
그러므로 GDPx와 GDPval은 측정 선택의 비교로 남아야 한다. 더 어려워 보이는 점수가 더 접근하기 쉬운 과제 집합을 자동으로 무효화하는 경쟁이 되어서는 안 된다. 난이도는 묻는 질문과 맞을 때에만 목적을 갖는다.
한 평가는 고도화된 시스템을 구분하기에는 너무 쉬우면서도 일반적인 활용 사례를 이해하는 데는 유용할 수 있다. 다른 평가는 최첨단 시스템을 구분하면서도 일상 업무의 좁은 일부만을 나타낼 수 있다. 둘 다 서로를 대체하지 않으면서 증거에 기여할 수 있다.
METR은 사람이 비슷한 과제를 수행하는 데 필요한 시간과 성능을 연결하는 과제 완료 시간 지평을 통해 또 다른 관점을 제시한다. METR은 자사의 측정이 과제 선택에 의존하며, 직업 전반의 보편적 자동화를 입증하지는 않는다고 주의한다.
이 관점은 과제 난이도와 경과한 기계 실행 시간의 중요한 차이를 부각한다. 에이전트를 더 오래 실행한다고 해서 더 까다로운 업무를 처리할 수 있다는 사실이 입증되는 것은 아니다. 중요한 것은 수용 가능한 결과를 계속 만들어내면서 관리할 수 있는 복잡성이다.
따라서 합리적인 평가 포트폴리오는 서로 다른 관점을 결합할 수 있다. 폭넓은 전문 과제는 범위를 보여주고, 전문 환경은 깊이를 시험하며, 기간 기반 분석은 지속적인 실행을 살핀다. 테스트가 서로 다른 특성을 살피기 때문에, 그 결과 그림에는 의견 차이가 포함될 것이다.
그러한 의견 차이는 유용하다. 다양한 증거를 일반 역량에 대한 하나의 주장으로 압축하는 영업 프레젠테이션을 구매자가 검증할 방법을 제공한다.
분야 선택은 헤드라인이 시사하는 것보다 더 중요하다
공개된 분야별 과제 설명은 GDPx가 대화형 답변을 얼마나 넘어서는지 보여준다. 금융에는 4,000개 파일을 담은 거래 환경이 포함된다. 하드웨어 작업에는 엔지니어링 소프트웨어가 사용되며, 재료과학에는 시뮬레이션된 실험실 장비가 포함된다. 범위에는 에이전트가 정직성을 유지하고 권한을 존중하는지 여부를 뜻하는 정렬도 포함된다.
현실적인 과제 환경이 중요한 이유는 유용한 실행이 맥락, 제약, 검증이 함께 작동하는 데 달려 있기 때문이다.
금융 사례는 정보에 접근하는 것과 이를 올바르게 사용하는 것의 차이를 보여준다. 대규모 문서 모음에는 관련 증거와 주의를 분산시키는 자료가 함께 들어 있을 수 있다. 에이전트는 무엇이 중요한지 식별하고, 상충하는 세부 사항을 조정하며, 증거와 결론 사이의 연결을 보존해야 한다.
가상의 거래 검토에서 어떤 수치를 찾는 일은 작업의 시작일 뿐이다. 검토자는 그 수치의 정의, 보고 기간, 다른 문서와의 관계까지 이해해야 한다. 이런 단서를 생략한 답변은 정확해 보이지만 잘못된 의사결정을 뒷받침할 수 있다.
같은 논리는 엔지니어링에도 적용된다. 설계 제안은 단지 허용 가능한 설계처럼 보이는 데 그치지 않고 실제 제약 조건을 충족해야 한다. 시스템은 성공한 중간 작업과 과제를 충족한 최종 결과를 구분해야 한다.
과학 워크플로에도 비슷한 과제가 있다. 분석을 실행했다고 해서 그 가정이 실험과 일치한다는 사실이 입증되는 것은 아니다. 에이전트는 도구가 무엇을 생성하든 그대로 받아들이기보다 과학적 맥락 안에서 결과를 해석해야 한다.
이 사례들은 전문 환경이 질의응답 테스트에 가려진 약점을 드러낼 수 있는 이유를 설명한다. 시스템은 결과가 누적되는 일련의 의사결정에 맞닥뜨린다. 초기의 오해 하나가 이후에 내부적으로는 일관돼 보이지만 여전히 틀린 결과물을 낳을 수 있다.
또한 환경 설계가 면밀한 검토를 받을 가치가 있는 이유도 보여준다. 인터페이스가 전문 소프트웨어와 닮았다는 이유만으로 과제가 현실적으로 보일 수 있다. 그러나 현실성은 제공되는 정보, 허용된 행동, 결과를 평가하는 기준에도 달려 있다.
독자는 설득력 있는 환경과 그 환경이 실제 업무의 가장 어려운 부분을 포착한다는 증거를 구분해야 한다. 그러한 판단에는 사례와 실패 사례를 살펴보는 일이 필요하다. 도메인 라벨만으로는 이를 입증할 수 없다.
지식 노동자에게 실질적인 함의는 AI 지원 의사결정 주변의 증거 흐름을 보존하는 것이다. 출처 문서, 중간 결론, 검토 메모를 연결해 두면 논란이 되는 결과물을 더 쉽게 조사할 수 있다.
검색 가능한 지식 기반을 구축하는 팀은 내부 평가를 준비할 때도 같은 원칙을 활용할 수 있다. 시스템이 무엇을 보았고 검토자가 왜 그 결과를 승인했는지에 관한 검색 가능한 증거가 필요하다.
이러한 조직적 규율은 외부 벤치마크를 보완한다. GDPx는 엄격한 기준점을 제공하는 한편, 기업 자체의 기록은 성능이 실제 맥락으로 이전되는지를 보여준다.
안전 제한은 역량의 의미를 복잡하게 만든다
SemiAnalysis는 안전 분류기가 사이버 보안, 생물학, 정렬 분야에서 일부 모델의 결과에 영향을 미친다고 말한다. 또한 이들 도메인을 제외한 순위도 논의한다. 안전 분류기는 제한된 요청이나 행동을 식별하는 시스템이며, 그 개입은 에이전트가 시도하고 완료하는 작업에 영향을 줄 수 있다.
차단된 과제, 실패한 시도, 권한 없는 행동은 모두 겉보기 유용성을 낮추더라도 서로 다른 결과를 의미한다.
발행사의 설명은 자동으로 받아들이기보다 출처를 명시해 다뤄야 한다. 낮은 점수만으로 제한이 없는 버전이라면 성공했을 것이라고 입증되지는 않는다. 이를 입증하려면 그 밖의 조건이 비교 가능한 상황에서 거부 행동과 기술적 실패를 분리하는 증거가 필요하다.
이 구분이 중요한 이유는 역량과 이용 가능성이 서로 다른 속성이기 때문이다. 모델이 관련 지식을 보유하고 있어도 허용된 기업 업무에 이를 적용하기를 거부할 수 있다. 해당 구매자에게는 모델의 근본적 역량과 무관하게 그러한 제한이 실질적인 배포 제약이 된다.
다른 시스템은 더 많은 작업을 시도할 수 있지만 더 면밀한 감독이 필요할 수 있다. 진행하려는 의지는 과제 범위를 넓힐 수 있으나, 다른 운영 부담을 만들기도 한다. 구매자는 더 높은 완료 점수를 더 나은 비즈니스 결과로 간주하기 전에 두 속성 모두에 관한 증거가 필요하다.
민감한 도메인을 제외하는 것은 다른 영역의 성능에 관한 더 좁은 질문에 답한다. 제한이 적절했는지, 과제 지침이 충분한 권한을 확립했는지, 시도된 행동이 범위 안에 머물렀는지는 해결하지 못한다.
따라서 해석에서는 정렬이 특히 중요해진다. 성공적인 에이전트는 권한 범위 안에서 목표를 추구해야 한다. 금지된 행동을 통해 결과를 달성한 일이 배포 준비가 되었다는 증거가 되어서는 안 된다.
가상의 보안 평가에서 명시된 애플리케이션을 점검할 권한이 있다고 해서 인접한 인프라를 탐색할 권한까지 자동으로 부여되는 것은 아니다. 권한 없는 행동이 취약점을 찾는 데 도움이 되더라도 이 구분은 중요하다. 조직이 수용할 수 있는 결과에는 평가 경계를 지키는 일도 포함된다.
이는 실제 평가상의 상충 관계를 만든다. 작업이 정당하고 허용된 경우, 테스트는 내용 없는 거부를 보상해서는 안 된다. 동시에 명시적 한계를 무시하는 공격적 실행도 보상해서는 안 된다. 유용한 평가는 이러한 행동을 총점 안에 숨기지 않고 구분해야 한다.
같은 원칙은 보안 밖에서도 적용된다. 에이전트는 누락된 정보를 지어내거나, 가정을 조용히 바꾸거나, 충분한 증거 없이 완료를 주장할 수 있다. 이런 행동은 결과를 생산적으로 보이게 하지만 신뢰성을 약화한다.
기업 구매자에게 관련된 질문은 진전이 어려워질 때 시스템이 어떻게 행동하는가이다. 필요한 정보를 요청하고, 불확실성을 보고하며, 적절한 경계에서 멈추는가? 아니면 겉보기 성공으로 가는 경로를 만들어 내는가?
GDPx 벤치마크는 이 질문들을 기술 성능과 같은 논의의 장으로 가져온다. 독자는 이를 검토할 수 있을 만큼 분리해 살피되, 배포된 시스템은 두 조건 모두를 충족해야 한다는 점을 인식해야 한다.
GDPx 출시 이후 주목할 점
다음으로 유용한 증거는 더 높은 점수가 더 폭넓은 신뢰성, 더 명확한 실패 분석, 또는 익숙한 과제에만 국한된 개선을 반영하는지 설명할 것이다.
첫 번째로 주목할 신호는 대표적인 과제와 결과에 대한 독립적 검토다. 외부 평가가 문서화된 조건에서 광범위한 결과를 재현한다면 신뢰를 높일 수 있다. 중요한 이견이 나오면 환경 차이, 채점 규칙, 접근 조건을 조사할 가치가 생긴다.
독립적 검토를 위해 모든 답변을 공개할 필요는 없다. 벤치마크 설계자는 과제가 학습 자료가 되는 일도 막아야 한다. 유용한 균형은 방법론을 검토하고 의미 있는 비교를 재현할 수 있을 만큼은 공개하되, 향후 결과를 쉽게 조작할 수 있게 만들지는 않는 것이다.
두 번째 신호는 안전 개입과 기술적 실패를 더 잘 분리하는 것이다. 더 명확한 보고는 제한이 순위에 어떤 영향을 미치는지에 관한 주장을 강화할 수 있다. 겉보기 거부에 따른 불이익이 실제로는 관련 없는 실행 문제를 드러낸다면, 안전 시스템이 격차를 설명한다는 해석은 약화될 것이다.
구매자는 실제 시도 수준의 증거를 살펴봐야 한다. 안전 제한에 관한 포괄적 진술은 중요한 질문들을 남긴다. 검토자가 요청된 목표, 허용된 범위, 행동이 바뀐 지점을 확인할 수 있을 때 해석이 개선된다.
세 번째 신호는 낯선 업무로의 이전이다. 새로운 과제 전반에서 유지되는 모델 개선은 더 폭넓은 역량 향상이라는 근거를 강화할 수 있다. 익숙한 평가에만 국한된 개선은 해당 테스트에서의 성능에 관한 더 제한적인 결론을 뒷받침할 것이다.
SemiAnalysis는 GDPx를 3~6개월마다 갱신할 의향이라고 말한다. 앞으로 몇 달 동안 유용한 준비에는 더 명확한 버전 추적과 향후 과제 변경이 비교에 어떤 영향을 주는지에 관한 설명이 포함될 것이다. 해석 가능한 연결 고리 없이 기반 테스트가 바뀐다면 점수 상승의 의미는 줄어든다.
AI 개발자에게 이러한 신호는 리더보드 축하보다 조사를 우선시하게 한다. 유용한 릴리스는 어떤 실패가 어떤 조건에서 덜 빈번해졌는지를 설명해야 한다. 팀이 이를 더 신뢰할 수 있는 실행과 연결할 수 있을 때 더 나은 총체적 성능이 가장 중요해진다.
기업 구매자에게 실질적인 다음 단계는 범위가 제한된 내부 파일럿이다. 관찰 가능한 결과와 자격을 갖춘 검토자가 있는 업무를 선택하라. 수정 사항과 미해결 문제를 기록하면서 에이전트의 출력을 기존 관행과 비교하라. 이 과정은 외부 순위만으로 관련성을 가정하지 않고 직접 검증한다.
내부 파일럿은 어려운 사례를 평균값 속에 묻어버리지 않고 보존해야 한다. 드물지만 중대한 실수는 일상적 자료에서의 빈번한 성공보다 더 중요할 수 있다. 조직은 어떤 오류에 검토, 상향 보고 또는 더 좁은 배포 범위가 필요한지 결정해야 한다.
GDPx 벤치마크를 다음 AI 평가를 위한 검증 가능한 질문들의 집합으로 읽어라. 자신의 업무와 가장 가까운 도메인을 파악한 뒤, 과제가 무엇을 요구하는지와 결과가 어떻게 평가받는지를 살펴보라. 공급업체에 성공 사례와 함께 실패도 설명해 달라고 요청하라. 제한 사항과 사람의 수정 내용을 포함해 그 답변을 검토하는 데 필요한 증거를 보존하라. 접근 범위를 확대하기 전에 이러한 결과를 자체 과제의 작은 표본과 비교하라. 유용한 결과는 신뢰할 수 있는 성능의 경계를 더 명확히 하는 것이다. 워크플로의 어느 부분을 에이전트가 수용 가능한 수준으로 완료할 수 있으며, 어느 부분은 여전히 전문가가 판단을 맡아야 하는가?
