Arm AGI CPU 벤치마크, AMD에 압박 가하지만 1.99배 우위는 모델링 결과
Arm은 새 프로세서가 엄선한 7개 워크로드에서 AMD의 EPYC 9755보다 랙당 거의 두 배 많은 작업을 완료한다고 밝혔다. Arm AGI CPU 벤치마크는 측정된 칩 결과를 서버 전력 가정으로 확장한 뒤 평균 1.99배의 우위를 보고했다.
이 헤드라인은 AMD의 결정적인 패배처럼 들린다. 그러나 기초 결과는 더 제한적인 이야기를 보여준다. Arm은 칩당 평균 1.20배 앞섰으며, 훨씬 큰 랙 단위 우위는 주로 고정된 전력 예산 안에 더 많은 서버를 배치할 수 있다는 점에서 나왔다.
Signal65는 Arm의 의뢰를 받아 테스트를 분석했다. 다만 별도 하드웨어에서 전체 비교를 독립적으로 재실행하지는 않았다. 이 벤치마크는 모델 지능이나 가속기 추론이 아니라 AI 에이전트를 둘러싼 CPU 작업도 평가한다.
따라서 이 결과는 특정한 이유로 중요하다. Arm은 인프라 구매자들에게 소켓 성능을 최종 답으로 간주하기보다, 랙당 완료 작업량을 기준으로 에이전트형 AI CPU를 평가해 달라고 요청하고 있다.
Arm AGI CPU 벤치마크, 경쟁의 초점을 랙으로 옮기다
Arm의 핵심 주장은 모든 AGI CPU가 모든 AMD 프로세서를 소켓 기준으로 거의 두 배 앞선다는 것이 아니다.
rack-scale analysis는 Arm의 프로세서와 AMD의 5세대 EPYC 9755를 비교했다. 도구 실행, 검색, 웹 서빙, 소프트웨어 엔지니어링, 모델 서빙 지원과 관련된 7개 워크로드를 다뤘다.
Signal65는 Arm의 평균 모델링된 랙 성능 비율이 1.99배라고 보고했다. 개별 랙 결과는 워크로드에 따라 1.43배에서 3.19배까지 분포했다.
7개 테스트는 MySQL, NGINX, Milvus, Terminal-Bench 2, SWE-bench 재현, fastText, vLLM CPU 오버헤드였다. 이들은 AI 모델을 둘러싼 소프트웨어 경로의 서로 다른 요소를 대표한다.
MySQL은 트랜잭션 데이터베이스 처리량을 측정한다. NGINX는 웹 및 API 요청 처리를 다루며, Milvus는 에이전트 메모리와 검색을 위한 벡터 검색을 나타낸다.
Terminal-Bench 2는 샌드박스화된 명령줄 환경 안에서 수행되는 작업을 살펴본다. 이 테스트는 72개 작업 유형을 사용하고 128개 복사본을 동시에 실행했다.
SWE-bench 재현은 259개의 소프트웨어 엔지니어링 작업을 다뤘다. 벤치마크는 매 실행마다 모델이 다른 행동을 선택하게 하는 대신, 고정된 워크플로를 재현했다.
이 재현 방식은 AI 에이전트가 비결정적이기 때문에 중요하다. 요청된 작업이 동일해도 두 번의 실행에서 서로 다른 명령, 원격 서비스 지연 또는 모델이 생성한 계획이 포함될 수 있다.
fastText는 CPU 단어 표현 학습을 측정했다. vLLM 테스트는 모델의 주요 연산 작업을 우회하면서 모델 서빙 주변의 프로세서 오버헤드를 측정했다.
마지막 구분은 흔한 오해를 막는다. vLLM 결과는 AGI CPU가 GPU와 비교해 대규모 언어 모델 추론을 얼마나 빠르게 실행하는지를 보여주지 않는다.
Arm의 칩은 칩당 비교 7개 중 5개에서 승리했다. Terminal-Bench에서는 AMD보다 9%, SWE-bench 재현에서는 13%, fastText에서는 97% 앞섰다.
AMD는 두 가지 확립된 인프라 워크로드에서 우위를 유지했다. EPYC 9755는 측정된 칩 수준에서 MySQL이 12%, Milvus가 5% 더 빨랐다.
NGINX는 Arm에 1.20배 비율을 제공했다. vLLM CPU 오버헤드 워크로드에서는 Arm이 1.16배의 결과를 기록했다.
정규화된 7개 비율 전체에서 Arm은 칩당 평균 1.20배의 우위를 보였다. 이 결과는 의미가 있지만, 랙 수준 주장에 붙은 1.99배 수치보다는 훨씬 작다.
랙 모델은 정격 서버 전력을 반영해 비교를 변환했다. AGI CPU 구성에 따라 2소켓 Arm 서버의 전력을 950~1,050와트로 가정했다.
AMD 시스템에는 1,700와트의 정격 전력 추정치를 적용했다. 두 계산 모두 프로세서 열 설계 전력뿐 아니라 메모리와 기타 서버 구성 요소를 포함했다.
네트워킹 및 전력 분배를 위해 24킬로와트 랙 예산의 약 8%를 남겨둔 뒤, 모델은 Arm 서버 21대 또는 23대를 배치했다. 같은 예산에는 AMD 서버 13대가 들어갔다.
이에 따라 모델링된 랙당 물리적 Arm 코어는 5,712개에서 5,888개가 됐다. AMD 랙에는 물리적 코어 3,328개가 포함됐다.
그 결과 밀도 배수는 모든 Arm 워크로드를 랙 수준에서 AMD보다 높게 끌어올렸다. 칩당 기준으로 AMD가 우세했던 MySQL도 랙당 Arm의 모델링 결과는 1.43배가 됐다.
Milvus는 칩당 0.95배에서 랙당 1.54배로 이동했다. SWE-bench 재현은 랙 모델에서 1.13배에서 정확히 2.00배로 상승했다.
fastText는 가장 큰 비율을 기록했다. 측정된 칩 결과 1.97배는 모델링된 랙 결과에서 3.19배가 됐다.
이 수치는 전력 제약을 받는 데이터센터가 총 유용 작업량을 평가해야 한다는 Arm의 주장을 뒷받침한다. 다만 직접 측정된 벽면 전력 조건에서 두 개의 운영 랙이 해당 워크로드를 완료했다는 것을 보여주지는 않는다.
에이전트형 AI가 CPU 작업을 더 눈에 띄게 만드는 이유
AI 에이전트는 가속기 밖에서 상당한 작업을 이동시키며, CPU 용량을 사용자에게 보이는 경험의 일부로 만든다.
기존의 생성형 AI 요청은 모델 추론 중심으로 보일 수 있다. 프로덕션 에이전트는 계획, 검색, 도구 호출, 검증, 상태 관리를 포함하는 더 긴 순서를 수행한다.
GPU 또는 다른 가속기는 여전히 밀집된 신경망 계산을 수행한다. CPU는 주변 실행 경로의 상당 부분을 조정하고 에이전트가 선택하는 많은 도구를 실행한다.
코딩 에이전트는 실용적인 사례를 제공한다. 저장소를 검사하고, 샌드박스를 시작하며, 종속성을 설치하고, 코드를 컴파일하고, 테스트를 실행하고, 실패를 분석할 수 있다.
각 모델 호출은 또 다른 CPU 작업 라운드를 촉발할 수 있다. 수천 개의 에이전트를 동시에 실행하면 컨테이너, 데이터베이스, API, 스토리지, 스케줄링 시스템에 가해지는 수요가 증가한다.
엔터프라이즈 에이전트는 다른 양상을 만든다. 레코드를 조회하고, 내부 서비스를 호출하며, 접근 정책을 적용하고, 응답을 직렬화하고, 워크플로 상태를 갱신하며, 감사 로그를 작성할 수 있다.
검색에는 인덱싱 및 벡터 검색 작업이 추가된다. 모델 서빙은 가속기 주변에서 토큰화, 요청 스케줄링, 배치 처리, 스트리밍, 캐시 메타데이터 관리를 추가한다.
Arm의 evaluation framework는 이 작업을 에이전트 프레임워크 기능과 사용 사례별 도구로 구분한다. 또한 구성 요소 벤치마크와 엔드투엔드 작업 측정도 분리한다.
구성 요소 테스트는 프로세서 동작을 분리하는 데 도움이 된다. 엔드투엔드 테스트는 더 빠른 구성 요소가 더 빠르거나 신뢰할 수 있는 완료 작업으로 이어지는지를 보여준다.
어느 접근법도 단독으로 충분하지는 않다. 특히 모델 지연 시간이 지배적일 때, 프로세서가 데이터베이스 벤치마크에서 앞서더라도 에이전트의 전체 워크플로가 짧아지지 않을 수 있다.
엔드투엔드 결과 역시 성능 격차의 원인을 숨길 수 있다. 서로 다른 모델, 네트워크, 도구 또는 에이전트 결정이 근본적인 프로세서 차이를 압도할 수 있다.
Arm은 이 두 접근법을 연결하는 한 방법으로 재현 가능한 에이전트 궤적을 제안한다. 궤적은 에이전트 세션 중 생성된 작업을 기록하고 각 시스템에서 같은 순서를 실행한다.
이 기법은 모델 결정에서 발생하는 변동을 줄인다. 또한 두 프로세서가 동등한 작업 흐름을 받기 때문에 비교를 더 재현 가능하게 만든다.
그러나 재현은 라이브 시스템의 일부를 제거한다. 이는 인프라가 미리 정해진 경로를 얼마나 빨리 실행하는지 측정할 뿐, 하나의 완전한 에이전트 스택이 더 나은 경로를 찾는지는 측정하지 않는다.
이 경계는 추론과 계획이라는 라벨에 주의가 필요한 이유를 설명한다. 관련 테스트는 기계 추론의 품질이 아니라 그러한 워크플로에 대한 CPU 지원을 측정한다.
동일한 주의는 동시성에도 적용된다. 더 많은 에이전트 환경을 시작하는 서버가 지속적인 활용 상태에서 응답 시간이 무너진다면 자동으로 더 나은 것은 아니다.
Arm의 방법론은 응답성을 유지하면서 완료된 유용 작업을 강조한다. 이 프레이밍은 처리량을 데이터센터가 마주한 물리적 한계와 연결한다.
전력 공급은 그러한 한계 중 하나가 됐다. 냉각 용량과 랙 공간 역시 칩 가용성과 관계없이 운영자가 배포할 수 있는 프로세서 수를 제한한다.
이런 조건에서는 소켓당 우위가 항상 최상의 시설 수준 결과로 이어지지 않는다. 지원 서버가 훨씬 많은 전력을 소비하면, 어느 정도 더 빠른 프로세서도 랙 규모에서 밀릴 수 있다.
반대로 선택된 칩 수준 테스트에서 패하더라도 더 효율적인 서버는 더 큰 총 용량을 만들 수 있다. Arm의 MySQL 및 Milvus 결과는 자사 모델 안에서 그 가능성을 보여준다.
Arm은 Fujitsu, Meta, OpenAI의 지원을 받아 이 방법론을 개발했다. 이들의 지원은 더 대표적인 CPU 측정에 대한 관심을 시사하지만, 프레임워크를 업계 표준으로 만들지는 않는다.
Meta는 프로덕션 에이전트가 워크로드가 하위 인프라를 어떻게 활용하는지에 대한 더 큰 가시성을 요구한다고 말했다. OpenAI는 오케스트레이션과 도구 실행을 대표적인 벤치마킹이 필요한 영역으로 강조했다.
Fujitsu는 이 노력을 고성능 Arm 기반 프로세서 개발과 연결했다. 세 관점 모두 더 나은 측정을 지지하지만, 각 조직은 Arm 기반 인프라에도 이해관계를 갖고 있다.
프레임워크 자체도 아직 완성된 벤치마크 스위트가 아님을 인정한다. 워크로드 범주와 측정 경계를 정의하지만, 점수 산정과 더 폭넓은 합의는 해결되지 않은 채 남겨둔다.
이 구분은 핵심적이다. Arm은 논쟁을 구조화하는 방식을 제안한 다음, 그 제안에 맞춘 테스트를 사용해 유리한 결과를 발표했다.
1.99배 결과는 2배 칩 승리가 아니라 밀도에서 나온다
Arm AGI CPU 성능의 이야기는 압도적인 소켓 수준 성능보다 모델링된 배포 밀도에 더 크게 의존한다.
Arm은 모든 워크로드에서 같은 하드웨어를 사용할 수 없었기 때문에 두 가지 AGI CPU 구성을 테스트했다. Terminal-Bench 2와 SWE-bench는 DDR5-7200 메모리에서 2.8 GHz로 작동하는 128코어 칩을 사용했다.
나머지 5개 워크로드는 DDR5-8000에서 3.2 GHz로 작동하는 136코어 AGI CPU를 사용했다. AMD의 비교 시스템은 DDR5-6400을 탑재한 128코어 EPYC 9755 소켓 하나를 사용했다.
두 플랫폼은 같은 벤치마크 스크립트를 실행했다. 다만 동일한 소프트웨어 환경에서 실행되지는 않았다.
대부분의 Arm 테스트는 맞춤형 Linux 7.1.3 빌드를 탑재한 Ubuntu 24.04를 사용했다. SWE-bench 테스트는 Ubuntu 26.04를 사용했다.
AMD의 주요 기록 구성은 Ubuntu 24.04와 Linux 6.8을 사용했다. 일부 설정도 테스트별로 달랐다.
소프트웨어 차이는 컴파일러 동작, 스케줄링, 드라이버, 애플리케이션 성능에 영향을 줄 수 있다. 따라서 모든 격차를 프로세서 아키텍처만으로 돌리기 어려워진다.
서버 전력 모델은 또 다른 중요한 구분을 만든다. Signal65와 Arm은 부하 상태의 완전한 프로덕션 랙을 측정하는 대신 정격 수치를 사용했다.
정격 전력은 여전히 용량 계획에 유용하다. 일반적인 소비량이 더 낮더라도 운영자는 랙의 전기 및 냉각 설계를 초과하는 장비를 설치할 수 없다.
하지만 정격 전력은 워크로드별 소비량과 차이가 날 수 있다. 어떤 시스템은 한 애플리케이션에서 정격 최대치보다 적게 소비하고, 다른 애플리케이션에서는 그 수준에 근접할 수 있다.
실제 전력은 메모리 구성, 스토리지, 네트워킹, 냉각, 전원 공급 장치, 펌웨어, 시스템 관리 정책에도 좌우된다. 서버 수가 헤드라인을 좌우할 때 이런 변수는 중요해진다.
메모리 가정도 보고된 우위를 바꿨다. Arm의 주요 모델은 하드웨어 스레드당 4 GB를 할당했다.
AMD의 동시 멀티스레딩은 물리적 코어당 두 개의 하드웨어 스레드를 제공한다. Arm의 테스트 설계는 코어당 하나의 스레드를 사용한다.
이 선택은 모델링된 AMD 서버에 약 2 TB의 메모리를, Arm 서버에 약 1 TB의 메모리를 제공했다. AMD 메모리에는 336와트, Arm 메모리에는 192와트를 할당했다.
Signal65는 물리 코어당 메모리를 할당하는 시나리오도 계산했다. 이 대안에서는 AMD가 더 적은 메모리 전력을 필요로 했고, Arm의 평균 랙 우위는 1.99배에서 약 1.81배로 줄어들었다.
그럼에도 Arm은 모델상 상당한 우위를 유지했다. 이 감소는 합리적인 용량 계획 선택이 최종 수치를 크게 바꿀 수 있음을 보여준다.
메모리 용량은 단순한 벤치마크 세부 항목이 아니다. 일부 에이전트 배포 환경은 대규모 인덱스, 캐시, 상태 저장소 또는 동시 실행 환경을 유지한다.
메모리가 더 많은 서버는 더 고밀도이지만 용량이 낮은 구성으로는 효율적으로 호스팅하기 어려운 워크로드를 지원할 수 있다. 따라서 구매자는 정규화된 처리량뿐 아니라 실제 사용 가능한 시스템 용량을 비교해야 한다.
AMD의 EPYC 9755는 128개의 물리 코어와 256개의 스레드를 지원한다. 또한 범용, 데이터베이스, 가상화, AI 호스팅 워크로드 전반에 사용되는 폭넓은 서버 플랫폼에 속한다.
Arm의 AGI CPU는 보다 구체적인 가치를 겨냥한다. 고밀도 Arm 코어와 상당한 메모리 대역폭 및 AI 인프라용 I/O를 결합한다.
이러한 특화가 어느 한 아키텍처를 보편적으로 더 우수하게 만드는 것은 아니다. 더 나은 선택을 결정하는 제약 조건이 달라질 뿐이다.
고정된 전력 한도에 직면한 클라우드 운영자는 랙당 완료 작업 수를 우선시할 수 있다. 데이터베이스 구매자는 소켓당 성능, 소프트웨어 성숙도, 메모리 용량 또는 라이선스 동작을 중시할 수 있다.
AI 클러스터 운영자는 고가의 가속기를 계속 가동하는 데 관심을 둘 수 있다. 더 빠른 CPU 측 준비와 오케스트레이션은 가속기 유휴 시간을 줄일 수 있지만, 이 테스트는 완전한 가속기 기반 워크플로를 측정하지 않았다.
따라서 Arm AGI CPU와 AMD의 비교는 헤드라인이 시사하는 것보다 범위가 좁다. 이는 선택된 CPU 가시 작업과 모델링된 배포 시나리오의 비교다.
이는 총비용 연구가 아니다. 공개된 결과는 도입 비용, 소프트웨어 마이그레이션, 운영 지원, 네트워킹 또는 시설 변경에 대한 완전한 비교를 제공하지 않는다.
또한 Arm을 모든 관련 x86 프로세서와 비교하지도 않는다. AMD에는 다른 EPYC 구성이 있으며, Intel은 엔터프라이즈와 클라우드 배포 전반에서 Xeon 플랫폼으로 경쟁한다.
Nvidia의 Vera 프로세서는 두 번째 Arm 기반 경로를 제시한다. 별도의 Vera 워크로드 연구는 에이전트와 유사한 작업에서 EPYC 9755 대비 강력한 코어당 결과를 보고했다.
이 연구는 전력이나 전체 서버 처리량을 측정하지 않았다. 이러한 더 좁은 결과는 코어당, 소켓당, 랙당 및 엔드투엔드 주장을 구분해야 할 필요성을 다시 강조한다.
AMD 역시 CPU를 에이전틱 AI 시스템의 핵심 구성 요소로 홍보하고 있다. 자체 에이전틱 CPU 사례는 오케스트레이션, 데이터 처리, 보안 및 가속기 지원을 강조한다.
따라서 실제 쟁점은 CPU가 중요한지 여부가 아니다. 구매자가 워크로드를 정의하고, 시스템을 정규화하며, 구성 요소 측정을 배포 결정으로 전환하는 방식이다.
Arm AGI CPU 성능 주장이 입증하지 못하는 것
Signal65는 Arm의 기록과 계산을 검증했지만, 그 과정은 독립 연구소에서의 재실행과 동일하지 않았다.
Signal65는 Arm의 테스트 실행을 원격으로 관찰했다. 원본 로그, 결과 파일, 스크립트 및 구성 기록을 검토했다.
별도의 검토 팀은 자체 코드로 계산을 재구성했다. 분석에 따르면, 일곱 가지 결과를 모두 0.5% 이내로 재현했다.
이 작업은 검토되지 않은 공급업체 차트보다 더 면밀한 검증을 제공한다. 보고된 비율이 수집된 결과와 랙 모델에서 도출되는지 확인한다.
다만 Arm이 분석을 의뢰했고 테스트 시스템도 제공했다. Signal65는 동등한 하드웨어를 확보해 자체 연구소에서 전체 실험을 독립적으로 반복하지는 않았다.
검토 과정에는 구성 정보의 공백도 있었다. Signal65는 별도 샌드박스 비교에 사용된 EPYC 9965 시스템의 BIOS 및 메모리 설정만 독립적으로 확인할 수 있었다.
AGI CPU 및 EPYC 9755 시스템의 모든 BIOS 및 메모리 설정을 독립적으로 검증할 수는 없었다. 이는 작은 성능 차이의 원인에 대한 확실성을 제한한다.
이 구분은 근소한 결과에서 가장 중요하다. 97%의 fastText 우위는 작은 설정 변경으로 사라질 가능성이 낮지만, 5% 또는 9% 격차는 더 면밀한 검토가 필요하다.
산술 평균은 또 다른 한계를 만든다. 정규화된 비율을 평균내면 실제 배포 환경에서 해당 작업이 얼마나 자주 수행되는지와 관계없이 각 워크로드에 동일한 영향력이 부여된다.
어떤 기업은 데이터베이스 트랜잭션을 지속적으로 실행하고 fastText 모델은 드물게 학습할 수 있다. 또 다른 기업은 수천 개의 코딩 샌드박스를 운영하면서 트랜잭션 인프라는 거의 사용하지 않을 수 있다.
따라서 공개된 1.99배 평균은 모든 구매자의 용량 증가를 예측하지 않는다. 각 운영자는 자체 실행 프로필에 기반한 워크로드 가중 결과가 필요하다.
테스트 제품군은 검증된 애플리케이션과 새롭게 등장한 에이전트 프록시를 함께 포함한다. MySQL과 NGINX는 오랜 역사를 지녔지만, 재생 기반 에이전트 벤치마크는 상대적으로 역사가 짧다.
에이전트가 익숙한 인프라를 호출하기 때문에 이 조합은 유용하다. 그러나 선택된 조합이 어떤 항목에 동일한 가중치를 부여할지 결정하기 때문에 논쟁의 여지도 있다.
원래 보도는 이 결과가 에이전틱 AI 전반의 우위를 입증하지는 않는다고 지적했다. 프로세서, 워크로드, 구성 및 Arm이 개발한 방법론이 그 범위를 규정한다.
vLLM 결과에는 완전한 GPU 추론이 포함되지 않았다. 추론 및 계획 범주는 모델이 더 정확하게 추론했는지를 테스트하지 않았다.
랙 계산에는 직접 측정된 24킬로와트 배포가 포함되지 않았다. 랙 인프라를 위한 용량을 확보한 뒤, 정격 시스템 전력을 바탕으로 서버 수를 모델링했다.
가격은 공개 비교의 일부가 아니었다. 애플리케이션 라이선스, 마이그레이션 작업, 직원 교육 또는 기존 배포 도구와의 호환성도 포함되지 않았다.
이러한 누락이 벤치마크를 무효화하는 것은 아니다. 다만 결과가 뒷받침할 수 있는 범위를 규정한다.
Arm은 문서화된 가정 아래 테스트 시스템이 더 높은 모델상 랙 처리량을 냈다고 합리적으로 말할 수 있다. 그러나 이를 보편적인 에이전틱 AI 리더십으로 확대할 수는 없다.
AMD는 칩당 두 가지 승리와 메모리 가정의 영향을 합리적으로 지적할 수 있다. 그렇다고 공개된 모델 내 Arm의 밀도 우위가 사라지는 것은 아니다.
가장 생산적인 해석은 이 두 입장 사이에 있다. Arm은 실제 프로덕션 하드웨어에서 더 폭넓고 독립적인 테스트가 필요한 신뢰할 만한 가설을 제시했다.
그 가설은 랙 전력과 지속적인 에이전트 도구 처리량이 전통적인 소켓 비교보다 더 큰 비중을 가져야 한다는 것이다. 1.99배 결과는 그 주장을 위한 초기 사례 연구다.
구매자에게는 현재의 승자만큼이나 이 방법론이 영향력 있을 수 있다. 공통적이고 투명한 제품군은 운영자가 동일한 경계 조건에서 Arm, AMD, Intel 및 Nvidia를 비교할 수 있게 한다.
이러한 제품군에는 측정된 시스템 전력, 동등한 소프트웨어, 문서화된 펌웨어, 워크로드 수준의 가중치 및 반복 가능한 엔드투엔드 검증이 필요하다.
또한 모든 것을 하나의 비율로 압축하기보다 여러 관점을 보고해야 한다. 코어당, 소켓당, 와트당, 랙당 및 달러당 결과는 서로 다른 운영 질문에 답한다.
작업 성공과 지연 시간은 인프라 처리량과 별도로 유지해야 한다. 재생된 작업을 더 많이 완료하는 시스템이라도 모델 또는 네트워크 지연이 지배적이라면 더 나은 에이전트 결과를 제공하지 못할 수 있다.
Arm의 랙 주장이 유지될지 결정할 세 가지 신호
프로덕션 하드웨어, 더 폭넓은 경쟁사 테스트 및 고객 배포가 Arm의 모델상 우위가 운영상 우위로 이어질지를 결정할 것이다.
첫 번째 신호는 최종 프로덕션 AGI CPU 시스템에서의 독립 테스트다. Signal65는 현재 결과가 초기 시스템을 반영하며, 더 폭넓은 후속 작업이 계획되어 있다고 밝혔다.
설득력 있는 후속 테스트는 각 워크로드 동안 전체 서버 전력을 측정해야 한다. 비교 가능한 운영 체제, 컴파일러 설정, 메모리 용량, 펌웨어 및 냉각 조건을 사용해야 한다.
가장 강력한 테스트는 여러 서버를 채우고 랙 계산을 실험적으로 검증하는 방식일 것이다. 이를 통해 밀도, 네트워킹, 열 특성 및 지속적인 활용률이 모델대로 작동하는지 알 수 있다.
프로덕션 테스트가 1.99배 평균에 근접하게 유지된다면 Arm의 입지는 훨씬 강해진다. 큰 폭의 하락은 정격 전력 모델링이 실제 배포 가능한 용량을 과대평가했음을 보여줄 것이다.
두 번째 신호는 더 넓은 프로세서 시장과의 비교다. AMD EPYC 9755는 중요하지만, 하나의 x86 프로세서가 전체 시장을 대표할 수는 없다.
AMD의 더 새로운 고코어 수 옵션은 밀도 계산을 바꿀 수 있다. Intel은 웹 서비스, 데이터베이스, 검색 및 도구 실행에서 다른 성능을 보일 수 있다.
Nvidia Vera 역시 Arm 호환 코어를 사용하면서도 다른 시스템 설계를 통해 AI 인프라를 겨냥하므로 직접 비교할 가치가 있다. 가속기 연결성은 또 다른 배포 경로를 만든다.
더 폭넓은 테스트는 동일한 워크로드와 투명한 점수 산정 방식을 사용해야 한다. 공급업체별 벤치마크 선택은 구매자가 호환되지 않는 주장을 비교하게 만들 것이다.
Arm이 여러 경쟁사에 걸쳐 랙 우위를 유지한다면, 그 방법론은 한 가지 유리한 조합을 넘어 신뢰성을 얻는다. 우위가 크게 달라진다면 워크로드 선택이 더 중요한 이야기로 부상한다.
세 번째 신호는 공개된 운영 데이터를 포함한 실제 고객 도입이다. Arm은 AGI CPU를 하이퍼스케일러와 기타 대규모 AI 인프라 운영자를 위한 제품으로 제시해 왔다.
공개 배포는 마이그레이션 전후의 완료 작업, 지연 시간, 전력 및 활용률을 보고해야 한다. 또한 Arm 아키텍처에 필요한 소프트웨어 변경 사항도 설명해야 한다.
운영 증거는 벤치마크가 놓치는 문제를 드러낼 수 있다. 여기에는 종속성 호환성, 관측 가능성, 컨테이너 이미지 가용성, 워크로드 배치, 장애 복구 및 관리자 노력이 포함된다.
고객 결과는 지속적인 프로덕션 트래픽을 다룰 때 가장 중요하다. 짧은 시연으로는 수천 개의 지속 에이전트가 만드는 수요 패턴을 재현할 수 없다.
2026년 10월 Arm 벤치마크 발표는 랙 규모에서 인프라를 평가해야 한다는 분명한 근거를 제시한다. 또한 에이전트 아키텍처가 변화함에 따라 방법론도 발전해야 한다고 밝힌다.
이러한 인정은 적절하다. 에이전틱 소프트웨어는 여전히 유동적이며, 오늘날의 대표적인 도구 시퀀스는 내일이면 시대에 뒤처진 프록시가 될 수 있다.
인프라 팀은 Arm AGI CPU 벤치마크를 보편적인 조달 판정이 아니라 자체 병목 지점을 살펴보는 계기로 활용해야 한다.
먼저 에이전트가 시간을 어디에 쓰는지 추적해야 한다. 모델 추론을 검색, 샌드박스 시작, 도구 실행, 데이터베이스 액세스, 오케스트레이션 및 검증과 분리하라.
그다음 이러한 단계를 실제 제약 조건에 매핑해야 한다. 클러스터는 전력 한도, 메모리 용량 제한, 가속기 기아 상태 또는 허용할 수 없는 작업 지연 시간에 직면할 수 있다.
이 과정은 광범위한 공급업체 주장을 테스트 가능한 현지 질문으로 전환할 수 있다. 또한 하나의 벤치마크 평균이 워크로드별 용량 계획을 대체하지 못하게 한다.
에이전트 인프라를 평가하는 엔지니어링 팀은 검색 가능한 지식 베이스에 벤치마크 메모, 구성 기록 및 배포 결과를 보관할 수 있다. 소프트웨어나 하드웨어 변경으로 이전 비교가 무효화될 때 이 기록은 가치가 높아진다.
Arm은 출발점을 제시했다. 이 프로세서는 선택된 일곱 가지 워크로드에서 칩당 평균 1.20배, 모델상 랙당 평균 1.99배를 기록했다. AMD는 여전히 칩 수준 테스트 두 가지에서 승리했으며, 여러 가정이 더 큰 비율을 형성했다.
다음 판단은 독립 테스터와 인프라 구매자의 몫이다. 실제 운영 랙에서도 Arm의 집적도 우위가 재현될까, 아니면 실제 워크로드가 그 격차를 좁힐까?
