NVIDIA Vera Rubin NVL72, 달러당 성능 67배 향상 주장… 그러나 운용 지점이 중요하다

NVIDIA Vera Rubin NVL72는 초기 에이전틱 추론 테스트에서 GB300 NVL72 대비 달러당 성능이 67배 높다는 결과를 내놓았다. 이 수치는 선택된 벤치마크 비교 범위 안에서는 유효하지만, 보편적으로 적용되는 배수는 아니다. 더 일반적인 서빙 속도에서는 측정된 우위가 훨씬 작았다.

9월 14일 결과는 인프라 구매자에게 긴 컨텍스트와 다중 턴 워크로드에서 Rubin을 독립적으로 살펴볼 첫 기회를 제공한다. 또한 NVIDIA CEO Jensen Huang의 기존 성능 전망이 보수적으로 보이게 한다. 다만 가장 큰 배수는 비교 대상 Blackwell 구성이 성능 한계에 가까워지는 까다로운 운용 지점에 달려 있다.

따라서 핵심 경쟁은 단순히 Rubin과 Blackwell의 대결이 아니다. 헤드라인 수치와 운영자가 모델, 서빙 엔진, 지연 시간 목표, 실제 트래픽 전반에서 재현할 수 있는 성능 간의 경쟁이다. NVIDIA는 성능 곡선 전체를 끌어올린 것으로 보이지만, 그 격차는 구간별로 크게 달라진다.

NVIDIA Vera Rubin NVL72, 전망에서 측정된 에이전트 작업으로 전환

중요한 변화는 Rubin이 이제 아키텍처 사양이나 NVIDIA의 전망이 아니라 측정된 에이전틱 추론 결과를 보유하게 됐다는 점이다.

SemiAnalysis는 긴 컨텍스트 코딩 에이전트 트래픽을 위한 벤치마크인 AgentX의 첫 검토 완료 Rubin 결과를 공개했다. 테스트에는 누적 컨텍스트, 도구 대기, 프리픽스 재사용, 병렬 서브에이전트 급증을 포함한 실제 운영 형태의 세션이 사용됐다.

이 트래픽은 기존 챗봇 벤치마크와 다르다. 기본적인 채팅 요청은 보통 하나의 프롬프트와 하나의 응답으로 구성된다. 반면 에이전트는 도구를 호출하고, 서브에이전트와 협의하며, 점점 길어지는 대화 이력을 반복 전송하면서 수백 턴을 진행할 수 있다.

이러한 패턴은 추론 시스템에 서로 다른 요구를 부과한다. 긴 이력은 이전에 계산된 어텐션 데이터를 저장하는 키-값 캐시 용량을 소비한다. 재사용되는 프리픽스는 효율적인 캐싱의 이점을 키우며, 서브에이전트 급증은 스케줄링과 동시성 능력을 시험한다.

공개된 AgentX 방법론은 135,282건의 요청을 포함한 393개의 옵트인 코딩 세션을 기반으로 한다. 재구성된 요청의 중앙값은 입력 토큰 142,016개와 출력 토큰 444개다.

AgentX는 프롬프트, 코드, 도구 인수, 도구 결과를 제거한다. 대신 요청 길이, 타이밍, 공유 프리픽스 관계, 서브에이전트 구조를 보존한 뒤 결정론적 합성 토큰으로 대체한다.

이 설계는 원본 콘텐츠를 노출하지 않으면서도 더 현실적인 트래픽 형태를 제공한다. 다만 AgentX는 모델이 올바른 코드를 생성하는지 또는 에이전트의 작업을 성공적으로 완료하는지는 테스트하지 않는다. 모델의 지능이 아니라 서빙 시스템을 측정한다.

새 결과에는 DeepSeek V4 Pro와 초기 TensorRT-LLM 스택이 사용됐다. TensorRT-LLM은 NVIDIA 가속기에서 모델 실행을 최적화하기 위한 추론 런타임이다.

Rubin 벤치마크 분석에 따르면, Vera Rubin NVL72는 초당 170토큰에서 GB300 NVL72보다 모델링된 총소유비용 기준으로 약 67배 많은 총 처리량을 기록했다.

이 비교에는 저정밀 AI 연산을 위한 NVIDIA의 4비트 수치 형식인 TensorRT-LLM과 NVFP4가 사용됐다. 또한 이론적인 칩 사양을 비교하는 대신 전체 하드웨어·소프트웨어 구성을 측정했다.

동일한 운용 지점에서 Rubin은 선택된 GB300 TensorRT-LLM 곡선이 가장 빠르게 측정된 종단점에 가까웠기 때문에 두드러진 우위를 보였다. SemiAnalysis는 다른 서빙 프레임워크인 SGLang에서 실행된 GB300과 비교했을 때 Rubin의 우위가 훨씬 작았다고 보고했다.

그럼에도 이 결과는 중요하다. Rubin은 벤치마크가 구형 세대나 기본 단일 GPU 서버를 선택했기 때문에만 승리한 것이 아니다. 동일한 대형 모델을 서빙하고 일치하는 응답 속도 목표를 유지하면서 NVIDIA의 Blackwell Ultra 랙 스케일 시스템을 앞섰다.

그러나 67배 수치는 성능 곡선 위의 한 지점을 나타낸다. 모든 Rubin 배포 환경이 동일한 총비용으로 67배 많은 토큰을 생성한다는 뜻은 아니다.

SemiAnalysis가 이 워크로드를 제공하는 사업자에게 더 대표적이라고 설명한 초당 60~100토큰 범위에서 Rubin은 총비용 기준 약 1.4~3배 많은 처리량을 제공했다.

이는 67배만큼 극적이지는 않지만 상업적으로 의미가 크다. 전력, 네트워킹, 냉각, 사용 가능한 데이터센터 공간이 이미 확장을 제한하는 상황에서는 지속적인 2배 향상만으로도 용량 계획이 달라질 수 있다.

결과는 더 높은 최대 상호작용성도 보여준다. Rubin은 선택된 TensorRT-LLM 구성의 GB300이 약 172였던 데 비해 약 276 P90 토큰/초에 도달했다.

P90 상호작용성은 응답의 90%가 달성하는 스트리밍 속도를 측정한다. 이를 통해 운영자는 처리량 결과가 수용 가능한 사용자 경험도 제공하는지 판단할 수 있다.

Rubin의 우위는 소프트웨어 스택 전반에서 동일하지 않았다. SemiAnalysis는 SGLang을 실행한 GB300이 Rubin과 비슷한 상호작용성에 도달할 수 있었지만, Rubin은 여전히 다른 처리량 및 지연 시간 측면의 우위를 유지했다고 밝혔다.

이러한 차이는 이 글의 핵심 긴장을 보여준다. NVIDIA Vera Rubin NVL72는 상당히 빨라 보이지만, 가장 큰 보고상 우위는 특정 모델, 런타임, 정밀도, 서비스 수준 목표의 조합에서 나타난다.

에이전틱 추론이 전력을 희소 자원으로 만드는 이유

Rubin의 가장 중요한 향상은 최고 연산 성능이 아니라, 고정된 전력 한도 안에서 처리할 수 있는 유용한 에이전트 트래픽의 양이다.

에이전트는 각 단계가 다음 단계의 컨텍스트가 될 수 있으므로 단순 채팅 상호작용보다 더 많은 토큰을 소비한다. 리서치, 코딩, 지원 에이전트는 답변 전에 데이터베이스를 검색하고, 도구를 실행하고, 결과를 검토하며, 작업을 위임할 수 있다.

NVIDIA는 OpenRouter 데이터를 바탕으로 에이전틱 요청이 단순 채팅 요청보다 약 15배 많은 토큰을 소비한다고 말한다. 이 수치는 애플리케이션마다 달라지겠지만, 근본적인 방향성은 분명하다.

컨텍스트가 커질수록 시스템은 이전 턴의 정보를 반복적으로 처리하거나 검색한다. 여러 서브에이전트는 짧지만 강도 높은 동시 요청 급증도 만들 수 있다.

이러한 특성은 메모리 용량, 메모리 대역폭, 인터커넥트 지연 시간, 캐시 관리, CPU 조정을 일차적 제약으로 만든다. 원시 텐서 성능도 여전히 중요하지만, 더는 전체 서빙 결과를 설명하지 못한다.

전력 접근성도 또 다른 제약이다. 운영자는 추가 가속기를 구매할 수 있어도 이를 구동할 충분한 전력망 용량이 없을 수 있다. 새 변전소, 송전 연결, 냉각 시스템, 데이터 홀은 서버보다 구축 시간이 더 오래 걸린다.

따라서 메가와트당 처리량은 단순한 에너지 효율 이상의 의미를 갖는다. 이는 운영자가 희소한 시설 자원에서 얼마나 많은 청구 가능한 작업을 추출할 수 있는지 가늠하는 척도다.

초당 100토큰에서 SemiAnalysis는 Rubin이 유틸리티 메가와트당 약 5,940만 총 토큰/초를 기록했다고 측정했다. 가장 강력하게 측정된 GB300 구성은 동일 목표에서 2,850만에 도달했다.

이는 이 실용적인 운용 지점에서 Rubin이 가장 강력한 GB300 엔진보다 약 2.09배 빠르다는 의미다. TensorRT-LLM을 실행한 GB300은 메가와트당 2,110만 토큰/초를 기록했다.

속도 요구 사항이 높아질수록 격차의 크기도 변했다. 초당 150토큰에서 Rubin은 메가와트당 거의 3,700만 토큰/초를 유지해, 측정된 GB300 SGLang 결과의 약 7.2배에 달했다.

초당 170토큰에서 Rubin의 메가와트당 처리량 우위는 GB300 TensorRT-LLM 대비 62.9배였다. 그러나 GB300 SGLang과 비교하면 배수는 5.56배였다.

이 차이 때문에 모든 대규모 성능 주장은 엔진 라벨을 함께 제시해야 한다. 가속기 이름만 비교하는 구매자는 런타임이 결과를 얼마나 크게 바꾸는지 놓치게 된다.

NVIDIA의 이전 수치는 동일한 추세를 다른 관점에서 보여줬다. 회사는 초당 160토큰에서 GB300보다 메가와트당 처리량이 최대 30배 높다고 보고했다.

NVIDIA는 이 테스트에 AgentX DeepSeek V4 Pro 워크로드를 사용했다고 밝혔다. 또한 게시 당시 결과는 SemiAnalysis 검토를 기다리는 중이며, 도구 호출을 위한 Vera CPU 성능은 포함하지 않았다고 설명했다.

이후 검토는 상당한 Rubin 우위를 뒷받침하지만, 고정된 하나의 배수를 뒷받침하지는 않는다. NVIDIA의 에이전틱 성능 데이터는 초당 110토큰에서 약 2배였던 우위가 초당 160토큰에서 30배로 커지는 모습을 보여준다.

이 곡선은 단일 막대 차트보다 더 중요하다. 추론 제공업체는 동시성, 응답 속도, 첫 토큰 생성 시간, 전체 지연 시간, 비용 사이의 균형을 선택한다.

최대 총처리량에 최적화된 구성은 개별 사용자의 대기 시간을 지나치게 길게 만들 수 있다. 극단적 상호작용성에 최적화된 시스템은 고가의 용량을 충분히 활용하지 못할 수 있다.

에이전틱 제품은 또 다른 복잡성을 더한다. 도구 실행, 코드 컴파일, 검색, 외부 API 호출로 인해 GPU가 CPU나 원격 서비스를 기다리는 상태에 놓일 수 있다.

Rubin은 각 NVL72 랙에 72개의 Rubin GPU와 함께 36개의 Vera CPU를 배치해 이 문제를 해결한다. NVIDIA는 이 CPU들이 에이전트 오케스트레이션, 도구 호출, 데이터 처리, 샌드박스 실행을 담당하도록 설계했다.

이러한 구성 요소가 전체 워크플로 전반의 유휴 시간을 줄인다면 경제성 논리는 더 강해진다. 반대로 외부 도구, 네트워크 호출, 애플리케이션 로직이 여전히 지배적인 병목이라면 그 논리는 약해진다.

클라우드 제공업체와 모델 연구소에는 압박이 즉각적이다. Rubin의 우위가 크다면 전력 제약을 받는 새로운 추론 용량에 대해 Blackwell 확장을 계속 정당화하기는 어려워진다.

기존 Blackwell 배포 환경이 갑자기 경제성을 잃는 것은 아니다. 하드웨어는 이미 설치됐고, 소프트웨어는 성숙했으며, 많은 워크로드는 Rubin의 최고 상호작용성 범위를 필요로 하지 않는다.

필요한 대응은 더 선별적이다. 운영자는 어떤 워크로드에 Rubin을 먼저 투입할지, 어떤 작업을 Blackwell에 유지할지, 어떤 작업을 경쟁 가속기로 옮길지 결정해야 한다.

극단적 공동 설계가 Rubin 성능 향상의 메커니즘이다

NVIDIA의 결과는 더 빠른 단일 칩 하나가 아니라 GPU, CPU, 메모리, 인터커넥트, 런타임, 시설을 조율한 데서 나온다.

NVIDIA는 이 전략을 극단적 공동 설계라고 부른다. Vera Rubin NVL72는 하나의 랙 스케일 도메인 안에서 6세대 NVLink를 통해 72개의 Rubin GPU와 36개의 Vera CPU를 통합한다.

Rubin GPU는 288 GB의 HBM4 메모리와 초당 22 TB의 메모리 대역폭을 갖춘다. 고대역폭 메모리는 프로세서 가까이에 배치돼 기존 서버 메모리보다 더 빠르게 모델 데이터를 공급한다.

NVLink는 GPU당 초당 3.6 TB의 대역폭과 랙 전체에서 초당 260 TB의 대역폭을 제공한다. 이 패브릭은 72개의 GPU가 하나의 대형 컴퓨팅 자원처럼 동작하도록 한다.

이 아키텍처는 mixture-of-experts 모델에 유리하다. 이러한 모델은 모든 연산에 모든 파라미터를 사용하는 대신, 각 토큰에 대해 선택된 전문가 네트워크를 활성화한다.

이를 효율적으로 서빙하려면 프로세서 간 빠른 라우팅이 필요하다. 전문가 간 활성화 값을 이동하는 지연은 사양표에서 인상적으로 보이는 연산 용량을 낭비할 수 있다.

Rubin은 분산 추론에서 사용되는 동기화 작업도 개선한다. 통신 오버헤드가 줄어들면 프로세서는 조정을 기다리는 시간은 줄이고 연산에 더 많은 시간을 쓸 수 있다.

NVIDIA의 랙 아키텍처는 Rubin과 ConnectX-9 네트워킹, BlueField-4 데이터 처리 장치, NVLink 스위치, Spectrum-6 Ethernet 플랫폼을 결합한다.

NVIDIA는 Groq 3 LPU를 추가한 뒤 이 광범위한 시스템을 이제 7칩 아키텍처로 설명한다. LPU는 예측 가능하고 지연 시간이 짧은 언어 모델 실행을 위해 설계된 프로세서다.

Rubin은 prefill이라고도 하는 연산 집약적 컨텍스트 처리를 담당한다. Groq 3 프로세서로 구축된 LPX 랙은 decode라고 하는 지연 시간 민감형 토큰 생성에 집중할 수 있다.

이러한 분리는 분리형 서빙(disaggregated serving)으로 알려져 있다. 이를 통해 운영자는 두 단계를 동일한 하드웨어에 강제하는 대신 prefill 및 decode 리소스를 독립적으로 확장할 수 있다.

에이전트 워크로드는 긴 입력 이력을 포함하면서도 빠른 대화형 출력을 요구할 수 있기 때문에 이러한 분리에 적합하다. Prefill에는 메모리 용량과 병렬 연산 성능이 필요하고, decode는 낮은 지연 시간의 이점을 크게 받는다.

그다음 rate matching은 두 리소스 풀이 작업을 교환하는 속도의 균형을 맞춘다. 매칭이 부실하면 한쪽 그룹은 유휴 상태로 남는 반면 다른 쪽은 과부하에 빠질 수 있다.

서빙 소프트웨어는 이 구성 요소들을 하나로 묶는다. TensorRT-LLM은 최적화된 커널을 제공하고, NVIDIA Dynamo는 분산 리소스 전반의 추론을 조율한다.

AgentX 결과는 소프트웨어를 제품의 일부로 취급해야 하는 이유를 보여준다. TensorRT-LLM을 사용하는 GB300과 SGLang을 사용하는 GB300 간 격차는 한 엔드포인트에서 수십 배에 달했다.

이는 어느 한 엔진이 보편적으로 우수하다는 뜻은 아니다. 테스트된 속도 범위에 따라 가장 강력한 GB300 엔진은 달라졌으며, TensorRT-LLM은 한 목표 구간에서 앞섰고 SGLang은 더 높은 목표 구간에서 우세했다.

Rubin의 초기 결과는 소프트웨어 스택이 완전히 성숙하기 전에 나왔다. 이는 개선의 여지를 만들지만, 동시에 배포 불확실성도 초래한다.

NVIDIA는 이 플랫폼이 완전한 양산 단계에 있으며 2026년 하반기에 출하될 예정이라고 밝혔다. NVIDIA가 앞서 제시한 플랫폼 주장은 Blackwell 대비 와트당 추론 성능이 최대 10배 높다는 것이었다.

SemiAnalysis는 Huang이 앞서 GTC에서 제시한 3배의 예시와 비교해, 운영 구간 부근에서 메가와트당 처리량이 최대 7배 더 높았다고 분석했다. 일부 조건을 맞춘 엔드포인트에서는 측정된 배수가 훨씬 더 높아졌다.

이는 “샌드배깅(sandbagging)” 해석을 뒷받침하지만, 제한적인 의미에서만 그렇다. Huang의 발표는 광범위한 플랫폼 기대치를 다룬 반면, 새 결과는 하나의 에이전트 워크로드와 특정 구성에 관한 것이다.

Rubin의 설계는 전력 공급 문제도 겨냥한다. 데이터 센터는 추론 워크로드가 그 최대치를 지속적으로 소비하는 경우가 드물어도, 일반적으로 가능한 최대 랙 전력 소모량에 맞춰 전기 시스템을 설계한다.

NVIDIA DSX MaxLPS는 동적 전력 할당을 사용해 GPU와 랙 전반의 미사용 여유 전력을 회수한다. 시설의 전력 한도를 넘지 않으면서 동일한 사이트 한도 내에 더 많은 연산 성능을 배치하려는 방식이다.

MaxLPS 문서는 GPU 400개를 갖춘 1메가와트 추론 배포의 예시를 설명한다. 이 예시에서 동적 관리는 토큰 처리량을 정적 최대 전력 기준선의 1.35배로 높인다.

NVIDIA는 시설 계획과 전력 제어를 결합하면 고정된 전력 한도 내에서 최대 40% 더 많은 GPU를 지원할 수 있다고 말한다. 이는 모든 사이트에서 보장되는 결과가 아니라 계획상의 주장이다.

운영자는 워크로드의 실제 전력 프로파일, 냉각 용량, 안전 여유분, 지연 시간 영향을 검증해야 한다. 최대 전력 소모량에 자주 도달하는 플릿은 회수 가능한 여유 전력이 더 적다.

따라서 이 메커니즘은 곱셈적이다. 더 빠른 GPU, 더 넓은 메모리, 더 낮은 지연 시간의 링크, 더 나은 스케줄링, 특수화된 CPU, 동적 전력 관리는 각각 서로 다른 병목을 제거한다.

이 계층들이 함께 작동한다면 Rubin은 동일한 건물에서 더 많은 유용한 토큰을 생성할 수 있다. 한 계층이라도 확장에 실패하면 이론적 이득은 고객에게 도달하기 전에 줄어든다.

67배 주장은 선택된 운영 지점을 벗어나면 축소된다

이 벤치마크는 Rubin의 우위를 뒷받침하지만, 최대 달러당 성능 수치를 플릿 전체의 계획 가정으로 삼아서는 안 되는 이유도 보여준다.

첫 번째 한계는 선택된 엔드포인트다. 초당 170토큰에서 비교된 GB300 TensorRT-LLM 구성은 측정된 대화형 성능 한계에 근접했다.

그 경계 근처에서는 속도 목표가 조금만 높아져도 시스템이 처리할 수 있는 트래픽 양이 급격히 줄어들 수 있다. Rubin에는 여전히 사용하지 않은 성능 범위가 남아 있었고, 이것이 이례적으로 큰 비율을 만들었다.

같은 목표에서 Rubin을 GB300 SGLang과 비교하면 메가와트당 처리량 우위는 62.9배에서 5.56배로 줄어든다. 여전히 큰 차이지만, 구매 관점에서는 다른 이야기를 들려준다.

두 번째 한계는 총비용 모델이다. SemiAnalysis는 하드웨어, 네트워킹, 전력, 금융 비용, 코로케이션, 유효 수명, 가정된 하이퍼스케일러 구매 조건을 사용해 소유 비용을 계산한다.

더 작은 사업자는 서로 다른 금융 조건, 활용률, 인프라 환경에 직면하게 된다. 클라우드 임차인 역시 하드웨어 성능과 계약된 용량 사이에서 다른 관계를 경험한다.

달러당 성능은 장비를 계속 바쁘게 유지하는 데 달려 있다. 피크 경제성이 뛰어난 가속기도 수요가 고르지 않게 발생하거나 소프트웨어가 높은 활용률을 막으면 기대에 못 미칠 수 있다.

세 번째 한계는 워크로드 범위다. 공개된 Rubin 결과는 AgentX의 코딩 에이전트 트래픽 형태에서 DeepSeek V4 Pro에 초점을 맞춘다.

더 짧은 프롬프트, 이미지 생성, 검색 증강, 비디오, 밀집형 모델 또는 오프라인 배치 작업을 제공하는 고객은 다른 병목에 직면한다. SemiAnalysis도 오프라인 배치 추론과 학습에서는 Rubin의 비교 우위가 더 작다고 언급한다.

AgentX는 합성 페이로드도 사용한다. 길이, 공유 접두사, 타이밍, 분기 구조는 보존하지만, 비공개 세션의 의미적 내용까지 유지할 수는 없다.

추측적 디코딩은 특히 어려운 과제를 제시한다. 이 기법은 더 작거나 빠른 초안 모델을 사용해 미래 토큰 여러 개를 제안한 뒤, 주 모델에 이를 수용하거나 거부하도록 요청한다.

합성 텍스트는 비현실적인 수용 동작을 만들 수 있다. AgentX는 별도의 코딩 데이터세트에서 측정한 수용 길이를 사용하고 해당 설정을 기록함으로써 이 문제를 다룬다.

이 통제는 비교 가능성을 높이지만, 여전히 근사치다. 이 벤치마크는 독점 공급자 템플릿, 숨겨진 추론, 서버 측 도구, 이미지 또는 모든 토크나이저 변환을 재현할 수 없다.

폐루프 실행은 또 다른 미묘한 차이를 만든다. 더 빠른 시스템은 테스트 기간 동안 샘플링된 세션을 더 멀리 진행하므로, 다소 다른 요청 조합을 만나게 될 수 있다.

이 문제들 어느 것도 결과를 무효화하지는 않는다. 다만 이 결과가 무엇을 측정하며 구매자가 어디에서 추가 증거를 요구해야 하는지를 정의한다.

네 번째 한계는 초기 소프트웨어다. SemiAnalysis는 사전 출시 TensorRT-LLM 빌드를 사용했으며, 이후 릴리스에서는 Rubin의 효율성이 개선될 가능성이 있다.

초기 소프트웨어에는 통제된 벤치마크에서는 드러나지 않는 회귀, 미완성 기능, 운영상 동작도 포함될 수 있다. 성숙한 Blackwell 스택은 운영 환경의 수정 사항을 흡수할 시간이 더 많았다.

랙 규모에서는 신뢰성이 중요하다. NVIDIA에 따르면 완전한 NVL72 랙은 130만 개의 구성 요소와 거의 1,300개의 칩을 포함한다.

데이터 센터 운영자에게 필요한 것은 장애, 유지보수, 재시도, 사용할 수 없는 하드웨어를 반영한 뒤의 유용한 출력, 즉 지속적인 goodput이다. 피크 벤치마크 처리량은 그 전체 운영 기록을 측정하지 않는다.

다섯 번째 한계는 경쟁사의 대응이다. AMD는 2026년 7월 Helios 랙 스케일 플랫폼용 Instinct MI455X 가속기를 출시했다.

공식 MI455X 사양은 40.3페타플롭의 피크 MXFP4 성능과 CDNA5 아키텍처를 명시한다. 피크 산술 수치는 AgentX 결과와 직접 비교할 수 없다.

SemiAnalysis는 새 측정에 이전 세대 MI355X를 포함했다. 초당 100토큰에서 테스트된 가장 강력한 MI355X 구성은 메가와트당 초당 약 201만 토큰에 도달했다.

Rubin은 같은 지점에서 5,940만 토큰에 도달해, 보고된 29.5배의 우위를 기록했다. SemiAnalysis에 따르면 AMD는 향후 MI455X AgentX 테스트 협력에 참여하기로 했다.

그 미래 비교는 Rubin과 MI355X의 비교보다 훨씬 더 관련성이 높다. 동일한 워크로드, 모델, 트래픽 형태, 서비스 수준 목표에서 두 최신 랙 스케일 플랫폼을 시험하게 된다.

Google의 TPU7x Ironwood 역시 대형 밀집형 및 mixture-of-experts 모델을 겨냥한다. Google Cloud를 통한 제공은 고객에게 맞춤형 실리콘과 수직 통합형 소프트웨어 플랫폼을 결합하는 또 하나의 경로를 제공한다.

NVIDIA는 생태계 깊이에서 우위를 유지한다. CUDA, TensorRT-LLM, Dynamo, NVLink, 그리고 파트너 네트워크는 NVIDIA가 배포 경로의 더 많은 부분을 통제하게 한다.

이 통제는 최적화를 개선할 수 있지만, 고객의 단일 공급업체 의존도를 심화할 수도 있다. 극단적인 공동 설계는 구매자가 전체 스택을 수용할 때 가장 잘 작동한다.

신뢰할 수 있는 해석은 Rubin이 어디서나 67배 더 낫다는 것이 아니다. 엄격한 대화형 요구 사항을 지닌 대규모 에이전트 워크로드에서 특히 Rubin이 사용 가능한 추론의 경계를 확장한다는 것이다.

기가와트당 토큰 증가가 자동으로 더 많은 수익을 뜻하지는 않는다

Rubin은 데이터 센터 경제성을 개선할 수 있지만, 수익은 벤치마크가 입증할 수 없는 활용률, 수요, 신뢰성, 판매 가격에 달려 있다.

SemiAnalysis는 Rubin이 Blackwell보다 기가와트당 연간 수익을 두 배 이상 창출할 수 있다고 추정한다. 이 회사는 커널과 서빙 소프트웨어가 성숙해질수록 그 차이가 더 벌어질 것으로 예상한다.

이 추정에는 타당한 메커니즘이 있다. 1메가와트가 더 많은 청구 가능한 토큰을 생산하면, 시설의 전력망 할당은 고정된 상태에서 매출 용량은 늘어난다.

낮아진 단위 비용은 마진을 확대하거나 더 낮은 고객 요금을 지원할 수도 있다. 공급자는 효율성 이득을 유지할지, 더 많은 수요를 확보하는 데 활용할지 선택할 수 있다.

그러나 처리량은 판매가 아니라 용량을 의미한다. 공급자는 고객이 그 추가 용량을 지속 가능한 요금으로 소비할 때에만 더 많은 수익을 얻는다.

수요 프로파일은 하드웨어와 맞아야 한다. Rubin의 가장 강력한 이점은 모든 형태의 AI 연산이 아니라 긴 컨텍스트의 대화형 에이전트 워크로드에서 나타난다.

이는 배분 문제를 만든다. 공급자는 다른 환경에서 더 경제적으로 실행되는 워크로드를 전환하지 않으면서 새 랙을 계속 가동할 만큼 충분한 에이전트 트래픽을 확보해야 한다.

모델 효율성은 작업당 인프라 수요를 줄일 수도 있다. 더 나은 아키텍처, 더 짧은 추론 궤적, 개선된 캐싱, 더 작은 특수화 모델은 토큰 소비량을 낮출 수 있다.

반대 효과도 마찬가지로 그럴듯하다. 더 저렴한 토큰은 개발자가 더 오래 실행되는 에이전트를 구축하고, 더 많은 하위 에이전트를 사용하며, 이전에는 경제성이 없던 작업을 자동화하도록 장려할 수 있다.

이는 컴퓨팅에서 익숙한 반동 효과다. 효율성이 작업 비용을 낮추면, 소프트웨어는 새 용량을 소비하도록 확장된다.

NVIDIA는 그 결과에 크게 베팅하고 있다. NVIDIA의 프레이밍은 데이터 센터를 기존 컴퓨팅 서비스가 아니라 토큰을 생산하는 AI 공장으로 본다.

이 비유에는 한계가 있다. 토큰의 가치는 크게 다르다. 완료된 코딩 작업에 기여하는 토큰은 실패한 추론 루프 중 생성된 토큰보다 더 가치가 높다.

에이전트 벤치마크는 인프라 효율성과 완료된 작업을 연결하는 데 여전히 어려움을 겪는다. AgentX는 의도적으로 모델 동작을 범위 밖에 두며, 출력 품질을 평가하지 않는다.

완전한 경제성 테스트는 단순히 토큰 100만 개당 비용이 아니라 성공한 작업당 비용을 측정해야 한다. 여기에는 모델 정확도, 재시도, 도구 실패, 결과 검토에 필요한 사람의 노력도 포함되어야 한다.

지연 시간도 간접적으로 수익에 영향을 준다. 더 빠른 에이전트는 더 많은 작업을 완료하고 사용자의 참여를 유지할 수 있지만, 이는 애플리케이션과 외부 도구도 비슷한 속도로 응답할 때에만 가능하다.

Rubin의 보고된 엔드투엔드 지연 시간 결과는 고무적이다. 소유 비용 효율성이 일치하는 한 지점에서 SemiAnalysis는 Rubin이 약 20초, B200 또는 B300이 60초를 기록했다고 측정했다.

처리량 대비 비용이 더 높은 지점에서는 Rubin이 약 20초, 비교 대상 Blackwell 시스템이 120초가량을 기록했다고 이 회사는 밝혔다.

이러한 측정치는 더 높은 처리량과 더 짧은 완료 시간을 함께 보여주므로 Rubin의 경쟁력을 강화한다. 다만 여전히 특정 구성에 한정된 벤치마크 결과다.

수익성은 배포 속도에도 좌우된다. 예상 효율이 아무리 높아도 배포가 지연된 랙은 토큰을 전혀 생산하지 못한다.

NVIDIA는 설치와 정비를 간소화하기 위해 3세대 MGX 랙 형식을 중심으로 Rubin을 설계했다. 컴퓨트 트레이는 케이블, 호스, 팬이 없는 내부 설계를 사용한다.

NVIDIA는 트레이 조립 및 정비 시간이 거의 2시간에서 5분으로 줄었다고 말한다. 이러한 설계 변화가 실제 플릿 가용성을 개선하는지는 현장 경험으로 확인돼야 한다.

냉각과 전력 밀도는 여전히 중요한 시설 측면의 고려 사항이다. Rubin은 상당한 전력 수요를 하나의 랙에 집중하므로, 이에 맞는 액체 냉각과 전력 분배가 필요하다.

노후 시설을 운영하는 기업은 서버만 교체해서 이러한 이점을 얻을 수 없다. 새 전력 장비, 냉각수 분배 설비, 네트워킹, 운영 절차가 필요할 수 있다.

이 때문에 Rubin은 이미 새로운 AI 캠퍼스를 구축 중인 하이퍼스케일러, 모델 연구소, 전문 클라우드 제공업체에 가장 매력적이다. 소규모 구매자는 클라우드 서비스를 통해 더 효율적으로 이용할 수 있다.

“많이 살수록 더 많이 번다”는 NVIDIA의 판매 논리를 기억하기 쉬운 방식으로 요약한 표현이다. 그러나 경제 법칙은 아니다.

더 정확한 표현에는 조건이 따른다. 운영자가 더 효율적인 용량을 배포하고, 채우고, 전력을 공급하며, 가용 상태로 유지할수록 그 고정된 사이트가 지원할 수 있는 매출도 늘어난다.

NVIDIA Vera Rubin NVL72 결과 이후 구매자가 주목해야 할 점

세 가지 신호가 Rubin의 초기 벤치마크 우위가 지속 가능한 운영상 이점으로 이어질지를 결정할 것이다.

첫 번째 신호는 서빙 엔진 전반에서 독립적으로 재현 가능한 AgentX 데이터다. Rubin에는 동일한 모델과 서비스 수준 목표를 사용한 TensorRT-LLM, SGLang, vLLM의 공개 결과가 필요하다.

이 비교는 현재의 우위 중 어느 정도가 Rubin 하드웨어에서 비롯됐는지, 또 어느 정도가 유난히 유리한 소프트웨어 조합에서 비롯됐는지를 보여줄 것이다.

런타임이 개선되더라도 과거 결과는 계속 공개돼야 한다. 그렇지 않으면 구매자는 순수한 하드웨어 향상과 구형 시스템에도 이점을 주는 소프트웨어 변화를 구분할 수 없다.

클라우드 제공업체의 재현 결과는 이를 더욱 뒷받침할 것이다. 이들의 배포 환경에는 통제된 테스트 환경에는 없는 스케줄링, 네트워킹, 모니터링, 멀티테넌시, 신뢰성 제약이 포함된다.

Rubin이 여러 엔진과 운영자 전반에서 큰 우위를 유지한다면, 67배라는 종단점은 더 광범위한 변화의 극단적인 사례로 보일 것이다. 격차가 급격히 좁아진다면 소프트웨어 선택이 지배적인 요인이었다는 뜻이다.

두 번째 신호는 동일한 AgentX 워크로드에서의 MI455X 및 TPU7x 성능이다. 현재 비교는 Rubin과 서로 다른 제품 주기 또는 서로 다른 벤치마크 방법론의 가속기를 혼합하고 있다.

AMD의 Helios 플랫폼은 최신 GPU, CPU, 네트워킹, 랙 규모 통합을 결합한다는 점에서 가장 직접적인 경쟁자다. 조건을 맞춘 테스트는 NVIDIA의 소프트웨어 스택이 여전히 결정적 우위인지 보여줄 것이다.

TPU7x는 다른 경쟁 경로를 제시한다. Google은 가속기, 컴파일러, 클라우드 서비스, 모델 스택의 일부를 통제하며, 이를 통해 자체적인 공동 설계 방식을 확보한다.

두 경쟁사 중 하나라도 유용한 상호작용성 수준에서 Rubin의 메가와트당 성능에 근접한다면 구매자는 협상력과 더 많은 아키텍처 선택지를 얻게 된다. Rubin의 큰 우위가 유지된다면 NVIDIA의 에이전틱 인프라 지배력은 더욱 강화될 것이다.

세 번째 신호는 활용률과 신뢰성을 반영한 뒤의 운영 경제성이다. 구매자는 지속적인 유효 처리량, 첫 토큰까지의 시간, 엔드투엔드 지연 시간, 전력 소모, 장애율, 완료 작업당 비용을 추적해야 한다.

또한 최고 상호작용성과 실제 고객이 사용하는 구간을 분리해 봐야 한다. 초당 60~100토큰 구간은 인상적인 종단점보다 상업적으로 더 중요할 수 있다.

DSX MaxLPS도 비슷한 수준의 검증이 필요하다. 고정된 전력 한도 안에서 더 많은 GPU를 가동하는 것은, 시스템이 지연 시간이나 장비 수명을 해치지 않고 사이트 제한을 준수할 때에만 가치가 있다.

검증된 40%의 밀도 향상은 Rubin의 하드웨어 우위를 배가할 것이다. 현장 결과가 더 낮게 나온다면 예상된 기가와트당 수익성 개선폭도 줄어든다.

개발자도 관심을 가져야 한다. 인프라 경제성은 결국 제품 설계를 좌우하기 때문이다. 더 낮은 에이전트 서빙 비용은 더 긴 세션, 더 많은 검색 증강, 더 많은 병렬 하위 에이전트를 뒷받침할 수 있다.

지식 근로자는 이 변화를 간접적으로 체감하게 될 것이다. 더 빠르고 저렴한 에이전트는 더 큰 프로젝트 이력을 처리할 수 있지만, 가치 있는 결과물은 여전히 신뢰할 수 있는 원천 자료에 달려 있다.

잘 관리된 개인 지식 베이스는 더 많은 생성 토큰을 더 나은 증거의 대체물로 취급하지 않으면서도 그러한 맥락을 제공할 수 있다.

초기 평가는 명확하지만 제한적이다. NVIDIA Vera Rubin NVL72는 상당한 에이전틱 추론 우위를 보여줬으며, Jensen Huang의 이전 전망은 보수적으로 보인다.

67배 수치는 곡선의 끝단이지 평균이 아니다. 실질적인 개선폭은 일반적인 운영 구간에서 약 2~3배에 가깝고, 더 엄격한 상호작용성 목표에서는 더 큰 이점이 나타난다.

그럼에도 이는 모든 주요 AI 인프라 제공업체에 압박을 가하기에 충분하다. 다음 질문은 벤치마크가 실제 배포로 전환되고 토큰이 완료된 작업이 되어야 할 때에도 Rubin이 이러한 경제성을 유지할 수 있느냐다.