NVIDIA Vera Rubin MLPerf 데뷔, 속도를 끌어올렸지만 프리뷰 상태는 중요하다
NVIDIA는 Vera Rubin NVL72로 MLPerf Inference v6.1에 참가해 이전 세대인 GB300 NVL72보다 최대 3.7배 높은 처리량을 기록했다고 밝혔다. NVIDIA Vera Rubin의 MLPerf 데뷔는 인프라 구매자에게 회사의 차세대 랙 스케일 AI 플랫폼을 동료 검토를 거친 방식으로 처음 살펴볼 기회를 제공한다. 동시에 이 헤드라인에는 중요한 한계가 따른다. Vera Rubin은 여전히 프리뷰 시스템이다.
이 구분은 진짜 경쟁 구도를 규정한다. NVIDIA는 단순히 한 GPU 세대와 다음 세대를 비교하는 것이 아니다. 새로운 실리콘, 네트워킹, 서빙 소프트웨어를 긴밀히 통합한 랙이 더 나은 추론 경제성으로 이어질 수 있다고 주장하고 있다.
AMD의 역대 최대 규모 MLPerf 제출은 이 주장이 이제 압박을 받고 있는 이유를 보여준다. AMD는 현재 구매 가능한 하드웨어에서 경쟁력 있는 결과를 냈고, 워크로드 범위를 확대했으며, 최대 512개 가속기에 이르는 배포 사례를 강조했다. NVIDIA는 선별된 Vera Rubin 비교에서 앞서지만, 고객은 프리뷰 단계의 우위가 실제 배포 가능한 가치로 이어지는지 판단해야 한다.
NVIDIA Vera Rubin MLPerf 결과, 초기 우위 확보
이번 데뷔는 까다로운 두 모델에서 큰 세대 간 성능 향상을 보여주지만, 아직 출하 중인 프로덕션 플랫폼을 대표하지는 않는다.
결과는 MLPerf v6.1 release의 일부로 2026년 9월 16일 공개됐다. MLPerf Inference는 표준화된 정확도 및 지연시간 조건에서 시스템이 학습된 AI 모델을 서빙하는 방식을 측정한다.
MLCommons는 이번 라운드에 사상 최대인 30개 조직이 참여했다고 밝혔다. 구매 가능한 AMD MI350P와 Intel Arc Pro B70을 포함해 5개의 신규 프로세서 또는 가속기가 등장했다. NVIDIA Rubin과 Vera Rubin NVL72는 프리뷰로 참가했다.
NVIDIA는 DeepSeek-R1과 Qwen3-VL-235B에 대한 Vera Rubin 결과를 제출했다. DeepSeek-R1은 추론 모델 서빙을 시험하며, Qwen3-VL은 제품 분류와 같은 작업을 위해 언어와 시각 입력을 결합한다.
회사의 Vera Rubin results는 Qwen3-VL의 인터랙티브 시나리오에서 가장 큰 상대적 성능 향상을 보여준다. 이 시나리오에서 Vera Rubin NVL72 1대는 초당 1,307건의 쿼리를 처리했다. 비교 가능한 GB300 NVL72 결과는 초당 349건의 쿼리에 도달했다.
이는 약 3.7배의 헤드라인 성능 향상에 해당한다. 인터랙티브 시나리오는 1.5초의 지연시간 제한도 적용하므로, 반응형 애플리케이션에서는 제한 없는 배치 처리량보다 더 관련성이 높은 결과다.
다른 Qwen3-VL 시나리오에서는 우위가 더 작았지만 여전히 상당했다. Vera Rubin은 오프라인에서 초당 2,393개 샘플을 기록했고, GB300은 1,305개였다. 서버 결과는 초당 2,323건의 쿼리로, GB300의 1,210건과 비교된다.
이는 오프라인 처리량이 약 1.8배, 서버 처리량이 약 1.9배 높다는 의미다. 이 차이는 단일 최고 배수가 전체 시스템을 설명할 수 없는 이유를 보여준다.
DeepSeek-R1에서 Vera Rubin은 인터랙티브 시나리오 기준 초당 652,750토큰을 기록했다. 72-GPU GB300 NVL72 결과는 같은 공개 지연시간 제약 아래 초당 260,098토큰에 도달했다.
이 비교는 NVIDIA의 DeepSeek-R1 처리량 최대 2.5배 향상 주장을 뒷받침한다. NVIDIA는 이 워크로드에 TensorRT-LLM을 사용했으며, Qwen3-VL 제출에는 NVIDIA Dynamo와 함께 vLLM을 사용했다.
공개 성능 표는 각 결과와 함께 정확도 임계값도 제시한다. Vera Rubin DeepSeek-R1 항목은 FP16 정확도의 99%를 목표로 하며, 정확 일치 점수는 81.9132%다.
Qwen3-VL의 목표는 BF16 품질 99%였다. 벤치마크는 Shopify 제품 카탈로그 데이터세트를 사용해 범주 계층형 F1 점수가 최소 0.7824에 도달해야 한다고 요구했다.
이러한 기준은 공격적인 수치 압축이 모델 출력을 훼손한다면 더 빠른 추론의 가치가 제한적이기 때문에 중요하다. MLPerf는 성능 수치가 인정되기 전에 제출물이 정의된 품질 임계값을 충족하도록 요구한다.
다만 이번 데뷔는 두 개의 벤치마크 모델만 다룬다. MLPerf Inference v6.1의 모든 언어, 추천, 비디오, 음성 또는 검색 워크로드에서의 리더십을 입증하는 것은 아니다.
이처럼 더 좁은 범위는 프리뷰 하드웨어에서는 드문 일이 아니다. 그러나 구매자는 이 결과를 보편적 판정이 아니라 초기 시스템 신호로 읽어야 한다는 뜻이다.
더 높은 처리량이 AI 추론 경제성을 바꾸는 이유
추가 처리량이 하드웨어, 전력 또는 운영 복잡도를 비례적으로 늘리지 않고 더 많은 유용한 요청을 처리할 때 추론 성능은 재무적으로 중요해진다.
학습은 모델을 만들지만, 추론은 모델이 사용자에게 응답할 때마다 실행된다. 소비자용 어시스턴트, 코딩 에이전트, 검색 서비스 또는 문서 시스템은 하나의 작업 동안 여러 추론 호출을 일으킬 수 있다.
추론 에이전트는 이 패턴을 강화한다. 이들은 중간 토큰을 생성하고, 도구를 호출하며, 결과를 검토하고, 계획을 수정한다. 인터페이스에 보이는 하나의 답변에도 여러 차례의 모델 실행이 필요할 수 있다.
이런 동작 때문에 초당 토큰 수는 경제적으로 중요하다. 더 빠른 시스템은 더 많은 동시 요청을 처리하고, 대기열을 줄이거나, 같은 시간 창 안에서 더 긴 추론 과정을 제공할 수 있다.
하지만 최대 처리량은 계산의 일부일 뿐이다. 구매자는 허용 가능한 응답 지연시간, 일관된 정확도, 높은 활용률, 관리 가능한 전력 수요, 신뢰할 수 있는 소프트웨어도 필요로 한다.
MLPerf가 여러 배포 시나리오를 분리하는 이유도 여기에 있다. 오프라인 시나리오는 대량 처리를 강조한다. 서버 시나리오는 가변적인 유입 요청을 모델링하며, 인터랙티브 시나리오는 더 엄격한 반응성 요건을 부과한다.
Vera Rubin의 가장 강한 상대적 성과는 지연시간에 민감한 인터랙티브 환경에서 나타난다. 이는 시스템이 대규모 배치 뒤에 지연을 숨길 수 없을 때 아키텍처 개선의 가치가 특히 커진다는 점을 시사한다.
이 결과는 접근, 사용량 또는 완료된 작업에 요금을 부과하는 제품에 중요하다. 하나의 랙이 요구되는 서비스 수준에서 더 많은 요청을 처리한다면 운영자는 그 인프라에서 더 많은 용량을 얻는다.
그러나 처리량이 자동으로 매출과 같아지는 것은 아니다. 수요가 존재해야 하고, 소프트웨어가 가속기를 계속 활용해야 하며, 전체 서비스는 모델 서버 외부의 병목을 피해야 한다.
스토리지, 네트워크 패브릭, 데이터베이스, 안전 필터, 애플리케이션 로직은 모두 실제 제공 성능을 제한할 수 있다. 벤치마크는 대부분의 프로덕션 환경보다 시험 대상 시스템을 더 명확하게 분리한다.
토큰당 비용도 장비 비용을 최고 처리량으로 나누는 것보다 복잡하다. 여기에는 전력, 냉각, 네트워킹, 유지보수, 금융 비용, 소프트웨어 엔지니어링, 다운타임, 감가상각이 포함된다.
NVIDIA는 Vera Rubin이 토큰 비용을 낮춘다고 말하지만, v6.1 공개 자료는 완전한 프로덕션 총소유비용 비교를 제시하지 않는다. 이 벤치마크는 성능 근거를 제공할 뿐, 완전한 구매 모델은 아니다.
따라서 인프라 팀은 이 결과를 자체 트래픽 프로파일에 맞게 해석해야 한다. 시각 기반 제품 검색 서비스는 Qwen3-VL 서버 처리량을 중시할 수 있다. 추론 플랫폼은 DeepSeek-R1의 지연시간과 토큰 생성 성능을 우선할 수 있다.
벤치마크가 구매자의 워크로드와 닮을수록 결과의 가치는 커진다. 모델 아키텍처, 요청 길이, 배치 동작 또는 서비스 제약이 크게 다르면 결정력은 낮아진다.
이것이 NVIDIA 경쟁사들이 마주한 경제적 압력이다. 이들은 모든 차트에서 이길 필요는 없지만, 더 나은 전체 사업성을 만들 수 있을 만큼의 배포 가능한 성능, 소프트웨어 성숙도, 유연성을 제공해야 한다.
랙 스케일 공동 설계가 성능의 핵심 메커니즘이다
Vera Rubin의 우위는 72개 GPU, CPU, 메모리, 네트워킹, 추론 소프트웨어를 하나의 조율된 시스템으로 다루는 데서 나온다.
NVL72 랙은 72개의 가속기를 고대역폭 스케일업 도메인 안에 연결한다. 스케일업 네트워킹은 이 가속기들이 고립된 서버처럼 작동하는 대신 하나의 대형 시스템을 구성하는 요소로 협력할 수 있게 한다.
NVIDIA는 6세대 NVLink와 NVLink Switch가 표준 Ethernet보다 10배 높은 패킷 전송률을 제공한다고 말한다. 또한 관련 비교에서 지연시간이 3배 낮다고 주장한다.
이러한 인터커넥트 주장은 NVIDIA가 제시한 것이므로 독립적인 네트워크 벤치마크로 간주해서는 안 된다. 그럼에도 제출된 시스템의 설계 선택을 설명하는 데 도움이 된다.
대형 추론 및 비전-언어 모델은 추론 과정에서 상당한 양의 데이터를 이동시킨다. 모델 가중치, 활성화값, 어텐션 상태, 라우팅 결정은 적절한 컴퓨팅 리소스에 신속히 도달해야 한다.
Vera Rubin은 GPU 가까이에 배치된 고대역폭 메모리 세대인 HBM4를 사용한다. NVIDIA의 랙 구성에는 공개된 아키텍처에 따르면 Rubin GPU 72개와 Vera CPU 36개가 포함된다.
소프트웨어는 이후 이들 리소스에 작업을 분배한다. 분리형 서빙은 prefill과 decode를 분리해, 서로 다른 리소스가 텍스트 생성의 각기 다른 단계에 특화될 수 있게 한다.
Prefill은 사용자의 입력을 처리하고 모델의 내부 어텐션 상태를 구축한다. Decode는 응답을 토큰 단위로 생성하며, 흔히 다른 메모리 및 지연시간 제약 아래에서 수행된다.
이 단계를 분리하면 소프트웨어가 각각에 적합한 리소스를 할당할 때 활용률을 높일 수 있다. 반면 조정 오버헤드도 발생할 수 있으므로, 빠른 인터커넥트와 효과적인 스케줄링이 중요해진다.
NVIDIA의 제출은 mixture-of-experts 모델에 대규모 expert parallelism을 사용했다. 이 모델 설계는 매번 전체 네트워크를 실행하는 대신 각 토큰에 대해 선택된 전문가 레이어만 활성화한다.
이 접근법은 연산량을 줄일 수 있지만 불규칙한 통신을 만들어낸다. 토큰은 네트워크 지연으로 절감 효과가 사라지지 않도록 올바른 전문가에게 라우팅되고, 처리된 뒤 반환되어야 한다.
저정밀 연산도 이 메커니즘의 한 부분을 이룬다. NVIDIA는 메모리 사용량을 줄이고 연산 처리량을 높이기 위해 설계된 4비트 수치 형식인 NVFP4를 사용했다.
시스템은 가중치, 어텐션 연산, 키-값 캐시에 저정밀을 적용했다. 키-값 캐시는 모델이 새 토큰마다 전체 대화를 다시 계산하지 않도록 이전 어텐션 정보를 저장한다.
저정밀은 더 많은 데이터를 메모리에 담을 수 있게 하고 컴퓨팅 유닛 간 데이터 이동을 줄인다. MLPerf의 정확도 임계값은 수용하기 어려운 품질 저하를 막는 안전장치 역할을 한다.
따라서 최종 성능 수치는 Rubin 실리콘만을 순수하게 측정한 결과가 아니다. 프로세서, 메모리, 네트워킹, 수치 형식, 커널, 서빙 프레임워크, 벤치마크별 튜닝을 반영한다.
이는 NVIDIA 전략의 핵심이다. 회사는 경쟁 우위가 개별 가속기 사양을 넘어선다고 보기 때문에 고객이 전체 플랫폼을 평가하기를 원한다.
이 전략은 하나의 지원 스택을 원하는 운영자에게 이점을 제공할 수 있다. 동시에 NVIDIA의 긴밀히 연결된 하드웨어 및 소프트웨어 환경에 대한 의존도를 높일 수도 있다.
구매자에게 이러한 의존성이 자동으로 부정적인 것은 아니다. 조율된 플랫폼은 통합 작업을 줄이고 검증된 시스템 전반에 걸쳐 예측 가능한 성능을 제공할 수 있다.
고객이 더 폭넓은 하드웨어 선택권, 이식 가능한 소프트웨어 또는 개별 구성 요소에 대한 독립적 제어를 원할 때는 상충 관계가 드러난다. 이 지점에서 AMD의 경쟁 접근법이 중요해진다.
AMD, 구매 가능한 하드웨어로 플랫폼 서사에 압박
AMD의 v6.1 성과가 Vera Rubin의 선별된 우위를 없애지는 않지만, NVIDIA가 더 폭넓은 추론 서사를 독점하지 못하게 한다.
AMD는 MLPerf Inference v6.0에서 3개였던 모델 계열을 v6.1에서 6개로 확대했다. 해당 결과는 MI355X, MI350X, MI350P 가속기에서 언어, 추론, 추천, 텍스트-투-비디오 워크로드를 다뤘다.
회사의 MLPerf 제출 결과는 GPT-OSS-120B에서 경쟁력 있는 8-GPU 성능을 강조한다. AMD는 MI355X가 오프라인 및 서버 시나리오에서 일부 NVIDIA B200 및 B300 제출 결과를 앞섰다고 밝혔다.
AMD는 동일한 MI355X 하드웨어에서 소프트웨어 작업으로 얻은 성능 향상도 보고했다. 8-GPU GPT-OSS-120B 서버 처리량은 이전 라운드 대비 38% 개선됐다.
오프라인 처리량은 28% 증가했고, Wan 2.2 단일 스트림 성능은 70% 향상됐다. 이는 AMD가 제출한 v6.1 및 v6.0 결과를 비교한 수치다.
이 같은 흐름은 NVIDIA의 핵심 주장 중 하나를 뒷받침한다. 하드웨어만으로는 추론 시스템의 수명 주기 가치를 결정할 수 없다. 소프트웨어 개선은 배포 이후 더 많은 유용한 작업을 가능하게 할 수 있다.
AMD는 GPT-OSS-120B에서 MI355X 72개로 95%의 스케일링 효율을 달성했다. 스케일링 효율은 가속기 추가에 따라 처리량 증가가 얼마나 근접하게 따라오는지를 측정한다.
이후 Crusoe는 512-GPU AMD 시스템을 제출했다. AMD에 따르면 이 시스템은 GPT-OSS-120B에서 초당 575만 개의 오프라인 토큰을, DeepSeek-R1에서 290만 개를 처리했다.
이는 당시 MLPerf Inference에 제출된 결과 가운데 가장 많은 가속기 수였다. 또한 대규모 클러스터와 개방형 소프트웨어 환경을 기반으로 확장하는 경쟁 경로를 보여준다.
Vera Rubin과의 비교는 직접적이지 않다. 제출 결과마다 모델, 시스템 규모, 시나리오, 승인된 최적화가 다를 수 있다.
512개 가속기의 집계 결과가 72-GPU Vera Rubin 시스템보다 랙당 경제성이 우수하다는 것을 입증하지는 않는다. 마찬가지로 Vera Rubin의 Qwen3-VL 선두 성과가 GPT-OSS-120B에서 AMD의 경쟁력을 단정하는 것도 아니다.
이는 MLPerf를 읽을 때 흔히 마주하는 과제다. 모든 벤더는 자신에게 가장 유리한 워크로드, 시나리오, 시스템 규모를 강조할 수 있다.
MLCommons는 표준 규칙, 정확도 기준, 결과 검토, 공개된 구성 세부 정보를 통해 이러한 재량을 줄인다. 그러나 서로 다른 시스템을 동일하게 만들 수는 없다.
가장 유용한 비교는 모델, 시나리오, 지연 시간 목표, 정확도 요건, 가속기 수, 부문을 고정한다. 이들 변수 밖의 차이는 계속 드러나 있어야 한다.
경쟁은 NVIDIA와 AMD를 넘어선다. Google은 v6.1에 참여했고, Intel은 Arc Pro B70 결과를 도입했으며, 여러 클라우드 제공업체가 파트너 시스템을 제출했다.
Lambda의 추론 결과는 시스템 구축업체가 동일한 가속기 세대를 활용해 추가 성능 향상을 낼 수 있음을 보여준다. 이 회사의 4-GPU Blackwell Ultra 시스템은 v6.0 대비 거의 9% 개선됐다.
Lambda는 또한 오픈 부문 제출을 통해 데이터센터 하드웨어에서 Kimi K2.6를 활용하는 엣지 에이전틱 워크로드를 실행했다. Lambda에 따르면 이 모델은 1조 개가 넘는 파라미터를 포함한다.
이들 제출 결과는 더 큰 시사점을 강화한다. 경쟁의 단위가 프로세서에서 모델, 프레임워크, 오케스트레이션, 인프라를 포함하는 구성된 서비스 스택으로 이동하고 있다.
NVIDIA는 현재 이 스택의 가장 통합된 버전을 제공한다. AMD는 통합이 NVIDIA 전용 플랫폼을 필요로 한다는 가정을 약화시키려 하고 있다.
따라서 NVIDIA가 받는 압박은 단순히 가장 빠른 상태를 유지하는 데 그치지 않는다. 성능 우위가 자사 아키텍처에 대한 투자를 정당화할 만큼 충분한 운영 가치를 창출한다는 점을 보여야 한다.
프리뷰 결과가 입증하지 못하는 것
가장 강한 주장은 검증된 벤치마크 처리량이며, 비용, 매출, 가용성, 광범위한 워크로드 리더십에 관한 주장은 추가 증거가 필요하다.
MLCommons는 Vera Rubin과 Vera Rubin NVL72를 프리뷰 항목으로 분류한다. 이 라벨은 이번 결과 라운드에서 해당 플랫폼이 이용 가능한 AMD MI350P와 같은 방식으로 제시되지 않았음을 독자에게 알린다.
프리뷰 상태가 결과를 무효로 만드는 것은 아니다. MLPerf는 여전히 구성을 공개하고 벤치마크 절차를 적용한다. 다만 구매자가 상용 배포 시스템에 대해 추론할 수 있는 범위는 제한한다.
양산 하드웨어는 엔지니어링 제출 결과에는 나타나지 않는 제약에 직면할 수 있다. 펌웨어 성숙도, 고장률, 부품 공급, 냉각, 설치 기간, 플릿 관리는 모두 실제 용량에 영향을 미친다.
Vera Rubin 제출 결과는 NVIDIA와 파트너 Nebius가 함께 냈다. 독립적인 시스템 구축업체 전반에서 더 폭넓게 재현된다면, 성능이 다양한 배포 환경으로 이전된다는 더 강한 증거가 될 것이다.
NVIDIA의 이전 세대 생태계는 유리한 선례를 제공한다. v6.1에서는 멀티노드 Blackwell NVL72 시스템을 사용한 8개 업체를 포함해 19개 파트너가 NVIDIA 플랫폼으로 참여했다.
이 폭넓은 참여는 NVIDIA가 최적화된 설계를 광범위한 공급업체 네트워크로 확산하는 방법을 알고 있음을 시사한다. 그렇다고 Vera Rubin의 프리뷰 구성이 어디에서나 변경 없이 또는 일정대로 제공된다는 보장은 아니다.
워크로드 범위는 또 다른 불확실성을 만든다. 이 플랫폼은 랙 스케일 설계와 소프트웨어 스택에 적합한 두 워크로드인 DeepSeek-R1 및 Qwen3-VL로 데뷔했다.
클로즈드 부문에서는 GPT-OSS-120B, 추천, 음성, 이미지 생성, RAG, Wan 2.2 전반에 걸친 Vera Rubin 결과를 공개하지 않았다. 향후 라운드에서 이 선두가 일반화되는지 보여야 한다.
NVIDIA는 GPT-OSS-120B와 DLRMv3에서 마감 이후의 성능 개선도 언급했다. 회사는 MLCommons가 이 후속 결과를 검증하지 않았다고 명시했다.
이 수치는 동일한 검토 절차를 통과하기 전까지 직접적인 벤치마크 결론에서 제외돼야 한다. 벤더 테스트는 방향성을 보여줄 수 있지만 동일한 증거 가중치를 갖지는 않는다.
전력 데이터도 헤드라인 비교에서 빠진 요소다. 랙당 처리량은 중요하지만, 운영업체는 바닥 공간이 소진되기 전에 고정된 전력 용량 한계에 부딪히는 경우가 많다.
더 빠른 랙이라도 더 고밀도 전력 공급이나 더 까다로운 액체 냉각을 요구한다면 배포를 복잡하게 만들 수 있다. 전력당 성능은 시설의 한도 내에 얼마나 많은 유용한 작업을 담을 수 있는지를 결정한다.
NVIDIA는 더 높은 처리량이 토큰당 비용을 낮춘다고 주장한다. 다른 요인이 안정적으로 유지된다면 그 결론은 타당하지만, 공개된 결과는 완전한 비용 회계를 제공하지 않는다.
구매 조건, 가동률, 전력, 유지보수, 금융, 소프트웨어 인력은 최종 수치를 바꿀 수 있다. 구매자는 자체 워크로드에서 측정한 운영 데이터가 필요하다.
벤치마크는 최종 사용자 응답성도 보장할 수 없다. 모델 서빙은 빠르게 실행될 수 있지만, 검색, 도구 호출, 데이터베이스 또는 외부 API가 지연의 대부분을 유발할 수 있다.
MLPerf v6.1은 새로운 검색 증강 생성 및 엣지 에이전틱 테스트를 통해 이 격차를 해결하기 시작했다. 제출 업체의 절반 이상은 클라이언트-서버 아키텍처를 적용하는 API 중심 하네스를 사용했다.
MLCommons는 이 하네스가 데이터센터 테스트를 위한 MLPerf Endpoints로의 전환을 지원할 것이라고 밝혔다. 이 변화는 측정을 고립된 모델 엔진보다 실제 배포 가능한 서비스에 더 가깝게 만들 것으로 보인다.
이러한 진화는 NVIDIA의 플랫폼 논거를 강화할 수도, 약화할 수도 있다. 긴밀하게 통합된 스택은 전체 서비스 측정에서 이점을 얻어야 하지만, 외부 종속성은 원시 가속기 우위를 희석할 수 있다.
신중한 해석은 구체적이다. Vera Rubin은 DeepSeek-R1과 Qwen3-VL에서 주목할 만하고 검토를 거친 프리뷰 데뷔 성과를 냈다. 아직 보편적 리더십이나 완전한 양산 경제성을 입증한 것은 아니다.
선두 유지 여부를 결정할 세 가지 신호
Vera Rubin의 초기 우위는 출하 시스템이 더 많은 워크로드와 측정 가능한 운영 제약 아래에서 이를 재현할 때에만 전략적으로 중요해진다.
첫 번째 신호는 폭넓은 양산 가용성이다. 고객은 프리뷰 제출 결과와 비교 가능한 구성 세부 정보를 공개하는 클라우드 인스턴스, 파트너 시스템, 설치된 랙을 주시해야 한다.
성공적인 출시는 NVIDIA가 최적화된 엔지니어링 결과를 반복 가능한 인프라로 전환할 수 있음을 보여줄 것이다. 지연이나 실질적으로 다른 구성은 그 결론을 약화할 것이다.
가용성은 출하 발표 이상의 의미를 가져야 한다. 구매자에게는 안정적인 소프트웨어 릴리스, 검증된 네트워킹, 서비스 절차, 그리고 장기간 운영 중에도 시스템이 성능을 유지한다는 증거가 필요하다.
두 번째 신호는 다음 독립 벤치마크 라운드다. Vera Rubin에는 DeepSeek-R1과 Qwen3-VL을 넘어, 특히 검색, 추천, 비디오 및 추가 언어 모델에서의 결과가 필요하다.
더 폭넓은 범위는 하나의 플랫폼이 다양한 추론 워크로드를 처리할 수 있다는 NVIDIA의 주장을 뒷받침할 것이다. 좁은 범위는 특화 가속기와 경쟁 클러스터에 더 많은 여지를 남길 것이다.
향후 MLPerf Endpoints 결과는 특히 많은 것을 드러낼 것이다. 이는 기업이 구매하고 운영하는 서비스와 더 유사한 API 지향 시스템을 측정해야 한다.
Vera Rubin의 원시 처리량이 요청 오케스트레이션, 검색 구성 요소, 현실적인 서비스 경계가 추가된 뒤에도 유지되는지 지켜봐야 한다. 더 작은 우위는 병목 지점이 다른 곳으로 이동했음을 시사할 것이다.
세 번째 신호는 경쟁 소프트웨어의 발전이다. AMD의 v6.1 개선은 설치된 가속기가 새 하드웨어 세대 없이도 상당한 성능 향상을 얻을 수 있음을 보여준다.
ROCm, 오픈 서빙 프레임워크, 파트너 시스템이 계속 빠르게 개선된다면, 구매자는 유연성이나 기존 인프라 호환성을 얻기 위해 더 낮은 최고 성능을 받아들일 수 있다.
NVIDIA의 소프트웨어도 같은 속도로 개선된다면 Vera Rubin의 초기 우위는 누적될 수 있다. 회사는 이미 v6.0과 v6.1 사이 GB300에서 Qwen3-VL 성능이 1.6배 향상됐다고 보고했다.
따라서 소프트웨어 속도는 두 가지 측면에서 중요하다. 현재 성능을 높이고, 고객이 고가 시스템의 유효 수명을 추정하는 방식을 바꾼다.
조달팀은 정확히 자신들이 사용하는 모델, 컨텍스트 길이, 배치 패턴, 지연 시간 목표에 대한 결과를 요청해야 한다. 또한 장애, 업그레이드, 워크로드 변경도 테스트해야 한다.
개발자는 광범위한 맞춤 작업 없이 어떤 최적화가 일반적인 프레임워크에 적용되는지 주시해야 한다. 일반 팀이 배포하거나 유지할 수 없다면 벤치마크에 맞춘 기법의 가치는 제한적이다.
AI 제품 리더는 인프라 지표를 사용자 결과와 연결해야 한다. 더 빠른 추론은 더 낮은 지연 시간, 더 많은 추론 단계, 더 높은 동시성 또는 더 긴 멀티모달 요청을 지원할 수 있다.
NVIDIA Vera Rubin MLPerf 결과는 랙 스케일 공동 설계에 대한 신뢰할 만한 출발 사례를 제시한다. 3.7배의 최고 성능 비교는 의미가 있지만, 정해진 시나리오에 속한 결과다.
다음 판단은 프리뷰 벤치마크가 빠르게 보이는지 여부가 아니다. 분명히 빠르다. 판단해야 할 점은 전력, 소프트웨어, 가용성, 실제 워크로드가 고려된 뒤에도 출하 시스템이 그 우위를 유지하는지다.
플랫폼을 선택하기 전에 벤더에게 가장 까다로운 서비스 수준 목표를 재현하도록 요구하라. 그런 다음 지속 처리량, 지연 시간, 정확도, 가동률, 운영 부담을 함께 비교하라. 이 평가를 통해 Vera Rubin의 벤치마크 우위가 지속 가능한 추론 경제성으로 이어질지, 아니면 인상적인 프리뷰 결과에 머물지를 알 수 있다.
