Google TPU 추론, Ironwood로 Nvidia의 비용 우위에 도전

Google TPU 추론은 새로운 단계에 접어들었다. Ironwood가 일부 테스트에서 Nvidia B200보다 달러당 성능이 최대 50% 더 뛰어났다는 평가가 나왔다. 이 결과는 SemiAnalysis가 운영하는 제3자 벤치마킹 프로젝트 InferenceX의 공식 프리뷰에서 나왔다. 경쟁력 있는 TPU 경제성이 Google 내부에서만 존재한다는 통념에 도전하는 결과다.

다만 이 단서는 중요하다. SemiAnalysis는 특정 모델, 정밀도, 처리량, 지연 시간 조건에서 새롭게 외부에 공개된 TPU 서빙 스택과 Nvidia 가속기를 비교했다. Ironwood가 모든 비교에서 승리한 것은 아니며, 해당 소프트웨어에는 성숙한 GPU 배포 환경에서 제공되는 여러 최적화가 아직 부족하다.

따라서 더 깊은 경쟁은 하나의 벤치마크와 다른 벤치마크의 대결이 아니다. 이는 수직 통합형 TPU 시스템을 Nvidia의 CUDA 소프트웨어 환경에 익숙한 고객이 사용할 수 있게 하려는 Google의 시도다. Google이 성공한다면, 구매자는 하드웨어 격차가 좁혀지기만을 기다리지 않고도 대규모 추론을 위한 신뢰할 만한 대안을 얻게 된다.

Google TPU 추론, Google의 벽 밖으로 나아가다

중요한 변화는 외부 사용자가 이제 더 익숙한 오픈 모델 서빙 워크플로를 통해 Google TPU 추론을 평가할 수 있게 됐다는 점이다.

Google은 10년 넘게 프로덕션 환경에서 TPU를 운영해 왔다. 내부 서비스 덕분에 이 회사는 가속기 설계, 컴파일러, 네트워킹, 모델, 배포 소프트웨어를 이례적으로 폭넓게 제어할 수 있었다. 이러한 통제는 Google 내부에서 TPU의 효율성을 높였지만, 외부 개발자가 접근할 수 있는 플랫폼을 자동으로 만들어 주지는 않았다.

Ironwood는 이 방정식의 일부를 바꾼다. Google은 2025년 4월, 추론을 위해 특별히 설계한 최초의 TPU인 7세대 TPU를 공개했다. 추론은 학습된 모델을 실행해 답변, 이미지, 예측 또는 행동을 생성하는 과정이다.

Google은 이후 Google Cloud를 통해 Ironwood를 정식 출시했다. Ironwood 출시 세부 정보에 따르면, 구성에 따라 포드당 최대 9,216개 칩과 42.5 엑사플롭스에 도달할 수 있다. Google은 또한 2018년 첫 Cloud TPU와 비교해 전력 효율이 거의 30배 개선됐다고 주장했다.

이 사양은 하드웨어의 규모를 보여줬다. 그러나 외부 팀이 Google의 비공개 프로덕션 환경에 의존하지 않고 오픈 웨이트 모델을 효율적으로 서빙할 수 있는지에 대한 답은 아니었다.

새로운 InferenceX 결과는 이 더 어려운 질문을 다룬다. SemiAnalysis에 따르면 이 프리뷰는 PyTorch 중심의 모델 워크플로를 Google TPU와 연결하도록 설계된 외부 소프트웨어 스택 TorchTPU를 사용한다. 또한 대규모 언어 모델 추론에 쓰이는 오픈소스 서빙 엔진 SGLang 관련 작업도 포함한다.

이 조합이 중요한 이유는 대부분의 AI 개발자가 가속기의 최고 연산 사양만 보고 선택하지 않기 때문이다. 이들은 모델 체크포인트와 안정적인 프로덕션 서비스 사이에 얼마나 많은 엔지니어링 작업이 필요한지를 평가한다.

제3자 벤치마크 프리뷰는 Ironwood가 테스트된 운영 범위의 일부 구간에서 달러당 성능 기준 Nvidia B200 및 B300을 앞섰다고 전했다. 사용자당 초당 생성 토큰 100개 목표에서 SemiAnalysis는 B200 대비 약 19%의 비용 우위를 계산했다. 보고된 우위는 B300 대비 약 34%에 달했다.

더 느린 초당 20토큰 목표에서 Ironwood는 보고된 테스트 기준 칩당 총 초당 토큰 9,364개를 기록했다. B200은 8,903개, B300은 8,925개를 기록했다. 이는 해당 실행에서 Ironwood의 순수 처리량이 약 5% 더 높았다는 의미다.

더 낮게 모델링된 하드웨어 비용은 계산된 우위를 확대했다. SemiAnalysis는 고동시성 구간 한 곳에서 Ironwood가 B200보다 달러당 토큰 수가 50.4% 더 많았다고 보고했다. 같은 지점에서 B300 대비로는 훨씬 더 큰 우위를 기록했다고 전했다.

이는 보편적인 순위가 아니라 벤치마크 결과다. 아직 개발 중인 스택에서 실행된 선택된 모델과 구성에 대한 결과를 나타낸다. 그럼에도 TPU에 대한 논의를 아키텍처적 잠재력에서 외부에서 관찰 가능한 경제성으로 옮겨 놓는다.

이러한 전환은 핵심적인 긴장을 만든다. Google은 더 이상 자사 팀만 TPU에서 가치를 끌어낼 수 있음을 보여주면 되는 것이 아니다. 고객이 수용 가능한 노력, 지연 시간, 신뢰성, 모델 지원 범위로 그 가치의 충분한 부분을 재현할 수 있음을 보여줘야 한다.

비용 결과가 Nvidia의 기본 지위에 압박을 가하다

신뢰할 수 있는 TPU 비용 우위는 Nvidia에 압박을 가한다. 추론 구매자는 칩의 최고 사양이 아니라 완료된 작업을 구매하기 때문이다.

대규모 AI 서비스는 엄청난 양의 입력 및 출력 토큰을 처리해야 한다. 활용률, 지연 시간, 에너지 소비의 작은 차이도 지속적인 워크로드 전반에서 누적된다. 따라서 프로덕션 시스템을 비교할 때 달러당 성능은 순수 처리량보다 더 유용한 지표가 된다.

물론 이 지표에도 맥락이 필요하다. 시스템은 더 많은 요청을 함께 배치해 총 처리량을 늘릴 수 있지만, 배치가 커지면 개별 사용자의 대기 시간도 길어지는 경우가 많다. 서비스가 응답 시간 목표를 놓친다면 토큰당 비용이 낮아도 의미가 줄어든다.

SemiAnalysis는 고동시성 측정에서 이러한 트레이드오프를 공개했다. 동시성 256에서 Ironwood의 평균 첫 토큰 생성 시간은 5.41초였다. B200은 3.75초, B300은 2.40초에 도달했다.

첫 토큰 생성 시간은 모델이 응답 생성을 시작하기 전까지 사용자가 기다리는 시간을 측정한다. 이는 특히 채팅 인터페이스, 코딩 어시스턴트, 음성 시스템, 인터랙티브 에이전트에서 중요하다.

이 지연 시간 차이는 Ironwood가 단순히 Blackwell을 능가한다는 주장을 복잡하게 만든다. Ironwood의 가장 강력한 비용 결과는 Nvidia가 첫 토큰을 더 빠르게 제공한 운영 지점에서 나타났다. 고객마다 이 교환 조건을 다르게 평가할 것이다.

오프라인 문서 처리 서비스는 상당한 처리량을 얻을 수 있다면 더 긴 대기 시간을 받아들일 수 있다. 응답성을 두고 경쟁하는 소비자용 챗봇은 완료된 요청당 비용이 더 들더라도 더 빠른 첫 토큰을 선호할 수 있다.

장시간 실행되는 에이전트는 또 다른 워크로드 패턴을 만든다. 이들은 반복적으로 컨텍스트를 읽고, 도구를 호출하고, 상태를 업데이트하며, 짧은 응답을 생성한다. 이들의 인프라 요구 사항은 하나의 프롬프트 뒤에 긴 답변이 이어지는 경우와 다르다.

이러한 차이는 InferenceX가 하나의 헤드라인 점수 대신 파레토 곡선을 제시하는 이유를 설명한다. 파레토 곡선은 하나의 운영 지점이 모든 애플리케이션에 적합한 것처럼 가장하지 않고, 비용과 지연 시간의 최선의 조합을 보여준다.

Ironwood는 이 곡선의 상당 부분에서 경쟁력을 유지한 것으로 전해졌다. 종단 간 응답 시간 중앙값 20초 기준으로 SemiAnalysis는 B200 대비 8%, B300 대비 25%의 비용 우위를 추정했다.

하지만 겹치는 곡선의 더 작은 일부 구간에서는 B200이 앞섰다. Nvidia는 모델이 더 낮은 정밀도의 FP4 연산을 사용할 때도 중요한 우위를 유지했다.

FP4는 4비트 부동소수점 표현을 사용해 수치를 저장한다. 처리량을 늘리고 메모리 사용량을 줄일 수 있지만, 공격적인 양자화는 모델 품질에도 영향을 줄 수 있다. 벤치마크 분석에 따르면 Ironwood에는 네이티브 FP4 연산이 없다.

SemiAnalysis는 가장 근접하게 일치하는 테스트에서 주로 FP8과 단일 토큰 예측으로 시스템을 비교했다. 고객이 품질 및 구현상의 트레이드오프를 받아들일 경우 Nvidia의 FP4 경로가 앞설 수 있다고 언급했다.

이는 Nvidia에 가해지는 압박이 직접적인 대체 서사보다 더 제한적이라는 뜻이다. Google은 특히 안정적인 모델 형태가 특수 하드웨어에 유리한 일부 추론 워크로드에서 Nvidia의 경제적 기본 선택지에 도전하고 있다.

Nvidia는 여전히 폭넓은 워크로드 지원, 널리 배포된 라이브러리, 숙련된 운영 인력, 확립된 디버깅 도구를 제공한다. 이러한 자산은 토큰 처리량 차트에 나타나지 않는 방식으로 통합 위험을 낮춘다.

당장의 압박은 Nvidia의 가격 정책과 제품 세분화에 가해진다. 고객이 예측 가능한 추론 워크로드를 Ironwood로 옮길 수 있다면, Nvidia는 더 높은 활용률, 더 낮은 지연 시간, 더 폭넓은 정밀도 선택지 또는 더 간단한 배포로 Blackwell을 방어해야 한다.

Google도 압박을 받고 있다. 유망한 프리뷰를 반복 가능한 고객 성과로 전환해야 한다. 그렇지 않으면 구매자는 이 벤치마크를 조달 대안이 아니라 최적화된 시연으로 볼 것이다.

Google의 외부 TPU 스택이 하나의 벤치마크보다 중요한 이유

진정한 핵심은 소프트웨어의 외부화다. 고객이 모델 배포에 어려움을 겪는다면 경쟁력 있는 하드웨어도 CUDA 의존도를 낮출 수 없기 때문이다.

CUDA는 GPU 컴퓨팅을 위한 Nvidia의 프로그래밍 플랫폼이자 가속 라이브러리 모음이다. 그 중요성은 커널 작성에 사용되는 언어를 넘어선다. CUDA는 드라이버, 컴파일러, 통신 라이브러리, 프로파일러, 추론 엔진, 모델 최적화 도구, 그리고 수년간 축적된 개발자 지식을 연결한다.

이 연결된 시스템은 운영 위험을 낮춘다. GPU 성능 문제에 직면한 팀은 방대한 문서, 익숙한 도구, 벤더 지원, 대규모 엔지니어링 커뮤니티를 활용할 수 있다. 서로 다른 Nvidia 세대에 걸쳐 배포 패턴을 재사용할 수 있는 경우도 많다.

Google은 역사적으로 내부 도구와 팀을 통해 TPU를 최적화해 왔다. JAX는 가장 널리 알려진 공개 프로그래밍 경로가 됐고, 많은 외부 AI 프로젝트는 PyTorch와 CUDA를 중심으로 표준화됐다.

TorchTPU는 이 격차를 좁히려 한다. PyTorch 중심 개발자에게 친숙한 모델 및 서빙 계층을 지원하면서 TPU 실행으로 이어지는 경로를 제공한다. 이 경험이 기존 워크플로에 가까워질수록 Google의 전환 비용은 낮아진다.

SGLang은 또 다른 가교를 제공한다. 요청 스케줄링, 메모리 사용, 배치 처리, 분산 실행 같은 모델 서빙 작업을 관리한다. Google은 인지도가 있는 추론 엔진을 지원함으로써 칩 수준을 넘어 경쟁할 수 있다.

그렇다고 소프트웨어 문제가 해결된 것은 아니다. SemiAnalysis는 추측 디코딩, 분리형 서빙, 키-값 캐시 오프로드, 멀티턴 에이전트 워크로드와 관련한 미완성 작업을 지적했다.

추측 디코딩은 더 작은 또는 더 빠른 모델이 토큰을 제안하고, 더 큰 모델이 이를 검증하는 방식이다. 잘 구현하면 최종 모델의 기대 출력 분포를 바꾸지 않으면서 생성 속도를 높인다.

분리형 서빙은 프롬프트 처리와 토큰 생성을 분리한다. 이 단계들은 연산, 메모리, 네트워킹에 서로 다른 요구를 부과하므로, 특화된 리소스 풀은 활용률을 높일 수 있다.

키-값 캐시 오프로드는 적절한 경우 저장된 어텐션 데이터를 가속기 메모리 밖으로 옮긴다. 긴 컨텍스트나 다수의 동시 세션에서 실효 용량을 확장할 수 있지만, 데이터 이동은 지연 시간을 유발할 수 있다.

이러한 기능은 주요 GPU 배포 환경 전반에서 중요해졌다. Google의 비공개 인프라는 일부 유사한 기술을 사용하는 것으로 전해지지만, 외부 TPU 스택은 아직 모든 최적화 경로를 노출하지 않는다.

이러한 격차는 벤치마크 보고서의 의미심장한 비교를 설명한다. SemiAnalysis는 분리형 서빙을 사용하는 Nvidia GB300 NVL72 시스템이 지연 시간 범위의 일부 구간에서 달러당 성능 기준 약 30%의 우위를 유지했다고 밝혔다. TPU 비교는 외부 분리형 경로가 완전히 최적화되지 않았기 때문에 통합형 서빙을 사용했다.

이는 깔끔한 아키텍처 비교가 아니었다. 다만 프로덕션 소프트웨어가 결과에 얼마나 큰 영향을 줄 수 있는지는 보여줬다. 한 시스템이 더 성숙한 스케줄링 및 서빙 전략을 적용받으면 하드웨어 우위도 달라진다.

Nvidia도 추론 계층을 확장하고 있다. 이 회사는 분산형 생성 및 에이전트 추론을 위한 오픈소스 소프트웨어로 Dynamo 1.0을 2026년 3월 출시했다. Dynamo는 요청 라우팅, 메모리 관리, 분리형 서빙 등의 작업을 조율한다.

Nvidia는 또한 TensorRT-LLM CUDA 커널을 오픈소스 FlashInfer 프로젝트에 기여했다. 이 전략은 개발자가 이미 사용하는 프레임워크 안에 Nvidia 최적화 구성 요소를 배치한다.

따라서 Google은 정적인 목표를 따라잡는 방식으로 CUDA 해자를 줄일 수 없다. Nvidia가 스택의 일부를 계속 개방하고 랙 규모 시스템을 최적화하는 동안에도 함께 개선해야 한다.

Google에 유망한 요소는 하드웨어와 소프트웨어 개발을 조율할 수 있는 역량이다. TPU 엔지니어는 동일한 아키텍처 가정에 맞춰 컴파일러, 커널, 인터커넥트, 서빙 시스템을 설계할 수 있다.

제약은 모델 다양성이다. 특화된 어레이는 모델 차원과 연산이 그 구조에 맞을 때 가장 잘 작동한다. GPU를 중심으로 설계되고 튜닝된 모델은 TPU 실행에 비효율적인 형태를 만들 수 있다.

SemiAnalysis는 어텐션 차원과 mixture-of-experts 라우팅을 통해 이 문제를 부각했다. 널리 쓰이는 모델이라도 Ironwood를 효율적으로 활용하기 전까지 상당한 커널 작업이 필요할 수 있다.

따라서 외부화는 하나의 성공적인 포팅이 아니라 확대되는 호환성 매트릭스에 달려 있다. 구매자는 Google의 성능 엔지니어에게 직접 접근하지 않아도 새 모델 계열이 적시에 최적화될 것이라는 확신이 필요하다.

Ironwood는 일부 테스트에서 승리했지만, 검증 격차는 남아 있다

보고된 우위는 의미 있지만, 그 범위는 일반적인 Google TPU 추론 우위를 입증하기에는 여전히 너무 좁다.

InferenceX는 자사 결과를 Ironwood에 대한 최초의 제3자 추론 측정치로 설명한다. 이는 Google만이 공개한 벤치마크보다 작업에 더 큰 독립성을 부여한다. 그러나 SemiAnalysis는 테스트 스택 구축과 최적화를 도운 Google 엔지니어 및 다른 참여 팀에도 공을 돌린다.

초기 하드웨어 벤치마킹에서 협업은 일반적이다. 지원받지 않은 설치보다 시스템이 달성 가능한 성능을 더 정확히 드러낼 수 있다. 동시에 이 결과는 일반 고객 배포보다는 튜닝된 레퍼런스 구현에 더 가까워진다.

프리뷰는 처음에 8k1k 워크로드에 초점을 맞췄다. 이 표기는 일반적으로 8,000토큰 입력을 처리하고 1,000토큰 출력을 생성하는 작업을 뜻한다. 상당한 길이의 프롬프트와 의미 있는 응답을 나타내지만, 모든 현대적 추론 패턴을 포괄하지는 않는다.

코딩 에이전트는 여러 턴에 걸쳐 리포지터리를 재사용하고 확장할 수 있다. 리서치 에이전트는 긴 검색 입력과 짧은 도구 호출을 번갈아 사용할 수 있다. 음성 애플리케이션은 지속적인 저지연을 우선시하는 반면, 배치 요약은 전체 처리량을 우선시한다.

단일 워크로드로는 이러한 차이를 대표할 수 없다. 구매자에게는 프롬프트 길이, 출력 길이, 동시성 수준, 모델 아키텍처, 양자화 형식, 서비스 수준 목표 전반의 결과가 필요하다.

모델 품질도 비교에 포함돼야 한다. FP4는 Nvidia 처리량을 높일 수 있지만, 낮은 정밀도 구성은 작업 정확도와 출력 일관성을 기준으로 평가해야 한다. 정밀도 변경이 서로 다른 모델 동작을 낳는다면 속도 결과만으로는 불완전하다.

비용 산정 방식도 또 다른 불확실성을 낳는다. SemiAnalysis는 공개 클라우드 임대 요금만이 아니라 외부 구매 시스템의 모델링된 총소유비용을 사용했다. 이러한 모델은 도입, 활용률, 전력, 네트워킹, 금융, 사용 수명에 관한 가정에 의존한다.

Google의 내부 경제성은 고객의 경제성과 다르다. 보고서는 Google의 내부 비용 가정을 적용했을 때 TPU 우위가 더 커진다고 추정했다. 외부 구매자는 같은 비용 구조를 제공받는다고 가정할 수 없다.

가용성은 계산을 더욱 바꿀 수 있다. 기술적으로 효율적인 가속기라도 고객이 사용하는 지역에서 충분한 용량을 확보할 수 없다면 가치가 제한적이다. Nvidia 역시 공급 제약에 직면하지만, 그 시스템은 많은 클라우드 제공업체와 서버 파트너를 통해 계속 제공되고 있다.

Google의 현재 TPU 카탈로그는 Ironwood를 정식 출시 상태로 나열한다. 또한 추론 중심의 차세대 제품인 TPU 8i도 소개한다. 실제 용량, 구매 옵션, 지원 방식, 지역별 접근성은 고객에 따라 여전히 달라질 수 있다.

이식성 역시 벤치마크가 좀처럼 포착하지 못하는 비용이다. TPU 특화 최적화를 표준화한 기업은 경제성을 개선할 수 있지만 Google Cloud 또는 일부 시스템 공급업체에 더 의존하게 될 수 있다.

CUDA는 종속성을 만들지만, CUDA에서 벗어난다고 해서 종속성이 자동으로 사라지는 것은 아니다. 하나의 통합 스택을 다른 스택으로 바꿀 수 있다. 오픈 프레임워크는 백엔드 간 동작과 성능이 예측 가능하게 이전될 때에만 이 위험을 줄인다.

운영 측면의 증거는 또 하나의 벤치마크 곡선만큼 중요해질 것이다. 고객에게는 장애 복구, 관측성, 오토스케일링, 보안 제어, 버전 관리, 예측 가능한 업그레이드가 필요하다.

성능 저하를 진단할 수 있는 엔지니어도 필요하다. 전문 인력이 반복적으로 커널을 다시 작성하거나 컴파일러 동작을 조사해야 한다면 토큰 비용이 낮은 플랫폼도 비싸질 수 있다.

이런 이유로 InferenceX 결과는 선택된 조건에서의 경쟁력을 입증하는 것으로 읽어야 한다. Ironwood가 모든 모델이나 조직에 가장 적합한 가속기가 됐다는 증거는 아니다.

이 구분이 이 소식의 의미를 줄이는 것은 아니다. 이전 TPU 논쟁은 Google의 비공개 우위가 자체 환경 밖으로 나올 수 있는지에 머무르는 경우가 많았다. 이번 프리뷰는 적어도 스택의 일부가 이제 외부에서 테스트 가능한, 경제적으로 경쟁력 있는 추론을 지원할 수 있음을 보여준다.

입증 책임은 이동했다. Google은 테스트 범위를 확장해야 하며, Nvidia는 Ironwood가 비용을 낮추는 워크로드 전반에서 자사 소프트웨어와 지연 시간 우위가 그 위치를 정당화함을 보여야 한다.

TPU 8i는 Ironwood를 넘어 도전을 확대한다

Ironwood가 신뢰할 만한 외부 경로를 구축하는 반면, TPU 8i는 현재 비교에서 드러난 여러 한계를 해결하도록 설계됐다.

Google은 2026년 4월 훈련과 추론을 위한 별도 설계를 갖춘 8세대 TPU를 발표했다. TPU 8t는 대규모 훈련을 겨냥하며, TPU 8i는 후속 훈련, 강화학습, 추론에 초점을 맞춘다.

이 분리는 AI 인프라 수요가 어떻게 바뀌었는지를 반영한다. 훈련에는 거대한 클러스터 전반의 고밀도 연산이 필요하다. 추론은 메모리 용량, 지연 시간, 처리량, 에너지, 빠르게 변화하는 요청 패턴의 균형을 맞춰야 한다.

Google은 TPU 8i가 대규모 mixture-of-experts 모델의 저지연 추론에서 Ironwood 대비 달러당 성능을 80% 개선할 것이라고 말한다. mixture-of-experts 모델은 각 토큰에 대해 선택된 파라미터 그룹만 활성화해 연산량을 줄이는 대신 라우팅과 통신 수요를 만든다.

회사는 TPU 8i가 네이티브 FP4 연산도 지원한다고 말한다. 이는 Ironwood 비교에서 Nvidia가 우위를 유지했던 영역 중 하나를 직접 겨냥한다.

Google의 8세대 로드맵은 TPU 8i와 TPU 8t가 Ironwood 대비 최대 두 배의 와트당 성능을 제공한다고 밝힌다. 두 제품 모두 2026년 후반 출시 예정으로 발표됐다.

독립 테스트가 이를 확인하기 전까지는 회사 주장에 불과하다. 중요한 점은 아키텍처의 방향이다. Google은 더 이상 주로 훈련 중심으로 설계된 하드웨어의 부차적 용도로 추론을 다루지 않는다.

TPU 8i는 현재 진행 중인 외부 소프트웨어 작업의 중요성도 높인다. 사용할 수 있는 서빙 스택이 없는 새 가속기는 도입 문제를 다시 시작하게 된다. 성숙해지는 TorchTPU 환경은 모델 지원과 운영 지식을 다음 세대로 이어갈 수 있다.

SemiAnalysis는 TPU 8i가 Nvidia의 Rubin NVL72 플랫폼과 더 직접적으로 경쟁할 것으로 예상한다. 이 비교는 네이티브 FP4 지원만으로 결정되지 않을 것이다.

Nvidia의 Rubin 시스템은 랙 규모에서 GPU, CPU, 네트워킹, 메모리, 추론 소프트웨어를 결합한다. Nvidia는 반복적 추론이 전체 토큰 수요를 늘리는 추론 모델과 에이전트 워크로드를 중심으로 로드맵도 최적화했다.

Google도 유사한 시스템 수준의 주장을 제시한다. TPU 연산, 칩 간 통신, 광 네트워킹, 컴파일러, 클라우드 오케스트레이션을 공동 설계한다.

경쟁은 점점 더 시스템 대 시스템의 구도가 되고 있다. 어느 공급업체도 독립형 가속기 사양만으로 지속적인 프로덕션 워크로드를 확보할 수 없다.

Amazon, AMD 및 기타 맞춤형 실리콘 프로그램은 추가 압력을 가한다. 이들의 존재는 대형 구매자가 많은 워크로드에서 Nvidia를 계속 사용하더라도 협상력을 더 갖게 한다.

그럼에도 Google은 독특한 위치를 차지한다. 수년간의 TPU 프로덕션 경험, 대규모 내부 워크로드, 퍼블릭 클라우드, 최첨단 모델 개발, 명확한 가속기 로드맵을 보유하고 있다.

이 조합은 Google이 고객에게 공개하기 전에 상당한 내부 서비스에서 최적화를 테스트할 수 있게 한다. Gemini 모델을 TPU 특성에 맞춰 설계할 수도 있다.

외부 도입에는 반대 방향의 움직임이 필요하다. Google은 GPU 중심 연구가 수년간 반영된 차원을 가진 아키텍처를 포함해, 자체적으로 설계하지 않은 인기 모델을 최적화해야 한다.

바로 여기서 CUDA 해자는 덜 절대적이 되지만 여전히 상당하다. 고수준 프레임워크는 기본 실행 중 하드웨어 차이를 숨길 수 있다. 하지만 모든 커널, 네트워킹, 스케줄링, 메모리 관리의 차이를 자동으로 없앨 수는 없다.

AI 지원 코드 생성은 일부 포팅 작업을 가속할 수 있다. 그러나 정확성, 안정성, 프로덕션 장애 모드 전반의 검증을 대체할 수는 없다.

TPU 8i는 폭넓은 모델 지원과 성숙한 분리형 서빙을 갖추고 출시된다면 Google의 도전을 강화할 것이다. 반면 최상의 경제성이 특권적 엔지니어링 지원이나 좁은 벤치마크 구성에 의존한다면 그 서사는 약화될 것이다.

TPU 외부화의 성패를 가를 세 가지 신호

다음 증거는 또 하나의 고립된 최고 성능 결과가 아니라 재현성, 워크로드 폭, 고객 도입을 보여줘야 한다.

첫 번째 신호는 조건을 맞춘 분리형 서빙 벤치마크다. SemiAnalysis는 Google이 내부적으로 관련 기술을 사용하고 있음에도, 현재 외부 TPU 경로는 이 영역에서 여전히 최적화가 필요하다고 말한다.

유용한 후속 비교는 양측 모두에서 분리를 활성화한 상태로 Ironwood와 Nvidia 시스템을 비교하는 것이다. 동일한 모델, 정밀도, 품질 목표, 지연 시간 제약, 비용 산정 방식을 사용해야 한다.

Ironwood가 GB300 NVL72 대비 보고된 격차를 좁힌다면 Google의 시스템 수준 주장은 더 강해진다. 격차가 지속된다면 Nvidia의 성숙한 서빙 소프트웨어는 결정적 우위로 남는다.

두 번째 신호는 멀티턴 에이전트 워크로드 전반의 성능이다. 이 시스템은 증가하는 컨텍스트를 반복적으로 처리하고, 도구를 호출하며, 짧은 출력을 생성한다. 이는 8k1k 벤치마크와는 다른 방식으로 캐시 관리와 지연 시간을 압박한다.

SemiAnalysis는 2026년 후반에 에이전트 워크로드 결과를 공개할 계획이라고 말한다. 이 테스트는 첫 토큰까지의 시간, 토큰 간 지연 시간, 처리량, 메모리 사용량, 완료 작업당 비용을 보고해야 한다.

강력한 결과는 Google TPU 추론이 현재 인프라 계획을 이끄는 수요 패턴을 처리할 수 있음을 보여줄 것이다. 약한 결과는 Ironwood의 우위가 더 예측 가능한 서빙 작업에 집중된다는 점을 시사할 것이다.

세 번째 신호는 외부 고객의 증거다. 정식 출시는 중요하지만, 반복 배포는 개발자가 이례적으로 집중적인 지원 없이 벤치마크의 경제성을 재현할 수 있는지를 보여준다.

가장 강력한 증거에는 실명이 공개된 프로덕션 워크로드, 지원되는 오픈 모델, 용량 확장, 측정된 신뢰성이 포함될 것이다. 구매자는 새 모델이 최적화된 TPU 커널을 얼마나 빠르게 제공받는지도 지켜봐야 한다.

Google은 이미 Citadel Securities에서의 더 빠른 워크로드를 비롯해 Ironwood 관련 고객 사례를 소개하고 있습니다. 추론 채택이 더 폭넓게 확산된다면 TPU의 외부 제공이 전문 팀과 주요 전략적 파트너를 넘어섰음을 보여줄 것입니다.

Nvidia의 대응도 같은 관찰 기간 안에서 살펴봐야 합니다. Dynamo, TensorRT-LLM, Blackwell, Rubin의 개선은 TPU 소프트웨어가 성숙하기 전에 경쟁 구도를 바꿀 수 있습니다.

두 플랫폼이 하드웨어와 서빙 소프트웨어를 빠르게 업데이트하는 상황에서 비용 우위는 영구적이지 않습니다. 구매자는 하나의 벤치마크를 고정된 순위로 유지하기보다 재현 가능한 운영 조건을 평가해야 합니다.

실무적으로 얻을 수 있는 교훈은 워크로드 적합성과 공급업체 정체성을 분리해 판단하는 것입니다. 안정적이고 대규모인 추론은 지금 TPU 평가를 정당화할 수 있습니다. 반면 지연 시간에 민감한 서비스, 빠르게 변화하는 모델, 또는 CUDA에 깊이 투자한 팀은 여전히 Nvidia를 선호할 수 있습니다.

인프라 팀은 벤치마크 가정과 배포 결과를 살아 있는 기록으로 보존해야 합니다. 검색 가능한 기술 지식 베이스는 모델, 컴파일러, 가속기 세대가 변화하는 과정에서 팀이 결과를 비교하는 데 도움이 될 수 있습니다.

Google은 TPU 경제성을 외부에서 검증할 수 있도록 함으로써 중요한 문턱을 넘었습니다. 그러나 Nvidia의 소프트웨어 우위를 없애거나 보편적인 리더십을 확립한 것은 아닙니다.

다음 질문은 구체적입니다. Nvidia의 차세대 시스템이 그 격차를 좁히기 전에, 일반 고객도 실제 애플리케이션 전반에서 Google TPU의 추론 성능 향상을 재현할 수 있을까요? 그 답이 InferenceX가 지속적인 시장 변화의 신호인지, 아니면 인상적인 초기 이정표인지 결정할 것입니다.