OpenAI Jalapeño ASIC 배포, Nvidia Vera 대신 AMD Turin 선택

OpenAI의 Jalapeño ASIC 배포는 Nvidia와의 깊은 인프라 협력 관계에도 불구하고, 새로운 추론 칩을 AMD EPYC Turin 호스트와 결합한다. 각 호스트에는 Turin급 프로세서 2개와 DRAM 1.5TB가 탑재된다. Nvidia의 새 Vera CPU는 첫 번째 프로덕션 설계에 포함되지 않았다.

이는 단순한 부품 교체 이상의 선택이다. OpenAI는 Jalapeño를 언어 모델 추론에 최적화한 주문형 집적회로(ASIC)로 설계했다. 그러나 주변 호스트 계층에는 Nvidia의 목적 특화 Arm CPU 대신 성숙한 x86 서버 플랫폼을 채택했다.

OpenAI 하드웨어 총괄 부사장인 Richard Ho는 Turin 선택을 “실용적”이라고 설명했다. 그는 Tom’s Hardware에 독립형 Vera가 요구되는 성숙도 수준에서 여전히 “조금 뒤처져 있다”고 말했다. 이 발언은 컴퓨팅 스택에 대한 더 강한 통제보다 배포 확실성을 우선시한 것으로 해석된다.

OpenAI는 다른 영역에서 여전히 Nvidia 가속기에 크게 의존하고 있다. Jalapeño 역시 초기 성능 주장을 더 폭넓게 검증해야 하는 내부 플랫폼이다. 그럼에도 호스트 선택은 하이퍼스케일러가 Nvidia 하드웨어 전체를 포기하지 않으면서도 선택적으로 도전할 수 있음을 보여준다.

OpenAI Jalapeño ASIC 배포는 2개 랙 시스템으로 시작한다

OpenAI는 Jalapeño를 칩 발표 단계에서 분리된 AMD 호스트 계층과 맞춤형 가속기 계층을 중심으로 구성한 랙 설계로 전환했다.

이 아키텍처는 CPU 호스트 랙 1개와 그 옆의 Jalapeño ASIC 랙 1개를 사용한다. SemiAnalysis는 호스트 랙에 16개의 “Katsu” CPU 트레이가 있으며, 인접 랙의 16개 “Vindaloo” 가속기 트레이와 짝을 이룬다고 설명한다.

각 Katsu 트레이에는 AMD EPYC Turin급 CPU 2개와 DRAM 1.5TB가 들어간다. 로컬 스토리지와 400기가비트 프런트엔드 네트워킹도 포함된다. 각 CPU 트레이는 외부 PCIe 케이블 8개를 통해 대응하는 가속기 트레이에 연결된다.

인접 랙에는 16개 가속기 트레이에 걸쳐 Jalapeño 칩 128개가 탑재된다. 8개의 “Chana” 스위치 트레이는 랙 내부와 더 큰 설치 환경 전반에서 이들 가속기를 연결한다.

공개된 랙 아키텍처는 스케일업 네트워크를 16개 랙까지 확장할 수 있다. 이 구성은 구리 및 광 링크를 통해 최대 2,048개의 Jalapeño 가속기를 연결한다.

호스트 프로세서는 추론 ASIC을 대체하지 않는다. 이들은 가속기 워크로드를 공급하고, 조정하고, 스케줄링하고, 관리하는 데 필요한 보조 CPU 작업을 처리한다. 맞춤형 실리콘은 Jalapeño가 겨냥한 언어 모델 연산을 계속 담당한다.

가속기는 단독 장치로 작동하는 경우가 드물기 때문에 이러한 분업은 중요하다. 프로덕션 추론에는 토큰화, 요청 처리, 스토리지 접근, 네트워킹, 모델 오케스트레이션, 안전 서비스 및 기타 CPU 종속 작업이 필요하다.

에이전트형 애플리케이션은 이러한 요구를 더욱 늘린다. 에이전트는 모델 추론, Python 실행, 검색, 데이터베이스 접근, 외부 도구 사용을 번갈아 수행할 수 있다. 호스트 성능이 부족하면 이러한 단계가 완료되는 동안 값비싼 가속기가 대기하게 될 수 있다.

따라서 OpenAI에 필요한 것은 빠른 추론 칩만이 아니었다. 충분한 메모리 용량, 네트워크 지원, 소프트웨어 호환성 및 운영 이력을 갖춘 호스트 플랫폼도 필요했다. Turin은 프로그램에 또 하나의 미성숙한 구성 요소를 추가하지 않으면서 이러한 요건을 충족했다.

전력은 시스템 수준의 과제를 잘 보여주는 사례이기도 하다. SemiAnalysis는 호스트 랙이 프로덕션 환경에서 약 31킬로와트를 사용하고, 가속기 랙은 약 130킬로와트를 소모한다고 추정한다. 두 랙으로 구성된 시스템은 합쳐 약 160킬로와트를 소비한다.

이 수치는 Jalapeño를 칩 사양만으로 평가할 수 없는 이유를 보여준다. 랙 네트워킹, 호스트 활용도, 냉각, 소프트웨어 및 워크로드 배치는 모두 설치 환경이 제공하는 유효 작업량에 영향을 미친다.

같은 원칙은 OpenAI의 벤치마크 주장에도 적용된다. 유리한 가속기 결과는 전체 시스템이 프로덕션 트래픽 하에서 이를 반복할 수 있을 때만 의미가 있다. 검증된 호스트 플랫폼을 선택하면 그 전환 과정에서 불확실성의 한 원인을 줄일 수 있다.

OpenAI는 Jalapeño의 초기 배포가 2026년 말까지 시작될 것이라고 밝혔다. 공개된 랙 구성은 해당 배포가 어떻게 작동할지에 대한 지금까지 가장 명확한 모습을 제공한다.

이는 이 글의 핵심 긴장도 만든다. OpenAI는 더 많은 통제권을 얻기 위해 맞춤형 추론 실리콘을 개발했지만, 그 실험을 CPU 계층까지 확장하는 것은 피했다.

Turin은 9개월 칩 프로그램의 위험을 줄인다

AMD EPYC Turin 호스트는 OpenAI가 이례적으로 압축된 가속기 개발 일정을 추진하는 동안 검증된 플랫폼을 제공했다.

OpenAI와 Broadcom은 Jalapeño가 초기 설계부터 제조용 테이프아웃까지 9개월이 걸렸다고 밝혔다. 테이프아웃은 완성된 칩 설계가 제조를 위해 전달되는 시점이다.

이 일정은 독립적으로 확립된 업계 기록이 아니라 회사 측 주장이다. 그러나 피할 수 있는 통합 문제를 감당할 여지가 거의 없는 프로그램이었음을 보여준다.

OpenAI가 가속기 아키텍처를 설계했고, Broadcom은 실리콘 구현, 네트워킹 및 연결성 분야의 전문성을 제공했다. Celestica는 보드, 랙 및 완전한 시스템 설계를 담당했다.

공식 Jalapeño 발표는 이를 더 긴 컴퓨팅 로드맵의 첫 세대로 규정한다. 초기 배포는 2026년 말로 계획돼 있으며, 이후 세대에 걸쳐 확장될 예정이다.

Ho는 팀이 불필요한 위험을 감수하지 않으면서도 공격적인 성능 및 비용 목표를 원했다고 말했다. Turin은 프로그램의 요구 사항을 충족했고, OpenAI의 파트너들은 이미 이 플랫폼과 관련된 경험을 보유하고 있었다.

이런 경험은 초기 가동 단계에서 가치가 있을 수 있다. 랙이 정규 서비스에 투입되기 전 엔지니어들은 펌웨어, 메모리 동작, PCIe 연결성, 운영체제, 드라이버, 텔레메트리, 장애 처리 및 워크로드 스케줄링을 검증해야 한다.

새 CPU 아키텍처는 이 검증 범위를 넓힌다. 명령어 세트, 컴파일러 동작, 관리 도구 및 애플리케이션 호환성의 차이는 기반 프로세서 성능이 뛰어나더라도 지연을 초래할 수 있다.

Turin은 AMD의 5세대 EPYC 서버 제품군에 속한다. 검증된 x86 명령어 세트를 사용하며 소켓당 12개의 메모리 채널을 지원해 시스템 설계자에게 상당한 메모리 대역폭과 용량을 제공한다.

AMD 자체 Turin 아키텍처 문서는 DDR5 메모리를 사용하는 프로덕션 구성을 설명한다. OpenAI의 랙 설계는 프로세서 한 쌍마다 DRAM 1.5TB를 배치한다.

이 메모리 풀은 Jalapeño에 직접 연결된 고대역폭 메모리와는 다른 역할을 한다. 호스트 DRAM은 애플리케이션 상태를 유지하고, 요청을 준비하며, 데이터를 관리하고, 추론을 둘러싼 CPU 측 서비스를 지원할 수 있다.

OpenAI는 기존 개발자 생태계가 없는 가속기를 위한 소프트웨어도 준비해야 했다. Nvidia는 수년에 걸친 CUDA 채택, 최적화 라이브러리, 배포 도구 및 운영자 친숙성의 이점을 누린다.

Jalapeño는 그러한 설치 기반 없이 시작한다. OpenAI는 내부 소프트웨어 환경을 통제할 수 있지만, 엔지니어들은 새 플랫폼을 위한 컴파일러, 커널, 모니터링 시스템 및 스케줄링 로직을 여전히 구축해야 한다.

익숙한 호스트 하드웨어를 사용하면 이 작업을 맞춤형 가속기에 집중할 수 있다. 또한 팀은 Jalapeño 특유의 결함을 추가 CPU 전환에서 발생하는 문제와 분리할 수 있다.

따라서 이 결정은 x86과 Arm에 대한 포괄적 판단이라기보다 일정 규율을 반영한다. OpenAI는 이번 세대에서 통합 위험을 줄이는 구성 요소를 선택했다.

이 구분은 중요하다. Ho는 Turin이 향후 모든 OpenAI 시스템에 계속해서 최적의 호스트가 될 것이라고 주장하지 않았다. 그는 Turin이 당면한 프로그램의 요구와 성숙도 요건을 충족했다고 말했다.

그 결과 첫 번째 Jalapeño 세대는 하이브리드 전략이다. OpenAI는 특화가 의미 있는 추론 성능 향상을 약속하는 영역에서는 아키텍처 위험을 감수하는 한편, 성숙도가 더 큰 가치를 제공하는 영역에서는 범용 서버 기술을 유지한다.

AMD EPYC Turin 호스트, Nvidia의 풀스택 전략에 압박

당장의 압박은 Vera를 차세대 AI 인프라의 기본 CPU로 만들려는 Nvidia의 시도에 가해진다.

Nvidia는 Vera를 에이전트를 둘러싼 CPU 작업을 위해 설계된 프로세서로 제시한다. 목표 워크로드에는 Python 런타임, 샌드박스 코드, 오케스트레이션, 분석 및 가속기 호출 사이에 발생하는 기타 작업이 포함된다.

이 프로세서는 88개의 맞춤형 Olympus 코어와 LPDDR5X 메모리 서브시스템을 사용한다. Nvidia는 이 서브시스템이 초당 최대 1.2TB의 대역폭을 제공한다고 말한다.

Vera는 NVLink-C2C를 통해 Rubin GPU와도 연결된다. Nvidia는 이 링크가 CPU와 GPU 사이에서 최대 초당 1.8TB의 캐시 일관성 대역폭을 제공한다고 밝혔다.

이러한 긴밀한 결합은 Nvidia의 더 큰 영업 논리를 뒷받침한다. 고객은 CPU, GPU, 네트워킹, 인터커넥트, 라이브러리 및 랙 시스템을 하나의 조율된 플랫폼으로 구매할 수 있다.

Nvidia는 Vera 시스템이 2026년 가을에 시스템 빌더와 클라우드 파트너를 통해 출시될 것이라고 밝혔다. 나열된 지원 기업에는 주요 서버 제조업체와 클라우드 인프라 제공업체가 포함된다.

OpenAI의 선택은 이 전략 내부의 시점 문제를 드러낸다. Vera가 매력적인 사양을 제공할 수는 있지만, Jalapeño에는 가속화된 개발 주기 동안 파트너가 통합할 수 있는 호스트 플랫폼이 필요했다.

프로세서는 기술적으로 완성된 뒤에도 더 폭넓은 운영 환경이 성숙해지기까지 시간이 걸릴 수 있다. 서버 보드, 펌웨어, 관리 소프트웨어, 검증 절차, 배포 경험 및 공급 준비는 서로 다른 일정에 따라 발전한다.

Ho의 비판은 바로 이 차이에 초점을 맞춘다. 그는 Vera가 AI 호스팅에 필요한 성능이 부족하다고 말하지 않았다. 대신 Jalapeño 프로그램을 위한 독립형 CPU로서 Vera의 성숙도에 의문을 제기했다.

이 단서는 Vera가 Nvidia의 통합 Vera Rubin 시스템에서 호스트 프로세서 역할도 한다는 점에서 중요하다. 독립형 역할에는 긴밀히 통제된 CPU-GPU 구성 이상의 추가 요건이 발생한다.

OpenAI는 Rubin GPU와 Nvidia의 네이티브 인터커넥트 구성 대신 자체 가속기와 스케일업 네트워크를 사용한다. 독립형 Vera 호스트는 완전한 Nvidia 플랫폼에 의존하지 않고 이 외부 아키텍처에 맞아야 한다.

Turin은 더 전통적인 관계를 제공한다. OpenAI는 검증된 서버 CPU를 PCIe를 통해 맞춤형 가속기에 연결하고 랙의 나머지 부분에 대한 통제권을 유지할 수 있다.

이 결과는 전략적 고객 한 곳에서 Nvidia의 풀스택 전략을 약화시키지만, 광범위한 시장 패배를 입증하는 것은 아니다. OpenAI는 계속 Nvidia 하드웨어를 사용하고 있으며, Vera는 다수의 인프라 제공업체로부터 도입 약속을 확보했다.

OpenAI 역시 Nvidia가 중요한 파트너로 남는다고 강조해 왔다. 맞춤형 ASIC 프로그램은 모든 Nvidia 배포를 대체하기보다 크고 다양한 컴퓨팅 플릿을 보완하도록 설계된 것으로 보인다.

AMD의 성과 역시 가속기 분야의 직접적인 승리보다는 더 제한적이다. Turin은 호스트 계층을 제공하며, OpenAI의 자체 칩이 특화된 추론 작업을 수행한다.

그럼에도 호스트 CPU는 중요한 위치를 차지한다. 이들은 가속기 주변의 데이터 준비와 오케스트레이션을 통제하며, 메모리 시스템은 전체 설치 환경의 운영 효율에 영향을 미친다.

OpenAI의 설계는 AMD에 주목도 높은 맞춤형 실리콘 플랫폼 내부의 자리를 제공한다. 또한 가속기 공급업체의 아키텍처를 공유하지 않고도 x86 호스트가 대규모 추론 랙을 지원할 수 있음을 보여준다.

클라우드 제공업체와 AI 연구소에 이는 신뢰할 수 있는 모듈형 대안을 제시한다. 이들은 익숙한 CPU, 운영 체제, 서버 관리 방식을 유지하면서 특화 가속기를 개발하거나 구매할 수 있다.

Nvidia는 Vera가 그 반대 경로를 더 매력적으로 만들기를 원한다. Nvidia의 제안은 CPU, GPU, 네트워킹, 소프트웨어 스택을 조율하면 전체 시스템 성능을 더 높일 수 있다는 것이다.

따라서 Jalapeño는 모듈화와 통합 사이의 실질적인 경쟁 구도를 만든다. 승자는 프로세서 벤치마크만이 아니라 배포 결과, 소프트웨어 품질, 총운영비에 따라 결정될 것이다.

진정한 반전은 완전한 Nvidia 이탈이 아니라 선택적 통제다

OpenAI는 맞춤형 설계가 영향력을 제공하는 영역에서는 Nvidia 플랫폼을 분리하면서, 교체가 위험을 키우는 성숙한 구성 요소는 유지하고 있다.

Jalapeño를 가장 설득력 있게 해석하면 OpenAI가 Nvidia를 버렸다는 뜻은 아니다. 대신 회사는 AI 랙을 여러 계층으로 나누고, 어떤 계층에 맞춤형 통제가 필요한지 판단하고 있다.

추론은 분명한 출발점이다. OpenAI는 막대한 모델 서빙 트래픽을 생성하는 ChatGPT, Codex, API 및 기타 제품을 운영한다.

맞춤형 추론 가속기는 범용 GPU보다 이러한 반복적 워크로드를 더 정밀하게 겨냥할 수 있다. OpenAI는 자체 모델에 맞춰 칩, 메모리 계층 구조, 네트워크, 커널, 스케줄링 시스템을 조정할 수 있다.

Jalapeño의 아키텍처는 언어 모델 추론의 두 핵심 단계를 모두 다룬다. Prefill은 사용자의 프롬프트를 처리하며 비교적 연산 집약적이다. Decode는 토큰을 생성하며 메모리 대역폭 의존도가 더 높다.

특화 리소스 간에 모델 상태를 옮기면 통신 지연이 추가될 수 있다. OpenAI는 생성 과정에서 사용되는 KV cache를 포함한 중요한 상태를 활성 연산 리소스 가까이에 유지한다고 말한다.

회사는 Jalapeño가 비교 시스템보다 최대 처리량에서 와트당 AI 작업을 1.5~1.9배 더 수행했다고 보고했다. 또한 엔드투엔드 지연 시간은 1.7~3.6배 더 낮다고 주장한다.

이러한 첫 벤치마크 결과는 GPT-OSS 120B, DeepSeek R1 670B, Kimi K2.5 1T를 다뤘다. OpenAI는 여러 운영 지점에서 SemiAnalysis의 공개 InferenceX 벤치마크를 사용했다.

OpenAI는 Jalapeño 칩 하나의 정격 전력을 700와트로 제시한다. 테스트한 워크로드 동안 측정된 지속 전력 소비는 550와트 이하였다고 말한다.

이는 주목할 만한 수치지만, 여전히 칩 설계자가 제시한 초기 결과다. OpenAI는 공개 자료에서 설명한 구성, 워크로드, 소프트웨어, 비교 방법론을 선택했다.

SemiAnalysis는 자사 팀이 실제 실리콘에서의 테스트를 관찰했다고 말한다. 이는 시뮬레이션이나 예상 사양보다 더 많은 근거를 제공하지만, 다양한 실제 운영 환경에서 이뤄지는 독립 벤치마킹을 대체하지는 않는다.

비교 대상 역시 Vera Rubin이 아니라 상용 Nvidia 시스템에 집중됐다. 따라서 이 결과가 Nvidia의 차세대 아키텍처에 대해 입증하는 범위는 제한적이다.

Jalapeño의 강점은 OpenAI의 내부 서빙 패턴과 유사한 워크로드에서 가장 클 수 있다. 그것이 특화 설계의 목적이지만, 전반적인 가속기 리더십에 관한 광범위한 주장의 적용 범위도 줄인다.

범용 GPU는 다양한 모델, 프레임워크, 수치 형식, 연구 워크로드를 지원해야 한다. 내부용 ASIC는 더 좁은 운영 목표에서 효율을 높이기 위해 일부 유연성을 희생할 수 있다.

OpenAI는 모델, 서빙 소프트웨어, 수요를 통제하기 때문에 이러한 절충을 감수할 수 있다. 미래의 알 수 없는 워크로드를 위한 인프라를 구매하는 기업은 다른 계산을 마주한다.

이 지점에서 Turin 선택은 의미심장해진다. OpenAI는 추론 효율이 제품 지연 시간과 컴퓨팅 수요에 직접 영향을 줄 수 있기 때문에 가속기 분야의 특화를 추진했다.

그러나 주변의 모든 계층을 특화하지는 않았다. 호스트 CPU는 아키텍처적 새로움보다 호환성, 가용성, 파트너 경험이 더 중요한 영역으로 남았다.

이 전략은 AI 플랫폼을 통제된 방식으로 분해하는 것과 닮아 있다. OpenAI는 모델 로드맵과 가장 밀접하게 연결된 부분은 소유하고, 나머지에는 검증된 구성 요소를 구매한다.

Broadcom과 Celestica는 이 모델에서 여전히 필수적이다. 맞춤형 실리콘이 자급자족을 의미하지는 않기 때문이다. 구현, 네트워킹, 제조, 보드, 랙 통합에는 경험 많은 공급업체가 필요하다.

AMD 역시 같은 선택적 접근 방식의 수혜를 본다. AMD의 프로세서는 OpenAI가 AMD의 완전한 가속기 플랫폼을 채택했기 때문이 아니라, 성숙한 빌딩 블록으로 작동하기 때문에 OpenAI 시스템의 일부가 된다.

Nvidia는 사업이 통합 AI 팩토리 판매에 점점 더 의존하기 때문에 압박을 받는다. 이러한 계층을 분리하는 고객은 가치를 자체 칩과 대체 공급업체 쪽으로 이동시킬 수 있다.

그러나 통합 방식에는 여전히 중요한 이점이 있다. 단일 공급업체는 전체 장비에 걸쳐 일관된 메모리, 인터커넥트, 소프트웨어, 진단, 지원을 최적화할 수 있다.

OpenAI는 Jalapeño를 중심으로 이러한 역량 중 다수를 재현하거나 조율해야 한다. 초기 하드웨어 효율성 주장은 배포 규모가 커질 때 운영 스택이 신뢰성을 유지할 때에만 의미를 갖는다.

따라서 이 반전은 제한적이지만 중요하다. OpenAI는 더 이상 가속기 공급업체의 전체 아키텍처를 분리할 수 없는 하나의 패키지로 받아들이지 않는다.

초기 벤치마크는 실제 운영에 관한 질문을 해결하지 못한다

Jalapeño는 지속적인 내부 워크로드 전반에서 신뢰성, 활용률, 경제적 가치를 여전히 입증해야 한다.

시스템이 실제 트래픽을 마주하면 벤치마크 우위는 사라질 수 있다. 실제 운영 수요는 모델, 프롬프트 길이, 출력 길이, 배치 크기, 지연 시간 목표, 지역에 따라 달라진다.

대화형 서비스는 수요가 급격히 변하기도 한다. 요청 패턴이 벤치마크 구성과 다르더라도 랙은 사용자를 기다리게 하지 않으면서 유의미한 활용률을 유지해야 한다.

OpenAI의 테스트는 공개 모델과 정의된 추론 제품군을 사용했다. 이 결과는 실리콘이 작동하며 대규모 언어 모델을 효율적으로 실행할 수 있다는 주장을 뒷받침한다.

하지만 수천 개 가속기 전반에서의 장기 신뢰성을 입증하지는 않는다. 하드웨어 장애, 네트워크 혼잡, 열 한계, 소프트웨어 결함, 유지보수 요건은 장기간 배포 과정에서만 더 명확해진다.

2랙 구조는 물리적 복잡성을 더한다. 각 가속기 트레이는 대응하는 호스트 트레이, 여러 PCIe 케이블, 별도 스위칭 계층에 의존한다.

이 모듈성은 교체를 단순화하고 구성 요소 선택권을 유지할 수 있다. 동시에 엔지니어가 모니터링하고 정비하며 검증해야 할 연결 지점을 늘릴 수도 있다.

전력 수치에도 비슷한 주의가 필요하다. 칩 정격은 벤치마크 결과를 정규화하는 데 도움이 되지만, 데이터센터는 전체 시스템, 냉각, 네트워킹, 스토리지, 유휴 용량에 비용을 지불한다.

160킬로와트의 페어드 랙은 인프라를 정당화할 만큼 충분한 지속 처리량을 제공해야 한다. 최대 벤치마크 성능이 그러한 운영 결과를 보장하지는 않는다.

소프트웨어도 또 다른 미해결 문제다. Nvidia의 우위는 실리콘을 넘어 성숙한 라이브러리, 프로파일러, 컴파일러, 오케스트레이션 도구, 그리고 경험 많은 대규모 개발자 풀에까지 확장된다.

OpenAI는 통제된 내부 모델 집합을 중심으로 소프트웨어를 구축할 수 있다. 그러나 새로운 모델 아키텍처나 수치 형식이 나올 때마다 Jalapeño를 효율적으로 활용하려면 추가 최적화가 필요할 수 있다.

회사는 AI가 Jalapeño의 설계와 프로그래밍 과정 일부를 지원했다고 말한다. 이는 최적화 주기를 단축할 수 있지만, 공개적인 생산성 비교 없이 회사가 보고한 이점에 머문다.

모델의 진화는 장기적 위험을 만든다. 배포 수년 전에 시작된 고정 기능 설계는 추론 기법이 변하는 상황에서도 계속 유용해야 한다.

Jalapeño는 가장 좁은 의미에서 완전히 고정된 설계는 아니며, 여러 대규모 모델을 지원한다. 그러나 경제적 이점은 여전히 워크로드가 아키텍처 뒤에 있는 가정과 부합하는지에 달려 있다.

Nvidia의 범용 접근 방식은 예기치 못한 변화에 대한 더 많은 보험을 제공한다. 고객은 GPU를 학습, 추론, 시뮬레이션 및 기타 가속 워크로드에 재활용할 수 있다.

OpenAI는 규모를 통해 이러한 불리함을 상쇄할 수 있다. ChatGPT와 API 수요가 계속 크다면, 더 좁은 용도의 가속기조차 예측 가능한 서빙 작업에서 높은 활용률을 유지할 수 있다.

Turin 호스트는 또 다른 불확실성을 더한다. 성숙도가 선택 이유 중 하나였지만, OpenAI는 CPU 계층에서 수행되는 모든 워크로드를 공개하지 않았다.

이 세부 내역이 없으면 독자는 1.5TB의 호스트 메모리가 모델 서빙, 운영 유연성, 미래 소프트웨어 요구 사항 중 무엇에 필요한지 판단할 수 없다.

이 결정이 Vera가 부적합하다는 점을 입증하는 것도 아니다. Nvidia의 CPU는 여러 시스템 공급업체와 클라우드 파트너를 통해 시장에 진입하고 있으며, 더 폭넓은 배포 근거는 아직 나타나고 있다.

Ho의 평가는 한 프로젝트의 일정과 위험 한계에 적용된다. Jalapeño의 첫 시스템 설계가 이미 확정된 뒤 Vera의 성숙도는 개선될 수 있다.

Nvidia는 Vera가 일관된 NVLink 연결을 통해 Rubin과 함께 작동할 때에도 장점을 입증할 수 있다. 이 통합 구성은 Vera를 타사 실리콘용 호스트로 사용하는 경우와 다르다.

따라서 공정한 비교는 동등한 워크로드에서 완전한 시스템을 검토해야 한다. 지연 시간, 처리량, 전력, 가용성, 소프트웨어 투입 노력, 총배포비를 측정해야 한다.

그러한 근거가 나오기 전까지 OpenAI Jalapeño ASIC 배포는 주류 GPU 인프라를 대체할 확정된 대안이라기보다 유망한 내부 플랫폼으로 남는다.

OpenAI의 선택이 통할지 보여줄 세 가지 신호

배포 규모, 실제 운영 양상, Vera의 독립적 결과가 Turin이 단지 더 안전했는지 아니면 전략적으로 더 나았는지를 결정할 것이다.

첫 번째 신호는 2026년 말까지 계획된 OpenAI의 Jalapeño 확장이다. 회사는 초기 배포를 약속했지만, 플랫폼으로 이전할 추론 트래픽의 비중은 공개적으로 수치화하지 않았다.

의미 있는 실제 운영 확장은 Jalapeño가 통제된 테스트를 넘어 작동한다는 주장을 강화할 것이다. 근거에는 더 폭넓은 모델 지원, 안정적인 랙 가용성, 눈에 띄는 제품 지연 시간 개선 등이 포함될 수 있다.

느리거나 제한적인 출시가 자동으로 실패를 뜻하지는 않는다. 공급 제약, 데이터센터 준비 상태, 소프트웨어 검증은 기능상 문제가 없는 하드웨어의 배포도 지연시킬 수 있다.

그럼에도 반복적인 일정 변경은 9개월 개발 서사를 약화시킬 것이다. 유용한 서비스가 시작되기 전에 시스템 통합에 장기간이 필요하다면 빠른 tape-out의 중요성은 줄어든다.

두 번째 신호는 2랙 설계에서 나오는 운영 근거다. OpenAI는 가속기 전력 정격만이 아니라 지속적인 실제 운영 사용에 기반한 측정치를 결국 제공해야 한다.

유용한 수치에는 전체 랙 전력, 활용률, 장애율, 정비 주기, 혼합된 요청 패턴에서의 성능이 포함된다. 이러한 측정치는 모듈형 호스트 구성이 Jalapeño의 효율성을 유지하는지 검증할 것이다.

OpenAI가 커널과 모델 지원을 얼마나 자주 업데이트하는지도 주목해야 한다. 새로운 아키텍처 전반에서 빠른 최적화가 이뤄진다면 소프트웨어 스택이 모델 개발 속도를 따라갈 수 있음을 보여줄 것이다.

또한 이후 Jalapeño 세대가 AMD 호스트를 유지하는지도 지켜봐야 한다. 계속 사용한다면 모듈형 x86 인프라가 첫 프로그램의 마감 시한을 넘어 지속적인 가치를 제공한다는 뜻일 수 있다.

Vera, 다른 Arm 프로세서, 또는 맞춤형 OpenAI CPU로의 전환은 Turin이 과도기적 역할에 그쳤음을 시사할 것이다. OpenAI는 Jalapeño를 여러 세대에 걸친 플랫폼의 시작으로 설명했으며, 미래의 호스트 선택은 열어뒀다.

세 번째 신호는 Nvidia가 통제하는 가속기 시스템 밖에서의 Nvidia Vera 성능이다. 독립형 배포는 Ho가 제기한 정확한 성숙도 우려를 검증하게 된다.

Nvidia는 클라우드 제공업체와 주요 서버 제조업체의 지원을 발표했다. 이들의 실제 운영 가용성, 소프트웨어 호환성, 독립 벤치마크는 Vera가 인식된 격차를 얼마나 빠르게 좁히는지 보여줄 것이다.

독립형 Vera 시스템이 원활하게 배포되고 에이전트 워크로드에서 x86 호스트를 능가한다면, OpenAI의 선택은 점점 더 일정에 특화된 결정으로 보일 것입니다. Nvidia의 통합 플랫폼 논리는 그대로 유지될 것입니다.

그러한 배포가 지연되거나 도입이 제한된다면, Turin의 선택은 더 전략적으로 보일 것입니다. 이는 AI 가속기가 더욱 전문화되더라도 기존 x86 인프라가 역할을 유지할 수 있음을 보여줄 것입니다.

개발자와 기업 구매자가 주목해야 하는 이유는 호스트 아키텍처가 벤치마크 차트 이상의 것에 영향을 미치기 때문입니다. 이는 소프트웨어 이식성, 인프라 가용성, 운영 복잡성, 그리고 향후 시스템에 활용 가능한 공급업체의 범위를 좌우합니다.

AI 제품 사용자는 그 결과를 간접적으로 체감할 수 있습니다. 맞춤형 추론이 성공한다면 대기 시간을 줄이고, 더 긴 에이전트 워크플로를 지원하며, 수요 급증 시 서비스 용량을 더 예측 가능하게 만들 수 있습니다.

이러한 이점 중 어느 것도 칩 발표만으로 보장되지는 않습니다. 규모 있는 환경에서 안정적이고 경제적인 추론을 제공하는 완전한 시스템에 달려 있습니다.

이제 핵심 질문은 구체적입니다. Nvidia의 Vera 생태계가 성숙하기 전에 OpenAI가 자체 가속기와 AMD 호스트 설계를 반복 가능한 프로덕션 플랫폼으로 전환할 수 있을까요?

헤드라인 비교보다 배포 상황을 추적해야 합니다. Jalapeño가 효율성을 유지하면서 여러 모델과 데이터 센터로 확장된다면, OpenAI의 선택적 하드웨어 전략은 신뢰를 얻게 될 것입니다. Vera가 먼저 성숙도 격차를 좁힌다면, Nvidia의 긴밀하게 통합된 경로는 계속해서 대체하기 어려울 것입니다.