NVIDIA 로봇 추론, 온보드로 이동하지만 데이터센터는 여전히 더 큰 지능을 지향

수년간 원격 데이터센터를 중심으로 AI가 발전해 왔지만, NVIDIA 로봇 추론은 이제 기기 자체에 훨씬 더 가까워졌다. Jetson Thor는 로봇 제조사가 모든 판단을 네트워크를 거치게 하지 않고도 여러 고부하 모델을 온보드에서 실행할 수 있을 만큼의 컴퓨팅 성능을 제공한다.

이러한 변화가 클라우드를 불필요하게 만드는 것은 아니다. 대신 즉각적인 물리 제어와 컴퓨팅 비용이 큰 추론 사이의 구분을 더 명확하게 만든다. 로봇에는 로컬 반사 신경이 필요하고, 데이터센터는 여전히 더 큰 모델, 공유 메모리, 간편한 업데이트, 더 높은 활용률을 제공한다.

따라서 핵심 경쟁은 엣지 하드웨어와 클라우드 인프라의 대결이 아니다. 이는 로컬 자율성과 중앙집중형 지능의 경쟁이며, 모든 로보틱스 기업은 그 경계를 어디에 둘지 결정해야 한다. Google DeepMind, NVIDIA, 그리고 로봇 제조사들은 이미 서로 다른 방식의 이러한 분업 구조를 중심으로 구축하고 있다.

NVIDIA 로봇 추론이 기기에 도달했다

NVIDIA는 제약이 많은 대안에 불과했던 온보드 추론을 정교한 로봇 행동을 위한 신뢰할 수 있는 기반으로 전환했다.

가장 뚜렷한 하드웨어 신호는 2025년 8월 Jetson AGX Thor의 정식 출시와 함께 나왔다. NVIDIA는 이 소형 컴퓨터를 휴머노이드, 산업용 장비, 의료기기, 그리고 실시간으로 센서 데이터를 처리하는 기타 시스템을 위해 설계했다.

회사는 Jetson Thor가 Jetson AGX Orin보다 7.5배 높은 AI 컴퓨팅 성능을 제공한다고 말한다. NVIDIA는 또한 이전 세대 대비 에너지 효율이 3.5배 향상됐다고 밝혔다.

이러한 비교는 여전히 공급업체의 주장이고, 실제 성능은 모델, 정밀도, 메모리 사용량, 소프트웨어 구성에 따라 달라진다. 그럼에도 플랫폼의 기본 사양은 로봇 추론의 위치가 왜 긴급한 아키텍처 문제로 떠올랐는지를 설명한다.

NVIDIA에 따르면 Jetson AGX Thor는 128GB 메모리를 탑재하고 최대 2,070 FP4 테라플롭스를 제공한다. FP4는 모델 저장 공간과 연산량을 줄이는 소형 4비트 수치 형식으로, 일부 정밀도 손실을 감수한다.

메모리 용량은 눈에 띄는 컴퓨팅 수치만큼 중요하다. 로봇은 인지, 언어, 매핑, 동작 계획, 안전 워크로드를 동시에 실행할 수 있다. 각 워크로드는 메모리 대역폭, 처리 시간, 제한된 전력 예산을 두고 경쟁한다.

NVIDIA는 자사의 로보틱스 소프트웨어 커뮤니티에 200만 명이 넘는 개발자가 참여하고 있다고 말한다. 회사가 언급한 초기 Thor 도입 기업에는 Amazon Robotics, Boston Dynamics, Figure, Agility Robotics, Caterpillar, Medtronic이 포함된다.

이 목록은 창고, 휴머노이드, 중장비, 헬스케어를 아우른다. 이는 온보드 AI가 특정 로봇 범주를 위한 협소한 기능이 아니라 공통 인프라 결정으로 자리 잡고 있음을 시사한다.

Google DeepMind는 모델 측면에서 변화를 이끌었다. 이 회사의 로컬 로보틱스 모델은 2025년 6월 로봇에서 직접 실행하도록 최적화된 비전-언어-행동 시스템으로 소개됐다.

통상 VLA라고 불리는 비전-언어-행동 모델은 이미지와 지시를 물리적 행동으로 변환한다. 이는 시각 인지, 언어 이해, 모터 제어를 하나의 학습된 시스템 안에서 결합한다.

DeepMind는 네트워크 지연이나 연결성 문제로 클라우드 의존형 로봇이 제약받는 환경에서 이 모델이 유용하다고 제시했다. 회사에 따르면 이 모델은 추가 시연을 통해 새로운 작업에도 적응할 수 있다.

이러한 출시는 로보틱스 아키텍처의 실질적인 출발점을 바꿨다. 개발자는 더 이상 고도화된 인지와 범용 조작에 상시 데이터센터 연결이 필요하다고 가정할 필요가 없다.

다만 NVIDIA와 Google 어느 쪽도 로봇 지능의 모든 계층이 온보드에 있어야 한다고 입증한 것은 아니다. 대신 이들의 제품은 하이브리드 설계를 가능하게 하며, 어떤 연산을 로컬에 둘지에 관한 더 어려운 결정을 만들어낸다.

로봇은 클라우드가 따라잡기를 기다릴 수 없다

물리 시스템에서 지능에는 마감 시간이 있으며, 그 시간을 놓치는 일은 가장 정교한 답을 내놓지 못하는 것보다 더 중요할 수 있다.

챗봇은 원격 모델이 응답을 생성하는 동안 멈춰 있을 수 있다. 하지만 두 다리로 균형을 잡거나, 작업자를 피하거나, 깨지기 쉬운 물질을 집는 로봇은 예측할 수 없는 네트워크 지연을 사소한 불편으로 취급할 수 없다.

모든 클라우드 요청에는 여러 단계가 추가된다. 로봇은 센서 정보를 인코딩하고, 이를 전송하고, 원격 처리를 기다리고, 결과를 수신한 뒤, 그 지시가 여전히 유효한지 확인해야 한다.

그 과정에서 물리적 세계는 바뀔 수 있다. 사람이 경로에 들어올 수 있고, 물체가 미끄러질 수 있으며, 차량이 교차로에 진입할 수 있다. 정확하지만 늦은 대응은 기능적으로 부정확해질 수 있다.

이러한 제약은 로컬 제어 루프에 유리하다. 제어 루프는 시스템을 반복적으로 측정하고, 보정값을 계산한 뒤, 움직임을 안정적으로 유지하기 위해 그 보정을 적용한다.

저수준 균형 유지, 충돌 회피, 관절 제어, 비상 정지는 하드웨어 가까이에 있어야 한다. 이러한 기능에는 응답 시간이 알려진 범위 안에 유지되는 결정론적 동작이 필요하다.

평균 지연 시간이 허용 가능한 수준으로 보이더라도 연결성은 변동성을 초래한다. 혼잡, 약한 커버리지, 라우팅 문제, 서비스 중단은 평균값이 감추는 긴 꼬리 지연을 만들어낸다.

오프라인 작동은 원격 지역을 넘어 중요하다. 공장은 보안을 위해 생산 네트워크를 분리할 수 있다. 병원은 외부 데이터 전송을 제한할 수 있으며, 농장과 건설 현장에는 신뢰할 수 있는 연결성이 없는 경우가 많다.

프라이버시 역시 같은 아키텍처적 압박을 강화한다. 로봇은 영상, 음성, 공간 지도, 의료 정보, 개인 주택 내 관찰 데이터를 수집할 수 있다. 모든 원시 센서 스트림을 원격 서비스로 보내면 노출 범위가 넓어진다.

로컬 처리는 전송 전에 불필요한 정보를 폐기할 수 있다. 창고 로봇은 작업자 주변의 연속 영상을 보내는 대신 간결한 예외 보고서를 전송할 수 있다.

대역폭도 또 다른 제약이다. 여러 카메라, 마이크, 깊이 센서, lidar 시스템은 지속적인 스트림을 생성할 수 있다. 모든 데이터를 업로드하면 데이터센터가 추론 작업을 시작하기도 전에 네트워크 용량을 소모하게 된다.

온디바이스 필터링은 어떤 관찰이 원격 분석에 적합한지 로봇이 판단하게 한다. 일상적인 내비게이션은 로컬에서 유지하고, 낯선 상황은 선별된 이미지, 상태 요약, 압축된 컨텍스트와 함께 상위 시스템으로 넘길 수 있다.

에너지는 상황을 더 복잡하게 만든다. 로컬 연산은 배터리 전력을 소비하고 열을 발생시키지만, 무선 전송에도 에너지 비용이 따른다. 더 나은 선택은 무선 환경, 워크로드 규모, 사용 가능한 가속기에 따라 달라진다.

안전은 이를 단순한 인프라 최적화 이상의 문제로 만든다. 로봇은 클라우드 연결이 사라져도 제어 가능해야 한다. 이 요구사항은 필수 반사 행동, 작동 한계, 폴백 동작을 기기 자체로 밀어 넣는다.

클라우드는 여전히 로봇에 조언할 수 있다. 하지만 로봇을 멈출 수 있는 유일한 구성 요소가 되어서는 안 된다.

따라서 NVIDIA 로봇 추론의 기회는 구체적이다. 더 큰 원격 모델이 숙고가 필요한 작업을 처리하더라도, 온보드 프로세서는 시간에 민감한 경로를 담당할 수 있다.

데이터센터는 여전히 지능의 상한을 지배한다

로컬 칩은 로봇의 반응성을 개선하지만, 작업에 규모, 메모리 또는 공유 연산이 요구될 때 데이터센터는 결정적인 우위를 유지한다.

로봇 컴퓨터는 엄격한 한계 안에서 작동한다. 메모리, 냉각 용량, 배터리 수명, 물리적 공간, 제조 비용은 모두 유한하다. 한 자원을 늘리면 다른 제약이 악화되는 경우가 많다.

데이터센터는 모델을 여러 가속기에 분산할 수 있다. 고속 인터커넥트는 이러한 가속기가 하나의 로봇 안에 담을 수 없는 파라미터와 중간 데이터를 공유하게 한다.

이 차이는 지능의 상한을 설정한다. 소형 모델은 일반적인 물체와 익숙한 지시를 처리할 수 있지만, 원격 모델은 더 폭넓은 지식과 더 긴 컨텍스트를 바탕으로 드문 상황을 검토할 수 있다.

모델 크기가 능력을 완벽하게 측정하는 기준은 아니다. 좁은 작업에 최적화된 소형 시스템은 더 큰 시스템보다 뛰어난 성능을 낼 수 있다. 그럼에도 대형 원격 모델은 낯선 요청, 다단계 계획, 광범위한 세계 지식에 여전히 유용하다.

데이터센터는 배치 처리의 이점도 얻는다. 배치 처리는 여러 사용자나 기기의 요청을 결합해 고가의 가속기가 이를 더 효율적으로 처리하도록 한다.

SemiAnalysis는 이로 인해 발생하는 시스템 처리량과 개별 상호작용성 간의 추론 트레이드오프를 설명했다. 큰 배치는 하드웨어 활용률을 높이는 반면, 작은 배치는 일반적으로 각 사용자에게 더 빠른 응답을 제공한다.

단일 로봇은 이러한 경제성을 재현할 수 없다. 일상적인 작동 중에는 프로세서가 충분히 활용되지 않을 수 있지만, 가장 부담이 큰 로컬 순간을 위해서도 충분한 용량이 필요하다.

중앙집중형 인프라는 이러한 수요를 플릿 전체에 걸쳐 공동으로 활용한다. 하나의 원격 클러스터는 어려운 요청이 서로 다른 시점에 도착하는 많은 로봇을 지원할 수 있다.

업데이트 역시 데이터센터에서 더 간단하다. 운영자는 새 모델을 한 번 배포하고, 그 동작을 모니터링하며, 모든 기기를 직접 건드리지 않고도 롤백할 수 있다.

로컬 모델에는 배포 파이프라인이 필요하다. 팀은 하드웨어 차이, 저장 공간 제한, 펌웨어 호환성, 버전 추적, 설치 중 발생하는 장애를 관리해야 한다.

플릿 학습도 중앙화에 유리하다. 한 로봇이 특이한 패키지, 도구 또는 방 구성에 맞닥뜨리면, 공유 서비스는 그 사례를 다른 기계에도 반영할 수 있다.

학습은 더욱 확실하게 중앙집중형 인프라에 속한다. NVIDIA는 학습, 시뮬레이션, 온보드 실행을 분리하는 3대 컴퓨터 아키텍처를 설명한다.

이 모델에서 DGX 시스템은 AI를 학습시키고, 서버는 시뮬레이션 경험을 생성하며, Jetson 컴퓨터는 로봇 내부에서 선별된 기능을 실행한다. 이 아키텍처는 물리적·컴퓨팅 요구사항에 따라 작업을 분배한다.

이러한 분업은 엣지 전용 서사가 불완전한 이유를 보여준다. 로봇 지능은 모델을 만들고, 시험하고, 배포하고, 관찰하고, 업데이트하는 파이프라인에 의존한다.

데이터센터는 단지 실시간 요청에 답하는 먼 두뇌가 아니다. 로봇의 로컬 두뇌를 만들고 개선하는 작업장이기도 하다.

원격 추론은 이 파이프라인 안에서 여전히 가치가 있다. 로봇은 더 큰 모델에 낯선 지시를 해석하게 하거나, 여러 계획을 비교하게 하거나, 폭넓은 기술 지식 기반을 검색하게 할 수 있다.

그 응답이 모터를 직접 제어할 필요는 없다. 대신 로컬 시스템이 현재의 안전 제약 아래에서 검증하고 실행하는 계획을 제공할 수 있다.

이러한 구분은 로봇을 지연되거나 부적절한 명령으로부터 보호한다. 동시에 온보드에 담을 수 없는 역량에 대한 접근도 유지한다.

승리하는 아키텍처는 반사 행동과 추론을 분리한다

실용적인 해답은 계층 구조다. 로컬 시스템이 즉각적인 행동을 제어하고, 원격 시스템은 비용이 큰 추론과 플릿 전체의 학습을 처리한다.

개발자들은 이미 로보틱스에서 계층형 제어를 사용하고 있다. 빠른 구성 요소는 안정성과 움직임을 관리하고, 느린 구성 요소는 목표와 순서를 선택한다.

생성형 AI는 이 구조를 대체하기보다 확장한다. VLA 모델은 지시와 행동을 연결할 수 있지만, 여전히 컨트롤러, 안전 모니터, 인지 시스템, 플래너와 함께 작동한다.

가장 안전한 경계는 긴급성에 따른다. 엄격한 마감 시간이 있는 연산은 로컬에 남는다. 지연을 허용할 수 있는 작업은 원격 처리가 더 나은 역량을 제공할 때 데이터센터로 이동할 수 있다.

배송 로봇은 유용한 사례를 제공한다. 로컬 시스템은 인터넷 연결 없이 보행자를 감지하고, 연석을 따라가며, 장애물 앞에서 멈추고, 균형을 유지해야 한다.

원격 시스템은 새로운 배송 지시를 해석하거나, 경로를 재구성하거나, 낯선 건물 출입구를 평가할 수 있다. 이후 로봇은 제안된 계획을 로컬 환경 조건과 대조할 수 있다.

산업용 로봇도 비슷한 분업 구조를 만든다. 온보드 처리는 부품을 검사하고 조립 중 동작을 보정할 수 있다. 중앙 서비스는 여러 시설에 걸친 생산 패턴을 분석할 수 있다.

휴머노이드는 작업의 예측 가능성이 낮기 때문에 이 경계를 더 어렵게 만든다. 이들은 빠른 전신 제어가 필요하지만, 사용자는 길고 새로운 작업 순서를 수행하라고 요청할 수 있다.

Google의 초기 Gemini Robotics 연구는 작업과 로봇 형태 전반으로 일반화하도록 설계된 모델을 설명한다. 일반화는 중요하지만, 실험실 평가는 모든 배포 환경을 포착할 수 없다.

하이브리드 아키텍처는 에스컬레이션의 여지를 만든다. 신뢰도가 임계값 아래로 떨어지면 로봇은 멈추거나, 지원을 요청하거나, 선별된 맥락을 더 강력한 원격 모델로 보낼 수 있다.

신뢰도만으로는 충분하지 않다. 학습된 모델은 확신을 가진 채 틀릴 수 있으므로, 시스템에는 명시적인 운용 한계와 독립적인 검증도 필요하다.

원격 서비스는 제한 없는 액추에이터 명령 대신 구조화된 의도를 반환해야 한다. 예를 들어 “파란 용기를 세 번째 선반에 놓아라”라는 목표를 제안할 수 있다.

선반이 막혀 있거나, 물체가 불안정하거나, 사람이 작업 영역에 들어오면 로컬 계획 소프트웨어는 그 목표를 거부할 수 있다.

이 설계는 데이터센터를 꼭두각시 조종자가 아니라 자문가로 만든다. 모든 제어 루프에 네트워크 신뢰성을 끼워 넣지 않으면서도 중앙집중형 지능을 유지한다.

워크로드 라우팅은 핵심 제품 역량이 된다. 시스템은 각 요청을 시간, 에너지, 프라이버시, 안전 예산 안에서 어떤 모델이 해결할 수 있는지 판단해야 한다.

단순한 요청은 온보드에 남을 수 있다. 복잡한 요청은 원격 추론을 사용할 수 있으며, 민감한 요청은 로컬 결과의 성능이 다소 낮더라도 로컬 처리가 필요할 수 있다.

캐싱은 반복되는 클라우드 호출을 줄일 수 있다. 로봇은 새로운 작업을 위해 원격 지침을 가져온 뒤, 향후 사용을 위해 간결한 정책을 저장할 수 있다.

플릿 운영자는 긴급하지 않은 분석도 예약할 수 있다. 완료된 작업의 로그는 안전한 시간대에 업로드되어, 데이터센터 모델이 실시간 동작에 영향을 주지 않고 실패를 식별할 수 있다.

이 접근법은 로컬 애플리케이션과 클라우드 서비스를 결합하는 컴퓨팅 아키텍처를 닮았다. 로보틱스에서는 결과가 물리적 객체와 공유 환경을 바꾸기 때문에 위험 부담이 더 크다.

NVIDIA의 강점은 이 분할의 양쪽을 모두 공급한다는 데 있다. 데이터센터 가속기는 모델 개발과 원격 추론을 지원하며, Jetson은 에지에서 선택된 워크로드를 실행한다.

그 위치는 고객에게 긴장도 만들어 낸다. 수직 통합 스택은 개발을 단순화할 수 있지만, 한 공급업체의 하드웨어, 소프트웨어, 모델 도구에 대한 의존도를 높일 수 있다.

Google은 모델과 클라우드 서비스를 통해 이 문제에 접근하는 반면, 로봇 제조업체는 최종 하드웨어 통합을 통제한다. 다른 칩 제조업체는 더 낮은 전력 소비나 더 개방적인 배포 옵션을 제공해 경쟁할 수 있다.

중요한 경쟁은 어느 회사가 자신을 로봇의 두뇌라고 선언하느냐가 아니다. 지연 시간, 안전성, 경제성을 해치지 않고 계층 전반으로 작업을 이동시키는 스택이 무엇인지가 관건이다.

온디바이스 AI 주장이 보여주지 않는 것

공급업체 사양은 더 많은 연산이 로봇 내부에 들어갈 수 있음을 증명하지만, 통제되지 않은 환경에서 신뢰할 수 있는 자율성을 증명하지는 않는다.

최대 처리량 수치는 배포된 전체 시스템을 설명하는 경우가 드물다. 실제 로봇은 카메라, 센서, 네트워킹, 계획, 로깅, 안전 기능에 자원을 나눠야 한다.

홍보되는 정밀도도 중요하다. FP4 성능은 저정밀 연산을 의미하지만, 일부 모델이나 작업에는 더 높은 정밀도가 필요하다. 이들의 실효 처리량은 헤드라인 수치와 다를 수 있다.

메모리 용량 역시 사용 가능한 모델 용량과 같지 않다. 운영체제, 인식 파이프라인, 캐시, 동시 실행 애플리케이션이 가용 공간의 일부를 차지한다.

열은 지속 성능을 낮출 수 있다. 프로세서는 잠시 최대 성능에 도달할 수 있지만, 소형 인클로저에서 냉각이 충분한 열을 제거하지 못하면 속도가 떨어진다.

배터리 구동 로봇은 또 다른 절충점에 직면한다. 더 많은 온보드 추론은 네트워크 의존도를 낮출 수 있지만, 가속기를 지속적으로 사용하면 작동 시간이 짧아지거나 더 큰 배터리가 필요할 수 있다.

모델 압축도 자체적인 위험을 수반한다. 양자화는 모델 가중치에 사용되는 비트 수를 줄여 모델을 더 작고 빠르게 만든다.

그러나 압축은 성능을 불균등하게 저하시킬 수 있다. 드문 물체, 미묘한 시각적 세부 사항, 특이한 지시는 일반적인 벤치마크 작업보다 더 큰 영향을 받을 수 있다.

실험실 시연은 대체로 통제된 작업 집합 내에서 이루어진다. 상용 배포에서는 눈부심, 먼지, 소음, 손상된 물체, 혼잡한 공간, 예측할 수 없는 방식으로 요청을 표현하는 사용자가 등장한다.

범용 모델도 학습 분포의 경계에서는 실패할 수 있다. 핵심 질문은 정교하게 연출된 시연을 완료했는지가 아니다.

운영자에게는 장기간 배포에서의 실패율이 필요하다. 또한 복구 동작, 개입 빈도, 하드웨어 온도가 안정화된 뒤의 성능에 관한 데이터도 필요하다.

원격 추론도 유사한 공백에 직면한다. 더 큰 모델은 더 나은 계획을 생성할 수 있지만, 오래된 센서 정보나 모호한 지시에 취약할 수 있다.

클라우드 가용성 통계 역시 모든 로봇의 연결 품질을 포착하지 못한다. 서비스가 정상적으로 운영되는 동안에도 기계는 엘리베이터나 금속 벽 시설 내부에서 로컬 커버리지를 잃을 수 있다.

보안은 양면성을 지닌다. 로컬 처리는 데이터 전송을 줄이지만, 가치 있는 모델과 운영 기록을 장치에 두면 물리적 공격의 표적이 된다.

공격자는 로봇을 훔치거나, 저장소를 조사하거나, 패치되지 않은 로컬 서비스를 악용할 수 있다. 중앙집중형 시스템은 업데이트가 더 쉽지만, 한 번의 침해가 더 큰 플릿에 영향을 줄 수 있다.

하이브리드 시스템은 두 공격 표면을 모두 물려받는다. 장치 인증, 암호화된 통신, 서명된 모델 업데이트, 접근 제어, 오프라인 운영을 위한 명확한 규칙이 필요하다.

공급업체 종속성도 면밀한 검토가 필요하다. 로보틱스 기업은 하나의 가속기, 런타임, 배포 툴체인을 중심으로 모델을 최적화할 수 있다.

그 경우 공급업체 변경에는 모델 변환, 성능 재시험, 새로운 안전성 검증이 필요할 수 있다. 이러한 비용은 로봇의 상업적 수명 전반에 걸쳐 지속될 수 있다.

NVIDIA는 자사의 physical AI stack이 Jetson Thor를 Isaac 로보틱스 소프트웨어 및 관련 센서 처리 도구와 연결한다고 말한다. 고객은 그 통합이 의존성 비용보다 큰 가치를 제공하는지 판단해야 한다.

Google DeepMind의 온디바이스 출시에는 또 다른 불확실성, 즉 접근성이 존재한다. 초기 또는 신뢰할 수 있는 테스터 프로그램은 광범위한 프로덕션 가용성을 보여주지 않고도 기술적 방향을 입증할 수 있다.

인상적인 하드웨어나 유능한 VLA 어느 쪽도 책임 소재 문제를 해결하지는 못한다. 하이브리드 로봇이 실패하면 조사자는 장치, 네트워크, 원격 모델, 라우팅 정책 중 무엇이 오류를 일으켰는지 판단해야 한다.

이 진단 과제는 보험, 조달, 규제를 형성하게 될 것이다. 구매자는 각 구성 요소가 무엇을 관찰하고 결정했는지 재구성할 수 있는 로그를 요구할 것이다.

가장 강력한 배포는 이 복잡성을 단일 자율성 점수 뒤에 숨기지 않을 것이다. 로컬 동작, 클라우드 에스컬레이션, 인간 개입을 별도로 측정할 것이다.

로봇이 실제로 어디서 사고하는지 보여줄 세 가지 신호

다음 단계는 또 한 차례의 최대 연산 발표가 아니라, 배포된 환경에서의 동작으로 결정될 것이다.

첫 번째 신호는 원격 추론 없이 완료되는 로봇 작업의 비중이다. 공급업체는 기계가 얼마나 자주 에스컬레이션하는지, 그 에스컬레이션에 얼마나 오래 걸리는지, 연결이 끊겼을 때 어떤 일이 일어나는지 보고해야 한다.

로컬 완료율의 상승은 NVIDIA 로봇 추론과 다른 에지 플랫폼의 근거를 강화할 것이다. 온보드 시스템이 긴급 반사 동작 이상을 처리할 수 있음을 보여줄 것이다.

그러나 이 지표에는 안정적인 작업 정의가 필요하다. 더 단순한 할당을 로컬에서 처리하는 로봇이 더 어려운 문제를 클라우드로 보내는 로봇보다 반드시 우수한 것은 아니다.

두 번째 신호는 실제 전력 및 열 한계에서의 지속 성능이다. 구매자에게 필요한 것은 짧은 테스트를 실행하는 개별 프로세서가 아니라, 긴 교대 근무 동안 작동하는 완전한 로봇의 결과다.

Jetson Thor와 경쟁 시스템이 허용하기 어려운 열이나 배터리 손실 없이 여러 모델을 지속 실행한다면, 더 많은 계획 기능이 기계로 이동할 것이다. 지속적인 스로틀링은 더 큰 클라우드 역할을 유지시킬 것이다.

세 번째 신호는 프로덕션 플릿 아키텍처의 설계다. 주요 로봇 제조업체가 로컬 우선 운영, 원격 에스컬레이션, 감사 가능한 폴백 동작을 명시적인 제품 기능으로 제공하는지 지켜봐야 한다.

명확한 계층 구조는 하이브리드 논지를 뒷받침할 것이다. 지속적인 연결성에 조용히 의존하는 시스템은 가장 중요한 지능이 여전히 다른 곳에 있음을 보여줄 것이다.

데이터센터 제공업체도 그 계층 구조를 지원할 이유가 있다. 모든 센서 프레임을 처리하지 않고도 더 높은 가치의 추론, 플릿 분석, 시뮬레이션, 학습을 판매할 수 있다.

로컬 워크로드가 확대되면 에지 칩 제조업체가 이익을 얻는다. 로봇 제조업체는 각 작업에 대해 가장 저렴하면서도 안전한 실행 위치를 선택할 수 있을 때 이익을 얻는다.

고객은 플랫폼을 선택하기 전에 공급업체에 직접 질문해야 한다. 네트워크 장애에서도 살아남는 기능은 무엇인가? 어떤 데이터가 기계 밖으로 나가는가? 각 결정은 어떤 모델이 내리는가?

또한 로봇이 오래된 클라우드 지시를 어떻게 거부하는지도 물어야 한다. 몇 초 전에 생성된 원격 계획은 더 이상 현재 장면에 맞지 않을 수 있다.

개발자에게 핵심 설계 과제는 더 이상 하나의 추론 위치를 선택하는 일이 아니다. 지연 시간, 신뢰도, 프라이버시, 안전성을 일급 제약 조건으로 다루는 라우터를 구축하는 일이다.

지식 노동자들도 사무용 로봇, 자율 장치, 물리적 공간을 관찰하는 AI 시스템을 통해 같은 결정을 마주하게 될 것이다. 데이터 위치는 모델 역량만큼이나 신뢰를 좌우할 것이다.

NVIDIA 로봇 추론은 로컬 우선 아키텍처를 더 실용적으로 만들지만, 더 큰 경쟁을 결정짓지는 못한다. 데이터센터는 여전히 가장 큰 모델과 공동 학습 루프를 제공한다.

따라서 더 나은 질문은 로봇이 어디서 사고하느냐가 아니다. 어떤 사고가 지금 일어나야 하는지, 어떤 사고에 더 큰 규모가 필요한지, 그리고 둘이 의견을 달리할 때 누가 책임을 지는지를 물어야 한다.