top of page

AI 인프라는 워크로드 라우팅 문제가 되고 있다

8월 3일
10분 분량

Google News는 AI 인프라에서 더욱 선명해진 갈등을 포착했다. 더 많은 가속기를 보유하는 것만으로는 더 이상 효율적이고 안정적인 추론이 보장되지 않는다.

“AI Infrastructure Is Becoming a Workload Routing Problem”이라는 제목으로 발행된 이 보고서는 칩 공급에 집착해 온 업계의 관점을 재구성한다. 더 어려운 과제는 모든 요청을 어디에서 실행할지 결정하는 일이다.

이 결정은 모델, 프롬프트 길이, 응답 마감 시간, 사용 가능한 메모리, 위치, 캐시 상태, 허용 가능한 운영 비용에 따라 달라진다. NVIDIA는 여전히 핵심 하드웨어 공급업체이지만, Google, Microsoft, AMD, Intel 및 클라우드 네이티브 프로젝트가 선택 가능한 경로를 넓히고 있다.

그 결과 나타난 경쟁은 단순히 NVIDIA와 대체 칩 간의 대결이 아니다. 이는 대규모 컴퓨팅 조달과 워크로드 인지형 오케스트레이션, 즉 각 작업에 적합한 리소스를 할당하는 소프트웨어 계층 간의 경쟁이다.

이 구분이 중요한 이유는 학습된 모델을 실행해 답변을 생성하는 과정인 추론이 학습과 다르게 작동하기 때문이다. 추론은 지속적으로 발생하며 다양한 종류의 요청을 포함한다.

짧은 분류 작업, 긴 문서 분석, 실시간 음성 대화는 서로 다른 요구 사항을 부과한다. 이들을 하나의 획일적인 하드웨어 경로로 처리하면 용량을 낭비하거나 사용자 경험을 해칠 수 있다.

Google News 신호는 인프라 움직임의 집합이다

중요한 변화는 하나의 칩 발표가 아니다. 여러 공급업체가 이제 서로 다른 워크로드 클래스에 맞춰 AI 시스템을 설계하고 있다.

원문 분석은 서로 연결된 여러 변화를 짚는다. 여기에는 새로운 추론 가속기, 특화된 메모리 설계, 확장된 패키징 용량, 그리고 이기종 하드웨어 전반에 요청을 배치하는 소프트웨어가 포함된다.

Microsoft는 2026년 1월 추론 전용으로 설계된 가속기 Maia 200을 공개했다. Maia 200 specifications에 따르면, 이 칩은 7 TB/s 대역폭의 216GB HBM3e 메모리를 사용한다.

Microsoft는 Maia 200이 네이티브 FP8 및 FP4 연산도 지원한다고 밝힌다. 이러한 저정밀도 형식은 많은 추론 연산에서 사용되는 데이터를 줄여, 모델 품질이 허용 가능한 수준으로 유지될 경우 처리량을 높일 수 있다.

회사는 이 칩에 272MB의 온칩 SRAM과 1,400억 개 이상의 트랜지스터가 들어 있다고 보고했다. 이러한 구성 요소는 모델 데이터를 효율적으로 이동시키기 위해 재설계된 시스템 안에 배치된다.

이는 모든 프로덕션 워크로드에 걸친 독립적인 측정치가 아니라 회사가 보고한 사양이다. 그 의미는 하나의 보편적인 성능 점수보다 메모리 이동, 토큰 생성, 효율적인 추론에 우선순위를 둔 설계에 있다.

Google은 4월 Cloud Next에서 유사한 시스템 관점을 제시했다. 확장된 인프라 포트폴리오에는 2종의 8세대 TPU, NVIDIA 기반 베어메탈 인스턴스, 새로운 CPU, 전용 캐시 스토리지, 오케스트레이션 업데이트가 포함됐다.

이 구성은 모든 작업이 같은 가속기를 사용해야 한다는 생각을 거부한다는 점에서 중요하다. Google은 하나의 관리형 인프라 계층 안에서 서로 다른 구성 요소를 제공하고 있다.

Google은 Inference Gateway를 위한 예측 라우팅도 도입했다. 회사는 이 시스템이 실시간 용량 정보를 활용해 첫 토큰까지 걸리는 시간을 70% 이상 줄인다고 설명한다.

첫 토큰까지의 시간은 모델이 답변을 시작하기 전까지 사용자가 기다리는 시간을 측정한다. 이는 음성 에이전트, 대화형 어시스턴트, 고객 대상 애플리케이션에서 특히 중요하다.

Google은 같은 릴리스의 일부로 더 빠른 노드 시작, 더 빠른 모델 로딩, 단축된 Pod 시작 시간을 발표했다. 각 개선 사항은 수요가 발생한 시점부터 유용한 연산이 시작될 때까지의 서로 다른 지연을 겨냥한다.

따라서 Google News 기사는 폭넓은 운영상의 전환을 가리킨다. AI 인프라는 라우팅 소프트웨어로 연결된 특화된 실행 경로들의 집합이 되고 있다.

이렇다고 가속기 공급의 중요성이 사라지는 것은 아니다. 대규모 클러스터, 고대역폭 메모리, 첨단 패키징, 고속 네트워크는 여전히 필수적이다.

하지만 이러한 리소스는 이제 두 번째 문제를 만든다. 운영자는 각 요청에 어떤 리소스를 할당할지 결정하고, 그 결정이 성능 및 정책 요구 사항을 충족했음을 입증해야 한다.

추론 워크로드 라우팅이 지금 중요한 이유

추론은 지속적인 운영 비용이 되었기 때문에, 작은 배치 실수도 모든 사용자 요청에 걸쳐 누적될 수 있다.

학습은 일반적으로 컴퓨팅을 크고 계획된 작업에 집중시킨다. 엔지니어는 클러스터를 예약하고, 모델 체크포인트를 조정하며, 명확하게 정의된 실행을 중심으로 최적화할 수 있다.

추론은 그보다 덜 정돈되어 있다. 수요는 시간대, 지역, 제품 기능, 고객, 모델 버전, 입력 길이에 따라 달라진다.

Gartner는 2026년 AI 최적화 인프라 지출 중 추론이 55%를 뒷받침할 것으로 전망했다. infrastructure forecast에서도 해당 연도의 추론 지출이 학습 중심 워크로드를 웃돌 것으로 제시했다.

이 전망은 하나의 추정치일 뿐이지만, 그 방향성은 현재의 제품 개발과 일치한다. 클라우드 제공업체들은 모델 학습 이후 요청을 관리하는 서빙 시스템에 투자하고 있다.

프로덕션 AI 서비스는 대화형 채팅, 배치 요약, 임베딩, 코드 지원, 이미지 생성, 안전성 검사, 에이전트 도구 호출을 처리할 수 있다. 이러한 워크로드는 하나의 이상적인 구성으로 해결되지 않는다.

대화형 음성 요청은 낮은 지연과 예측 가능한 응답 시간을 우선한다. 백그라운드 요약 작업은 더 큰 배치를 기다릴 수 있으며, 이는 하드웨어 활용률을 높인다.

임베딩은 생성형 응답보다 연산량이 적은 경우가 많다. 긴 컨텍스트 분석은 메모리에 더 큰 부담을 주는 반면, 이미지 및 영상 생성은 가속기를 장시간 점유할 수 있다.

에이전틱 시스템은 이러한 불일치를 더 뚜렷하게 드러낸다. 하나의 사용자 지시는 계획 수립, 검색, 여러 번의 모델 호출, 도구 실행, 검증, 최종 응답을 유발할 수 있다.

사용자는 하나의 작업을 본다. 인프라는 서로 다른 지연 시간, 메모리, 신뢰성 요구 사항을 가진 일련의 워크로드를 본다.

라우팅은 이러한 단계가 프리미엄 GPU, 맞춤형 가속기, 더 작은 모델, 캐시된 결과, 또는 지연된 배치 대기열 중 어디에 도달할지를 결정한다. 또한 규제 대상 데이터를 어떤 리전에서 처리할지도 결정할 수 있다.

라우팅 계층은 키-값 캐시 상태를 고려해야 한다. KV 캐시는 이전 토큰에서 계산된 정보를 저장해 모델이 일부 작업을 반복하지 않도록 한다.

관련 캐시가 있는 워커로 요청을 보내면 지연 시간과 가속기 사이클을 줄일 수 있다. 반대로 더 빠른 칩을 사용하더라도 다른 곳으로 보내면 그 이점이 사라질 수 있다.

이 때문에 일반적인 로드 밸런싱만으로는 충분하지 않다. 전통적인 로드 밸런서는 여유 용량이 있는 정상 서버로 트래픽을 보내는 경우가 많다.

추론 워크로드 라우팅에는 더 많은 맥락이 필요하다. 모델 식별자, 프롬프트 특성, 캐시 위치, 하드웨어 호환성, 서비스 목표, 데이터 정책을 이해해야 한다.

Microsoft Research는 자체 추론 연구를 워크로드 인지형이자 비용 인지형이라고 설명한다. 연구팀은 리소스 할당, 요청 스케줄링, 배칭, 라우팅, KV 캐싱을 함께 연구하고 있다.

이 접근 방식은 중요한 시스템적 사실을 인정한다. 한 계층을 개선하면 병목을 없애기보다 다른 곳으로 옮길 수 있다.

모델 가중치 로딩이 느리다면 더 빠른 가속기는 별 효과가 없다. 라우팅이 캐시를 분산시키거나 인기 모델 주위에 긴 대기열을 만든다면 서버를 추가해도 도움이 줄어든다.

따라서 압박은 클라우드 제공업체, 모델 호스팅 업체, 플랫폼 엔지니어링 팀에 가해진다. 이들은 다양한 하드웨어를 여전히 일관되게 느껴지는 서비스로 전환해야 한다.

Google AI 인프라는 제어 플레인을 제품으로 만든다

Google은 라우팅과 오케스트레이션을 칩을 둘러싼 배경 유틸리티가 아니라 핵심 인프라 기능으로 다루고 있다.

Cloud Next에서 Google은 TPU, NVIDIA 시스템, CPU, 스토리지, 네트워킹, 캐싱, Kubernetes를 아우르는 AI 스택을 설명했다. 제어 플레인은 이러한 리소스를 연결한다.

제어 플레인은 배치, 구성, 확장, 정책을 담당하는 소프트웨어다. 개별 워커가 요청을 실행하기 전에 인프라가 어떻게 대응해야 할지를 결정한다.

Google의 AI infrastructure update는 관리형 Kubernetes 서비스인 GKE를 에이전트 워크로드 오케스트레이션의 중심에 배치했다. 이 같은 위치 설정은 시사하는 바가 크다.

회사는 최신 TPU의 성능만 마케팅할 수도 있었다. 대신 모델 로딩, 시작 속도, 캐시 스토리지, 예측 라우팅, 오픈 추론 프레임워크와의 호환성도 강조하고 있다.

TPU 8t는 대규모 학습 작업을 포함한 고처리량 워크로드를 겨냥한다. TPU 8i는 별도의 칩 및 시스템 설계로 추론 요구 사항을 다룬다.

Google은 NVIDIA Vera Rubin 시스템과 x86 또는 Arm 기반 CPU 옵션도 제공한다. 이는 고객 선택권을 넓히지만 플랫폼 내부의 스케줄링 복잡성도 높인다.

플랫폼은 어떤 모델이 어떤 가속기에서 작동하는지 알아야 한다. 정밀도 형식, 메모리 용량, 사용 가능한 커널, 데이터 이동, 예상 대기 시간을 고려해야 한다.

고객이 일반적으로 원하는 것은 신뢰할 수 있는 엔드포인트이지 하드웨어 연구 프로젝트가 아니다. Google은 정교한 구매자에게 충분한 제어권을 제공하면서도 복잡성의 상당 부분을 흡수해야 한다.

이것이 이 글의 핵심 경쟁을 만든다. 동질적인 용량을 구매하는 것과 이기종 용량을 지능적으로 운영하는 것의 대결이다.

동질적인 플릿은 호환성, 관측 가능성, 장애 대응을 단순화한다. 엔지니어는 커널, 배포 절차, 성능 기대치, 폴백 동작을 표준화할 수 있다.

이기종 플릿은 하드웨어를 워크로드에 더 밀접하게 맞출 수 있다. 한 공급업체에 대한 의존도를 낮추고, 덜 비싼 리소스로도 충분한 작업에 최고급 가속기를 사용하는 일을 피할 수 있다.

하지만 다양성에는 변환 비용이 따른다. 한 스택에서 올바르게 실행되는 모델도 양자화, 커널 교체, 컴파일러 변경, 스케줄러 조정 이후에는 다르게 동작할 수 있다.

그 결과 발생하는 장애는 서비스 중단으로 나타나지 않을 수 있다. 사용자는 더 느린 응답, 축소된 컨텍스트 처리, 일관되지 않은 출력, 더 많은 도구 호출 오류를 경험할 수 있다.

Google의 방향은 승리하는 클라우드 플랫폼이 배치를 완전히 불투명하게 만들지 않으면서도 이러한 복잡성의 상당 부분을 숨길 것임을 시사한다.

고객은 점점 더 워크로드가 어디에서 실행됐는지, 어떤 모델 변형이 답변했는지, 어떤 정밀도가 사용됐는지, 폴백이 성능을 바꿨는지를 묻게 될 것이다.

이 질문들은 규제를 받거나 지연 시간에 민감한 애플리케이션에서 중요하다. 제공업체가 그 이면의 기술적 절충안을 공개하지 않은 채 더 낮은 비용을 홍보할 때도 중요하다.

이 지점에서 Google AI 인프라는 NVIDIA의 통합 접근 방식과 경쟁한다. Google은 클라우드 소프트웨어를 통해 조정되는 여러 하드웨어 경로를 제공한다.

NVIDIA는 긴밀하게 연결된 하드웨어 및 소프트웨어 스택을 제공하는 동시에, 분산된 위치 전반으로 오케스트레이션을 확장하고 있다. 두 접근 방식 모두 라우팅을 핵심으로 삼지만, 소유권과 통합 방식에서 차이가 있다.

이 경쟁이 모든 워크로드에서 단순한 승자를 만들지는 않을 것이다. 측정 가능한 결과는 인프라 활용률이 개선되는 동시에 고객이 예측 가능한 서비스를 받는지 여부가 될 것이다.

하드웨어 다양성은 소프트웨어 비용을 만든다

더 많은 가속기 선택지는 공급업체 의존도를 낮출 수 있지만, 추가되는 모든 경로는 테스트와 운영 부담을 확대한다.

Microsoft의 Maia 200은 맞춤형 실리콘의 매력을 보여준다. Microsoft는 자사 데이터 센터, 소프트웨어, 모델 서빙 요구사항에 맞춰 추론 가속기를 설계할 수 있다.

Microsoft는 Maia 200이 이미 Microsoft Foundry 및 Microsoft 365 Copilot 워크로드를 지원한다고 밝혔다. 내부 서비스는 Microsoft가 제품 및 인프라 계층을 통제하는 환경을 제공한다.

외부 워크로드는 더 까다로운 시험대가 된다. 다른 모델 제공업체는 자체 품질 요구사항, 배포 방식, 커널, 지연 시간 목표, 고객 약정을 가져온다.

벤치마크는 칩이 정의된 작업을 신속히 완료한다는 점을 보여줄 수 있다. 그러나 트래픽 급증, 장애, 모델 업그레이드, 지역별 용량 제약 상황에서 복잡한 프로덕션 서비스가 일관되게 동작한다는 사실까지 증명할 수는 없다.

Intel은 공랭식 엔터프라이즈 서버를 겨냥한 추론 중심 GPU인 Crescent Island로 다른 경로를 추구하고 있다. 이 회사는 다수의 고급 가속기가 사용하는 HBM 대신 160GB LPDDR5X 메모리를 명시했다.

이 선택은 워크로드 간의 절충을 반영한다. 고대역폭 메모리는 뛰어난 데이터 이동 성능을 제공하지만 공급, 패키징, 전력, 시스템 설계 측면의 제약도 수반한다.

LPDDR 기반 설계는 서로 다른 전력 및 시설 한도 내에서 대용량 메모리를 목표로 할 수 있다. 다만 그 적합성은 여전히 모델, 지연 시간 목표, 소프트웨어 성숙도, 실제 애플리케이션에 달려 있다.

한편 AMD는 랙 스케일 인프라와 패키징 파트너십을 확대하고 있다. AMD의 전략은 Instinct 가속기를 EPYC CPU 및 더 폭넓은 시스템 구성 요소와 결합한다.

이러한 경로는 AI 수요가 하나의 하드웨어 범주에 깔끔하게 대응된다는 가정에 도전한다. 동시에 인프라 팀이 마주하는 호환성 매트릭스도 확대한다.

소프트웨어는 각 메모리 풀에 어떤 모델이 적합한지 추적해야 한다. 또한 선택된 정밀도와 가속기에 대해 검증된 커널이 필요하다.

운영자에게는 관측 가능성, 즉 시스템 내부에서 어떤 일이 일어났는지에 대한 증거도 필요하다. 유용한 기록에는 큐 대기 시간, 캐시 적중, 선택된 하드웨어, 모델 버전, 재시도, 폴백 동작 등이 포함된다.

그러한 기록이 없으면 낮은 평균 비용이 더 나쁜 테일 레이턴시를 가릴 수 있다. 테일 레이턴시는 요청 중 가장 느린 부분을 측정하며, 이는 종종 사용자의 신뢰성 인식을 좌우한다.

평균 응답 시간은 개선되는 반면, 일부 소수의 요청은 고통스러울 만큼 느려질 수 있다. 음성 비서와 대화형 에이전트는 특히 이런 패턴에 민감하다.

라우팅 장애는 규정 준수 문제도 초래할 수 있다. 시스템이 거주지 요건과 충돌하는 지역의 가용 용량으로 요청을 보낼 수 있기 때문이다.

따라서 배치 정책은 경제적 규칙이자 거버넌스 규칙이 된다. 비용, 성능, 개인정보 보호, 서비스 일관성을 동시에 보호해야 한다.

이 복잡성은 하드웨어 다양성에 부과되는 소프트웨어 세금이다. 그만한 가치가 있을 수 있지만, 트래픽 규모와 워크로드 차이가 투자를 정당화할 때에만 그렇다.

수요가 불확실한 스타트업은 일반적으로 관리형 모델 API의 이점을 얻는다. 하드웨어 인지형 라우팅을 너무 일찍 구축하면 엔지니어의 관심이 제품 품질과 고객 도입에서 분산될 수 있다.

대규모 플랫폼은 반대의 위험에 직면한다. 모든 요청을 동일하게 취급하면 수백만 건의 반복 작업 전반에서 값비싼 용량을 낭비할 수 있다.

경계선은 사용 밀도다. 팀이 워크로드를 분류하고, 결과를 측정하고, 배치 정책을 개선할 만큼 충분한 반복 트래픽을 보유할 때 라우팅의 가치가 커진다.

개방형 라우팅 표준, 폐쇄형 인프라 사일로에 도전

라우팅 계층은 전략적으로 중요해지고 있으며, 이에 따라 공급업체들은 그 인터페이스와 표준의 방향을 주도하기 위해 경쟁하고 있다.

Google은 이 계층을 혼자 구축하는 것이 아니다. Google은 Red Hat, IBM Research, CoreWeave, NVIDIA와 함께 llm-d를 만드는 데 참여했다.

이 프로젝트는 분산형 모델 추론을 위한 Kubernetes 네이티브 프레임워크다. Kubernetes는 컨테이너화된 애플리케이션을 조정하고, llm-d는 모델 서빙 상태에 관한 지식을 추가한다.

Cloud Native Computing Foundation은 2026년 3월 12일 llm-d를 Sandbox 프로젝트로 채택했다. Sandbox 지위는 초기 커뮤니티 거버넌스를 의미할 뿐, 프로덕션 성숙도나 상호운용성 보장을 뜻하지는 않는다.

llm-d 프로젝트에 따르면, 해당 기능에는 프리픽스 캐시 인지형 라우팅, prefill과 decode 분리, 캐시 오프로딩, 하드웨어 인지형 확장이 포함된다.

Prefill은 사용자의 입력 토큰을 처리하는 단계다. Decode는 출력 토큰을 생성하며, 대개 리소스 및 메모리 동작이 다르다.

이 단계를 분리하면 운영자는 각각을 독립적으로 확장할 수 있다. 동시에 더 많은 배치 결정과 구성 요소 간 네트워크 통신도 발생한다.

이 프로젝트는 NVIDIA, AMD, Intel, Google의 가속기를 지원한다. 명시된 목표는 모델, 가속기, 클라우드 전반에 걸친 폭넓은 이식성이다.

이러한 목표는 구매자의 실질적인 우려를 다룬다. 하나의 칩이나 클라우드에 종속된 라우팅 계층은 운영 인텔리전스를 또 다른 형태의 종속으로 바꿀 수 있다.

그러나 개방형 인터페이스가 하드웨어 차이를 없애지는 않는다. 각 가속기는 여전히 서로 다른 커널, 메모리 동작, 네트워킹, 성능 특성을 지닌다.

진정한 이식성에는 단순한 공통 API가 아니라 검증된 결과가 필요하다. 운영자에게는 출력 품질, 처리량, 지연 시간, 캐시 효율성, 장애 복구에 관한 비교 가능한 측정값이 필요하다.

NVIDIA 역시 개별 클러스터를 넘어 라우팅을 확장하고 있다. NVIDIA의 AI Grid 설계는 분산 인프라를 하나의 프로그래밍 가능한 플랫폼으로 취급한다.

NVIDIA의 AI Grid 아키텍처는 지연 시간, 주권, 비용, 노드 상태, 활용도, 캐시 가용성에 따라 워크로드를 배치한다.

이 접근 방식은 중앙 데이터 센터, 대도시 시설, 통신 거점, 엣지 사이트 전반에 걸쳐 추론을 라우팅할 수 있다. 위치가 스케줄링 결정의 일부가 되는 것이다.

실시간 음성 서비스는 네트워크 지연이 대화 흐름에 직접적인 영향을 주므로 가까운 곳에서 실행되는 이점이 있다. 백그라운드 작업은 가용 용량이 있다면 더 먼 곳에서 실행될 수 있는 경우가 많다.

규제를 받는 의료 요청은 승인된 관할권을 요구할 수 있다. 미디어 워크로드는 텍스트보다 훨씬 많은 데이터를 이동시키므로 네트워크 대역폭을 우선시할 수 있다.

NVIDIA의 설계는 Google News를 통해 강조된 동일한 논지를 뒷받침한다. AI 인프라는 하드웨어와 지리 전반에 걸친 배치 문제로 변모하고 있다.

그럼에도 공급업체들은 자신이 선호하는 스택을 자연스러운 제어 계층으로 제시할 유인이 있다. Google은 GKE가 워크로드를 관리할 때 이익을 얻고, NVIDIA는 자사 소프트웨어가 그리드를 조정할 때 이익을 얻는다.

개방형 프로젝트는 중립성을 약속하지만, 그 성숙도와 거버넌스는 면밀한 검토가 필요하다. Sandbox 프로젝트는 빠르게 발전하거나 인터페이스가 변경될 수 있으며, 대기업이 요구하는 운영 이력이 부족할 수 있다.

클라우드 제공업체는 라우팅 제어 기능을 선택적으로 공개할 수도 있다. 고객은 실제로 어떤 가속기가 요청을 처리했는지 알지 못한 채 지연 시간 등급이나 지역 선호도만 제공받을 수 있다.

그러한 추상화는 운영을 단순화할 수 있지만 감사는 복잡하게 만든다. 제공업체가 배치 증거를 숨긴다면 구매자는 하드웨어 대체를 평가할 수 없다.

따라서 결정적인 표준은 라우팅뿐 아니라 관측 가능성도 포함하게 될 것이다. 요청이 어디로 가야 하는지뿐 아니라 배치 이후 어떤 일이 일어났는지도 기술해야 한다.

Google News 독자가 다음으로 주목해야 할 것

공급업체가 측정 가능한 배치 제어 기능과 프로덕션 결과를 공개할 때에만 라우팅 논지는 설득력을 얻는다.

첫 번째 신호는 예측형 Inference Gateway 라우팅에 대한 Google의 진전이다. 고객은 다양한 모델, 트래픽 급증, 캐시 조건에서의 독립적인 결과를 지켜봐야 한다.

Google은 수동 튜닝 없이 첫 토큰 생성 시간(time-to-first-token)을 70% 이상 줄였다고 보고한다. 더 폭넓은 증거는 이러한 개선이 선별된 구성 밖에서도 지속되는지 보여줘야 한다.

중요한 측정값에는 중앙값 지연 시간, 테일 레이턴시, 캐시 적중률, 요청 실패, 가속기 활용도가 포함된다. 모델 품질은 테스트된 모든 경로에서 안정적으로 유지되어야 한다.

미약한 결과는 예측형 배치가 복잡성을 해결하기보다 이전한다는 점을 시사할 것이다. 일관된 프로덕션 개선은 오케스트레이션이 수동 튜닝보다 뛰어날 수 있다는 Google의 주장을 강화할 것이다.

두 번째 신호는 llm-d와 같은 가속기 중립형 프레임워크의 도입이다. 프로젝트 활동만으로는 충분하지 않다.

관리형 서비스, 안정적인 인터페이스, 참조 배포, NVIDIA·AMD·Intel·Google 하드웨어 전반의 비교 가능한 벤치마크를 주목해야 한다. 엔터프라이즈 사례 연구는 최고 처리량뿐 아니라 장애와 폴백 동작도 기록해야 한다.

공급업체 간 배포는 개방형 라우팅 모델을 강화할 것이다. 파편화된 구현이나 하드웨어별 포크는 실질적인 이식성 주장을 약화할 것이다.

세 번째 신호는 고객의 배치 증거 접근성이다. 클라우드 대시보드와 API는 모델 변형, 지연 시간 등급, 캐시 동작, 지역, 폴백 이벤트를 공개해야 한다.

구매자가 모든 칩을 수동으로 선택할 필요는 없다. 그러나 인프라 의사결정을 사용자 경험 및 운영 결과와 연결할 수 있을 만큼의 증거는 필요하다.

이 사안의 중요성은 클라우드 엔지니어링을 넘어선다. 제품 팀은 느린 에이전트 동작이 모델, 검색 파이프라인, 도구 실행, 인프라 배치 중 어디에서 비롯되는지 알아야 한다.

엔터프라이즈 구매자는 민감한 요청이 승인된 지역에 머물렀다는 증거가 필요하다. 개발자에게는 제공업체가 그 아래 하드웨어를 변경할 때도 예측 가능한 API가 필요하다.

지식 근로자는 최종 결과를 더 빠른 답변, 지연된 음성 응답, 또는 신뢰할 수 없는 에이전트로 경험한다. 라우팅은 대부분의 인터페이스가 드러내는 것보다 그 경험을 더 많이 좌우한다.

Google News 헤드라인은 실제 전환을 포착했지만, 그 전환은 아직 완료되지 않았다. 공급업체들은 워크로드 인지형 인프라에 필요한 제어 플레인, 칩, 개방형 프레임워크를 설명해 왔다.

이제 이 시스템이 프로덕션 환경의 압박 속에서도 작동한다는 점을 입증해야 한다. 향후 3개월은 라우팅이 투명한 운영 역량이 될지, 아니면 클라우드 복잡성의 또 다른 숨은 계층이 될지를 보여줄 것이다.

AI 구축자에게 당장의 조치는 간단하다. 추론을 하나의 혼합된 범주로 취급하지 말고 워크로드별로 요청을 측정하라. 컨텍스트 길이, 지연 시간, 캐시 사용, 재시도, 모델 선택, 가능한 경우 하드웨어 배치를 추적하라.

그런 다음 Google News가 제기한 더 어려운 질문을 던져야 한다. 각 요청이 가장 저렴하면서도 신뢰할 수 있는 경로에 도달하고 있는가, 아니면 플랫폼이 여전히 모든 작업을 그저 가용한 가속기로 보내고 있는가?

 
 

무료로 시작하세요

개인 지식 관리 기능을 갖춘 로컬 우선 AI 어시스턴트

더 나은 AI 경험을 위해

현재 remio는 Windows 10+ (x64) 및 M-Chip Macs만 지원합니다.

업무를 위한 AI 파트너
remio와 더 많은 일을 해내세요

계획하고, 만들고, 완성하세요
모든 일을 한곳에서

bottom of page