top of page

A infraestrutura de IA está se tornando um problema de roteamento de cargas de trabalho

3 de ago.
14 min de leitura

O Google News revelou um conflito mais nítido na infraestrutura de IA: possuir mais aceleradores já não garante uma inferência eficiente e confiável.

A reportagem, publicada sob o título “A infraestrutura de IA está se tornando um problema de roteamento de cargas de trabalho”, reformula um setor obcecado pelo fornecimento de chips. O desafio mais difícil é decidir onde cada solicitação deve ser executada.

Essa decisão muda conforme o modelo, o tamanho do prompt, o prazo de resposta, a memória disponível, a localização, o estado do cache e o custo operacional aceitável. A NVIDIA continua sendo a principal fornecedora de hardware, mas Google, Microsoft, AMD, Intel e projetos nativos da nuvem estão ampliando as opções disponíveis.

A disputa resultante não é simplesmente NVIDIA contra chips alternativos. Trata-se de aquisição de computação em massa versus orquestração orientada à carga de trabalho, a camada de software que atribui cada tarefa a um recurso adequado.

Essa distinção importa porque a inferência, o processo de executar um modelo treinado para produzir uma resposta, se comporta de forma diferente do treinamento. Ela ocorre continuamente e inclui muitos tipos de solicitações.

Uma breve tarefa de classificação, uma análise extensa de documento e uma conversa por voz ao vivo impõem exigências diferentes. Enviá-las por uma única rota de hardware uniforme desperdiça capacidade ou prejudica a experiência do usuário.

O sinal do Google News é um conjunto de movimentos de infraestrutura

A mudança importante não é o anúncio de um único chip. Vários fornecedores agora estão projetando sistemas de IA em torno de classes distintas de cargas de trabalho.

A análise original identifica vários desenvolvimentos conectados. Eles incluem novos aceleradores de inferência, projetos de memória especializados, maior capacidade de empacotamento e software que distribui solicitações entre hardware heterogêneo.

A Microsoft apresentou o Maia 200 em janeiro de 2026 como um acelerador desenvolvido especificamente para inferência. De acordo com as especificações do Maia 200, o chip usa 216GB de memória HBM3e com 7 TB/s de largura de banda.

A Microsoft também afirma que o Maia 200 oferece suporte nativo a computação FP8 e FP4. Esses formatos de menor precisão reduzem a quantidade de dados usada em muitas operações de inferência, o que pode aumentar o throughput quando a qualidade do modelo continua aceitável.

A empresa informa que o chip contém 272MB de SRAM on-chip e mais de 140 bilhões de transistores. Esses componentes foram inseridos em um sistema redesenhado para movimentar dados de modelos com eficiência.

Essas são especificações informadas pela empresa, não medições independentes em todas as cargas de trabalho de produção. Sua relevância está nas prioridades de projeto: movimentação de memória, geração de tokens e inferência eficiente, em vez de uma única pontuação universal de desempenho.

O Google apresentou um argumento semelhante sobre sistemas no Cloud Next, em abril. Seu portfólio de infraestrutura ampliado incluía dois TPUs de oitava geração, instâncias bare metal com NVIDIA, novas CPUs, armazenamento de cache dedicado e atualizações de orquestração.

Essa combinação importa porque rejeita a ideia de que toda tarefa deve usar o mesmo acelerador. O Google está oferecendo componentes diferentes dentro de uma única camada de infraestrutura gerenciada.

O Google também apresentou o roteamento preditivo para seu Inference Gateway. A empresa afirma que o sistema usa informações de capacidade em tempo real para reduzir o tempo até o primeiro token em mais de 70%.

O tempo até o primeiro token mede quanto tempo um usuário espera antes de um modelo começar a responder. É especialmente importante para agentes de voz, assistentes interativos e aplicações voltadas ao cliente.

O Google relatou inicialização mais rápida de nós, carregamento mais rápido de modelos e redução do tempo de inicialização de pods como parte da mesma atualização. Cada melhoria visa um atraso diferente entre a chegada da demanda e o início de uma computação útil.

A reportagem do Google News, portanto, aponta para uma ampla mudança operacional. A infraestrutura de IA está se tornando uma coleção de rotas de execução especializadas, unidas por software de roteamento.

Isso não torna irrelevante o fornecimento de aceleradores. Grandes clusters, memória de alta largura de banda, empacotamento avançado e redes rápidas continuam essenciais.

No entanto, esses recursos agora criam um segundo problema. Os operadores precisam decidir qual recurso merece cada solicitação e então comprovar que a decisão atendeu aos requisitos de desempenho e política.

Por que o roteamento de cargas de trabalho de inferência importa agora

A inferência se tornou uma despesa operacional contínua, de modo que pequenos erros de posicionamento podem se multiplicar em cada solicitação de usuário.

O treinamento normalmente concentra a computação em grandes tarefas planejadas. Os engenheiros podem reservar clusters, coordenar checkpoints de modelos e otimizar em torno de uma execução definida.

A inferência é menos organizada. A demanda muda conforme a hora, a geografia, o recurso do produto, o cliente, a versão do modelo e o tamanho da entrada.

A Gartner projetou que a inferência sustentaria 55% dos gastos com infraestrutura otimizada para IA durante 2026. Sua previsão de infraestrutura também posicionou os gastos com inferência acima das cargas de trabalho voltadas ao treinamento no ano.

A previsão é apenas uma estimativa, mas sua direção corresponde ao desenvolvimento atual de produtos. Os provedores de nuvem estão investindo em sistemas de serving que gerenciam solicitações após o treinamento de um modelo.

Um serviço de IA em produção pode lidar com chat interativo, sumarização em lote, embeddings, assistência de código, geração de imagens, verificações de segurança e chamadas de ferramentas por agentes. Essas cargas de trabalho não compartilham uma configuração ideal única.

Solicitações interativas de voz priorizam baixa latência e tempos de resposta previsíveis. Uma tarefa de sumarização em segundo plano pode esperar por um lote maior, o que melhora a utilização do hardware.

Embeddings frequentemente exigem menos computação do que respostas generativas. A análise de contexto longo pressiona mais a memória, enquanto a geração de imagens e vídeos pode demandar tempo prolongado de acelerador.

Sistemas agentic tornam essa incompatibilidade mais visível. Uma instrução do usuário pode disparar planejamento, recuperação, várias chamadas de modelo, execução de ferramentas, verificação e uma resposta final.

O usuário vê uma tarefa. A infraestrutura vê uma sequência de cargas de trabalho com requisitos distintos de latência, memória e confiabilidade.

O roteamento determina se essas etapas chegam a GPUs premium, aceleradores personalizados, modelos menores, resultados em cache ou filas de processamento em lote postergadas. Ele também pode determinar qual região processa dados regulados.

A camada de roteamento precisa considerar o estado do cache de chave-valor. Um cache KV armazena informações calculadas a partir de tokens anteriores, permitindo que o modelo evite repetir parte do trabalho.

Enviar uma solicitação a um worker com o cache relevante pode reduzir a latência e os ciclos de acelerador. Enviá-la para outro lugar pode eliminar essa vantagem, mesmo quando o destino usa um chip mais rápido.

É por isso que o balanceamento de carga convencional é insuficiente. Um balanceador de carga tradicional frequentemente envia tráfego para um servidor saudável com capacidade disponível.

O roteamento de cargas de trabalho de inferência precisa de mais contexto. Ele deve compreender a identidade do modelo, as características do prompt, a localização do cache, a compatibilidade de hardware, as metas de serviço e a política de dados.

A Microsoft Research descreve seu próprio trabalho de inferência como orientado à carga de trabalho e aos custos. Suas equipes estão estudando em conjunto alocação de recursos, agendamento de solicitações, processamento em lote, roteamento e cache KV.

Essa abordagem reconhece uma importante verdade sobre sistemas. Melhorar uma camada pode deslocar o gargalo, em vez de eliminá-lo.

Um acelerador mais rápido pouco realiza se os pesos do modelo carregam lentamente. Servidores adicionais ajudam menos quando o roteamento fragmenta caches ou cria longas filas em torno de modelos populares.

A pressão, portanto, recai sobre provedores de nuvem, hosts de modelos e equipes de engenharia de plataforma. Eles precisam transformar hardware diversificado em um serviço que ainda pareça consistente.

A infraestrutura de IA do Google transforma o plano de controle no produto

O Google está tratando roteamento e orquestração como recursos centrais de infraestrutura, não como utilitários de bastidor que cercam seus chips.

No Cloud Next, o Google descreveu uma pilha de IA que abrange TPUs, sistemas NVIDIA, CPUs, armazenamento, redes, cache e Kubernetes. O plano de controle conecta esses recursos.

Um plano de controle é o software responsável por posicionamento, configuração, escalonamento e políticas. Ele decide como a infraestrutura deve responder antes que workers individuais executem a solicitação.

A atualização de infraestrutura de IA do Google posicionou o GKE, seu serviço gerenciado de Kubernetes, no centro da orquestração de cargas de trabalho de agentes. Esse posicionamento é revelador.

A empresa poderia divulgar apenas o desempenho de seus TPUs mais recentes. Em vez disso, também enfatiza carregamento de modelos, velocidade de inicialização, armazenamento de cache, roteamento preditivo e compatibilidade com frameworks abertos de inferência.

O TPU 8t é direcionado a cargas de trabalho de alto throughput, incluindo grandes tarefas de treinamento. O TPU 8i atende às necessidades de inferência com um projeto distinto de chip e sistema.

O Google também oferece sistemas NVIDIA Vera Rubin e opções de CPU baseadas em x86 ou Arm. Isso cria opções para os clientes, mas aumenta a complexidade de agendamento dentro da plataforma.

A plataforma precisa saber qual modelo funciona em qual acelerador. Ela deve considerar formatos de precisão, capacidade de memória, kernels disponíveis, movimentação de dados e tempo de fila esperado.

Um cliente geralmente quer um endpoint confiável, não um projeto de pesquisa de hardware. O Google precisa absorver grande parte da complexidade, ao mesmo tempo que expõe controle suficiente para compradores sofisticados.

Isso cria a disputa central do artigo: comprar capacidade homogênea versus operar capacidade heterogênea de forma inteligente.

Frotas homogêneas simplificam compatibilidade, observabilidade e resposta a incidentes. Os engenheiros podem padronizar kernels, procedimentos de implantação, expectativas de desempenho e comportamento de fallback.

Frotas heterogêneas podem combinar o hardware mais estreitamente com as cargas de trabalho. Elas podem reduzir a dependência de um único fornecedor e evitar o uso de aceleradores de ponta para tarefas que exigem recursos menos caros.

No entanto, a diversidade cria custos de tradução. Um modelo que funciona corretamente em uma pilha pode se comportar de forma diferente após quantização, substituição de kernel, alterações de compilador ou ajustes no agendador.

A falha resultante pode não aparecer como uma indisponibilidade. Os usuários podem receber respostas mais lentas, processamento de contexto encurtado, saídas inconsistentes ou mais erros de chamadas de ferramentas.

A direção do Google sugere que a plataforma de nuvem vencedora ocultará boa parte dessa complexidade sem tornar o posicionamento totalmente opaco.

Os clientes perguntarão cada vez mais onde uma carga de trabalho foi executada, qual variante de modelo respondeu, qual precisão foi usada e se um fallback alterou o desempenho.

Essas perguntas importam para aplicações reguladas e sensíveis à latência. Elas também importam quando um provedor promove custos menores sem divulgar os compromissos técnicos por trás deles.

É aqui que a infraestrutura de IA do Google compete com a abordagem integrada da NVIDIA. O Google oferece múltiplos caminhos de hardware coordenados por seu software de nuvem.

A NVIDIA oferece uma pilha de hardware e software estreitamente conectada, ao mesmo tempo que amplia sua orquestração entre locais distribuídos. Ambas as abordagens tornam o roteamento central, mas diferem em propriedade e integração.

A disputa não produzirá um vencedor simples em todas as cargas de trabalho. Seu resultado mensurável será se os clientes recebem um serviço previsível enquanto a utilização da infraestrutura melhora.

A diversidade de hardware cria um imposto de software

Mais opções de aceleradores podem reduzir a dependência de fornecedores, mas cada caminho adicional amplia a carga de testes e operações.

O Maia 200 da Microsoft ilustra a atratividade do silício customizado. A Microsoft pode projetar um acelerador de inferência em torno de seus próprios data centers, software e requisitos de disponibilização de modelos.

A empresa afirma que o Maia 200 já oferece suporte às cargas de trabalho do Microsoft Foundry e do Microsoft 365 Copilot. Serviços internos fornecem um ambiente em que a Microsoft controla as camadas de produto e infraestrutura.

Cargas de trabalho externas criam um teste mais difícil. Outro provedor de modelos traz seus próprios requisitos de qualidade, práticas de implantação, kernels, metas de latência e compromissos com clientes.

Um benchmark pode mostrar que um chip conclui rapidamente uma tarefa definida. Ele não pode provar que um serviço de produção complexo se comportará de forma consistente durante picos, falhas, atualizações de modelo e restrições regionais de capacidade.

A Intel segue outro caminho com o Crescent Island, uma GPU voltada para inferência e destinada a servidores empresariais com refrigeração a ar. A empresa especificou 160 GB de memória LPDDR5X em vez da HBM usada por muitos aceleradores premium.

Essa escolha reflete uma compensação entre cargas de trabalho. A memória de alta largura de banda oferece movimentação de dados excepcional, mas vem acompanhada de restrições de fornecimento, empacotamento, energia e projeto de sistemas.

Projetos baseados em LPDDR podem visar grande capacidade de memória dentro de diferentes limites de energia e instalações. Sua adequação ainda depende do modelo, da meta de latência, da maturidade do software e da aplicação real.

Enquanto isso, a AMD está expandindo sua infraestrutura em escala de rack e suas relações de empacotamento. Sua estratégia combina aceleradores Instinct com CPUs EPYC e componentes de sistema mais amplos.

Esses caminhos desafiam a suposição de que a demanda por IA se mapeia perfeitamente para uma única categoria de hardware. Eles também ampliam a matriz de compatibilidade enfrentada pelas equipes de infraestrutura.

O software precisa acompanhar quais modelos cabem em cada pool de memória. Ele precisa de kernels validados para a precisão e o acelerador selecionados.

Os operadores também precisam de observabilidade, ou seja, evidências sobre o que aconteceu dentro do sistema. Registros úteis incluem tempo em fila, acertos de cache, hardware selecionado, versão do modelo, tentativas e comportamento de fallback.

Sem esses registros, custos médios mais baixos podem ocultar uma pior latência de cauda. A latência de cauda mede a parcela mais lenta das solicitações, que frequentemente molda a percepção do usuário sobre confiabilidade.

Um tempo médio de resposta pode melhorar enquanto uma pequena porcentagem das solicitações se torna dolorosamente lenta. Assistentes de voz e agentes interativos são particularmente sensíveis a esse padrão.

Falhas de roteamento também podem criar problemas de conformidade. Um sistema pode enviar uma solicitação para capacidade disponível em uma região que conflite com requisitos de residência de dados.

A política de posicionamento, portanto, torna-se ao mesmo tempo uma regra econômica e uma regra de governança. Ela deve proteger custo, desempenho, privacidade e consistência de serviço simultaneamente.

Essa complexidade é o imposto de software sobre a diversidade de hardware. Ela pode valer a pena, mas apenas quando o volume de tráfego e as diferenças entre cargas de trabalho justificam o investimento.

Uma startup com demanda incerta geralmente se beneficia de uma API de modelo gerenciada. Criar roteamento ciente de hardware cedo demais pode desviar engenheiros da qualidade do produto e da adoção pelos clientes.

Uma grande plataforma enfrenta o risco oposto. Tratar cada solicitação de forma idêntica pode desperdiçar capacidade cara em milhões de operações repetidas.

A linha divisória é a densidade de uso. O roteamento se torna valioso quando uma equipe tem tráfego recorrente suficiente para classificar cargas de trabalho, medir resultados e aprimorar políticas de posicionamento.

Padrões Abertos de Roteamento Desafiam Silos Fechados de Infraestrutura

A camada de roteamento está se tornando estrategicamente importante a ponto de fornecedores competirem para moldar suas interfaces e padrões.

O Google não está construindo essa camada sozinho. Ele ajudou a criar o llm-d com Red Hat, IBM Research, CoreWeave e NVIDIA.

O projeto é uma estrutura nativa do Kubernetes para inferência de modelos distribuída. O Kubernetes coordena aplicações em contêineres, enquanto o llm-d acrescenta conhecimento sobre o estado de disponibilização de modelos.

A Cloud Native Computing Foundation aceitou o llm-d como projeto Sandbox em 12 de março de 2026. O status Sandbox sinaliza uma governança comunitária inicial, não maturidade para produção ou interoperabilidade garantida.

De acordo com o projeto llm-d, seus recursos incluem roteamento ciente de cache de prefixos, separação entre prefill e decode, descarregamento de cache e escalonamento ciente de hardware.

Prefill é a etapa que processa os tokens de entrada de um usuário. Decode gera os tokens de saída, frequentemente com comportamento distinto de recursos e memória.

Separar essas etapas permite que os operadores as escalem de forma independente. Isso também cria mais decisões de posicionamento e mais comunicação de rede entre componentes.

O projeto oferece suporte a aceleradores da NVIDIA, AMD, Intel e Google. Seu objetivo declarado é ampla portabilidade entre modelos, aceleradores e nuvens.

Essa ambição responde a uma preocupação genuína dos compradores. Uma camada de roteamento vinculada a um único chip ou nuvem pode transformar a inteligência operacional em outra forma de aprisionamento tecnológico.

No entanto, uma interface aberta não elimina as diferenças de hardware. Cada acelerador ainda tem kernels, comportamento de memória, rede e características de desempenho distintos.

A verdadeira portabilidade exige resultados validados, não apenas uma API compartilhada. Os operadores precisam de medidas comparáveis para qualidade de saída, throughput, latência, eficiência de cache e recuperação de falhas.

A NVIDIA também está estendendo o roteamento para além de clusters individuais. Seu projeto AI Grid trata a infraestrutura distribuída como uma única plataforma programável.

A arquitetura AI Grid da empresa posiciona cargas de trabalho de acordo com latência, soberania, custo, integridade dos nós, utilização e disponibilidade de cache.

Essa abordagem pode rotear a inferência entre data centers centrais, instalações metropolitanas, locais de telecomunicações e sites de borda. A localização passa a fazer parte da decisão de agendamento.

Um serviço de voz ao vivo se beneficia da execução próxima porque o atraso de rede afeta diretamente o fluxo da conversa. Uma tarefa em segundo plano muitas vezes pode ser executada mais longe quando há capacidade disponível.

Uma solicitação regulada de saúde pode exigir uma jurisdição aprovada. Uma carga de trabalho de mídia pode priorizar largura de banda de rede porque movimenta muito mais dados do que texto.

O projeto da NVIDIA reforça a mesma tese destacada pelo Google News. A infraestrutura de IA está se transformando em um problema de posicionamento entre hardware e geografia.

Ainda assim, os fornecedores têm incentivos para apresentar sua pilha preferida como a camada de controle natural. O Google se beneficia quando o GKE gerencia a carga de trabalho, enquanto a NVIDIA se beneficia quando seu software coordena a grade.

Projetos abertos prometem neutralidade, mas sua maturidade e governança exigem escrutínio. Projetos Sandbox podem evoluir rapidamente, alterar interfaces ou não ter o histórico operacional exigido por grandes empresas.

Provedores de nuvem também podem expor controles de roteamento de forma seletiva. Os clientes podem receber uma classe de latência ou preferência regional sem saber qual acelerador de fato atendeu à solicitação.

Essa abstração pode simplificar as operações, mas complica auditorias. Os compradores não conseguem avaliar substituições de hardware se os provedores ocultarem as evidências de posicionamento.

O padrão decisivo, portanto, envolverá observabilidade além do roteamento. Ele deve descrever não apenas para onde uma solicitação deve ir, mas o que aconteceu após o posicionamento.

O Que os Leitores do Google News Devem Observar a Seguir

A tese do roteamento só se torna crível quando os fornecedores expõem controles mensuráveis de posicionamento e resultados de produção.

O primeiro sinal é o progresso do Google com o roteamento preditivo do Inference Gateway. Os clientes devem observar resultados independentes em modelos variados, picos de tráfego e condições de cache.

O Google relata uma redução superior a 70% no tempo até o primeiro token sem ajuste manual. Evidências mais amplas devem mostrar se esses ganhos persistem fora de configurações selecionadas.

As métricas importantes incluem latência mediana, latência de cauda, taxas de acerto de cache, falhas de solicitação e utilização de aceleradores. A qualidade do modelo deve permanecer estável em todos os caminhos testados.

Resultados fracos sugeririam que o posicionamento preditivo transfere a complexidade em vez de resolvê-la. Ganhos consistentes em produção reforçariam a alegação do Google de que a orquestração pode superar o ajuste manual.

O segundo sinal é a adoção de estruturas neutras em relação a aceleradores, como o llm-d. A atividade do projeto por si só não basta.

Observe serviços gerenciados, interfaces estáveis, implantações de referência e benchmarks comparáveis entre hardware da NVIDIA, AMD, Intel e Google. Estudos de caso empresariais devem documentar falhas e comportamento de fallback, não apenas throughput máximo.

Implantações entre fornecedores fortaleceriam o modelo de roteamento aberto. Implementações fragmentadas ou bifurcações específicas de hardware enfraqueceriam as alegações de portabilidade prática.

O terceiro sinal é o acesso do cliente a evidências de posicionamento. Painéis e APIs de nuvem devem revelar variantes de modelo, classes de latência, comportamento de cache, regiões e eventos de fallback.

Os compradores não precisam necessariamente selecionar manualmente cada chip. Eles precisam de evidências suficientes para conectar decisões de infraestrutura à experiência do usuário e aos resultados operacionais.

As implicações vão além da engenharia de nuvem. As equipes de produto precisam saber se o comportamento mais lento de um agente decorre do modelo, do pipeline de recuperação, da execução de ferramentas ou do posicionamento da infraestrutura.

Compradores empresariais precisam de evidências de que solicitações sensíveis permaneceram em regiões aprovadas. Desenvolvedores precisam de APIs previsíveis quando os provedores alteram o hardware por baixo delas.

Trabalhadores do conhecimento vivenciam o resultado final como uma resposta mais rápida, uma resposta de voz atrasada ou um agente não confiável. O roteamento determina mais dessa experiência do que a maioria das interfaces revela.

A manchete do Google News captura uma transição real, mas a transição está incompleta. Os fornecedores descreveram os planos de controle, chips e estruturas abertas necessários para uma infraestrutura ciente de cargas de trabalho.

Agora eles precisam demonstrar que esses sistemas funcionam sob pressão de produção. Os próximos três meses devem mostrar se o roteamento se torna uma capacidade operacional transparente ou outra camada oculta de complexidade na nuvem.

Para desenvolvedores de IA, a ação imediata é simples: meça as solicitações por carga de trabalho em vez de tratar a inferência como uma única categoria agregada. Acompanhe comprimento de contexto, latência, uso de cache, tentativas, escolha de modelo e posicionamento de hardware quando disponíveis.

Em seguida, faça a pergunta mais difícil levantada pelo Google News: cada solicitação chega ao caminho confiável mais barato, ou a plataforma ainda está enviando cada tarefa para qualquer acelerador que esteja disponível?

 
 

Comece grátis

Um assistente de IA local-first com gestão de conhecimento pessoal

Para oferecer uma experiência de IA melhor,

atualmente, o remio é compatível apenas com Windows 10+ (x64) e M-Chip Macs.

Seu parceiro de IA no trabalho
Faça mais com o remio

Planeje. Crie. Entregue.
Tudo em um só lugar.

bottom of page