La infraestructura de IA se está convirtiendo en un problema de enrutamiento de cargas de trabajo
Google News ha puesto de manifiesto un conflicto más claro en la infraestructura de IA: disponer de más aceleradores ya no garantiza una inferencia eficiente y fiable.
El informe, publicado bajo el titular “La infraestructura de IA se está convirtiendo en un problema de enrutamiento de cargas de trabajo”, replantea un sector obsesionado con el suministro de chips. El desafío más difícil consiste en decidir dónde debe ejecutarse cada solicitud.
Esa decisión cambia según el modelo, la longitud del prompt, el plazo de respuesta, la memoria disponible, la ubicación, el estado de la caché y el coste operativo aceptable. NVIDIA sigue siendo el proveedor central de hardware, pero Google, Microsoft, AMD, Intel y los proyectos nativos de la nube están ampliando las rutas disponibles.
La competencia resultante no consiste simplemente en NVIDIA frente a chips alternativos. Se trata de la adquisición masiva de capacidad de cómputo frente a la orquestación consciente de las cargas de trabajo, la capa de software que asigna cada tarea a un recurso adecuado.
Esta distinción importa porque la inferencia, el proceso de ejecutar un modelo entrenado para producir una respuesta, se comporta de forma distinta al entrenamiento. Ocurre de manera continua e incluye muchos tipos de solicitudes.
Una tarea breve de clasificación, un análisis de documentos extensos y una conversación de voz en directo imponen exigencias diferentes. Enviarlas por una única ruta de hardware uniforme desperdicia capacidad o perjudica la experiencia del usuario.
La señal de Google News es un conjunto de movimientos de infraestructura
El cambio importante no es el anuncio de un solo chip. Varios proveedores están diseñando ahora sistemas de IA en torno a clases de cargas de trabajo distintas.
El análisis original identifica varios desarrollos relacionados. Incluyen nuevos aceleradores de inferencia, diseños de memoria especializados, mayor capacidad de empaquetado y software que distribuye solicitudes entre hardware heterogéneo.
Microsoft presentó Maia 200 en enero de 2026 como un acelerador diseñado específicamente para la inferencia. Según sus especificaciones de Maia 200, el chip utiliza 216 GB de memoria HBM3e con 7 TB/s de ancho de banda.
Microsoft también afirma que Maia 200 admite cálculo nativo FP8 y FP4. Estos formatos de menor precisión reducen los datos utilizados en muchas operaciones de inferencia, lo que puede aumentar el rendimiento cuando la calidad del modelo sigue siendo aceptable.
La empresa informa de que el chip contiene 272 MB de SRAM integrada y más de 140.000 millones de transistores. Sitúa esos componentes dentro de un sistema rediseñado para mover los datos del modelo de forma eficiente.
Estas son especificaciones comunicadas por la empresa, no mediciones independientes en todas las cargas de trabajo de producción. Su relevancia reside en las prioridades de diseño: movimiento de memoria, generación de tokens e inferencia eficiente, en lugar de una única puntuación universal de rendimiento.
Google presentó un argumento de sistemas similar en Cloud Next en abril. Su cartera de infraestructura ampliada incluyó dos TPU de octava generación, instancias bare metal impulsadas por NVIDIA, nuevas CPU, almacenamiento de caché dedicado y actualizaciones de orquestación.
Esa oferta importa porque rechaza la idea de que cada tarea deba usar el mismo acelerador. Google ofrece componentes diferentes dentro de una misma capa de infraestructura gestionada.
Google también introdujo enrutamiento predictivo para su Inference Gateway. La empresa afirma que el sistema utiliza información de capacidad en tiempo real para reducir el tiempo hasta el primer token en más de un 70 por ciento.
El tiempo hasta el primer token mide cuánto espera un usuario antes de que un modelo comience a responder. Es especialmente importante para los agentes de voz, los asistentes interactivos y las aplicaciones orientadas al cliente.
Google informó de un inicio de nodos más rápido, una carga de modelos más rápida y una reducción del tiempo de inicio de pods como parte de la misma versión. Cada mejora apunta a un retraso distinto entre la llegada de la demanda y el inicio de un cómputo útil.
Por tanto, la noticia de Google News apunta a un amplio cambio operativo. La infraestructura de IA se está convirtiendo en una colección de rutas de ejecución especializadas conectadas mediante software de enrutamiento.
Esto no hace irrelevante el suministro de aceleradores. Los grandes clústeres, la memoria de alto ancho de banda, el empaquetado avanzado y las redes rápidas siguen siendo esenciales.
Sin embargo, esos recursos ahora crean un segundo problema. Los operadores deben decidir qué recurso merece cada solicitud y después demostrar que la decisión cumplió los requisitos de rendimiento y políticas.
Por qué el enrutamiento de cargas de trabajo de inferencia importa ahora
La inferencia se ha convertido en un gasto operativo continuo, por lo que pequeños errores de colocación pueden multiplicarse en cada solicitud de usuario.
El entrenamiento suele concentrar el cómputo en grandes tareas planificadas. Los ingenieros pueden reservar clústeres, coordinar puntos de control del modelo y optimizar en torno a una ejecución definida.
La inferencia es menos ordenada. La demanda cambia según la hora, la geografía, la función del producto, el cliente, la versión del modelo y la longitud de la entrada.
Gartner proyectó que la inferencia respaldaría el 55 por ciento del gasto en infraestructura optimizada para IA durante 2026. Su previsión de infraestructura también situó el gasto en inferencia por encima de las cargas de trabajo centradas en entrenamiento durante el año.
La previsión es solo una estimación, pero su dirección coincide con el desarrollo actual de productos. Los proveedores de nube están invirtiendo en sistemas de serving que gestionan solicitudes después de que un modelo ha sido entrenado.
Un servicio de IA en producción puede gestionar chat interactivo, resúmenes por lotes, embeddings, asistencia de programación, generación de imágenes, comprobaciones de seguridad y llamadas a herramientas de agentes. Estas cargas de trabajo no comparten una configuración ideal única.
Las solicitudes de voz interactivas priorizan una baja demora y tiempos de respuesta predecibles. Un trabajo de resumen en segundo plano puede esperar a un lote mayor, lo que mejora la utilización del hardware.
Los embeddings suelen requerir menos cómputo que las respuestas generativas. El análisis de contexto largo ejerce mayor presión sobre la memoria, mientras que la generación de imágenes y vídeo puede exigir tiempo prolongado de acelerador.
Los sistemas agénticos hacen más visible el desajuste. Una instrucción de usuario puede desencadenar planificación, recuperación de información, varias llamadas al modelo, ejecución de herramientas, verificación y una respuesta final.
El usuario ve una tarea. La infraestructura ve una secuencia de cargas de trabajo con requisitos distintos de latencia, memoria y fiabilidad.
El enrutamiento determina si estos pasos llegan a GPU premium, aceleradores personalizados, modelos más pequeños, resultados almacenados en caché o colas de lotes diferidos. También puede determinar qué región procesa datos regulados.
La capa de enrutamiento debe considerar el estado de la caché clave-valor. Una caché KV almacena información calculada a partir de tokens anteriores, lo que permite al modelo evitar repetir parte del trabajo.
Enviar una solicitud a un trabajador con la caché pertinente puede reducir la latencia y los ciclos de acelerador. Enviarla a otro lugar puede eliminar esa ventaja, incluso cuando el destino utiliza un chip más rápido.
Por eso el equilibrio de carga convencional es insuficiente. Un balanceador de carga tradicional suele enviar el tráfico hacia un servidor en buen estado con capacidad disponible.
El enrutamiento de cargas de trabajo de inferencia necesita más contexto. Debe comprender la identidad del modelo, las características del prompt, la ubicación de la caché, la compatibilidad del hardware, los objetivos de servicio y la política de datos.
Microsoft Research describe su propio trabajo de inferencia como consciente de las cargas de trabajo y de los costes. Sus equipos estudian conjuntamente la asignación de recursos, la programación de solicitudes, el procesamiento por lotes, el enrutamiento y el almacenamiento en caché KV.
Ese enfoque reconoce una importante verdad de sistemas. Mejorar una capa puede desplazar el cuello de botella en lugar de eliminarlo.
Un acelerador más rápido logra poco si los pesos del modelo se cargan lentamente. Los servidores adicionales ayudan menos cuando el enrutamiento fragmenta las cachés o crea largas colas en torno a modelos populares.
Por tanto, la presión recae sobre los proveedores de nube, los hosts de modelos y los equipos de ingeniería de plataforma. Deben convertir hardware diverso en un servicio que siga ofreciendo una experiencia coherente.
La infraestructura de IA de Google convierte el plano de control en el producto
Google está tratando el enrutamiento y la orquestación como funciones centrales de infraestructura, no como utilidades de fondo que rodean sus chips.
En Cloud Next, Google describió una pila de IA que abarca TPU, sistemas NVIDIA, CPU, almacenamiento, redes, caché y Kubernetes. El plano de control conecta esos recursos.
Un plano de control es el software responsable de la colocación, configuración, escalado y políticas. Decide cómo debe responder la infraestructura antes de que los trabajadores individuales ejecuten la solicitud.
La actualización de infraestructura de IA de Google situó a GKE, su servicio Kubernetes gestionado, en el centro de la orquestación de cargas de trabajo de agentes. Ese posicionamiento es revelador.
La empresa podría comercializar únicamente el rendimiento de sus TPU más recientes. En cambio, también hace hincapié en la carga de modelos, la velocidad de inicio, el almacenamiento de caché, el enrutamiento predictivo y la compatibilidad con frameworks abiertos de inferencia.
TPU 8t se dirige a cargas de trabajo de alto rendimiento, incluidos grandes trabajos de entrenamiento. TPU 8i aborda necesidades de inferencia con un diseño independiente de chip y sistema.
Google también ofrece sistemas NVIDIA Vera Rubin y opciones de CPU x86 o basadas en Arm. Esto crea opciones para el cliente, pero aumenta la complejidad de programación dentro de la plataforma.
La plataforma debe saber qué modelo funciona en qué acelerador. Debe tener en cuenta los formatos de precisión, la capacidad de memoria, los kernels disponibles, el movimiento de datos y el tiempo de cola previsto.
Normalmente, un cliente quiere un endpoint fiable, no un proyecto de investigación de hardware. Google debe absorber gran parte de la complejidad y, al mismo tiempo, exponer suficiente control para compradores sofisticados.
Esto crea la competencia central del artículo: comprar capacidad homogénea frente a operar capacidad heterogénea de forma inteligente.
Las flotas homogéneas simplifican la compatibilidad, la observabilidad y la respuesta a incidentes. Los ingenieros pueden estandarizar kernels, procedimientos de despliegue, expectativas de rendimiento y comportamientos de respaldo.
Las flotas heterogéneas pueden ajustar más estrechamente el hardware a las cargas de trabajo. Pueden reducir la dependencia de un único proveedor y evitar usar aceleradores de gama alta para tareas que requieren recursos menos costosos.
Sin embargo, la diversidad crea costes de traducción. Un modelo que se ejecuta correctamente en una pila puede comportarse de forma diferente tras la cuantización, la sustitución de kernels, los cambios de compilador o los ajustes del planificador.
El fallo resultante podría no manifestarse como una interrupción. Los usuarios podrían recibir respuestas más lentas, manejo de contexto reducido, resultados incoherentes o más errores en llamadas a herramientas.
La dirección de Google sugiere que la plataforma de nube ganadora ocultará gran parte de esta complejidad sin hacer que la colocación sea completamente opaca.
Los clientes preguntarán cada vez más dónde se ejecutó una carga de trabajo, qué variante del modelo respondió, qué precisión se utilizó y si un respaldo modificó el rendimiento.
Estas preguntas importan para aplicaciones reguladas y sensibles a la latencia. También importan cuando un proveedor promociona costes más bajos sin revelar las concesiones técnicas que los sustentan.
Aquí es donde la infraestructura de IA de Google compite con el enfoque integrado de NVIDIA. Google ofrece múltiples rutas de hardware coordinadas mediante su software de nube.
NVIDIA ofrece una pila de hardware y software estrechamente conectada, al tiempo que extiende su orquestación por ubicaciones distribuidas. Ambos enfoques hacen central el enrutamiento, pero difieren en propiedad e integración.
La competencia no producirá un ganador simple para todas las cargas de trabajo. Su resultado medible será si los clientes reciben un servicio predecible mientras mejora la utilización de la infraestructura.
La diversidad de hardware crea un impuesto al software
Más opciones de aceleradores pueden reducir la dependencia de proveedores, pero cada ruta adicional amplía la carga de pruebas y operaciones.
Maia 200 de Microsoft ilustra el atractivo del silicio personalizado. Microsoft puede diseñar un acelerador de inferencia en torno a sus propios centros de datos, software y requisitos de servicio de modelos.
La empresa afirma que Maia 200 ya admite cargas de trabajo de Microsoft Foundry y Microsoft 365 Copilot. Los servicios internos ofrecen un entorno en el que Microsoft controla las capas de producto e infraestructura.
Las cargas de trabajo externas plantean una prueba más exigente. Otro proveedor de modelos aporta sus propios requisitos de calidad, prácticas de despliegue, kernels, objetivos de latencia y compromisos con los clientes.
Un benchmark puede mostrar que un chip completa rápidamente una tarea definida. No puede demostrar que un servicio de producción complejo se comportará de forma consistente durante picos de demanda, fallos, actualizaciones de modelos y restricciones regionales de capacidad.
Intel sigue otra vía con Crescent Island, una GPU centrada en inferencia destinada a servidores empresariales refrigerados por aire. La empresa ha especificado 160 GB de memoria LPDDR5X en lugar de la HBM utilizada por muchos aceleradores premium.
Esa elección refleja una disyuntiva entre cargas de trabajo. La memoria de alto ancho de banda ofrece una transferencia de datos excepcional, pero conlleva restricciones de suministro, empaquetado, energía y diseño de sistemas.
Los diseños basados en LPDDR pueden apuntar a una gran capacidad de memoria dentro de distintos límites de energía e instalaciones. Su idoneidad sigue dependiendo del modelo, el objetivo de latencia, la madurez del software y la aplicación real.
AMD, por su parte, está ampliando su infraestructura a escala de rack y sus relaciones de empaquetado. Su estrategia combina aceleradores Instinct con CPU EPYC y componentes de sistema más amplios.
Estas vías cuestionan la suposición de que la demanda de IA se asigna claramente a una sola categoría de hardware. También amplían la matriz de compatibilidad a la que se enfrentan los equipos de infraestructura.
El software debe seguir qué modelos caben en cada conjunto de memoria. Necesita kernels validados para la precisión y el acelerador seleccionados.
Los operadores también necesitan observabilidad, es decir, evidencia de lo que ocurrió dentro del sistema. Los registros útiles incluyen el tiempo en cola, los aciertos de caché, el hardware seleccionado, la versión del modelo, los reintentos y el comportamiento de respaldo.
Sin esos registros, unos costes medios más bajos pueden ocultar una peor latencia de cola. La latencia de cola mide la parte más lenta de las solicitudes, que a menudo determina la percepción de fiabilidad de un usuario.
El tiempo de respuesta medio puede mejorar mientras un pequeño porcentaje de solicitudes se vuelve dolorosamente lento. Los asistentes de voz y los agentes interactivos son especialmente sensibles a ese patrón.
Los fallos de enrutamiento también pueden generar problemas de cumplimiento normativo. Un sistema podría enviar una solicitud a capacidad disponible en una región que entre en conflicto con los requisitos de residencia.
Por tanto, la política de colocación se convierte tanto en una regla económica como en una regla de gobernanza. Debe proteger simultáneamente el coste, el rendimiento, la privacidad y la consistencia del servicio.
Esta complejidad es el impuesto de software sobre la diversidad de hardware. Puede valer la pena, pero solo cuando el volumen de tráfico y las diferencias entre cargas de trabajo justifican la inversión.
Una startup con una demanda incierta suele beneficiarse de una API de modelos gestionada. Crear enrutamiento consciente del hardware demasiado pronto puede distraer a los ingenieros de la calidad del producto y la adopción por parte de los clientes.
Una gran plataforma afronta el riesgo opuesto. Tratar cada solicitud de forma idéntica puede desperdiciar capacidad costosa en millones de operaciones repetidas.
La línea divisoria es la densidad de uso. El enrutamiento se vuelve valioso cuando un equipo tiene suficiente tráfico recurrente para clasificar las cargas de trabajo, medir los resultados y mejorar las políticas de colocación.
Los estándares abiertos de enrutamiento desafían los silos cerrados de infraestructura
La capa de enrutamiento está adquiriendo tal importancia estratégica que los proveedores compiten por definir sus interfaces y estándares.
Google no está construyendo esta capa en solitario. Ayudó a crear llm-d junto con Red Hat, IBM Research, CoreWeave y NVIDIA.
El proyecto es un marco nativo de Kubernetes para la inferencia distribuida de modelos. Kubernetes coordina aplicaciones en contenedores, mientras que llm-d añade conocimiento sobre el estado del servicio de modelos.
La Cloud Native Computing Foundation aceptó llm-d como proyecto Sandbox el 12 de marzo de 2026. El estatus Sandbox indica una gobernanza comunitaria temprana, no madurez para producción ni interoperabilidad garantizada.
Según el proyecto llm-d, sus capacidades incluyen enrutamiento consciente de la caché de prefijos, separación de prefill y decode, descarga de caché y escalado consciente del hardware.
Prefill es la etapa que procesa los tokens de entrada de un usuario. Decode genera los tokens de salida, a menudo con un comportamiento distinto en cuanto a recursos y memoria.
Separar estas etapas permite a los operadores escalarlas de forma independiente. También genera más decisiones de colocación y más comunicación de red entre componentes.
El proyecto admite aceleradores de NVIDIA, AMD, Intel y Google. Su objetivo declarado es una amplia portabilidad entre modelos, aceleradores y nubes.
Esa ambición aborda una preocupación real de los compradores. Una capa de enrutamiento vinculada a un único chip o nube puede convertir la inteligencia operativa en otra forma de dependencia.
Sin embargo, una interfaz abierta no elimina las diferencias de hardware. Cada acelerador sigue teniendo kernels, comportamiento de memoria, redes y características de rendimiento distintos.
La verdadera portabilidad exige resultados validados, no simplemente una API compartida. Los operadores necesitan métricas comparables de calidad de salida, rendimiento, latencia, eficiencia de caché y recuperación ante fallos.
NVIDIA también está extendiendo el enrutamiento más allá de los clústeres individuales. Su diseño AI Grid trata la infraestructura distribuida como una única plataforma programable.
La arquitectura AI Grid de la empresa coloca las cargas de trabajo según la latencia, la soberanía, el coste, la salud de los nodos, la utilización y la disponibilidad de caché.
Este enfoque puede enrutar la inferencia entre centros de datos centrales, instalaciones metropolitanas, ubicaciones de telecomunicaciones y sitios periféricos. La ubicación pasa a formar parte de la decisión de planificación.
Un servicio de voz en tiempo real se beneficia de una ejecución cercana porque el retraso de red afecta directamente al flujo de la conversación. Un trabajo en segundo plano a menudo puede ejecutarse más lejos cuando hay capacidad disponible.
Una solicitud sanitaria regulada podría requerir una jurisdicción aprobada. Una carga de trabajo multimedia puede priorizar el ancho de banda de red porque mueve muchos más datos que el texto.
El diseño de NVIDIA refuerza la misma tesis destacada a través de Google News. La infraestructura de IA se está convirtiendo en un problema de colocación entre hardware y geografía.
Aun así, los proveedores tienen incentivos para presentar su pila preferida como la capa de control natural. Google se beneficia cuando GKE gestiona la carga de trabajo, mientras que NVIDIA se beneficia cuando su software coordina la red.
Los proyectos abiertos prometen neutralidad, pero su madurez y gobernanza requieren escrutinio. Los proyectos Sandbox pueden evolucionar rápidamente, cambiar interfaces o carecer del historial operativo que exigen las grandes empresas.
Los proveedores de nube también pueden exponer los controles de enrutamiento de forma selectiva. Los clientes podrían recibir una clase de latencia o una preferencia regional sin saber qué acelerador atendió realmente la solicitud.
Esa abstracción puede simplificar las operaciones, pero complica las auditorías. Los compradores no pueden evaluar sustituciones de hardware si los proveedores ocultan la evidencia de colocación.
Por lo tanto, el estándar decisivo implicará observabilidad además de enrutamiento. Debe describir no solo adónde debería ir una solicitud, sino qué ocurrió después de su colocación.
Lo que los lectores de Google News deberían vigilar a continuación
La tesis del enrutamiento solo resulta creíble cuando los proveedores exponen controles de colocación medibles y resultados de producción.
La primera señal es el progreso de Google con el enrutamiento predictivo de Inference Gateway. Los clientes deberían vigilar resultados independientes con distintos modelos, picos de tráfico y condiciones de caché.
Google informa de una reducción del tiempo hasta el primer token superior al 70 por ciento sin ajuste manual. Una evidencia más amplia debería mostrar si esas mejoras se mantienen fuera de las configuraciones seleccionadas.
Las métricas importantes incluyen la latencia mediana, la latencia de cola, las tasas de aciertos de caché, los fallos de solicitudes y la utilización de los aceleradores. La calidad del modelo debería mantenerse estable en cada ruta probada.
Los resultados débiles sugerirían que la colocación predictiva transfiere la complejidad en lugar de resolverla. Las mejoras consistentes en producción reforzarían la afirmación de Google de que la orquestación puede superar al ajuste manual.
La segunda señal es la adopción de marcos neutrales respecto a aceleradores, como llm-d. La actividad del proyecto por sí sola no basta.
Esté atento a servicios gestionados, interfaces estables, despliegues de referencia y benchmarks comparables entre hardware de NVIDIA, AMD, Intel y Google. Los casos de estudio empresariales deberían documentar los fallos y el comportamiento de respaldo, no solo el rendimiento máximo.
Los despliegues entre proveedores reforzarían el modelo de enrutamiento abierto. Las implementaciones fragmentadas o bifurcaciones específicas de hardware debilitarían las afirmaciones de portabilidad práctica.
La tercera señal es el acceso de los clientes a evidencia de colocación. Los paneles y las API de nube deberían revelar variantes de modelos, clases de latencia, comportamiento de caché, regiones y eventos de respaldo.
Los compradores no necesariamente deben seleccionar manualmente cada chip. Sí necesitan suficiente evidencia para conectar las decisiones de infraestructura con la experiencia del usuario y los resultados operativos.
Lo que está en juego va más allá de la ingeniería de nube. Los equipos de producto necesitan saber si un comportamiento más lento de los agentes proviene del modelo, la canalización de recuperación, la ejecución de herramientas o la colocación de infraestructura.
Los compradores empresariales necesitan evidencia de que las solicitudes sensibles permanecieron en regiones aprobadas. Los desarrolladores necesitan API predecibles cuando los proveedores cambian el hardware subyacente.
Los trabajadores del conocimiento experimentan el resultado final como una respuesta más rápida, una respuesta de voz retrasada o un agente poco fiable. El enrutamiento determina una mayor parte de esa experiencia de la que revelan la mayoría de las interfaces.
El titular de Google News refleja una transición real, pero la transición está incompleta. Los proveedores han descrito los planos de control, chips y marcos abiertos necesarios para una infraestructura consciente de las cargas de trabajo.
Ahora deben demostrar que estos sistemas funcionan bajo la presión de producción. Los próximos tres meses deberían mostrar si el enrutamiento se convierte en una capacidad operativa transparente o en otra capa oculta de complejidad en la nube.
Para los creadores de IA, la acción inmediata es sencilla: medir las solicitudes por carga de trabajo en lugar de tratar la inferencia como una única categoría combinada. Realice un seguimiento de la longitud del contexto, la latencia, el uso de caché, los reintentos, la elección del modelo y la colocación de hardware cuando estén disponibles.
Después, plantee la pregunta más difícil que suscita Google News: ¿cada solicitud alcanza la ruta fiable más barata, o la plataforma sigue enviando todos los trabajos hacia cualquier acelerador que resulte estar disponible?



