La inferencia de IA está sustituyendo al entrenamiento como la principal prueba para la infraestructura de centros de datos
La líder de infraestructura de Google, Anahita Mouro, ha identificado un nuevo conflicto detrás de las últimas noticias de Google: la infraestructura de IA está pasando del entrenamiento de modelos a la inferencia continua. El cambio puede sonar técnico, pero trastoca muchas de las premisas que sustentan la inversión reciente en centros de datos. El entrenamiento favorece clústeres enormes que ejecutan tareas programadas. La inferencia debe responder a los usuarios de forma fiable, rápida y ante volúmenes impredecibles.
Mouro se especializa en rendimiento de campo y excelencia de procesos para la infraestructura hiperescalable de Google. Hablando a título personal, declaró a W.Media que la infraestructura se ha convertido en el factor que marca el ritmo de la IA. Los chips más rápidos no pueden resolver conexiones tardías a la red eléctrica, refrigeración insuficiente, sistemas de conmutación por error deficientes u operaciones poco fiables.
La advertencia importa porque la inferencia se está convirtiendo en el centro comercial de la IA. Gartner espera que el gasto mundial en servicios de infraestructura optimizados para IA alcance los $42.3 mil millones en 2026. También prevé un gasto en inferencia de $23.3 mil millones, por encima de los $19 mil millones destinados al entrenamiento.
Ese cambio crea la tensión central del artículo. Las empresas de IA quieren un despliegue más rápido y productos más receptivos, mientras que la infraestructura física todavía avanza según los plazos de las empresas de servicios públicos, la construcción y los permisos. Australia cuenta con terrenos atractivos, recursos energéticos, talento técnico y acceso a los mercados de Asia-Pacífico. Sin embargo, esas fortalezas solo importan cuando los proyectos pueden conectarse a la electricidad y operar como servicios de producción fiables.
Qué cambió detrás de las noticias de Google
La principal carga de trabajo de la infraestructura de IA se está convirtiendo en un servicio permanente, en lugar de una secuencia de proyectos de entrenamiento aislados.
El entrenamiento crea o actualiza un modelo utilizando grandes colecciones de datos. Los operadores pueden programar esas cargas de trabajo, pausarlas o reiniciarlas desde un punto de control guardado tras un fallo. El proceso consume una capacidad informática considerable, pero la mayoría de los fallos de entrenamiento siguen siendo invisibles para los usuarios finales.
La inferencia es diferente. Ocurre cada vez que un modelo entrenado produce una respuesta, clasifica información, genera una imagen, recomienda una acción u opera software. Una solicitud de inferencia retrasada o fallida se convierte en un problema inmediato del producto.
La entrevista sobre infraestructura de Mouro describe esta transición como un paso de los campus de entrenamiento al despliegue en el mundo real. Sostiene que la inferencia necesita la disciplina de producción asociada a los servicios críticos orientados al consumidor.
Los datos del mercado respaldan esa dirección. La previsión de gasto en inferencia de Gartner afirma que la inferencia representará el 55 por ciento del gasto en servicios de infraestructura optimizados para IA en 2026. Se espera que su participación alcance el 59 por ciento en 2027.
Estas cifras son más conservadoras que una proyección citada por Mouro, que sitúa la inferencia por encima del 80 por ciento del gasto en infraestructura de IA para 2028. Las definiciones de las previsiones difieren, por lo que los porcentajes no deben tratarse como intercambiables. Aun así, ambos indican que el uso en producción está cambiando las prioridades de infraestructura.
El cambio también transforma el comportamiento de la demanda. Un clúster de entrenamiento puede operar con una carga alta y comparativamente estable durante una ejecución planificada. Un servicio de IA para consumidores afronta picos diurnos, aumentos repentinos de tráfico, diferencias regionales y demanda inesperada generada por funciones populares.
El mismo modelo puede generar miles de millones de operaciones de inferencia después de una sola ejecución de entrenamiento. Cada respuesta de un chatbot puede requerir varias llamadas al modelo, incluidas recuperación de información, razonamiento, comprobaciones de seguridad y generación de respuestas. Un sistema de IA agéntica puede producir muchas más llamadas al completar una solicitud de usuario.
La IA agéntica se refiere a sistemas que planifican y ejecutan múltiples acciones dependientes. Un agente podría buscar en una base de datos, llamar a una aplicación, comprobar el resultado y revisar su siguiente paso. Cada acción introduce otra dependencia de latencia y fiabilidad.
Esto hace más difícil controlar el tiempo total de respuesta. Las solicitudes más lentas, conocidas como latencia de cola, importan más porque los retrasos se acumulan a lo largo de la cadena. Un flujo de trabajo que contiene varios pasos aceptables puede seguir resultando inutilizable cuando se combinan sus respuestas más lentas.
Por tanto, las últimas noticias de Google no tratan simplemente de construir más capacidad de servidores. Marcan una transición desde suministrar capacidad informática hasta operar la IA como un servicio interactivo y fiable. Esa distinción determina qué instalaciones, redes y modelos operativos seguirán siendo competitivos.
La inferencia antepone la fiabilidad al tamaño bruto del clúster
El entrenamiento recompensa la potencia informática concentrada, mientras que la inferencia recompensa un servicio consistente en todas las capas del sistema.
La competencia reciente en infraestructura se ha centrado en aceleradores, densidad de racks y la escala de los clústeres de entrenamiento. Estas mediciones siguen siendo importantes. Sin embargo, no reflejan si un producto de IA puede responder de forma predecible bajo tráfico real de clientes.
Un servicio de inferencia depende de más elementos que su acelerador. Las solicitudes pasan por equipos de red, sistemas de almacenamiento, servidores de modelos, balanceadores de carga, servicios de seguridad y aplicaciones externas. Los sistemas de refrigeración, distribución eléctrica, supervisión y conmutación por error deben respaldar toda la cadena.
Mouro describe la inferencia de nivel de producción como servidores redundantes detrás de balanceadores de carga, respaldados por comprobaciones de estado, supervisión, conmutación por error probada y recuperación ante desastres. Son prácticas conocidas en los servicios web, pero la IA crea nuevas condiciones operativas para ellas.
Los aceleradores de IA generan calor concentrado y pueden provocar cambios rápidos en la demanda de energía. La refrigeración líquida desplaza el calor de forma más eficiente que muchos sistemas convencionales de aire a altas densidades de rack. También añade bombas, equipos de distribución, controles y posibles puntos de fallo.
El tráfico variable de inferencia complica aún más la planificación de las instalaciones. Los operadores deben aprovisionar suficiente capacidad eléctrica y térmica para la demanda máxima sin desperdiciar demasiada energía durante los periodos más tranquilos. La gestión dinámica de la energía se convierte en un requisito operativo, en lugar de un proyecto opcional de eficiencia.
Las redes adquieren la misma importancia. El entrenamiento suele depender de una comunicación extremadamente rápida dentro de un clúster estrechamente conectado. La inferencia requiere conexiones ágiles entre usuarios, instalaciones regionales, bases de datos, servicios en la nube y herramientas externas.
Un asistente orientado al cliente puede necesitar procesamiento local por motivos de latencia o residencia de datos. El modelo podría ejecutarse en una región mientras la información empresarial permanece en otro entorno. Esa arquitectura crea compromisos entre velocidad, soberanía, coste y control operativo.
La encuesta a operadores de 2025 de Uptime Institute ilustra hasta qué punto las estrategias actuales siguen sin estar definidas. Casi un tercio de los operadores encuestados informó de que respalda tanto el entrenamiento como la inferencia de IA. Entre 95 encuestados, el 64 por ciento utilizaba la misma infraestructura para ambas cargas de trabajo.
La infraestructura compartida ofrece flexibilidad, pero puede ocultar requisitos en conflicto. El entrenamiento hace hincapié en la utilización de aceleradores y el rendimiento del clúster. La inferencia concede mayor peso a la disponibilidad, la latencia predecible, el alcance geográfico y la capacidad de gestionar una demanda irregular.
La encuesta también halló prácticas de resiliencia variadas. Entre las organizaciones que informaron de infraestructura de inferencia, el 48 por ciento utilizaba sistemas con mantenimiento concurrente y componentes redundantes. Solo el 23 por ciento informó de configuraciones totalmente tolerantes a fallos con redundancia 2N+1.
Estos resultados no demuestran que las instalaciones actuales sean inadecuadas. Las cargas de trabajo tienen distintos requisitos de servicio, y la redundancia adicional genera costes y sobrecarga energética. Sí muestran que la industria no se ha decidido por una única arquitectura de inferencia.
Los operadores afrontan un equilibrio difícil. Un exceso de redundancia puede encarecer innecesariamente un servicio de IA. Una resiliencia insuficiente expone a los usuarios a interrupciones y convierte los fallos de infraestructura en fallos visibles del producto.
Por eso la advertencia de Mouro cambia la medición competitiva. La instalación ganadora no contendrá necesariamente el acelerador más nuevo ni la sala más grande. Convertirá el hardware, la energía, la refrigeración y las redes disponibles en resultados fiables para los usuarios.
El conflicto real es la velocidad del silicio frente al tiempo de la infraestructura
El rendimiento de los chips avanza según un ciclo de producto, mientras que las redes eléctricas, subestaciones, permisos y edificios de centros de datos avanzan según calendarios de desarrollo físico.
La afirmación central de Mouro es que la infraestructura se ha convertido en el factor que marca el ritmo de la IA. Cada generación de aceleradores puede mejorar el rendimiento o el rendimiento por vatio. Sin embargo, esas ganancias tienen un valor limitado cuando una instalación carece de electricidad, capacidad de refrigeración o una conexión oportuna a la red.
La demanda eléctrica ya está cambiando la planificación nacional. La previsión de demanda eléctrica del Departamento de Energía de Estados Unidos estimó que los centros de datos consumieron 176 teravatios-hora en 2023. Esto representaba alrededor del 4.4 por ciento del uso total de electricidad en Estados Unidos.
El departamento proyectó un consumo de entre 325 y 580 teravatios-hora en 2028. Dentro de ese rango, los centros de datos utilizarían aproximadamente entre el 6.7 y el 12 por ciento de la electricidad de Estados Unidos. El amplio intervalo también revela una incertidumbre considerable sobre el despliegue y la eficiencia.
Las previsiones globales apuntan en la misma dirección. El análisis energético de la Agencia Internacional de la Energía examina la demanda de electricidad, los efectos sobre la red, la seguridad energética y las emisiones asociadas al despliegue ampliado de la IA. Su observación central es sencilla: los servicios de IA requieren infraestructura eléctrica física.
La generación de electricidad es solo una parte del desafío. Una región puede poseer importantes recursos renovables y, aun así, carecer de las líneas de transmisión, subestaciones y capacidad de conexión necesarias en un sitio concreto. La energía disponible no equivale automáticamente a energía suministrable.
Los grandes clientes a menudo deben coordinarse con las empresas de servicios públicos años antes de entrar en operación. Los desarrolladores también necesitan terrenos, permisos, agua o sistemas alternativos de refrigeración, transformadores, equipos de respaldo y fibra de alta capacidad. Los retrasos en cualquiera de estos componentes pueden posponer todo el proyecto.
El cambiante ciclo de hardware de la IA plantea otro riesgo. Un edificio diseñado en torno a una generación de aceleradores puede abrir después de que hayan cambiado los requisitos de los clientes. Por tanto, los sistemas de refrigeración y energía necesitan adaptabilidad sin volverse innecesariamente costosos.
Este conflicto favorece los sistemas eléctricos modulares, los diseños de refrigeración flexibles y las instalaciones que pueden admitir distintos tipos de aceleradores. También refuerza el argumento a favor de software capaz de asignar cargas de trabajo según la energía, la temperatura, la capacidad y los requisitos de servicio.
La adquisición de hardware ya se está diferenciando según la carga de trabajo. Los aceleradores líderes siguen siendo valiosos para el entrenamiento de modelos. La inferencia puede utilizar una combinación más amplia de nuevas GPU, hardware de generaciones anteriores y circuitos integrados específicos para aplicaciones, o ASIC.
Un ASIC es un chip diseñado para un conjunto más limitado de tareas. El hardware especializado para inferencia puede ofrecer un rendimiento por vatio atractivo para modelos adecuados. Sin embargo, también puede reducir la flexibilidad cuando cambian los requisitos de software o las arquitecturas de los modelos.
Por tanto, el reto de infraestructura no se resuelve eligiendo un único chip. Los operadores necesitan instalaciones capaces de absorber la diversidad de hardware y, al mismo tiempo, mantener estándares consistentes de energía, refrigeración, redes, supervisión y fiabilidad.
Este es el significado más profundo de las noticias de Google. La experiencia de Google en hardware importa, pero el argumento de Mouro desvía la atención de cualquier procesador concreto. La tarea más difícil consiste en coordinar cientos de sistemas interdependientes a lo largo de varias generaciones tecnológicas.
El progreso del silicio puede reducir la energía por operación. Sin embargo, un mayor uso puede seguir elevando la demanda total de electricidad cuando unos costes más bajos impulsan más actividad de IA. La planificación de infraestructura debe tener en cuenta tanto las mejoras de eficiencia como el aumento de los volúmenes de solicitudes.
Las mejoras de eficiencia no eliminan el riesgo de capacidad
Una mayor eficiencia de inferencia puede aliviar la presión por solicitud, pero no garantiza una menor demanda total ni operaciones más sencillas.
Google ha publicado pruebas de que las mejoras de software, hardware e instalaciones pueden reducir drásticamente el coste ambiental de las interacciones individuales con IA. Su estudio por prompt de 2025 informó de una reducción de 33 veces en la energía por prompt de texto mediano de Gemini Apps durante 12 meses.
La empresa atribuyó la mayor parte de esa mejora a la eficiencia de los modelos y a una mejor utilización de las máquinas. Google también informó de una efectividad en el uso de energía de 1,09 en toda su flota. La efectividad en el uso de energía compara la energía total de la instalación con la energía suministrada a los equipos de computación.
Estas cifras aportan evidencia útil de que la eficiencia no es estática. Sin embargo, siguen siendo mediciones comunicadas por la empresa y no representan todos los modelos, cargas de trabajo o centros de datos. Los resultados por prompt tampoco pueden revelar la demanda total sin conocer los volúmenes de uso.
Un servicio más eficiente puede atraer clientes adicionales y admitir tareas más complejas. Los flujos de trabajo agénticos pueden realizar varias llamadas a modelos donde un chatbot convencional hacía una. Un contexto más largo, las entradas multimodales y el uso repetido de herramientas también pueden aumentar el cómputo.
Esto crea un efecto rebote. El coste de cada operación baja, pero aumenta el número de operaciones. La demanda total puede seguir creciendo incluso cuando cada respuesta se vuelve más eficiente.
El efecto también complica las previsiones de infraestructura. Los desarrolladores deben estimar la adopción, la eficiencia de los modelos, los patrones de tráfico y el número de llamadas a modelos por tarea. Pequeños cambios en esas hipótesis pueden generar requisitos de capacidad muy distintos.
La amplia variedad de proyecciones gubernamentales de electricidad refleja esta incertidumbre. Una instalación planificada para una demanda agresiva puede quedar infrautilizada si la eficiencia avanza más rápido de lo previsto. Un plan conservador puede dejar a los clientes sin capacidad cuando se acelera la adopción de agentes.
La complejidad operativa plantea otra incertidumbre. Mouro afirma que los gemelos digitales pueden ayudar a los operadores a modelar el comportamiento eléctrico, térmico y de red antes de modificar instalaciones en funcionamiento. Un gemelo digital es una representación por software de un sistema físico y sus condiciones operativas.
Los gemelos digitales pueden probar cómo un ajuste de refrigeración o un aumento repentino de carga podría afectar al equipo conectado. La supervisión predictiva puede identificar desequilibrios térmicos y riesgos de conmutación por error antes de que provoquen un incidente. Estas capacidades pueden mejorar las decisiones, pero no eliminan los límites físicos.
Los modelos dependen de telemetría precisa y supuestos validados. Una simulación que no detecta un comportamiento inusual de los equipos puede generar una falsa sensación de confianza. Los operadores aún necesitan puesta en servicio, mantenimiento, análisis de incidentes, procedimientos de recuperación probados y personal experimentado.
La cuestión de la plantilla merece una cautela similar. Las instalaciones de IA de alta densidad requieren especialistas en electricidad, térmica, obra civil, redes, software, seguridad y operaciones. La construcción acelerada puede comprimir los calendarios de pruebas precisamente cuando la complejidad del sistema exige una validación más cuidadosa.
Mouro sostiene que la disciplina operativa debe mantenerse intacta a medida que se acelera el despliegue. Esta posición cuestiona una suposición habitual del sector: que una mayor automatización permite automáticamente una entrega más rápida. La automatización solo ayuda cuando los equipos entienden sus límites y preservan la responsabilidad humana.
Por tanto, la lectura escéptica de estas noticias de Google es importante. El crecimiento de la inferencia es creíble, pero las combinaciones exactas de cargas de trabajo y las necesidades de capacidad siguen siendo inciertas. Los inversores no deberían considerar cada gigavatio propuesto como demanda garantizada.
Australia tiene una oportunidad, pero el acceso a la red marca las condiciones
Las ventajas estratégicas de Australia solo se vuelven invertibles cuando los desarrolladores pueden asegurar energía, conectividad, permisos y condiciones operativas predecibles a tiempo.
Mouro identifica varias fortalezas en Australia. El país ofrece una gobernanza estable, talento técnico, proximidad a mercados en crecimiento de Asia-Pacífico, terrenos adecuados y un importante desarrollo de energías renovables. Estas cualidades pueden respaldar tanto la inferencia regional como grandes proyectos de infraestructura.
La inferencia puede reforzar el argumento a favor de la capacidad local. Las aplicaciones orientadas al cliente se benefician de una baja latencia, mientras que las organizaciones reguladas a menudo necesitan un mayor control sobre la ubicación de los datos. Las instalaciones australianas pueden atender a usuarios nacionales sin enrutar cada interacción a través de regiones lejanas.
La soberanía también importa para las cargas de trabajo de gobiernos, salud, finanzas e infraestructuras críticas. El procesamiento local puede simplificar algunos requisitos de residencia y reducir la exposición a interrupciones de redes internacionales. No garantiza automáticamente seguridad, cumplimiento normativo ni independencia operativa.
La limitación empieza con la conexión a la red. Mouro afirma que la capacidad de generación tiene poco valor comercial cuando un proyecto afronta una cola de conexión de varios años. Los desarrolladores necesitan tanto electricidad suficiente como una fecha creíble para recibirla.
Esa distinción cambia la selección de emplazamientos. El mejor sitio sobre el mapa puede perder frente a una ubicación menos evidente con una interconexión más rápida, subestaciones existentes, fibra adecuada y normas de planificación más claras. El tiempo hasta disponer de energía se convierte en una métrica competitiva.
La generación detrás del contador es una posible respuesta. Este acuerdo sitúa parte de la generación eléctrica en el lado del cliente del contador de la empresa de servicios públicos. Puede reducir la dependencia de una conexión retrasada, aunque siguen existiendo cuestiones sobre combustible, permisos, emisiones, fiabilidad y financiación.
La arquitectura de carga flexible ofrece otra opción. Algunas cargas de trabajo pueden desplazarse entre momentos o ubicaciones cuando cambian las condiciones de la red. Por lo general, los trabajos de entrenamiento ofrecen más flexibilidad de programación que la inferencia orientada al usuario, que debe responder cuando los clientes la necesitan.
Esa diferencia limita hasta qué punto la respuesta de la demanda puede resolver el problema. Un servicio de inferencia no puede desaparecer de forma habitual durante una restricción de la red sin afectar a los usuarios. Los operadores necesitan clasificación de cargas de trabajo, capacidad de respaldo y contratos que diferencien la computación flexible del servicio crítico.
El desafío de planificación de Australia también va más allá de los proyectos individuales. El crecimiento concentrado de centros de datos puede afectar a la inversión en transmisión, los mercados eléctricos locales, el uso del suelo, la política hídrica y la aceptación de las comunidades. Unas normas claras ayudan a desarrolladores, empresas de servicios públicos y residentes a entender quién asume cada coste.
Una política estable importa porque el capital de infraestructura permanece comprometido durante años. Los incentivos a corto plazo no pueden compensar permisos impredecibles o condiciones de conexión inciertas. Los inversores necesitan confiar en que las instalaciones pueden operar a través de varios ciclos de hardware y políticos.
La oportunidad es real, pero no exclusiva. Otros mercados de Asia-Pacífico también buscan regiones cloud, capacidad de IA soberana e inversión en infraestructura. Compiten mediante la disponibilidad de energía, la velocidad de desarrollo, la conectividad, los incentivos y la certeza regulatoria.
Por tanto, la ventaja de Australia dependerá de la ejecución. La generación anunciada, el suelo disponible y los ambiciosos planes de campus no equivalen a capacidad operativa. Los megavatios conectados, la puesta en servicio completada y la fiabilidad sostenida del servicio aportan pruebas más sólidas.
Para los compradores empresariales, esta distinción afecta a la evaluación de proveedores. El inventario de aceleradores de un proveedor importa menos cuando su fecha de entrega depende de trabajos de energía o construcción aún sin resolver. Los compradores deberían preguntar dónde opera la capacidad, cómo está conectada y qué normas de resiliencia se aplican.
Las noticias de Google sitúan a Australia dentro de una carrera global, pero también acotan la definición de éxito. El país no gana aprobando la mayor colección de proyectos. Gana al convertir sus recursos energéticos y de ingeniería en infraestructura fiable y lista para producción.
Tres señales mostrarán si el cambio hacia la inferencia es real
La próxima fase debería juzgarse por el gasto, la capacidad conectada y el rendimiento medido del servicio, en lugar de basarse únicamente en anuncios de infraestructura.
La primera señal es la proporción del gasto en infraestructura de IA asignada a la inferencia. Gartner espera que la inferencia supere al entrenamiento dentro de los servicios de infraestructura optimizada para IA durante 2026. Las previsiones actualizadas y las divulgaciones de las empresas cloud mostrarán si ese cruce continúa.
Una proporción creciente de inferencia reforzaría el argumento de Mouro de que las cargas de trabajo de producción determinan ahora las prioridades de inversión. Una reversión sugeriría que el entrenamiento de modelos de frontera sigue siendo más dominante de lo que implican las previsiones actuales.
La distinción debería medirse con cuidado. Los proveedores cloud pueden clasificar de forma diferente los clústeres mixtos, y el mismo hardware puede admitir ambas cargas de trabajo. Cuando sea posible, las divulgaciones útiles separarían entrenamiento, ajuste fino, inferencia por lotes e inferencia interactiva.
La segunda señal es la cantidad de nueva capacidad que recibe una conexión operativa a la red. Los anuncios de proyectos suelen citar futuros megavatios o gigavatios. Esas cifras revelan ambición, pero no cuándo los clientes pueden usar realmente la capacidad.
Los inversores y compradores deberían vigilar los acuerdos de conexión con las empresas de servicios públicos, las subestaciones terminadas, las fechas de puesta en servicio y los edificios energizados. Los retrasos reforzarían la afirmación de que la infraestructura física marca el ritmo del despliegue de IA. Unas conexiones más rápidas debilitarían el argumento del cuello de botella a corto plazo.
Los proyectos australianos constituyen una prueba particularmente útil. El mercado combina un interés sustancial por el desarrollo con interrogantes sobre la red, los permisos y la transmisión. El avance desde la capacidad propuesta hasta la capacidad conectada mostrará si sus ventajas estratégicas se están traduciendo en ejecución.
La tercera señal es la fiabilidad de producción bajo cargas de trabajo agénticas. Los proveedores hablan cada vez más de tokens, rendimiento de aceleradores y benchmarks de modelos. Estas medidas no capturan la experiencia completa de un agente de varios pasos.
Entre los indicadores más útiles figuran la latencia de extremo a extremo, la latencia de cola, la disponibilidad, las llamadas fallidas a herramientas, el tiempo de recuperación y el rendimiento durante picos de tráfico. Los clientes también deberían examinar si los proveedores publican objetivos de nivel de servicio para flujos de trabajo completos.
Un objetivo de nivel de servicio define una meta medible de fiabilidad o rendimiento. Para un agente, esa meta debería abarcar la tarea completa en lugar de una sola respuesta del modelo. De lo contrario, los componentes individuales pueden cumplir sus objetivos mientras el flujo de trabajo del usuario sigue fallando.
La evidencia de servicios agénticos estables a escala respaldaría la inversión en capacidad de inferencia distribuida y preparada para producción. Los retrasos persistentes y los flujos de trabajo poco fiables debilitarían las expectativas de demanda inmediata, incluso si la capacidad de los modelos continúa mejorando.
Estas señales también ayudan a separar el cambio estructural del lenguaje promocional. El gasto muestra qué compran los clientes. Las conexiones a la red muestran qué pueden entregar los desarrolladores. La fiabilidad muestra si la infraestructura produce un servicio utilizable.
La lección más amplia se extiende más allá de los operadores de centros de datos. Los desarrolladores deben diseñar aplicaciones teniendo en cuenta la latencia y los fallos a través de múltiples dependencias. Los compradores empresariales deben evaluar la ubicación, la resiliencia y la economía de las cargas de trabajo junto con la calidad del modelo.
Los trabajadores del conocimiento deberían prestar atención porque las decisiones de infraestructura determinan la disponibilidad, velocidad, privacidad e impacto ambiental de la IA. Una función que funciona durante una demostración puede comportarse de forma distinta cuando miles de usuarios dependen de ella a lo largo del día.
Las últimas noticias de Google ofrecen una corrección útil a la fijación de la industria con el hardware. La capacidad de entrenamiento construyó la generación actual de modelos, pero la inferencia determina si esos modelos se convierten en servicios fiables.
En los próximos meses, observe la combinación de gasto, la energía conectada y la fiabilidad integral. Si los tres avanzan hacia la inferencia en producción, la advertencia de Mouro parecerá menos un pronóstico y más un mandato operativo.
