L’infrastructure d’IA devient un problème de routage des charges de travail
Google News a mis en lumière un conflit plus net dans l’infrastructure d’IA : posséder davantage d’accélérateurs ne garantit plus une inférence efficace et fiable.
Le rapport, publié sous le titre « L’infrastructure d’IA devient un problème de routage des charges de travail », recadre un secteur obsédé par l’approvisionnement en puces. Le défi le plus difficile consiste à déterminer où chaque requête doit être exécutée.
Cette décision varie selon le modèle, la longueur du prompt, le délai de réponse, la mémoire disponible, l’emplacement, l’état du cache et le coût d’exploitation acceptable. NVIDIA reste le principal fournisseur de matériel, mais Google, Microsoft, AMD, Intel et des projets cloud-native multiplient les options disponibles.
La compétition qui en résulte ne se résume pas à NVIDIA face aux puces alternatives. Elle oppose l’achat massif de capacité de calcul à l’orchestration consciente des charges de travail, la couche logicielle qui affecte chaque tâche à une ressource adaptée.
Cette distinction importe, car l’inférence — le processus qui consiste à exécuter un modèle entraîné afin de produire une réponse — se comporte différemment de l’entraînement. Elle s’effectue en continu et couvre de nombreux types de requêtes.
Une courte tâche de classification, l’analyse d’un long document et une conversation vocale en direct imposent des exigences différentes. Les faire passer par un même parcours matériel gaspille de la capacité ou dégrade l’expérience utilisateur.
Le signal de Google News est un ensemble d’évolutions de l’infrastructure
Le changement important n’est pas l’annonce d’une seule puce. Plusieurs fournisseurs conçoivent désormais des systèmes d’IA autour de catégories distinctes de charges de travail.
L’analyse originale identifie plusieurs évolutions liées entre elles. Elles incluent de nouveaux accélérateurs d’inférence, des conceptions mémoire spécialisées, une capacité de packaging élargie et des logiciels qui répartissent les requêtes sur du matériel hétérogène.
Microsoft a présenté Maia 200 en janvier 2026 comme un accélérateur conçu spécifiquement pour l’inférence. Selon ses spécifications de Maia 200, la puce utilise 216GB de mémoire HBM3e avec une bande passante de 7 TB/s.
Microsoft indique également que Maia 200 prend en charge nativement les calculs FP8 et FP4. Ces formats de précision réduite diminuent le volume de données utilisé par de nombreuses opérations d’inférence, ce qui peut accroître le débit lorsque la qualité du modèle reste acceptable.
L’entreprise affirme que la puce intègre 272MB de SRAM embarquée et plus de 140 milliards de transistors. Ces composants sont intégrés dans un système repensé pour déplacer efficacement les données des modèles.
Il s’agit de spécifications communiquées par l’entreprise, et non de mesures indépendantes couvrant chaque charge de travail de production. Leur importance réside dans les priorités de conception : le déplacement de la mémoire, la génération de tokens et l’inférence efficace, plutôt qu’un score de performance universel.
Google a avancé un argument similaire sur les systèmes lors de Cloud Next en avril. Son portefeuille d’infrastructure élargi comprenait deux TPU de huitième génération, des instances bare-metal alimentées par NVIDIA, de nouveaux CPU, un stockage cache dédié et des mises à jour de l’orchestration.
Cette gamme compte parce qu’elle rejette l’idée que chaque tâche devrait utiliser le même accélérateur. Google propose différents composants au sein d’une même couche d’infrastructure gérée.
Google a également introduit le routage prédictif pour son Inference Gateway. L’entreprise affirme que le système utilise des informations de capacité en temps réel afin de réduire de plus de 70 % le délai avant le premier token.
Le délai avant le premier token mesure le temps d’attente d’un utilisateur avant qu’un modèle ne commence à répondre. Il est particulièrement important pour les agents vocaux, les assistants interactifs et les applications orientées client.
Google a fait état d’un démarrage plus rapide des nœuds, d’un chargement plus rapide des modèles et d’une réduction du temps de démarrage des pods dans le cadre de la même publication. Chaque amélioration cible un délai différent entre l’arrivée de la demande et le début d’un calcul utile.
L’article de Google News renvoie donc à une vaste transformation opérationnelle. L’infrastructure d’IA devient un ensemble de parcours d’exécution spécialisés reliés par un logiciel de routage.
Cela ne rend pas l’approvisionnement en accélérateurs secondaire. Les grands clusters, la mémoire à haute bande passante, le packaging avancé et les réseaux rapides restent essentiels.
Cependant, ces ressources créent désormais un second problème. Les opérateurs doivent déterminer quelle ressource mérite chaque requête, puis prouver que cette décision a satisfait les exigences de performance et de conformité.
Pourquoi le routage des charges de travail d’inférence est désormais crucial
L’inférence est devenue une dépense d’exploitation continue ; de petites erreurs de placement peuvent donc se multiplier à chaque requête utilisateur.
L’entraînement concentre généralement le calcul dans de grandes tâches planifiées. Les ingénieurs peuvent réserver des clusters, coordonner les checkpoints des modèles et optimiser autour d’une exécution définie.
L’inférence est moins ordonnée. La demande évolue selon l’heure, la géographie, la fonctionnalité produit, le client, la version du modèle et la longueur des entrées.
Gartner a prévu que l’inférence représenterait 55 % des dépenses d’infrastructure optimisée pour l’IA en 2026. Ses prévisions d’infrastructure plaçaient également les dépenses liées à l’inférence au-dessus des charges de travail centrées sur l’entraînement pour l’année.
Cette prévision n’est qu’une estimation, mais son orientation correspond au développement actuel des produits. Les fournisseurs de cloud investissent dans des systèmes de serving qui gèrent les requêtes après l’entraînement d’un modèle.
Un service d’IA en production peut traiter du chat interactif, de la synthèse par lots, des embeddings, de l’assistance au code, de la génération d’images, des contrôles de sécurité et des appels d’outils par des agents. Ces charges de travail ne partagent pas une configuration idéale unique.
Les requêtes vocales interactives privilégient un faible délai et des temps de réponse prévisibles. Une tâche de synthèse en arrière-plan peut attendre un lot plus important, ce qui améliore l’utilisation du matériel.
Les embeddings nécessitent souvent moins de calcul que les réponses génératives. L’analyse de contextes longs exerce une pression accrue sur la mémoire, tandis que la génération d’images et de vidéos peut exiger un temps prolongé sur accélérateur.
Les systèmes agentiques rendent cette inadéquation plus visible. Une instruction utilisateur peut déclencher une planification, une récupération d’informations, plusieurs appels de modèles, l’exécution d’outils, une vérification et une réponse finale.
L’utilisateur ne voit qu’une tâche. L’infrastructure, elle, voit une séquence de charges de travail aux exigences différentes en matière de latence, de mémoire et de fiabilité.
Le routage détermine si ces étapes atteignent des GPU haut de gamme, des accélérateurs personnalisés, des modèles plus petits, des résultats mis en cache ou des files d’attente par lots différées. Il peut également déterminer quelle région traite les données réglementées.
La couche de routage doit tenir compte de l’état du cache clé-valeur. Un cache KV stocke les informations calculées à partir de tokens précédents, ce qui permet au modèle d’éviter de répéter certains calculs.
Envoyer une requête vers un worker disposant du cache pertinent peut réduire la latence et les cycles d’accélérateur. L’envoyer ailleurs peut faire perdre cet avantage, même lorsque la destination utilise une puce plus rapide.
C’est pourquoi l’équilibrage de charge classique ne suffit pas. Un répartiteur de charge traditionnel dirige souvent le trafic vers un serveur sain disposant de capacité disponible.
Le routage des charges de travail d’inférence nécessite davantage de contexte. Il doit comprendre l’identité du modèle, les caractéristiques du prompt, l’emplacement du cache, la compatibilité matérielle, les objectifs de service et la politique de données.
Microsoft Research décrit ses propres travaux sur l’inférence comme étant conscients des charges de travail et des coûts. Ses équipes étudient conjointement l’allocation des ressources, la planification des requêtes, le batching, le routage et le cache KV.
Cette approche reconnaît une vérité importante des systèmes : améliorer une couche peut déplacer le goulot d’étranglement plutôt que le supprimer.
Un accélérateur plus rapide apporte peu si les poids du modèle se chargent lentement. Des serveurs supplémentaires aident moins lorsque le routage fragmente les caches ou crée de longues files d’attente autour des modèles populaires.
La pression se reporte donc sur les fournisseurs de cloud, les hébergeurs de modèles et les équipes d’ingénierie de plateforme. Ils doivent transformer un matériel diversifié en un service qui reste cohérent.
L’infrastructure d’IA de Google fait du plan de contrôle le produit
Google traite le routage et l’orchestration comme des fonctionnalités d’infrastructure centrales, et non comme des utilitaires secondaires autour de ses puces.
Lors de Cloud Next, Google a décrit une pile d’IA couvrant les TPU, les systèmes NVIDIA, les CPU, le stockage, le réseau, le caching et Kubernetes. Le plan de contrôle relie ces ressources.
Un plan de contrôle est le logiciel responsable du placement, de la configuration, de la montée en charge et des politiques. Il décide de la manière dont l’infrastructure doit réagir avant que les workers individuels n’exécutent la requête.
La mise à jour de l’infrastructure d’IA de Google place GKE, son service Kubernetes géré, au centre de l’orchestration des charges de travail agentiques. Ce positionnement est révélateur.
L’entreprise pourrait ne promouvoir que les performances de ses derniers TPU. Elle met plutôt aussi l’accent sur le chargement des modèles, la vitesse de démarrage, le stockage cache, le routage prédictif et la compatibilité avec les frameworks d’inférence ouverts.
TPU 8t cible les charges de travail à haut débit, notamment les grands travaux d’entraînement. TPU 8i répond aux besoins d’inférence avec une conception distincte de puce et de système.
Google propose également des systèmes NVIDIA Vera Rubin ainsi que des options de CPU x86 ou basés sur Arm. Cela offre du choix aux clients, mais accroît la complexité de planification au sein de la plateforme.
La plateforme doit savoir quel modèle fonctionne sur quel accélérateur. Elle doit prendre en compte les formats de précision, la capacité mémoire, les kernels disponibles, le déplacement des données et le temps d’attente prévu.
Un client souhaite généralement un endpoint fiable, pas un projet de recherche sur le matériel. Google doit absorber une grande partie de cette complexité tout en exposant suffisamment de contrôle aux acheteurs sophistiqués.
Cela crée la compétition centrale de l’article : acheter une capacité homogène ou exploiter intelligemment une capacité hétérogène.
Les flottes homogènes simplifient la compatibilité, l’observabilité et la réponse aux incidents. Les ingénieurs peuvent standardiser les kernels, les procédures de déploiement, les attentes de performance et les comportements de repli.
Les flottes hétérogènes peuvent mieux faire correspondre le matériel aux charges de travail. Elles peuvent réduire la dépendance envers un seul fournisseur et éviter d’utiliser des accélérateurs haut de gamme pour des tâches nécessitant des ressources moins coûteuses.
Mais cette diversité entraîne des coûts de traduction. Un modèle qui fonctionne correctement sur une pile peut se comporter différemment après une quantification, un remplacement de kernel, des changements de compilateur ou des ajustements du planificateur.
La défaillance qui en résulte peut ne pas apparaître sous la forme d’une panne. Les utilisateurs peuvent recevoir des réponses plus lentes, une gestion de contexte raccourcie, une sortie incohérente ou davantage d’erreurs d’appel d’outils.
L’orientation de Google suggère que la plateforme cloud gagnante masquera une grande partie de cette complexité sans rendre le placement totalement opaque.
Les clients demanderont de plus en plus où une charge de travail a été exécutée, quelle variante de modèle a répondu, quelle précision a été utilisée et si un repli a modifié les performances.
Ces questions importent pour les applications réglementées et sensibles à la latence. Elles comptent aussi lorsqu’un fournisseur vante des coûts plus faibles sans révéler les compromis techniques qui les sous-tendent.
C’est là que l’infrastructure d’IA de Google rivalise avec l’approche intégrée de NVIDIA. Google propose plusieurs voies matérielles coordonnées par son logiciel cloud.
NVIDIA propose une pile matérielle et logicielle étroitement connectée, tout en étendant également son orchestration à des emplacements distribués. Les deux approches font du routage un élément central, mais diffèrent par leur propriété et leur intégration.
Cette compétition ne produira pas un vainqueur simple pour chaque charge de travail. Son résultat mesurable sera de savoir si les clients reçoivent un service prévisible tandis que l’utilisation de l’infrastructure s’améliore.
La diversité matérielle crée une taxe logicielle
Davantage de choix d’accélérateurs peut réduire la dépendance aux fournisseurs, mais chaque voie supplémentaire accroît la charge de tests et d’exploitation.
La Maia 200 de Microsoft illustre l’attrait du silicium sur mesure. Microsoft peut concevoir un accélérateur d’inférence adapté à ses propres centres de données, logiciels et exigences de mise à disposition des modèles.
L’entreprise indique que Maia 200 prend déjà en charge les charges de travail de Microsoft Foundry et Microsoft 365 Copilot. Les services internes offrent un environnement dans lequel Microsoft contrôle les couches produit et infrastructure.
Les charges de travail externes constituent un test plus difficile. Un autre fournisseur de modèles arrive avec ses propres exigences de qualité, pratiques de déploiement, kernels, objectifs de latence et engagements clients.
Un benchmark peut montrer qu’une puce exécute rapidement une tâche définie. Il ne peut pas prouver qu’un service de production complexe se comportera de manière constante lors de pics, de pannes, de mises à niveau de modèles et de contraintes de capacité régionales.
Intel emprunte une autre voie avec Crescent Island, un GPU axé sur l’inférence destiné aux serveurs d’entreprise refroidis par air. L’entreprise a spécifié 160 Go de mémoire LPDDR5X plutôt que la HBM utilisée par de nombreux accélérateurs haut de gamme.
Ce choix reflète un compromis lié aux charges de travail. La mémoire à large bande passante offre des capacités exceptionnelles de transfert de données, mais impose des contraintes d’approvisionnement, de packaging, d’alimentation et de conception système.
Les conceptions basées sur la LPDDR peuvent viser une grande capacité mémoire dans des limites différentes de consommation et d’infrastructure. Leur pertinence dépend toutefois du modèle, de l’objectif de latence, de la maturité logicielle et de l’application réelle.
AMD, de son côté, étend son infrastructure à l’échelle du rack et ses partenariats de packaging. Sa stratégie associe les accélérateurs Instinct aux CPU EPYC et à des composants système plus larges.
Ces approches remettent en cause l’hypothèse selon laquelle la demande en IA correspond nettement à une seule catégorie matérielle. Elles élargissent aussi la matrice de compatibilité à laquelle font face les équipes d’infrastructure.
Le logiciel doit suivre quels modèles correspondent à chaque pool de mémoire. Il a besoin de kernels validés pour la précision et l’accélérateur choisis.
Les opérateurs ont également besoin d’observabilité, c’est-à-dire d’éléments permettant d’établir ce qui s’est produit dans le système. Les informations utiles comprennent le temps d’attente en file, les hits de cache, le matériel sélectionné, la version du modèle, les tentatives répétées et le comportement de repli.
Sans ces informations, des coûts moyens plus faibles peuvent masquer une latence de queue plus mauvaise. La latence de queue mesure la partie la plus lente des requêtes, qui façonne souvent la perception de fiabilité des utilisateurs.
Un temps de réponse moyen peut s’améliorer tandis qu’un faible pourcentage de requêtes devient douloureusement lent. Les assistants vocaux et les agents interactifs sont particulièrement sensibles à ce schéma.
Les échecs de routage peuvent aussi créer des problèmes de conformité. Un système peut envoyer une requête vers une capacité disponible dans une région incompatible avec les exigences de résidence des données.
La politique de placement devient donc à la fois une règle économique et une règle de gouvernance. Elle doit protéger simultanément les coûts, les performances, la confidentialité et la cohérence du service.
Cette complexité constitue la taxe logicielle de la diversité matérielle. Elle peut en valoir la peine, mais seulement lorsque le volume de trafic et les différences entre charges de travail justifient l’investissement.
Une startup dont la demande reste incertaine bénéficie généralement d’une API de modèle gérée. Mettre en place trop tôt un routage conscient du matériel peut détourner les ingénieurs de la qualité produit et de l’adoption par les clients.
Une grande plateforme fait face au risque inverse. Traiter chaque requête de manière identique peut gaspiller une capacité coûteuse sur des millions d’opérations répétées.
La ligne de partage est la densité d’usage. Le routage devient précieux lorsqu’une équipe dispose d’un trafic récurrent suffisant pour classer les charges de travail, mesurer les résultats et améliorer les politiques de placement.
Les standards ouverts de routage remettent en cause les silos d’infrastructure fermés
La couche de routage devient suffisamment stratégique pour que les fournisseurs cherchent à façonner ses interfaces et ses standards.
Google ne construit pas cette couche seul. L’entreprise a contribué à créer llm-d avec Red Hat, IBM Research, CoreWeave et NVIDIA.
Le projet est un framework natif de Kubernetes pour l’inférence distribuée de modèles. Kubernetes coordonne les applications conteneurisées, tandis que llm-d ajoute une connaissance de l’état de service des modèles.
La Cloud Native Computing Foundation a accepté llm-d comme projet Sandbox le 12 mars 2026. Le statut Sandbox signale une gouvernance communautaire précoce, et non une maturité de production ou une interopérabilité garantie.
Selon le projet llm-d, ses capacités incluent le routage tenant compte du cache de préfixes, la séparation entre prefill et decode, le déchargement du cache et la mise à l’échelle consciente du matériel.
Le prefill est l’étape qui traite les tokens d’entrée d’un utilisateur. Le decode génère les tokens de sortie, souvent avec un comportement différent en matière de ressources et de mémoire.
La séparation de ces étapes permet aux opérateurs de les mettre à l’échelle indépendamment. Elle crée également davantage de décisions de placement et de communications réseau entre composants.
Le projet prend en charge les accélérateurs de NVIDIA, AMD, Intel et Google. Son objectif affiché est une large portabilité entre modèles, accélérateurs et clouds.
Cette ambition répond à une préoccupation réelle des acheteurs. Une couche de routage liée à une seule puce ou à un seul cloud peut transformer l’intelligence opérationnelle en une nouvelle forme de verrouillage.
Toutefois, une interface ouverte n’efface pas les différences matérielles. Chaque accélérateur conserve des kernels, un comportement mémoire, un réseau et des caractéristiques de performances distincts.
Une véritable portabilité exige des résultats validés, et non une simple API partagée. Les opérateurs ont besoin de mesures comparables de qualité de sortie, de débit, de latence, d’efficacité du cache et de reprise après incident.
NVIDIA étend également le routage au-delà des clusters individuels. Son architecture AI Grid traite l’infrastructure distribuée comme une plateforme programmable unique.
L’architecture AI Grid de l’entreprise place les charges de travail selon la latence, la souveraineté, le coût, l’état des nœuds, l’utilisation et la disponibilité du cache.
Cette approche peut router l’inférence entre des centres de données centraux, des installations métropolitaines, des sites télécoms et des emplacements edge. La localisation devient partie intégrante de la décision d’ordonnancement.
Un service vocal en direct bénéficie d’une exécution proche, car le délai réseau affecte directement le déroulement de la conversation. Une tâche en arrière-plan peut souvent s’exécuter plus loin lorsqu’une capacité est disponible.
Une requête réglementée dans le secteur de la santé peut exiger une juridiction approuvée. Une charge de travail média peut privilégier la bande passante réseau, car elle déplace bien plus de données que du texte.
La conception de NVIDIA renforce la même thèse mise en évidence par Google News. L’infrastructure IA devient un problème de placement entre matériel et géographie.
Les fournisseurs ont néanmoins intérêt à présenter leur stack privilégiée comme la couche de contrôle naturelle. Google bénéficie lorsque GKE gère la charge de travail, tandis que NVIDIA bénéficie lorsque son logiciel coordonne la grille.
Les projets ouverts promettent la neutralité, mais leur maturité et leur gouvernance exigent un examen attentif. Les projets Sandbox peuvent évoluer rapidement, modifier leurs interfaces ou ne pas disposer de l’historique opérationnel exigé par les grandes entreprises.
Les fournisseurs de cloud peuvent aussi exposer les contrôles de routage de façon sélective. Les clients peuvent obtenir une classe de latence ou une préférence régionale sans savoir quel accélérateur a réellement traité la requête.
Cette abstraction peut simplifier les opérations, mais elle complique les audits. Les acheteurs ne peuvent pas évaluer les substitutions matérielles si les fournisseurs masquent les éléments de preuve liés au placement.
Le standard décisif impliquera donc l’observabilité autant que le routage. Il devra décrire non seulement où une requête devrait aller, mais aussi ce qui s’est produit après son placement.
Ce que les lecteurs de Google News devraient surveiller ensuite
La thèse du routage ne devient crédible que lorsque les fournisseurs exposent des contrôles de placement mesurables et des résultats en production.
Le premier signal est la progression de Google avec le routage prédictif d’Inference Gateway. Les clients devraient surveiller des résultats indépendants sur des modèles variés, des pics de trafic et différentes conditions de cache.
Google fait état d’une réduction du délai avant le premier token supérieure à 70 % sans réglage manuel. Des preuves plus larges devront montrer si ces gains persistent en dehors de configurations sélectionnées.
Les mesures importantes incluent la latence médiane, la latence de queue, les taux de hit du cache, les échecs de requêtes et l’utilisation des accélérateurs. La qualité du modèle doit rester stable sur chaque chemin testé.
Des résultats faibles suggéreraient que le placement prédictif déplace la complexité au lieu de la résoudre. Des gains constants en production renforceraient l’affirmation de Google selon laquelle l’orchestration peut surpasser le réglage manuel.
Le deuxième signal est l’adoption de frameworks neutres vis-à-vis des accélérateurs, tels que llm-d. L’activité du projet seule ne suffit pas.
Surveillez les services gérés, les interfaces stables, les déploiements de référence et des benchmarks comparables sur le matériel NVIDIA, AMD, Intel et Google. Les études de cas d’entreprise devraient documenter les pannes et les comportements de repli, pas seulement le débit maximal.
Des déploiements multi-fournisseurs renforceraient le modèle du routage ouvert. Des implémentations fragmentées ou des forks spécifiques à un matériel affaibliraient les affirmations de portabilité pratique.
Le troisième signal est l’accès des clients aux preuves de placement. Les tableaux de bord et API cloud devraient révéler les variantes de modèles, les classes de latence, le comportement du cache, les régions et les événements de repli.
Les acheteurs n’ont pas nécessairement besoin de sélectionner manuellement chaque puce. Ils ont besoin de suffisamment d’éléments pour relier les décisions d’infrastructure à l’expérience utilisateur et aux résultats opérationnels.
Les enjeux dépassent l’ingénierie cloud. Les équipes produit doivent savoir si un comportement plus lent des agents provient du modèle, du pipeline de récupération, de l’exécution des outils ou du placement de l’infrastructure.
Les acheteurs d’entreprise ont besoin de preuves que les requêtes sensibles sont restées dans des régions approuvées. Les développeurs ont besoin d’API prévisibles lorsque les fournisseurs modifient le matériel sous-jacent.
Les travailleurs du savoir perçoivent le résultat final sous la forme d’une réponse plus rapide, d’une réponse vocale retardée ou d’un agent peu fiable. Le routage détermine une plus grande part de cette expérience que ne le révèlent la plupart des interfaces.
Le titre de Google News reflète une transition réelle, mais cette transition reste incomplète. Les fournisseurs ont décrit les plans de contrôle, les puces et les frameworks ouverts nécessaires à une infrastructure consciente des charges de travail.
Ils doivent maintenant démontrer que ces systèmes fonctionnent sous la pression de la production. Les trois prochains mois devraient montrer si le routage devient une capacité opérationnelle transparente ou une nouvelle couche cachée de complexité cloud.
Pour les créateurs d’IA, l’action immédiate est simple : mesurer les requêtes par charge de travail au lieu de traiter l’inférence comme une catégorie unique agrégée. Suivez la longueur du contexte, la latence, l’utilisation du cache, les tentatives répétées, le choix du modèle et le placement matériel lorsqu’il est disponible.
Posez ensuite la question plus difficile soulevée par Google News : chaque requête atteint-elle le chemin fiable le moins coûteux, ou la plateforme continue-t-elle d’envoyer chaque tâche vers l’accélérateur qui se trouve simplement être disponible ?



