L'infrastruttura AI sta diventando un problema di instradamento dei carichi di lavoro
Google News ha evidenziato un conflitto più netto nell'infrastruttura AI: possedere più acceleratori non garantisce più un'inferenza efficiente e affidabile.
Il rapporto, pubblicato con il titolo “AI Infrastructure Is Becoming a Workload Routing Problem”, riformula il dibattito in un settore ossessionato dalla disponibilità di chip. La sfida più difficile è decidere dove debba essere eseguita ogni richiesta.
Questa decisione cambia in base al modello, alla lunghezza del prompt, alla scadenza della risposta, alla memoria disponibile, alla posizione, allo stato della cache e al costo operativo accettabile. NVIDIA rimane il principale fornitore di hardware, ma Google, Microsoft, AMD, Intel e i progetti cloud-native stanno ampliando le opzioni disponibili.
La competizione che ne risulta non è semplicemente NVIDIA contro chip alternativi. È l'approvvigionamento di capacità di calcolo su larga scala contro l'orchestrazione consapevole dei carichi di lavoro, il livello software che assegna ogni attività a una risorsa adatta.
Questa distinzione conta perché l'inferenza, il processo che esegue un modello addestrato per produrre una risposta, si comporta diversamente dall'addestramento. Avviene in modo continuo e comprende molti tipi di richieste.
Una breve attività di classificazione, un'analisi di documenti lunghi e una conversazione vocale in tempo reale impongono esigenze diverse. Instradarle tutte attraverso un unico percorso hardware uniforme spreca capacità o peggiora l'esperienza utente.
Il segnale di Google News è un insieme di mosse infrastrutturali
Il cambiamento importante non è l'annuncio di un singolo chip. Più fornitori stanno ora progettando sistemi AI attorno a classi distinte di carichi di lavoro.
L'analisi originale identifica diversi sviluppi connessi. Tra questi figurano nuovi acceleratori per l'inferenza, progetti di memoria specializzati, una maggiore capacità di packaging e software che distribuisce le richieste su hardware eterogeneo.
Microsoft ha presentato Maia 200 nel gennaio 2026 come un acceleratore progettato specificamente per l'inferenza. Secondo le specifiche di Maia 200, il chip utilizza 216GB di memoria HBM3e con una larghezza di banda di 7 TB/s.
Microsoft afferma inoltre che Maia 200 supporta il calcolo nativo FP8 e FP4. Questi formati a precisione inferiore riducono la quantità di dati utilizzata per molte operazioni di inferenza, aumentando potenzialmente il throughput quando la qualità del modello resta accettabile.
L'azienda riferisce che il chip contiene 272MB di SRAM on-chip e oltre 140 miliardi di transistor. Questi componenti sono integrati in un sistema riprogettato per trasferire in modo efficiente i dati del modello.
Si tratta di specifiche riportate dall'azienda, non di misurazioni indipendenti su ogni carico di lavoro di produzione. La loro rilevanza risiede nelle priorità progettuali: movimento della memoria, generazione di token e inferenza efficiente, anziché un singolo punteggio prestazionale universale.
Google ha presentato un argomento simile sui sistemi al Cloud Next di aprile. Il suo portafoglio infrastrutturale ampliato comprendeva due TPU di ottava generazione, istanze bare-metal basate su NVIDIA, nuove CPU, archiviazione cache dedicata e aggiornamenti dell'orchestrazione.
Questa offerta è importante perché respinge l'idea che ogni attività debba utilizzare lo stesso acceleratore. Google propone componenti differenti all'interno di un unico livello di infrastruttura gestita.
Google ha inoltre introdotto il routing predittivo per il suo Inference Gateway. L'azienda afferma che il sistema utilizza informazioni sulla capacità in tempo reale per ridurre il tempo al primo token di oltre il 70 percento.
Il tempo al primo token misura quanto attende un utente prima che un modello inizi a rispondere. È particolarmente importante per gli agenti vocali, gli assistenti interattivi e le applicazioni rivolte ai clienti.
Google ha segnalato un avvio dei nodi più rapido, un caricamento dei modelli più veloce e tempi di avvio dei pod ridotti nell'ambito della stessa release. Ogni miglioramento mira a un diverso ritardo tra l'arrivo della domanda e l'inizio di un calcolo utile.
La storia di Google News indica quindi un ampio cambiamento operativo. L'infrastruttura AI sta diventando una raccolta di percorsi di esecuzione specializzati collegati da software di instradamento.
Questo non rende irrilevante la disponibilità di acceleratori. Grandi cluster, memoria ad alta larghezza di banda, packaging avanzato e reti veloci restano essenziali.
Tuttavia, queste risorse creano ora un secondo problema. Gli operatori devono decidere quale risorsa assegnare a ogni richiesta, quindi dimostrare che la decisione ha rispettato i requisiti di prestazione e di policy.
Perché l'instradamento dei carichi di lavoro di inferenza è importante ora
L'inferenza è diventata una spesa operativa continua, quindi piccoli errori di collocazione possono moltiplicarsi su ogni richiesta utente.
L'addestramento concentra generalmente il calcolo in grandi attività pianificate. Gli ingegneri possono riservare cluster, coordinare i checkpoint dei modelli e ottimizzare attorno a un'esecuzione definita.
L'inferenza è meno ordinata. La domanda cambia in base all'ora, alla geografia, alla funzionalità di prodotto, al cliente, alla versione del modello e alla lunghezza dell'input.
Gartner ha previsto che l'inferenza avrebbe sostenuto il 55 percento della spesa per infrastrutture ottimizzate per l'AI nel 2026. La sua previsione infrastrutturale ha inoltre collocato la spesa per l'inferenza al di sopra dei carichi di lavoro incentrati sull'addestramento per l'anno.
La previsione è soltanto una stima, ma la sua direzione è coerente con l'attuale sviluppo dei prodotti. I fornitori cloud stanno investendo in sistemi di serving che gestiscono le richieste dopo l'addestramento di un modello.
Un servizio AI in produzione può gestire chat interattive, riepiloghi batch, embedding, assistenza alla programmazione, generazione di immagini, controlli di sicurezza e chiamate agli strumenti degli agenti. Questi carichi di lavoro non condividono una configurazione ideale unica.
Le richieste vocali interattive privilegiano ritardi ridotti e tempi di risposta prevedibili. Un'attività di riepilogo in background può attendere un batch più grande, migliorando l'utilizzo dell'hardware.
Gli embedding spesso richiedono meno calcolo delle risposte generative. L'analisi a contesto lungo esercita una maggiore pressione sulla memoria, mentre la generazione di immagini e video può richiedere tempi prolungati sugli acceleratori.
I sistemi agentici rendono più visibile questa discrepanza. Una singola istruzione dell'utente può attivare pianificazione, recupero di informazioni, diverse chiamate al modello, esecuzione di strumenti, verifica e una risposta finale.
L'utente vede un'unica attività. L'infrastruttura vede una sequenza di carichi di lavoro con requisiti diversi di latenza, memoria e affidabilità.
Il routing determina se questi passaggi raggiungono GPU premium, acceleratori personalizzati, modelli più piccoli, risultati memorizzati nella cache o code batch differite. Può anche determinare quale regione elabori dati regolamentati.
Il livello di routing deve considerare lo stato della cache chiave-valore. Una cache KV conserva informazioni calcolate dai token precedenti, consentendo al modello di evitare di ripetere parte del lavoro.
Inviare una richiesta a un worker con la cache pertinente può ridurre la latenza e i cicli dell'acceleratore. Inviarla altrove può annullare questo vantaggio, anche quando la destinazione utilizza un chip più veloce.
Ecco perché il normale bilanciamento del carico non è sufficiente. Un bilanciatore tradizionale spesso invia il traffico verso un server operativo con capacità inutilizzata.
L'instradamento dei carichi di lavoro di inferenza richiede più contesto. Deve comprendere l'identità del modello, le caratteristiche del prompt, la posizione della cache, la compatibilità hardware, gli obiettivi di servizio e le policy sui dati.
Microsoft Research descrive il proprio lavoro sull'inferenza come consapevole dei carichi di lavoro e dei costi. I suoi team stanno studiando insieme l'allocazione delle risorse, la pianificazione delle richieste, il batching, il routing e la cache KV.
Questo approccio riconosce un'importante verità dei sistemi. Migliorare un livello può spostare il collo di bottiglia anziché eliminarlo.
Un acceleratore più veloce serve a poco se i pesi del modello si caricano lentamente. Server aggiuntivi aiutano meno quando il routing frammenta le cache o crea lunghe code attorno ai modelli più popolari.
La pressione ricade quindi sui fornitori cloud, sugli host dei modelli e sui team di platform engineering. Devono trasformare hardware diversificato in un servizio che appaia comunque coerente.
L'infrastruttura AI di Google rende il control plane il prodotto
Google considera routing e orchestrazione funzionalità infrastrutturali fondamentali, non utilità di sfondo attorno ai propri chip.
Al Cloud Next, Google ha descritto uno stack AI che comprende TPU, sistemi NVIDIA, CPU, storage, networking, caching e Kubernetes. Il control plane collega queste risorse.
Un control plane è il software responsabile di collocazione, configurazione, scalabilità e policy. Decide come l'infrastruttura debba rispondere prima che i singoli worker eseguano la richiesta.
L'aggiornamento sull'infrastruttura AI di Google ha posto GKE, il suo servizio Kubernetes gestito, al centro dell'orchestrazione dei carichi di lavoro degli agenti. Questo posizionamento è rivelatore.
L'azienda potrebbe promuovere soltanto le prestazioni delle sue TPU più recenti. Invece, sottolinea anche il caricamento dei modelli, la velocità di avvio, l'archiviazione cache, il routing predittivo e la compatibilità con framework di inferenza aperti.
TPU 8t punta ai carichi di lavoro ad alto throughput, compresi i grandi lavori di addestramento. TPU 8i risponde alle esigenze di inferenza con un chip e una progettazione di sistema separati.
Google offre inoltre sistemi NVIDIA Vera Rubin e opzioni CPU x86 o basate su Arm. Questo crea scelta per i clienti, ma aumenta la complessità di pianificazione all'interno della piattaforma.
La piattaforma deve sapere quale modello funziona su quale acceleratore. Deve considerare i formati di precisione, la capacità di memoria, i kernel disponibili, il movimento dei dati e il tempo di attesa previsto.
Un cliente desidera normalmente un endpoint affidabile, non un progetto di ricerca hardware. Google deve assorbire gran parte della complessità, lasciando al contempo un controllo sufficiente agli acquirenti più sofisticati.
Questo crea la competizione centrale dell'articolo: acquistare capacità omogenea rispetto a gestire capacità eterogenea in modo intelligente.
Le flotte omogenee semplificano compatibilità, osservabilità e risposta agli incidenti. Gli ingegneri possono standardizzare kernel, procedure di deployment, aspettative sulle prestazioni e comportamenti di fallback.
Le flotte eterogenee possono abbinare più strettamente l'hardware ai carichi di lavoro. Possono ridurre la dipendenza da un solo fornitore ed evitare di usare acceleratori di fascia alta per attività che richiedono risorse meno costose.
Tuttavia, la diversità crea costi di traduzione. Un modello che funziona correttamente su uno stack può comportarsi diversamente dopo quantizzazione, sostituzione del kernel, modifiche al compilatore o aggiustamenti dello scheduler.
Il guasto che ne deriva potrebbe non apparire come un'interruzione del servizio. Gli utenti potrebbero ricevere risposte più lente, gestione del contesto ridotta, output incoerenti o più errori nelle chiamate agli strumenti.
La direzione di Google suggerisce che la piattaforma cloud vincente nasconderà gran parte di questa complessità senza rendere la collocazione completamente opaca.
I clienti chiederanno sempre più spesso dove sia stato eseguito un carico di lavoro, quale variante del modello abbia risposto, quale precisione sia stata utilizzata e se un fallback abbia modificato le prestazioni.
Queste domande contano per le applicazioni regolamentate e sensibili alla latenza. Contano anche quando un fornitore promuove costi inferiori senza rivelare i compromessi tecnici alla base.
È qui che l'infrastruttura AI di Google compete con l'approccio integrato di NVIDIA. Google offre molteplici percorsi hardware coordinati attraverso il proprio software cloud.
NVIDIA offre uno stack hardware e software strettamente connesso, estendendo al contempo la propria orchestrazione tra sedi distribuite. Entrambi gli approcci rendono il routing centrale, ma differiscono per proprietà e integrazione.
La competizione non produrrà un vincitore semplice per ogni carico di lavoro. Il suo risultato misurabile sarà la capacità di offrire ai clienti un servizio prevedibile migliorando al contempo l'utilizzo dell'infrastruttura.
La diversità dell'hardware crea una tassa sul software
Più opzioni di acceleratori possono ridurre la dipendenza dai fornitori, ma ogni percorso aggiuntivo amplia l'onere operativo e di test.
Maia 200 di Microsoft illustra l’attrattiva del silicio personalizzato. Microsoft può progettare un acceleratore di inferenza attorno ai propri data center, al software e ai requisiti di serving dei modelli.
L’azienda afferma che Maia 200 supporta già i carichi di lavoro di Microsoft Foundry e Microsoft 365 Copilot. I servizi interni offrono un ambiente in cui Microsoft controlla sia il prodotto sia l’infrastruttura.
I carichi di lavoro esterni rappresentano un test più impegnativo. Un altro fornitore di modelli porta con sé requisiti di qualità, pratiche di deployment, kernel, obiettivi di latenza e impegni verso i clienti propri.
Un benchmark può mostrare che un chip completa rapidamente un compito definito. Non può dimostrare che un servizio di produzione complesso si comporterà in modo coerente durante picchi, guasti, aggiornamenti dei modelli e vincoli di capacità regionali.
Intel sta seguendo un’altra strada con Crescent Island, una GPU focalizzata sull’inferenza pensata per server enterprise raffreddati ad aria. L’azienda ha specificato 160 GB di memoria LPDDR5X anziché l’HBM usata da molti acceleratori di fascia alta.
Questa scelta riflette un compromesso legato al carico di lavoro. La memoria ad alta larghezza di banda offre una movimentazione dei dati eccezionale, ma comporta vincoli di fornitura, packaging, consumo energetico e progettazione del sistema.
I design basati su LPDDR possono puntare a un’elevata capacità di memoria entro limiti diversi di potenza e infrastruttura. La loro idoneità dipende comunque dal modello, dall’obiettivo di latenza, dalla maturità del software e dall’applicazione reale.
AMD, nel frattempo, sta ampliando la propria infrastruttura rack-scale e le relazioni nel packaging. La sua strategia abbina gli acceleratori Instinct alle CPU EPYC e a componenti di sistema più ampi.
Questi percorsi mettono in discussione l’ipotesi che la domanda di AI corrisponda ordinatamente a un’unica categoria hardware. Ampliano inoltre la matrice di compatibilità che i team infrastrutturali devono affrontare.
Il software deve tenere traccia di quali modelli si adattano a ciascun pool di memoria. Ha bisogno di kernel validati per la precisione e l’acceleratore selezionati.
Gli operatori necessitano anche di osservabilità, ovvero di evidenze su ciò che è accaduto all’interno del sistema. I dati utili includono tempo in coda, cache hit, hardware selezionato, versione del modello, tentativi ripetuti e comportamento di fallback.
Senza questi dati, costi medi inferiori possono nascondere una latenza di coda peggiore. La latenza di coda misura la porzione più lenta delle richieste, che spesso determina la percezione dell’affidabilità da parte degli utenti.
Un tempo medio di risposta può migliorare mentre una piccola percentuale delle richieste diventa dolorosamente lenta. Assistenti vocali e agenti interattivi sono particolarmente sensibili a questo andamento.
I fallimenti di routing possono anche creare problemi di conformità. Un sistema potrebbe inviare una richiesta verso capacità disponibile in una regione in conflitto con i requisiti di residenza dei dati.
La policy di posizionamento diventa quindi sia una regola economica sia una regola di governance. Deve proteggere contemporaneamente costi, prestazioni, privacy e coerenza del servizio.
Questa complessità è la tassa software della diversità hardware. Può valere la pena, ma solo quando il volume di traffico e le differenze tra carichi di lavoro giustificano l’investimento.
Una startup con domanda incerta trae in genere vantaggio da un’API di modelli gestita. Costruire troppo presto un routing consapevole dell’hardware può distogliere gli ingegneri dalla qualità del prodotto e dall’adozione da parte dei clienti.
Una grande piattaforma affronta il rischio opposto. Trattare ogni richiesta in modo identico può sprecare capacità costosa su milioni di operazioni ripetute.
La linea di demarcazione è la densità di utilizzo. Il routing diventa prezioso quando un team dispone di abbastanza traffico ricorrente per classificare i carichi di lavoro, misurare gli esiti e migliorare le policy di posizionamento.
Gli standard aperti di routing sfidano i silos dell’infrastruttura chiusa
Il livello di routing sta diventando strategicamente così importante che i fornitori competono per definirne interfacce e standard.
Google non sta costruendo questo livello da sola. Ha contribuito a creare llm-d con Red Hat, IBM Research, CoreWeave e NVIDIA.
Il progetto è un framework Kubernetes-native per l’inferenza distribuita dei modelli. Kubernetes coordina le applicazioni containerizzate, mentre llm-d aggiunge conoscenza dello stato del serving dei modelli.
La Cloud Native Computing Foundation ha accolto llm-d come progetto Sandbox il 12 marzo 2026. Lo status Sandbox segnala una governance comunitaria iniziale, non maturità per la produzione né interoperabilità garantita.
Secondo il progetto llm-d, le sue funzionalità includono routing consapevole della prefix cache, separazione tra prefill e decode, offloading della cache e scalabilità consapevole dell’hardware.
Il prefill è la fase che elabora i token di input dell’utente. Il decode genera i token di output, spesso con comportamenti diversi in termini di risorse e memoria.
Separare queste fasi consente agli operatori di scalarle indipendentemente. Crea anche più decisioni di posizionamento e più comunicazione di rete tra i componenti.
Il progetto supporta acceleratori di NVIDIA, AMD, Intel e Google. Il suo obiettivo dichiarato è un’ampia portabilità tra modelli, acceleratori e cloud.
Questa ambizione risponde a una reale preoccupazione degli acquirenti. Un livello di routing legato a un singolo chip o cloud può trasformare l’intelligence operativa in un’altra forma di lock-in.
Tuttavia, un’interfaccia aperta non elimina le differenze hardware. Ogni acceleratore mantiene kernel, comportamento della memoria, networking e caratteristiche prestazionali distinti.
La vera portabilità richiede risultati validati, non una semplice API condivisa. Gli operatori necessitano di misure comparabili per qualità dell’output, throughput, latenza, efficienza della cache e recupero dai guasti.
NVIDIA sta inoltre estendendo il routing oltre i singoli cluster. Il suo design AI Grid considera l’infrastruttura distribuita come un’unica piattaforma programmabile.
L’architettura AI Grid dell’azienda colloca i carichi di lavoro in base a latenza, sovranità, costo, salute dei nodi, utilizzo e disponibilità della cache.
Questo approccio può instradare l’inferenza tra data center centrali, strutture metropolitane, sedi telecom ed edge site. La posizione diventa parte della decisione di scheduling.
Un servizio vocale in tempo reale beneficia dell’esecuzione nelle vicinanze, perché il ritardo di rete influisce direttamente sul flusso della conversazione. Un job in background può spesso essere eseguito più lontano quando è disponibile capacità.
Una richiesta sanitaria regolamentata potrebbe richiedere una giurisdizione approvata. Un carico di lavoro multimediale può dare priorità alla larghezza di banda di rete perché sposta molti più dati rispetto al testo.
Il design di NVIDIA rafforza la stessa tesi evidenziata da Google News. L’infrastruttura AI si sta trasformando in un problema di posizionamento tra hardware e geografia.
Tuttavia, i fornitori hanno incentivi a presentare il proprio stack preferito come il livello di controllo naturale. Google beneficia quando GKE gestisce il carico di lavoro, mentre NVIDIA beneficia quando il suo software coordina la griglia.
I progetti aperti promettono neutralità, ma la loro maturità e governance richiedono attenzione. I progetti Sandbox possono evolvere rapidamente, modificare le interfacce o non avere la storia operativa richiesta dalle grandi imprese.
I provider cloud possono anche esporre i controlli di routing in modo selettivo. I clienti potrebbero ricevere una classe di latenza o una preferenza regionale senza sapere quale acceleratore abbia effettivamente servito la richiesta.
Questa astrazione può semplificare le operazioni, ma complica gli audit. Gli acquirenti non possono valutare le sostituzioni hardware se i provider nascondono le evidenze di posizionamento.
Lo standard decisivo coinvolgerà quindi l’osservabilità oltre al routing. Dovrà descrivere non solo dove dovrebbe andare una richiesta, ma anche cosa è accaduto dopo il posizionamento.
Cosa dovrebbero osservare ora i lettori di Google News
La tesi del routing diventa credibile solo quando i fornitori espongono controlli di posizionamento misurabili e risultati di produzione.
Il primo segnale è il progresso di Google con il routing predittivo di Inference Gateway. I clienti dovrebbero cercare risultati indipendenti su modelli diversi, picchi di traffico e condizioni della cache.
Google riferisce una riduzione del tempo al primo token superiore al 70 percento senza ottimizzazione manuale. Evidenze più ampie dovrebbero mostrare se tali guadagni persistono al di fuori delle configurazioni selezionate.
Le misure importanti includono latenza mediana, latenza di coda, tassi di cache hit, fallimenti delle richieste e utilizzo degli acceleratori. La qualità del modello dovrebbe rimanere stabile lungo ogni percorso testato.
Risultati deboli suggerirebbero che il posizionamento predittivo trasferisce la complessità anziché risolverla. Guadagni costanti in produzione rafforzerebbero l’affermazione di Google secondo cui l’orchestrazione può superare l’ottimizzazione manuale.
Il secondo segnale è l’adozione di framework indipendenti dall’acceleratore come llm-d. La sola attività del progetto non basta.
Occorre osservare servizi gestiti, interfacce stabili, deployment di riferimento e benchmark comparabili su hardware NVIDIA, AMD, Intel e Google. I case study aziendali dovrebbero documentare guasti e comportamento di fallback, non soltanto il throughput di picco.
I deployment cross-vendor rafforzerebbero il modello di routing aperto. Implementazioni frammentate o fork specifici per hardware indebolirebbero le affermazioni di portabilità pratica.
Il terzo segnale è l’accesso dei clienti alle evidenze di posizionamento. Dashboard cloud e API dovrebbero rivelare varianti dei modelli, classi di latenza, comportamento della cache, regioni ed eventi di fallback.
Gli acquirenti non devono necessariamente selezionare manualmente ogni chip. Hanno però bisogno di evidenze sufficienti per collegare le decisioni infrastrutturali all’esperienza utente e ai risultati operativi.
La posta in gioco va oltre il cloud engineering. I team di prodotto devono sapere se il comportamento più lento di un agente dipende dal modello, dalla pipeline di retrieval, dall’esecuzione degli strumenti o dal posizionamento dell’infrastruttura.
Gli acquirenti enterprise necessitano di prove che le richieste sensibili siano rimaste nelle regioni approvate. Gli sviluppatori hanno bisogno di API prevedibili quando i provider cambiano l’hardware sottostante.
I knowledge worker percepiscono il risultato finale come una risposta più rapida, una risposta vocale ritardata o un agente inaffidabile. Il routing determina una quota maggiore di questa esperienza di quanto la maggior parte delle interfacce lasci intendere.
Il titolo di Google News coglie una transizione reale, ma la transizione è incompleta. I fornitori hanno descritto i control plane, i chip e i framework aperti necessari per un’infrastruttura consapevole dei carichi di lavoro.
Ora devono dimostrare che questi sistemi funzionano sotto pressione in produzione. I prossimi tre mesi dovrebbero mostrare se il routing diventerà una capacità operativa trasparente o un altro livello nascosto di complessità cloud.
Per chi sviluppa AI, l’azione immediata è semplice: misurare le richieste per carico di lavoro anziché trattare l’inferenza come un’unica categoria aggregata. Monitorare lunghezza del contesto, latenza, uso della cache, tentativi ripetuti, scelta del modello e posizionamento hardware, quando disponibile.
Poi porre la domanda più difficile sollevata da Google News: ogni richiesta raggiunge il percorso affidabile più economico, oppure la piattaforma continua a inviare ogni job verso qualsiasi acceleratore risulti disponibile?



