I dubbi sulla sostituzione di HBM con CXL da parte di OpenAI rivelano il vero compromesso della memoria AI

Secondo quanto riportato, OpenAI ha respinto la tesi della sostituzione di HBM con CXL, nonostante la crescente pressione per ridurre il costo e la scarsità della memoria ad alta larghezza di banda. Un ricercatore di OpenAI nel campo degli acceleratori ha affermato di non aver individuato un caso d'uso convincente per CXL nell'esecuzione di modelli AI. Separatamente, un dirigente Intel responsabile dell'architettura ha sostenuto che CXL funziona meglio come complemento allo storage che come sostituto di HBM.

Questi commenti mettono in discussione un'idea allettante per gli acquirenti di infrastrutture AI. Compute Express Link, o CXL, consente ai processori di accedere a memoria aggiuntiva tramite un'interconnessione coerente. Promette maggiore capacità, pool condivisi e un'allocazione delle risorse più flessibile. Tuttavia, la flessibilità non elimina le esigenze di larghezza di banda dell'esecuzione attiva dei modelli.

La storia più profonda non è che CXL abbia fallito. È che CXL e HBM risolvono parti diverse del problema della memoria. HBM mantiene i dati consultati più frequentemente vicino a un acceleratore con una larghezza di banda molto elevata. CXL può espandere la capacità e spostare i dati meno utilizzati in un livello meno costoso.

Questa distinzione spinge fornitori di memoria, progettisti di acceleratori e operatori cloud a costruire gerarchie più intelligenti. La competizione centrale non è quindi CXL contro HBM come prodotti intercambiabili. Riguarda invece l'economia della sostituzione rispetto ai requisiti fisici necessari per spostare i dati abbastanza rapidamente da mantenere operativi i costosi processori AI.

Le affermazioni sulla sostituzione di HBM con CXL da parte di OpenAI superano un test di larghezza di banda

I commenti riportati di OpenAI e Intel restringono il ruolo di CXL senza rendere irrilevante la tecnologia.

Le osservazioni sono state espresse durante un panel dell'AI Infrastructure Summit il 16 settembre 2026 a Santa Clara, in California. Financial News ha riferito che Daniel Morris, ricercatore OpenAI impegnato nella progettazione di acceleratori, ha messo in dubbio l'utilità di CXL per l'effettiva esecuzione dei modelli.

"Dal punto di vista dell'effettiva esecuzione dei modelli AI, non riesco a trovare un utilizzo per CXL", avrebbe affermato Morris. Ha individuato un possibile ruolo: conservare informazioni inattive a cui i modelli di grandi dimensioni accedono raramente.

Vidhya Thyagarajan, responsabile dell'architettura system-on-chip di Intel, avrebbe offerto una distinzione analoga. Il pooling della memoria tramite CXL può essere utile, ha detto, ma non sostituisce HBM. Ha descritto CXL come un complemento allo storage secondario.

La parte più importante della posizione attribuita a Intel riguarda il movimento dei dati. Le informazioni che viaggiano tra una GPU e memoria connessa tramite CXL non sono "affatto veloci quanto HBM", secondo la tradotta copertura del panel.

I commenti meritano un'attribuzione prudente. Sono stati riportati da pubblicazioni coreane e riassunti da TrendForce, anziché pubblicati come dichiarazioni ufficiali di OpenAI o Intel. L'articolo disponibile in inglese di Financial News si identifica inoltre come traduzione assistita dall'AI.

Nessuna delle due aziende ha pubblicato un benchmark a corredo delle osservazioni. OpenAI non ha diffuso un documento tecnico pubblico che dimostri che CXL non disponga di carichi di lavoro utili per l'esecuzione dei modelli. Intel rimane inoltre un partecipante di primo piano nel più ampio ecosistema CXL.

I commenti restano rilevanti perché provengono da specialisti responsabili dell'architettura di acceleratori e sistemi. La loro distinzione riflette un vincolo fondamentale. Capacità e larghezza di banda sono correlate, ma non sono sostituibili.

HBM colloca DRAM impilata vicino a un processore usando un'interfaccia ampia. Questa progettazione supporta il movimento costante di dati richiesto dagli acceleratori altamente paralleli. CXL collega memoria e dispositivi tramite collegamenti basati sulla tecnologia PCI Express, privilegiando l'accesso coerente e la componibilità.

CXL può rendere visibile ai processori un pool di memoria più ampio. Non può rendere automaticamente ogni byte di quel pool equivalente a HBM locale. Distanza, ampiezza del collegamento, switching, overhead di protocollo e contesa continuano a determinare le prestazioni effettive.

Questa è la tensione creata dalle osservazioni riportate. Il settore cerca sollievo dall'elevato costo di HBM, ma i carichi di lavoro che generano questa domanda restano sensibili al throughput della memoria.

L'argomento della sostituzione di HBM con CXL fallisce quindi quando presume prestazioni identiche da posizioni di memoria differenti. Un argomento più credibile inizia stabilendo quali dati debbano rimanere vicini e quali possano essere spostati più lontano.

Perché gli acceleratori AI dipendono ancora da HBM

HBM rimane difficile da sostituire perché i processori AI necessitano di un accesso rapido e ripetuto a grandi set di dati di lavoro.

Gli acceleratori moderni eseguono molte operazioni matematiche in parallelo. Queste unità di calcolo necessitano di un flusso costante di pesi del modello, attivazioni e altri dati intermedi. Se la memoria non riesce a fornire le informazioni abbastanza rapidamente, parti del processore attendono invece di calcolare.

Questa condizione viene comunemente chiamata pressione sulla larghezza di banda della memoria. Aggiungere più unità aritmetiche non la risolve. Il sistema deve offrire una larghezza di banda utilizzabile sufficiente a mantenere tali unità occupate.

L'addestramento impone un traffico di memoria particolarmente esigente. Grandi gruppi di acceleratori scambiano ripetutamente parametri e risultati intermedi. La vicinanza fisica di HBM e la sua ampia interfaccia la rendono adatta a questo movimento costante.

L'inferenza presenta schemi diversi, ma non ha reso irrilevante la larghezza di banda. Un modello distribuito deve comunque accedere ai pesi. La generazione di ogni token può richiedere la lettura di quantità significative di dati del modello, in particolare nel servizio di batch di richieste più piccoli.

I carichi di lavoro a contesto lungo e agentici creano un ulteriore problema di memoria. Accumulano cache chiave-valore, che conservano le informazioni di attenzione dai token precedenti. Queste cache possono diventare abbastanza grandi da mettere sotto pressione la capacità disponibile accanto a un acceleratore.

CXL affronta questa pressione sulla capacità in modo più naturale rispetto al requisito di larghezza di banda. Può esporre memoria aggiuntiva e supportare la condivisione tra host o dispositivi. Tuttavia, spostare una cache utilizzata attivamente attraverso un collegamento più stretto può introdurre un nuovo collo di bottiglia.

La panoramica ufficiale di CXL descrive tre protocolli correlati. CXL.io gestisce il rilevamento e la gestione dei dispositivi. CXL.cache supporta l'accesso coerente alla memoria del processore. CXL.mem consente a un host di accedere alla memoria collegata a un dispositivo CXL.

Queste capacità supportano l'espansione, il pooling e la condivisione della memoria. Possono ridurre la capacità inutilizzata, quando un server non dispone di memoria mentre un altro possiede risorse non utilizzate. Possono inoltre aiutare gli operatori a configurare l'infrastruttura in base alle mutevoli esigenze dei carichi di lavoro.

Questa flessibilità operativa è preziosa. Tuttavia, risponde a una domanda diversa rispetto a HBM. CXL chiede come rendere accessibile più memoria. HBM chiede come far arrivare ogni secondo a un processore una quantità sufficiente di dati.

CXL 4.0 migliora la risposta. La specifica raddoppia la velocità di segnalazione da 64 a 128 gigatransfer al secondo e introduce porte aggregate. L'aggregazione può combinare le porte dei dispositivi per aumentare la larghezza di banda della connessione.

Il CXL Consortium afferma inoltre che lo standard più recente non aggiunge latenza di protocollo aumentando al contempo la velocità di segnalazione. Questa affermazione non significa che la memoria CXL remota abbia le stesse caratteristiche end-to-end di HBM accanto a un acceleratore.

Le prestazioni effettive includono il dispositivo di memoria, i controller, gli switch, la topologia, il posizionamento software e il modello di accesso del carico di lavoro. Uno standard più rapido può migliorare il collegamento senza eliminare ogni differenza nel sistema.

La specifica CXL 4.0 attenua quindi una critica, ma non cancella la distinzione architetturale. La larghezza di banda di CXL sta migliorando, mentre HBM continua a occupare il livello dalle prestazioni più elevate.

Questo spiega perché lo scetticismo riportato di OpenAI sia importante. OpenAI sta progettando infrastrutture per carichi di lavoro in cui l'utilizzo degli acceleratori influisce direttamente sulla capacità di servizio e sull'efficienza operativa. Il lento movimento dei dati diventa costoso quando lascia inattivi processori avanzati.

La posizione riportata di Intel ha un significato diverso. Intel ha contribuito a stabilire CXL e continua a supportare prodotti e dimostrazioni basati sullo standard. Una valutazione circoscritta da parte di un'architetta Intel non equivale quindi a liquidare CXL in sé.

Suggerisce invece che persino un importante sostenitore di CXL riconosce i limiti della narrativa della sostituzione. Intel può supportare la memoria CXL riconoscendo al tempo stesso che la memoria locale ad alta larghezza di banda svolge un'altra funzione.

La vera competizione è tra sostituzione e livelli gerarchici

CXL diventa più convincente quando viene trattata come un ulteriore livello di memoria, non come HBM più lenta.

Un'architettura a livelli colloca i dati in base alla frequenza di accesso e ai requisiti prestazionali. Le informazioni usate frequentemente restano in memoria veloce e scarsa. Le informazioni meno attive si spostano verso capacità maggiori e meno costose.

I processori si affidano a questo principio da decenni. Registri, cache, memoria principale e storage bilanciano velocità e capacità. I sistemi AI stanno ora estendendo questa gerarchia tra acceleratori, memoria host, memoria condivisa e storage flash.

La narrativa della sostituzione comprime questi livelli in un confronto fuorviante. Chiede se CXL possa eliminare HBM da un server AI. La domanda più utile chiede quali dati debbano rimanere in HBM in ogni fase di un carico di lavoro.

La posizione riportata di OpenAI lascia spazio allo storage dei dati meno utilizzati. Le informazioni di cui un modello ha raramente bisogno non giustificano sempre la permanenza nella scarsa HBM. CXL potrebbe mantenere accessibili tali informazioni senza collocarle su storage a stato solido.

La sfida è la previsione. Un sistema deve sapere quali informazioni diventeranno attive prima che un acceleratore le richieda. Un trasferimento tardivo può bloccare la generazione e annullare il vantaggio economico dell'uso di un livello più economico.

Qui il software consapevole del carico di lavoro diventa centrale. Il posizionamento dei dati, il prefetching, l'espulsione dalla cache e la pianificazione determinano se CXL estende la capacità utile o aggiunge semplicemente latenza.

I ricercatori di SK hynix hanno presentato un tentativo concreto nel giugno 2026. La loro architettura Inference Tiered Memory Expansion colloca memoria ibrida CXL tra la memoria host e lo storage flash.

Il progetto mira a un'infrastruttura di contesto condiviso per l'inferenza a contesto lungo. Utilizza moduli di memoria CXL di grado produttivo, unità a stato solido PCIe Gen5 e un prototipo FPGA. I ricercatori si sono concentrati sui pesi del modello e sulle cache di prefisso con schemi di accesso prevedibili.

La loro ricerca ITME ha riportato un miglioramento del throughput fino al 35,7 percento rispetto all'offloading CPU convenzionale. Il sistema ha utilizzato memoria CXL come livello intermedio indirizzabile a byte e ha spostato proattivamente le informazioni dallo storage.

Questo risultato non contraddice i dubbi riportati di OpenAI sulla sostituzione di HBM con CXL. ITME non presenta CXL come un sostituto immediato della HBM locale. Assegna a CXL un ruolo distinto tra memoria più veloce e storage più lento.

L'esperimento mira inoltre a capacità oltre i limiti della memoria host. Il suo valore deriva dall'evitare un accesso più lento allo storage e dal semplificare l'espansione remota, non dall'equiparare la larghezza di banda di HBM durante ogni operazione del modello.

Questa differenza è importante per interpretare le affermazioni dei fornitori. Un benchmark può mostrare che CXL migliora un sistema rispetto a una baseline basata su SSD. Non dimostra necessariamente che CXL equivalga a una configurazione basata esclusivamente su HBM.

CXL può offrire guadagni misurabili quando il confronto riflette il livello per cui è destinata. I ricercatori che hanno utilizzato moduli Micron CXL con processori Intel Xeon 6 hanno riportato un altro esempio nel 2024.

La loro configurazione combinava otto dispositivi CXL con dodici canali DDR5. Il software alternava le pagine tra i due tipi di memoria. I ricercatori hanno riportato una larghezza di banda in sola lettura superiore del 24 percento e una larghezza di banda mista di lettura e scrittura superiore fino al 39 percento.

Nei carichi di lavoro HPC e AI ad alte prestazioni testati, il miglioramento medio geometrico delle prestazioni è stato del 24 percento. Ancora una volta, il risultato ha misurato CXL come integrazione a un sistema di memoria CPU, non come sostituto di HBM per le GPU.

Questi studi supportano una tesi su CXL più circoscritta ma pratica. CXL può espandere la capacità, migliorare la larghezza di banda aggregata della memoria CPU e ridurre la dipendenza da storage più lento. Può inoltre supportare livelli di contesto condivisi quando i modelli di accesso consentono il prefetching.

Nessuno di questi vantaggi richiede che CXL superi HBM. Richiedono che gli architetti di sistema lo collochino dove latenza e larghezza di banda restano accettabili.

Samsung e SK Hynix affrontano pressioni da entrambe le direzioni

I fornitori di memoria devono proteggere i margini di HBM dimostrando al tempo stesso che i prodotti CXL aggiungono valore accanto alla loro memoria di punta.

Samsung Electronics e SK hynix occupano posizioni solide nella catena di fornitura HBM. La domanda continua di acceleratori offre a entrambe le aziende un motivo per investire in generazioni HBM più capienti e veloci.

I commenti riportati di OpenAI e Intel rafforzano questo mercato. Se CXL non può assumere il controllo della memoria del modello attiva, i fornitori di acceleratori continueranno a dipendere da HBM per i dati critici per le prestazioni.

Tuttavia, un ruolo stabile per HBM non implica un mercato statico. L'inferenza AI sta creando domanda per sistemi di memoria più diversificati. Capacità, latenza, consumo energetico, larghezza di banda e costo differiscono tra addestramento, inferenza interattiva, elaborazione batch e archiviazione del contesto.

Samsung e SK hynix hanno quindi incentivi a vendere prodotti su più livelli. Possono fornire HBM vicino agli acceleratori sviluppando al contempo moduli di memoria CXL per espansione e condivisione.

Questa strategia le protegge anche nel caso in cui la spesa infrastrutturale cambi direzione. I clienti alla ricerca di costi inferiori potrebbero ridurre l'HBM per sistema senza eliminarla. I fornitori di memoria potrebbero comunque partecipare attraverso DRAM collegata via CXL e altri livelli.

La ricerca ITME illustra questa possibilità. SK hynix non ha posizionato la memoria ibrida CXL come sostituto diretto di HBM. La sua architettura ha inserito un ulteriore livello in una gerarchia composta da HBM, DDR, memoria CXL e SSD.

Questo approccio trasforma una concorrenza apparente in espansione del portafoglio. Più livelli creano più decisioni di collocamento, ma anche prodotti e requisiti software aggiuntivi.

I fornitori cloud affrontano una pressione correlata. Gli acceleratori ricchi di HBM sono preziosi solo quando i clienti li utilizzano in modo efficiente. Capacità riservata, memoria inattiva e configurazioni sovradimensionate possono aumentare il costo effettivo dell'inferenza.

Il pooling CXL offre un possibile modo per allocare parte della memoria in modo più flessibile. Un pool condiviso può ridurre la capacità inutilizzata quando i carichi di lavoro hanno picchi differenti. Il vantaggio dipende da topologia, isolamento, supporto software e qualità del servizio prevedibile.

I progettisti di acceleratori affrontano il compromesso più difficile. Devono decidere quanta memoria locale integrare con ciascun chip. Troppa poca memoria limita modelli e contesto. Troppa aumenta la complessità del package e assegna capacità scarsa anche quando i carichi di lavoro non la utilizzano.

Un design stratificato credibile potrebbe consentire ai produttori di acceleratori di predisporre HBM per i dati attivi e spostare altrove le informazioni più fredde. Tuttavia, l'hardware necessita di una larghezza di banda di collegamento sufficiente e il software deve spostare i dati prima che diventino urgenti.

Nvidia, AMD, Google, Intel e i team che realizzano acceleratori personalizzati stanno tutti esplorando diversi equilibri tra memoria locale, networking e sistemi scale-out. Le loro architetture non dovrebbero essere confrontate solo in base alla capacità.

Un server che offre più memoria totale può comunque garantire prestazioni applicative peggiori. Il throughput effettivo dipende dalla frequenza con cui i processori accedono a ciascun livello e dal fatto che i trasferimenti si sovrappongano a calcoli utili.

Per questo l'adozione di CXL non produrrà un unico esito universale. Carichi di lavoro per database, analisi basate su CPU, model serving, addestramento e sistemi di retrieval presentano modelli di accesso diversi. La migliore gerarchia per un carico di lavoro può danneggiarne un altro.

Il successo più ampio di CXL potrebbe quindi verificarsi senza una spettacolare cifra di sostituzione di HBM. L'adozione potrebbe emergere attraverso moduli di espansione della memoria, server componibili, archivi del contesto e infrastrutture con minore traffico di storage.

Questo risultato deluderebbe chi si aspetta un concorrente diretto di HBM. Rappresenterebbe comunque un cambiamento importante nel modo in cui i server AI allocano la memoria.

Il verdetto riportato ha limiti importanti

Due commenti durante una tavola rotonda non possono decidere il futuro di CXL, perché standard, prodotti e carichi di lavoro AI sono ancora in evoluzione.

Il primo limite riguarda le evidenze. Le affermazioni più forti provengono da resoconti dei media su una tavola rotonda durante una conferenza. Nella copertura citata non erano disponibili registrazioni, trascrizioni, pacchetti di benchmark o una pubblicazione OpenAI corrispondente.

I lettori non dovrebbero interpretare i commenti come prova che ogni carico di lavoro OpenAI rifiuti CXL. Secondo quanto riportato, Morris ha descritto difficoltà nel trovare un uso pratico per l'esecuzione dei modelli, ma i confini di questa valutazione restano poco chiari.

L'affermazione potrebbe riferirsi agli attuali design degli acceleratori, al software attuale o a una particolare classe di modelli. Potrebbe non comprendere archiviazione del contesto, preelaborazione, retrieval, checkpointing o futuri sistemi disaggregati.

Anche la posizione di Intel richiede contesto. L'azienda sostiene lo sviluppo di CXL e dimostra modalità di memoria per i processori Xeon. La critica riportata riguarda la sostituzione di HBM, non l'utilità dell'espansione coerente della memoria.

Il secondo limite è il progresso tecnico. CXL 4.0 raddoppia la velocità di segnalazione dello standard e supporta porte aggregate. I prodotti che implementano tali capacità devono ancora essere convalidati su carichi di lavoro reali.

La larghezza di banda indicata dalle specifiche non è la larghezza di banda delle applicazioni. Gli ingegneri devono misurare throughput erogato, distribuzioni della latenza, contesa, consumo energetico e prestazioni in caso di guasti.

Il terzo limite riguarda il software. Il tiering della memoria funziona bene solo quando il sistema colloca i dati in modo intelligente. Una politica inefficace può spostare dati caldi in un livello lento o sprecare larghezza di banda trasferendo informazioni che non verranno utilizzate.

L'inferenza a contesto lungo potrebbe rendere questo problema più gestibile in alcuni casi. Le cache dei prefissi e i pesi dei modelli possono avere modelli di accesso prevedibili. Questa prevedibilità crea opportunità di prefetching e riuso.

Altri carichi di lavoro restano meno tolleranti. Accessi irregolari, richieste in rapido cambiamento o requisiti di latenza rigorosi possono rendere più difficile l'uso della memoria remota. Il throughput medio può inoltre nascondere gravi problemi di latenza in coda.

Il quarto limite è la baseline scelta per ciascuna affermazione. CXL compete spesso con l'accesso a DDR dell'host o a SSD, piuttosto che con HBM. Un risultato positivo rispetto allo storage non dimostra l'equivalenza con la memoria locale dell'acceleratore.

È possibile anche l'errore opposto. Dimostrare che CXL non può eguagliare HBM non prova che sia privo di valore economico. Un livello inferiore deve solo superare l'alternativa disponibile a quel livello.

Una valutazione utile deve quindi definire dati, carico di lavoro e baseline. Dovrebbe identificare quali informazioni risiedono in HBM, quali si spostano tramite CXL e quanto spesso i trasferimenti ritardano il calcolo.

Il consumo energetico merita un'attenzione analoga. Spostare dati attraverso un sistema consuma energia. Pool di memoria più grandi possono ridurre le costose operazioni di storage, ma switching e trasporto impongono anch'essi costi.

Affidabilità e isolamento sono importanti quando la memoria diventa condivisa. Gli operatori necessitano di gestione dei guasti prevedibile, controllo degli accessi, crittografia, osservabilità e garanzie di servizio. Questi requisiti operativi possono ritardare l'adozione dopo che l'hardware diventa disponibile.

Il CXL Consortium descrive miglioramenti di affidabilità, disponibilità e manutenibilità nella versione 4.0. Queste funzionalità rafforzano il caso infrastrutturale, ma le evidenze di produzione restano più importanti del linguaggio delle specifiche.

La conclusione corretta è quindi più circoscritta rispetto alla tesi del titolo. Le evidenze disponibili supportano lo scetticismo sulla sostituzione diretta di HBM da parte di CXL. Non giustificano la dichiarazione che CXL sia irrilevante per l'infrastruttura AI.

Tre segnali mostreranno dove si inserirà CXL

La prossima fase sarà decisa dalle misurazioni in produzione, dall'integrazione negli acceleratori e dalle evidenze che il tiering riduce i costi totali dell'inferenza.

Il primo segnale è costituito dalle evidenze di implementazione da hyperscaler e sviluppatori di modelli. OpenAI, Microsoft, Google, Meta, Amazon e altri operatori possono testare architetture di memoria a una scala non disponibile per la maggior parte dei ricercatori.

Le divulgazioni importanti separeranno i guadagni di capacità dalle prestazioni applicative. I risultati utili dovrebbero riportare throughput del modello, latenza, utilizzo degli acceleratori e quota di richieste che accedono alla memoria CXL.

Un'implementazione in produzione per contesto condiviso o pesi freddi rafforzerebbe la tesi del tiering. L'incapacità di andare oltre ruoli simili allo storage rafforzerebbe la valutazione OpenAI riportata.

Il secondo segnale è l'hardware che implementa la larghezza di banda CXL 4.0 e le porte aggregate. Il consorzio ha rilasciato CXL 4.0 nel novembre 2025, ma le specifiche precedono piattaforme ampiamente disponibili.

I sistemi in arrivo dovranno dimostrare quanta larghezza di banda del collegamento raggiunge le applicazioni. I fornitori devono inoltre mostrare che le configurazioni di switching e multi-dispositivo mantengono una latenza prevedibile sotto carico.

Risultati solidi indebolirebbero l'idea che CXL sia limitato allo storage freddo. Non stabilirebbero automaticamente la sostituzione di HBM, poiché HBM progredirà nello stesso periodo.

Il terzo segnale è la convalida indipendente di architetture come ITME. Il miglioramento di throughput riportato del 35,7 percento è promettente, ma proviene da uno specifico prototipo e da una specifica baseline.

Team indipendenti dovrebbero testare modelli diversi, lunghezze di contesto, modelli di richiesta e configurazioni di storage. Dovrebbero inoltre misurare latenza in coda, energia, overhead software e comportamento di ripristino.

Guadagni replicati dimostrerebbero che CXL occupa un utile livello intermedio per l'inferenza. Risultati scarsi al di fuori di carichi di lavoro prevedibili limiterebbero l'architettura a implementazioni specializzate.

Questi segnali chiariranno anche chi affronta la maggiore pressione. I fornitori HBM affrontano un rischio di sostituzione meno immediato se la larghezza di banda locale resta essenziale. Devono comunque offrire prodotti per ogni livello creato dall'inferenza.

I fornitori CXL devono smettere di commercializzare la capacità come se garantisse le prestazioni. Il loro argomento più forte deriverà da sistemi completi che collocano i dati secondo modelli di accesso misurabili.

Gli acquirenti di infrastrutture AI dovrebbero chiedere dove risiedono i dati durante ciascuna fase del modello. Dovrebbero anche chiedere cosa accade quando un oggetto presumibilmente freddo diventa improvvisamente caldo.

Il dibattito sulla sostituzione di HBM da parte di OpenAI CXL espone in definitiva una correzione utile. L'architettura della memoria non è una gara in cui un componente elimina ogni altro componente. È un problema di allocazione determinato da distanza, larghezza di banda, capacità e software.

I team che valutano queste affermazioni dovrebbero preservare i dettagli dei benchmark, le ipotesi sui carichi di lavoro e le decisioni architetturali in una base di conoscenza ingegneristica ricercabile. La prossima dimostrazione di un fornitore dovrebbe essere confrontata con tali ipotesi, non con uno slogan di sostituzione semplificato.

Seguite le prime implementazioni indipendenti di CXL 4.0, i sistemi di memoria del contesto in produzione e i dati sui costi a livello di carico di lavoro. Questi risultati riveleranno se CXL diventerà un livello essenziale della memoria AI o resterà un percorso di espansione specializzato.