zHBM di Samsung punta sul packaging 3D per superare il muro della memoria nell'AI

Samsung ha sfruttato la sua presenza del 4 agosto a FMS 2026 per presentare zHBM, un'architettura proposta che colloca memoria impilata sopra un acceleratore AI. Il progetto segna un netto distacco dal packaging affiancato utilizzato dagli attuali sistemi di memoria ad alta larghezza di banda. Offre inoltre al titolo di Google News un conflitto che merita di essere esaminato: Samsung punta sull'integrazione verticale per affrontare il muro della memoria nell'AI.

L'idea è semplice. Collegamenti più brevi tra memoria e calcolo dovrebbero trasferire più dati con minore consumo energetico e latenza ridotta. Tuttavia, impilare la memoria sopra un processore concentra anche il calore, complica la produzione e lega il successo del prodotto alle rese del packaging.

Questo rende zHBM più di un'altra voce nella roadmap delle memorie di Samsung. È una scommessa sul fatto che la geometria del packaging possa offrire miglioramenti che la scalabilità HBM convenzionale faticherà a sostenere. Spinge inoltre SK hynix, Micron, i progettisti di acceleratori e i partner di packaging a decidere fino a che punto debba spingersi l'integrazione verticale.

L'HBM attuale impila già die DRAM e li collega tramite percorsi elettrici verticali. Tuttavia, questi stack di memoria si trovano di solito accanto a una GPU o a un acceleratore su un interposer condiviso. La nuova proposta di Samsung sposta lo stack sull'acceleratore stesso, rendendo la distanza la variabile competitiva centrale.

Il muro della memoria descrive il divario crescente tra la velocità dei processori e la capacità del sistema di fornire dati. Unità aritmetiche più rapide offrono valore limitato quando devono attendere pesi del modello, attivazioni o contesto memorizzato nella cache. La risposta di Samsung consiste nell'avvicinare fisicamente la memoria, ma la prossimità crea un difficile compromesso tra aspetti termici e produzione.

Il titolo di Google News nasconde un cambiamento architetturale più profondo

Samsung sta proponendo un cambiamento nella topologia del package, non semplicemente un'altra generazione più veloce di HBM.

Samsung ha presentato zHBM durante FMS 2026 a Santa Clara, in California. Il programma della conferenza pubblicato per l'evento ha inquadrato il keynote di Samsung attorno a infrastrutture AI incentrate sulla memoria, contesti in crescita e limiti dei sistemi incentrati sul calcolo.

La nuova architettura colloca la memoria verticalmente sopra un acceleratore AI. I package HBM convenzionali collegano diversi die DRAM impilati a un processore attraverso un interposer, un substrato che trasporta ampi collegamenti elettrici tra componenti vicini. zHBM trasformerebbe questa relazione orizzontale in una verticale.

La distinzione è importante perché ogni millimetro di interconnessione aggiunge un costo elettrico. I segnali consumano energia mentre percorrono il cablaggio del package, mentre percorsi più lunghi aumentano la latenza e limitano la densità con cui possono essere disposte le connessioni. Il bonding verticale può accorciare questi percorsi e potenzialmente aumentare la densità delle connessioni.

Le prime notizie descrivono zHBM come basata su strutture di memoria a quattro o otto strati. Samsung non ha ancora fornito pubblicamente una specifica completa relativa a capacità, larghezza di banda, consumi, dimensioni o tempistiche produttive. Le informazioni disponibili consentono quindi un'analisi architetturale, non un verdetto sulle prestazioni.

Anche il nome richiede cautela. zHBM non è un nuovo standard industriale paragonabile a una generazione HBM JEDEC finalizzata. È l'etichetta di Samsung per un'architettura di memoria proposta e integrata verticalmente. I clienti avrebbero comunque bisogno di interfacce, strumenti di progettazione, dati di affidabilità e processi produttivi prima di poterla adottare.

Samsung ha introdotto il concetto insieme ad altre tecnologie di memoria rivolte ai data center AI. Questo portafoglio più ampio riflette un importante cambiamento nella progettazione dell'infrastruttura. I sistemi di addestramento e inferenza necessitano ora di diversi livelli di memoria, ciascuno in equilibrio tra larghezza di banda, capacità, latenza, persistenza e costo.

L'HBM serve il livello più rapido vicino all'acceleratore. La DRAM convenzionale espande la memoria di lavoro più lontano dal chip. La memoria flash NAND offre capacità molto maggiore, ma a velocità inferiori. La sfida consiste nel mantenere occupate le costose unità di calcolo mentre i dati si spostano tra questi livelli.

La copertura originale di zHBM ha colto l'ambizione, ma il vero sviluppo è più profondo. Samsung sostiene che i progressi futuri dipenderanno da come memoria e logica vengono assemblate, non solo da come ciascun componente viene fabbricato.

Questo approccio affianca il packaging avanzato alla scalabilità dei transistor come principale strumento di progettazione dei sistemi. Alza inoltre la posta in gioco per Samsung, perché l'azienda fornisce memoria, gestisce fonderie e sviluppa tecnologia di packaging. zHBM verifica se queste attività possano funzionare come un'unica piattaforma coordinata.

Perché i sistemi AI continuano a scontrarsi con il muro della memoria

Il collo di bottiglia emerge quando un acceleratore può eseguire calcoli più rapidamente di quanto la memoria riesca a fornire i dati richiesti.

I moderni chip AI contengono grandi array di unità aritmetiche. Le loro prestazioni di punta sono spesso espresse in operazioni al secondo, ma quel valore presuppone un flusso costante di dati utili. Quando il flusso si interrompe, la costosa capacità di calcolo resta inutilizzata.

Uno studio pubblicato sul muro della memoria nell'AI ha rilevato che le prestazioni di calcolo di picco dei server sono cresciute più rapidamente della larghezza di banda della DRAM e delle interconnessioni nell'arco di due decenni. Gli autori hanno misurato tassi di crescita pari a 3,0 volte ogni due anni per le prestazioni di calcolo di picco, rispetto a 1,6 volte per la larghezza di banda della DRAM.

La larghezza di banda delle interconnessioni è cresciuta ancora più lentamente, a 1,4 volte ogni due anni nello studio. Questi dati descrivono tendenze storiche, non una previsione per ogni sistema. Tuttavia, spiegano perché aggiungere soltanto capacità aritmetica non possa risolvere i limiti prestazionali dell'AI.

Il problema diventa particolarmente evidente durante l'inferenza dell'AI generativa. Un modello decoder produce token in sequenza e legge ripetutamente i pesi del modello dalla memoria. I carichi di lavoro a basso batch possono dedicare più tempo allo spostamento di quei pesi che all'esecuzione dei calcoli.

Contesti più lunghi aggiungono un ulteriore onere. Un sistema AI deve conservare le informazioni sui token precedenti in una cache chiave-valore, che memorizza dati intermedi di attenzione per il riutilizzo. Contesti più ampi e un maggior numero di utenti simultanei espandono questa cache, aumentando sia i requisiti di capacità sia quelli di larghezza di banda.

I sistemi agentici intensificano la pressione. Un agente può mantenere uno stato, chiamare diversi modelli, recuperare documenti e tenere attivi più flussi di lavoro. Ogni comportamento genera maggiori spostamenti tra memoria, archiviazione, acceleratori e reti.

L'HBM affronta una parte di questo problema tramite un'interfaccia ampia e DRAM impilata verticalmente. Le specifiche commerciali HBM4 di Samsung illustrano il percorso attuale. L'azienda afferma che la sua HBM4 a 12 strati raggiunge 11,7 gigabit al secondo per pin e fino a 3,3 terabyte al secondo per stack.

Samsung offre questo prodotto in capacità da 24GB a 36GB. Ha inoltre descritto una futura opzione a 16 strati da 48GB. Si tratta comunque di progressi significativi, ma una maggiore larghezza di banda non elimina ogni distanza fisica all'interno del package.

Uno stack HBM tradizionale comunica ancora lateralmente con l'acceleratore. Un interposer fornisce migliaia di connessioni, ma il percorso occupa area del package e consuma energia. I sistemi più grandi possono aggiungere altri stack HBM, anche se le limitazioni di dimensioni del package, instradamento e termiche finiscono per intervenire.

zHBM affronta quella distanza residua. Se la memoria si trova direttamente sopra il calcolo, le connessioni verticali possono diventare più corte e dense dei collegamenti laterali. Il processore può accedere a più dati senza trasmettere segnali attraverso un ampio interposer.

Questo non significa che zHBM elimini l'intera gerarchia della memoria. I requisiti di capacità continueranno a superare la quantità di memoria premium che può essere collocata vicino a un acceleratore. I sistemi dipenderanno ancora da DRAM esterna, archiviazione flash e reti ad alta velocità.

La proposta punta invece alla parte della gerarchia con il valore più elevato. Mantenere pesi e dati consultati frequentemente vicino al calcolo può aumentare l'utilizzo dell'acceleratore. Può inoltre ridurre l'energia spesa per spostare ogni bit, un vincolo sempre più importante nei data center ad alta densità.

Per gli operatori cloud, l'utilizzo incide direttamente sull'economia. Un acceleratore in attesa della memoria continua a consumare spazio, raffreddamento, rete e capitale. Migliorare la fornitura dei dati può quindi contare quanto aggiungere prestazioni di calcolo nominali.

Gli sviluppatori sperimentano indirettamente lo stesso vincolo. Si manifesta in batch più piccoli, contesto limitato, latenza più elevata o partizionamento del modello più complesso. Hardware migliore non può eliminare ogni compromesso software, ma può cambiare quali compromessi siano necessari.

Samsung trasforma il packaging nella sua principale arma competitiva

La competizione principale non è più Samsung contro un singolo fornitore di memoria; è il packaging verticale contro il layout HBM affiancato.

La posizione di Samsung le offre ragioni per promuovere questa competizione. Produce DRAM, NAND, processi logici e package avanzati. Un progetto integrato verticalmente consente all'azienda di coordinare decisioni tra componenti che altri fornitori potrebbero dover negoziare con partner.

La sua HBM4 riflette già questa strategia. Samsung fabbrica il die base logico del prodotto con un processo a 4 nanometri e utilizza la propria tecnologia DRAM 1c per i die di memoria. L'azienda afferma che il coordinamento tra le sue attività di memoria e fonderia supporta prestazioni e produzione.

Al GTC 2026, Samsung ha inoltre presentato il hybrid copper bonding, un metodo di packaging che unisce i die tramite connessioni dense in rame. Il suo riepilogo tecnologico del GTC afferma che l'approccio migliora la resistenza termica del 20 percento per il prodotto mostrato in quell'occasione.

Il hybrid bonding è rilevante per zHBM perché le connessioni verticali fini richiedono un'unione dei die precisa e affidabile. I micro-bump tradizionali occupano spazio tra i die e limitano la densità delle connessioni. Il bonding diretto in rame può ridurre la spaziatura, accorciare i percorsi elettrici e creare più collegamenti verticali.

Tuttavia, integrare più componenti in un'unica struttura aumenta anche la dipendenza tra essi. Un difetto nella memoria, nell'acceleratore o nel bonding può influire sull'intero package assemblato. I produttori devono identificare i die funzionanti prima del bonding e mantenere l'allineamento su un gran numero di connessioni.

SK hynix e Micron restano importanti riferimenti competitivi. Entrambe vendono HBM e investono in stacking avanzato, gestione termica e progetti specifici per i clienti. Non devono copiare l'etichetta zHBM per mettere in discussione la tesi di Samsung.

Possono rispondere migliorando la larghezza di banda dell'HBM convenzionale, aumentando l'altezza dello stack, perfezionando i die base o sviluppando una propria integrazione logica più stretta. Le aziende di acceleratori possono anche riprogettare i package per supportare sistemi HBM laterali più grandi senza collocare la memoria direttamente sopra regioni di calcolo calde.

Il mercato potrebbe quindi supportare diverse configurazioni. Gli acceleratori per l'addestramento privilegiano la massima larghezza di banda e interconnessioni su larga scala. I chip per l'inferenza possono enfatizzare capacità, latenza o efficienza energetica. Gli acceleratori personalizzati possono ottimizzare la memoria attorno a ipotesi di carico di lavoro più ristrette.

Il rapporto di Samsung con i progettisti di acceleratori determinerà se zHBM diventerà un prodotto o resterà un concetto da roadmap. I fornitori di memoria non possono imporre da soli un'architettura di packaging. Processore, interfaccia di memoria, sistema di raffreddamento, alimentazione e stack software devono essere progettati insieme.

Questa esigenza aumenta l'importanza della HBM specifica per il cliente. Un'interfaccia standard supporta un mercato ampio, mentre i design personalizzati ottimizzano il comportamento della memoria per un singolo acceleratore. zHBM sembra più vicina all'estremità personalizzata perché lo stacking fisico vincola le decisioni sulla memoria alla progettazione del processore.

Samsung ha rafforzato queste relazioni con i clienti. A luglio ha annunciato un'espansione della collaborazione con Broadcom che comprende memoria, servizi di fonderia e packaging avanzato. Le aziende hanno citato specificamente l'integrazione 2.3D e 2.5D per chip AI e di networking.

L'accordo non conferma che Broadcom adotterà zHBM. Mostra però perché Samsung vuole rendere il packaging un fattore nella decisione d'acquisto. L'azienda può offrire diversi percorsi di integrazione mentre sviluppa un'opzione verticale più aggressiva.

La strategia mette inoltre sotto pressione i fornitori indipendenti di packaging e le fonderie. Se i clienti degli acceleratori preferiscono un unico fornitore per memoria, logica e assemblaggio, i produttori verticalmente integrati acquisiscono maggiore leva. Se i clienti preferiscono componenti separati, ciascuno ai vertici della categoria, Samsung deve dimostrare che l'integrazione crea valore sufficiente a compensare una minore flessibilità.

I lettori di Google News potrebbero vedere una semplice corsa tra Samsung, SK hynix e Micron. La competizione più rilevante riguarda dove dovrebbero collocarsi i confini del sistema. zHBM propone di eliminare il confine tra package della memoria e package del processore.

Calore e resa separano zHBM dalla produzione

Spostare la memoria sopra un acceleratore accorcia il percorso dei dati, ma colloca DRAM sensibile alla temperatura vicino a uno dei componenti più caldi del package.

Un acceleratore AI converte una quantità significativa di energia elettrica in calore. I package convenzionali distribuiscono componenti ad alta potenza su un interposer e li collegano a un sistema di rimozione del calore. Lo stacking verticale riduce la superficie disponibile per raffreddare ciascun livello.

Anche la DRAM opera entro limiti termici. Temperature più elevate possono influire su ritenzione, affidabilità e prestazioni. Un package che intrappola il calore attorno alla memoria potrebbe vanificare i vantaggi elettrici creati da connessioni più corte.

Samsung deve quindi definire un percorso termico credibile. Il calore potrebbe dover viaggiare attraverso strutture verticali dedicate, attorno alle regioni di memoria o verso uno spreader riprogettato. L'apparecchiatura di raffreddamento dovrà poi rimuovere tale calore dall'intero package.

L'alimentazione aggiunge un altro vincolo. Acceleratore e memoria richiedono tensioni stabili a correnti elevate. L'integrazione verticale aumenta la densità di instradamento, mentre l'espansione termica può sottoporre a stress meccanico i legami e i die sottili.

La resa del packaging crea un rischio economico distinto. Combinare diversi die di valore produce un package il cui costo dipende dal corretto funzionamento congiunto di ogni componente. Anche rese individuali elevate possono tradursi in una resa assemblata inferiore quando sono coinvolti molti passaggi di bonding.

La riparabilità è limitata dopo il bonding diretto. Un componente convenzionale guasto può talvolta essere isolato prima nell'assemblaggio. Uno stack profondamente integrato offre meno opportunità di sostituire un singolo elemento difettoso senza scartare più valore.

Samsung ha esperienza con questi problemi. I suoi prodotti HBM usano già through-silicon vias, connessioni elettriche verticali che attraversano i die di silicio. L'azienda ha sviluppato il packaging TSV a 12 strati anni prima della comparsa di zHBM.

Tuttavia, impilare die DRAM non equivale a collocare memoria sopra un'unità di calcolo attiva. Densità di potenza, dimensioni dei die, materiali e gradienti termici differiscono. La precedente esperienza con HBM riduce l'incertezza, ma non elimina la necessità di nuove validazioni.

La discussione pubblica di Samsung su zHBM non ha fornito confronti verificati rispetto a HBM4 o HBM4E. Non ha divulgato resa produttiva, larghezza di banda sostenuta, energia misurata per bit o prestazioni a livello di acceleratore. Queste omissioni sono normali per un concetto iniziale, ma limitano conclusioni sicure.

L'interpretazione più prudente è che Samsung abbia mostrato una direzione. Non ha ancora dimostrato che zHBM offra una migliore economia complessiva del sistema in condizioni di produzione. Un package da laboratorio e un componente qualificato per data center affrontano standard diversi.

I test di affidabilità dovranno coprire ripetute variazioni di temperatura, lunghi periodi sotto carico, integrità dei bond e tassi di errore della memoria. I clienti vorranno inoltre prestazioni prevedibili su molti package, non soltanto risultati favorevoli da campioni selezionati.

Il software introduce un'altra incertezza. Le applicazioni non beneficiano automaticamente di un nuovo layout fisico. Compilatori, runtime e framework per il serving dei modelli devono collocare i dati in modo efficace tra i livelli di memoria disponibili.

Un livello zHBM piccolo e veloce potrebbe operare come una cache near-compute ampliata. Un'implementazione più grande potrebbe contenere direttamente i pesi del modello o i dati della cache chiave-valore. Ogni utilizzo richiede politiche differenti per capacità, larghezza di banda e allocazione.

I progettisti di sistemi devono inoltre confrontare zHBM con le alternative. Stack HBM più convenzionali potrebbero offrire larghezza di banda sufficiente con un rischio produttivo inferiore. Compressione, quantizzazione, sparsità del modello e pianificazione migliorata possono ridurre il traffico di memoria senza modificare la geometria del package.

La flash ad alta larghezza di banda introduce un'altra strada. Scambia il comportamento della classe DRAM con maggiore capacità e persistenza. Questo la rende interessante per alcuni carichi di inferenza, sebbene non sostituisca il livello di memoria più veloce.

Il risultato non è una competizione in cui il vincitore prende tutto. I sistemi AI probabilmente combineranno diverse tecniche. zHBM si guadagnerà un posto solo se la sua integrazione aggiuntiva offrirà vantaggi misurabili dopo aver incluso i costi di raffreddamento, resa e software.

Le affermazioni di Samsung dovrebbero quindi essere lette come obiettivi ingegneristici. Il concetto ha una solida motivazione fisica, ma l'azienda non ha ancora stabilito in modo indipendente la prontezza commerciale. Il divario di verifica è il rischio centrale, non un motivo per liquidare l'architettura.

Cosa osservare dopo la presentazione di zHBM da parte di Samsung

Tre segnali mostreranno se zHBM sta diventando infrastruttura o se resta un convincente concetto da conferenza.

Il primo segnale è una divulgazione tecnica completa. Samsung deve pubblicare capacità, larghezza di banda, densità dell'interfaccia, potenza e misurazioni termiche per un package rappresentativo. I confronti dovrebbero usare lo stesso carico di lavoro e la stessa classe di acceleratore per zHBM e HBM convenzionale.

L'energia per bit trasferito sarà particolarmente importante. Connessioni più corte dovrebbero ridurre i costi di movimentazione, ma il raffreddamento e l'overhead del package possono compensare parte di questo vantaggio. I risultati sostenuti contano più delle brevi misurazioni di picco.

Un diagramma dettagliato del package chiarirebbe anche il ruolo previsto di zHBM. Dovrebbe mostrare se la memoria copre l'acceleratore, occupa regioni selezionate o utilizza strutture termiche dedicate. Questa geometria determina sia le prestazioni sia la producibilità.

Il secondo segnale è la qualificazione da parte dei clienti. Un progettista di acceleratori deve testare il package con carichi di lavoro reali e requisiti di produzione. Un partner di valutazione nominato avrebbe più peso di un'altra dimostrazione interna.

La qualificazione dimostrerebbe che zHBM è andata oltre la roadmap di un fornitore di memoria. Rivelerebbe inoltre quale mercato valorizza per primo il design. Gli acceleratori personalizzati per l'inferenza potrebbero accettare un'integrazione più stretta prima delle GPU general-purpose.

La roadmap HBM 2026 di Samsung offre un confronto utile. L'azienda ha portato HBM4 nella produzione di massa e ha dichiarato che i campioni di HBM4E sarebbero seguiti più avanti nell'anno. Traguardi simili per zHBM includerebbero campioni ingegneristici, test dei clienti e una finestra di produzione definita.

Il terzo segnale è la risposta competitiva. SK hynix, Micron, TSMC e i principali fornitori di acceleratori renderanno noti i propri piani per memoria e packaging durante conferenze e lanci di prodotto. Le loro scelte metteranno alla prova l'affermazione di Samsung secondo cui il posizionamento verticale rappresenta il prossimo passo necessario.

L'adozione da parte di un rivale di un layout simile, con memoria sopra la logica, rafforzerebbe la tesi architetturale, anche se Samsung non ottenesse il primo contratto. Una preferenza diffusa per sistemi HBM laterali più grandi la indebolirebbe.

I design termici meritano uguale attenzione. Samsung e i suoi concorrenti stanno già trattando la rimozione del calore come un problema di memoria di primo ordine. Qualsiasi futuro aggiornamento su zHBM privo di prove di raffreddamento a livello di package dovrebbe essere valutato con cautela.

L'attività di standardizzazione fornirà un ulteriore indizio all'interno del segnale competitivo. Un design proprietario può raggiungere un cliente personalizzato, ma un'adozione più ampia trae vantaggio da interfacce comuni e pratiche di test condivise. La partecipazione dei fornitori di acceleratori conterebbe più del branding.

Per sviluppatori e acquirenti enterprise, la lezione immediata non è pianificare attorno a hardware zHBM che non ha ancora una data di consegna. Il messaggio utile riguarda i colli di bottiglia del sistema. La velocità dei modelli dipende sempre più dal movimento dei dati, dalla capacità di memoria e dalla forma del carico di lavoro.

I team infrastrutturali dovrebbero misurare l'utilizzo degli acceleratori, la pressione sulla larghezza di banda della memoria e la crescita della cache prima di presumere che più calcolo risolva la latenza. Dovrebbero inoltre esaminare come quantizzazione, batching e collocazione dei modelli modifichino tali misurazioni.

Le applicazioni AI ad alta intensità di conoscenza rendono concreto questo problema. I sistemi che elaborano lunghe raccolte di documenti o mantengono un contesto di lavoro esteso esercitano pressione sull'intera gerarchia della memoria. La risposta hardware influenza quanta parte del contesto possa rimanere vicina al calcolo e con quale rapidità le applicazioni possano recuperarla.

Google News ha portato in primo piano la proposta di packaging 3D di Samsung, ma ora devono essere le prove di prodotto a sostenere la storia. Osservate specifiche misurate, un partner di qualificazione nominato e una risposta chiara dalle architetture di memoria concorrenti.

Se Samsung produrrà tutti e tre, zHBM apparirà come una transizione credibile dai package HBM laterali a sistemi AI verticalmente integrati. Se le divulgazioni resteranno concettuali, la HBM convenzionale manterrà il proprio vantaggio in rese note, interfacce consolidate e capacità distribuibile.

Il prossimo annuncio dovrebbe rispondere a una domanda pratica: Samsung può accorciare il percorso della memoria senza creare un problema termico e produttivo più grande? Questa risposta, non il nome zHBM, determinerà se l'architettura cambierà l'infrastruttura AI.