Samsung propone una strategia di memoria full-stack per i data center AI

Samsung ha utilizzato la sua più recente vetrina dedicata a memoria e storage per sostenere una tesi più ampia: i futuri data center AI avranno bisogno di hardware coordinato, non di un singolo chip più veloce. L’evento è emerso attraverso Google News, ma il conflitto importante si trova più in profondità nel rack del server. Samsung vuole che i clienti acquistino una gerarchia integrata che abbraccia la memoria degli acceleratori, la memoria per server espandibile e lo storage enterprise.

Questa proposta contrappone Samsung a SK hynix, il fornitore che ha costruito un vantaggio iniziale nella memoria ad alta larghezza di banda per gli acceleratori AI. Samsung non risponde a questa pressione solo con HBM. Sta presentando HBM4, moduli server a basso consumo, prodotti Compute Express Link e unità a stato solido PCIe 6.0 come parti di un’unica architettura.

L’approccio ha senso dal punto di vista tecnico perché un acceleratore AI raramente lavora in isolamento. I sistemi di addestramento e inferenza spostano costantemente pesi dei modelli, prompt, contesto memorizzato nella cache e risultati intermedi tra diversi livelli hardware. Samsung deve però ancora dimostrare che riunire questi livelli in un unico portafoglio produca sistemi distribuiti migliori, e non soltanto un’esposizione fieristica più completa.

Il titolo di Google News nasconde una strategia Samsung più ampia

Samsung sta vendendo una gerarchia per data center AI, non una raccolta di chip di memoria scollegati tra loro.

L’articolo originale su Google News descrive Samsung mentre mostra prodotti avanzati di memoria e storage per i futuri data center AI. Questa sintesi è accurata, ma sottostima l’argomentazione strategica. Samsung vuole fornire diversi punti lungo il percorso che i dati seguono prima, durante e dopo l’elaborazione dell’acceleratore.

Nel livello più vicino si trova la memoria ad alta larghezza di banda, o HBM, che colloca DRAM impilata accanto a un acceleratore per offrire un throughput di dati molto elevato. Samsung ha avviato le spedizioni commerciali di HBM4 nel febbraio 2026. L’azienda afferma che la sua implementazione raggiunge 11,7 gigabit al secondo per pin e 3,3 terabyte al secondo di larghezza di banda complessiva.

Samsung ha progettato HBM4 con la sua DRAM di sesta generazione nella classe dei 10 nanometri e un die base logico a 4 nanometri. Il die base gestisce la comunicazione tra la memoria impilata e il package del processore. Offre a Samsung un punto in cui adattare interfacce e comportamento energetico per specifici clienti di acceleratori.

L’azienda offre stack HBM4 con capacità comprese tra 24GB e 36GB. Prevede inoltre una versione a 16 livelli che raggiunge 48GB. Questi numeri contano perché gli operatori di acceleratori hanno bisogno sia di larghezza di banda sia di capacità man mano che i modelli crescono.

Samsung è già passata alla fase successiva. Al GTC 2026 ha mostrato HBM4E, una generazione potenziata pensata per aumentare la larghezza di banda prima che il settore arrivi a HBM5. Secondo la roadmap HBM4E di Samsung, il prodotto punta a raggiungere 16 gigabit al secondo per pin e 4 terabyte al secondo di larghezza di banda.

Più lontano dal processore, Samsung sta posizionando SOCAMM2 come livello di memoria per server a minore consumo. SOCAMM2 utilizza la tecnologia LPDDR, nota soprattutto per i dispositivi mobili, in un modulo server compatto. Mira a offrire più capacità di HBM senza ereditare il profilo energetico dei moduli DRAM per server convenzionali.

Samsung dispone anche di prodotti di memoria CXL. Compute Express Link, o CXL, è un’interconnessione che consente ai processori di condividere ed espandere la memoria attraverso una connessione coerente. Può offrire ai server accesso a capacità aggregate oltre la memoria collegata direttamente a ciascun processore.

Al livello dello storage si trova l’SSD enterprise PM1763. Utilizza PCIe 6.0, l’ultima generazione dell’interfaccia che collega i dispositivi di storage ai processori dei server. Samsung ha avviato la produzione di massa a luglio, dopo aver precedentemente mostrato l’unità in eventi di settore.

Questa gamma spiega perché la vetrina merita più attenzione di una normale rassegna di prodotti. Samsung sostiene che la prossima competizione infrastrutturale riguarderà l’intero percorso seguito dai dati AI. Quel percorso inizia con lo storage persistente e termina accanto all’acceleratore.

L’hardware resta suddiviso in prodotti con velocità, capacità, limiti di resistenza e costi diversi. L’opportunità di Samsung è coordinare questi prodotti. La sua sfida consiste nel dimostrare che i clienti ottengono abbastanza da questo coordinamento da preferire un unico fornitore su più livelli.

Perché i sistemi AI hanno bisogno di più di un HBM più veloce

HBM può alimentare rapidamente un acceleratore, ma non può contenere economicamente ogni modello, prompt e risposta memorizzata nella cache di cui ha bisogno un servizio AI.

HBM riceve gran parte dell’attenzione nell’hardware AI perché le prestazioni degli acceleratori dipendono dalla larghezza di banda della memoria. Un processore può contenere migliaia di unità di calcolo, ma tali unità realizzano poco mentre attendono i dati. Collocare memoria impilata vicino al processore riduce questa attesa.

Tuttavia, la capacità HBM è vincolata dall’area del package, dai limiti termici, dalla complessità produttiva e dal costo. Gli operatori mantengono quindi in questo livello solo le informazioni più attive. I dati meno attivi si spostano nella memoria di sistema, nella capacità collegata via CXL o negli SSD.

L’inferenza rende questa gerarchia particolarmente importante. Un server di inferenza genera risposte a partire da un modello già addestrato. Deve conservare i pesi del modello monitorando al contempo il contesto operativo associato alle richieste attive.

Questo contesto operativo viene spesso archiviato in una cache chiave-valore. Una KV cache conserva dati di attenzione intermedi affinché il modello non ricalcoli ogni token precedente per ciascuna nuova risposta. Conversazioni più lunghe e un maggior numero di utenti simultanei espandono notevolmente questa cache.

Un server può riservare la costosa HBM ai calcoli attivi, spostando altrove le voci di cache meno recenti. La DRAM di sistema offre maggiore capacità, mentre CXL può collegare pool di memoria aggiuntivi. Gli SSD forniscono capacità persistente molto più elevata, anche se operano con una latenza maggiore.

La questione pratica non è se un livello possa sostituirne un altro. È se hardware e software possano spostare i dati tra di essi senza lasciare inattivi gli acceleratori. La proposta integrata di Samsung dipende dal fatto che questo spostamento diventi un problema di progettazione primario.

Il suo PM1763 fornisce un esempio concreto. L’unità è disponibile nelle configurazioni da 4TB, 8TB e 16TB. La versione da 16TB raggiunge velocità di lettura sequenziale di 28.400 megabyte al secondo e di scrittura di 21.900 megabyte al secondo, secondo le specifiche del PM1763 di Samsung.

Samsung afferma che tali prestazioni sono più del doppio rispetto al precedente PM1753. Afferma inoltre che l’unità può trasferire un modello linguistico di grandi dimensioni da 40GB in circa 1,4 secondi. Questo confronto illustra il carico di lavoro previsto, anche se una distribuzione reale comporta più di un trasferimento sequenziale di file.

L’unità combina V-NAND di nona generazione con un controller a 4 nanometri di nuova concezione. V-NAND impila verticalmente le celle flash per aumentare la densità. Il controller gestisce il posizionamento dei dati, la correzione degli errori, la comunicazione e altre operazioni all’interno dell’SSD.

Samsung afferma che PM1763 migliora l’efficienza energetica di oltre 1,8 volte rispetto al predecessore. Supporta inoltre il raffreddamento a liquido direct-to-chip, che porta il refrigerante vicino ai componenti che producono calore. Questa caratteristica conta perché un dispositivo di storage non può sostenere la massima velocità se i limiti termici lo costringono a rallentare.

Queste specifiche non trasformano un SSD in HBM. La differenza di latenza rimane sostanziale e il software deve prevedere quali dati debbano essere spostati verso l’alto. Tuttavia, uno storage più veloce amplia la gamma di carichi di lavoro che possono tollerare l’offloading.

Ciò può influire sui sistemi di retrieval, sul caricamento dei modelli, sul recupero dei checkpoint e sulla gestione della KV cache. Un servizio di retrieval-augmented generation, per esempio, cerca informazioni archiviate prima di chiedere a un modello di comporre una risposta. Le prestazioni dello storage possono influire sulla rapidità con cui il sistema recupera documenti, vettori o contesto memorizzato nella cache.

Samsung sta quindi collegando diversi prodotti attorno a un problema di sistemi riconoscibile. Gli acceleratori hanno bisogno che i dati siano forniti alla velocità e alla temperatura giuste. Aumentare soltanto il picco di calcolo lascia irrisolto questo problema.

Il vero avversario di Samsung è il vantaggio di SK hynix nell’HBM

Samsung deve trasformare l’ampiezza produttiva in successi presso i clienti prima che SK hynix converta la propria posizione nell’HBM in un’architettura di memoria più ampia.

SK hynix è diventata un fornitore centrale durante la prima ondata dell’infrastruttura per l’AI generativa. La sua posizione nell’HBM le ha dato visibilità presso le aziende di acceleratori e gli operatori hyperscale. Samsung, nonostante la sua scala nella memoria convenzionale, ha dovuto recuperare da una posizione più debole in HBM3E.

HBM4 offre a Samsung un altro punto di ingresso. Lo standard aggiunge un die base logico più sofisticato e amplia le opportunità di personalizzazione. Questi cambiamenti premiano le aziende capaci di combinare produzione di DRAM, fabbricazione logica, packaging e progettazione specifica per il cliente.

Samsung opera in tutte queste attività. Questa integrazione verticale la distingue dai fornitori di memoria che dipendono maggiormente da fonderie esterne per i componenti logici. Crea inoltre un rischio di esecuzione, poiché ogni operazione interna deve garantire resa, prestazioni e tempistiche accettabili.

La collaborazione di Samsung con AMD mostra come intenda usare questa integrazione. Le aziende hanno dichiarato che Samsung sarà il principale fornitore di HBM4 per l’acceleratore Instinct MI455X di AMD. Samsung fornirà inoltre memoria DDR5 per i processori server Venice di AMD e i sistemi Helios rack-scale attraverso la loro partnership sulla memoria AI.

Questo è più di una vittoria in uno slot HBM. Consente a Samsung di partecipare a diversi livelli di un’unica piattaforma. Una distribuzione di successo sosterrebbe la sua tesi secondo cui i clienti beneficiano di prodotti di memoria coordinati.

Samsung sta applicando una strategia simile attorno ai sistemi Nvidia. La sua esposizione al GTC includeva HBM4, HBM4E, SOCAMM2, PM1763 e altri prodotti SSD. La gamma ha collegato il portafoglio di Samsung al passaggio di Nvidia dagli acceleratori individuali ai sistemi AI rack-scale.

SK hynix non resta ferma. Sta sviluppando prodotti CXL, HBM avanzata e nuovi concetti di memoria basati su flash. Il suo lavoro con Sandisk sulla flash ad alta larghezza di banda affronta lo stesso divario tra la costosa HBM e lo storage più lento.

La flash ad alta larghezza di banda, o HBF, integra memoria flash per offrire molta più capacità dell’HBM con una larghezza di banda maggiore rispetto agli SSD convenzionali. Non eguaglia la latenza dell’HBM, ma potrebbe creare un altro livello per i dati di inferenza. Questo rende la questione competitiva più ampia del confronto tra Samsung e SK hynix in una sola categoria di prodotti.

Le due aziende perseguono vantaggi iniziali diversi. SK hynix parte da solide relazioni nell’HBM e si espande verso l’esterno. Samsung parte da un vasto portafoglio di semiconduttori e cerca di rendere preziosa l’ampiezza stessa dell’offerta.

Micron aggiunge una terza fonte di pressione. Compete nella DRAM avanzata, nell’HBM e nello storage enterprise, offrendo ai clienti un’altra opzione per diversificare le forniture. Gli hyperscaler raramente vogliono che un componente critico dipenda da un solo produttore quando la qualificazione consente più fornitori.

La strategia di Samsung può aiutare i clienti a ridurre la complessità di integrazione, ma questi clienti resisteranno a una maggiore concentrazione dei fornitori. Acquistare HBM, memoria di sistema e storage da un’unica azienda potrebbe semplificare la validazione. Potrebbe anche aumentare l’esposizione a prezzi, allocazione della capacità e interruzioni produttive di tale azienda.

Ecco perché la presentazione non dimostra che Samsung abbia vinto la competizione sulle architetture. Mostra dove Samsung intende competere. Le qualifiche dei clienti, i volumi di spedizione e le prestazioni nelle implementazioni determineranno se il suo portafoglio integrato cambierà i comportamenti d'acquisto.

Il meccanismo è il posizionamento dei dati, non la velocità di picco

I prodotti Samsung diventano strategicamente preziosi solo quando il software colloca ogni elemento dei dati AI nel corretto livello hardware.

Un benchmark può presentare la larghezza di banda massima dell'HBM o la velocità sequenziale di un SSD. Un servizio AI in produzione affronta un problema più difficile. Deve decidere quali informazioni meritino, in ogni momento, la capacità più veloce.

I pesi dei modelli usati più frequentemente devono trovarsi vicino all'acceleratore. Anche le voci attive della KV-cache beneficiano di una bassa latenza. Contesto meno attivo, indici di retrieval, checkpoint dei modelli e file di modelli secondari possono occupare livelli più lenti e capienti.

CXL introduce un'altra opzione tra la memoria direttamente collegata e lo storage. Consente ai sistemi di espandere la capacità di memoria o condividerla tra i processori. Samsung ha esplorato moduli basati su CXL che combinano DRAM con software e hardware per spostare i dati tra i livelli.

L'idea è simile a tenere i documenti attivi sulla scrivania, collocando il materiale di riferimento in un mobiletto vicino. Un SSD funziona più come un archivio più grande. L'analogia diventa imperfetta perché un sistema AI deve prendere milioni di decisioni di posizionamento senza interrompere il calcolo.

Il software determina se la gerarchia funziona. Sistemi operativi, runtime degli acceleratori, database, framework per il serving dei modelli e controller di storage devono coordinare gli spostamenti. Un dispositivo veloce può rimanere sottoutilizzato quando il software non riesce a prevedere la domanda o a nascondere la latenza di trasferimento.

Anche il comportamento del carico di lavoro modifica il risultato. L'addestramento dei modelli trasferisce grandi dataset e scrive checkpoint. L'inferenza interattiva risponde a richieste irregolari e mantiene il contesto per molti utenti. I sistemi di retrieval effettuano ricerche prima della generazione, mentre le applicazioni multimodali gestiscono grandi input di immagini, audio o video.

Un'unità ottimizzata per il throughput sequenziale può eccellere durante il caricamento del modello, ma offrire vantaggi diversi durante piccole richieste casuali. Capacità, latenza, operazioni di input-output al secondo, resistenza e consumo energetico sono tutti fattori rilevanti. Un singolo dato da titolo non può descrivere l'intero carico di lavoro.

La stessa cautela si applica all'affermazione di Samsung secondo cui PM1763 può trasferire un modello da 40GB in circa 1,4 secondi. Il dato fornisce un'utile illustrazione del throughput dell'interfaccia. Non include ogni passaggio di inizializzazione, allocazione, verifica e runtime necessario per rendere quel modello disponibile per l'inferenza.

Il supporto di Samsung al raffreddamento a liquido riflette anch'esso un vincolo a livello di sistema. I rack AI concentrano sempre più processori, memoria, networking e storage in uno spazio limitato. La rimozione del calore diventa parte dell'ingegneria delle prestazioni perché i componenti riducono la velocità quando le temperature aumentano.

L'annuncio di PM1763 afferma che l'unità è ottimizzata per il raffreddamento direct-to-chip. Questo design può supportare un funzionamento sostenuto all'interno di server raffreddati a liquido. Gli operatori hanno comunque bisogno di rack compatibili, cold plate, tubazioni, monitoraggio e procedure di manutenzione.

La roadmap HBM di Samsung affronta una sfida termica correlata. L'impilamento di più strati DRAM aumenta la capacità, ma complica anche il trasferimento del calore. Segnalazione più veloce e die base logici più complessi aggiungono ulteriore pressione.

Al Computex 2026, Samsung ha mostrato un concetto termico HBM4E chiamato Heat Path Block. L'architettura mira a migliorare il percorso seguito dal calore per allontanarsi dai futuri prodotti HBM. L'esposizione di sistemi AI di Samsung ha collocato questo lavoro termico accanto ai wafer HBM4E e a una più ampia gerarchia della memoria.

Il meccanismo che collega questi annunci è il movimento coordinato dei dati entro limiti di potenza e termici. Samsung non ha bisogno che ogni livello eguagli la velocità dell'HBM. Ha bisogno che la gerarchia mantenga al lavoro gli acceleratori costosi, limitando al contempo la quantità di memoria costosa installata accanto a essi.

È una proposta interessante per gli operatori cloud. È anche difficile da convalidare attraverso dimostrazioni di componenti. Gli acquirenti avranno bisogno di misurazioni a livello di applicazione che coprano token al secondo, latenza di risposta, consumo energetico, densità del rack e utilizzo complessivo.

Cosa non dimostra la presentazione di Samsung

Un portafoglio completo non produce automaticamente una piattaforma AI completa ed economica.

Samsung fornisce abbastanza componenti da descrivere un'architettura coerente. Non ha reso pubblici dati ampi e indipendenti sulle implementazioni che dimostrino che i clienti ottengano un'economia migliore adottando insieme lo stack.

La maggior parte delle cifre sulle prestazioni pubblicate proviene dalle valutazioni interne di Samsung. L'azienda rileva che i risultati possono variare in base alla configurazione e all'ambiente. Questa precisazione è importante perché architettura del server, firmware, raffreddamento, software e carico di lavoro determinano le prestazioni reali.

La produzione di HBM4 è un'altra area da osservare con attenzione. Samsung afferma di aver avviato le spedizioni commerciali e prevede che le vendite di HBM aumenteranno di oltre tre volte nel 2026. La crescita delle spedizioni, tuttavia, non rivela la sua quota nelle piattaforme di acceleratori con i maggiori volumi né la sua resa produttiva.

La resa misura quanti chip utilizzabili emergono da un processo produttivo. Influisce fortemente sul costo e sulla disponibilità della fornitura. Questo diventa particolarmente importante quando un prodotto combina DRAM avanzata, un die base logico, impilamento e packaging.

Il modello di dispositivi integrati di Samsung può accelerare il coordinamento tra queste operazioni. Può anche creare più punti in cui una tempistica subisce ritardi. Un ritardo nel die base, negli strati DRAM, nel processo di bonding o nella qualifica del package può trattenere il prodotto HBM finito.

L'adozione degli SSD enterprise ha un proprio ciclo di qualifica. Gli operatori dei data center valutano il comportamento del firmware, la resistenza, il recupero dai guasti, la sicurezza, il raffreddamento e la coerenza delle prestazioni. Un'unità che entra nella produzione di massa necessita comunque della convalida della piattaforma prima di raggiungere grandi implementazioni.

PM1763 utilizza PCIe 6.0, che raddoppia la velocità dati grezza di PCIe 5.0. I server devono supportare l'interfaccia più recente per coglierne i vantaggi. Gli operatori necessitano inoltre di sufficiente capacità di processore e di rete per evitare che i colli di bottiglia si spostino semplicemente altrove.

Samsung afferma che l'unità ha completato la convalida per piattaforme AI di nuova generazione. L'azienda non ha divulgato ogni cliente, quantità di spedizione o risultato dei carichi di lavoro. I lettori dovrebbero quindi distinguere tra disponibilità del prodotto e adozione diffusa.

Le condizioni della domanda creano un'altra incertezza. Gli investimenti nell'infrastruttura AI hanno prodotto una domanda eccezionale di memoria, ma la memoria rimane un settore ciclico. I fornitori aggiungono capacità quando aumentano prezzi e ordini, mentre i clienti adeguano gli acquisti quando cambiano l'utilizzo o il finanziamento.

Gli ultimi risultati finanziari di Samsung illustrano entrambi i lati. La sua attività nei semiconduttori ha beneficiato della domanda di server AI e dell'aumento dei prezzi della memoria. Allo stesso tempo, costi più elevati dei componenti hanno esercitato pressione sulle attività di dispositivi che acquistano memoria.

Associated Press ha riportato risultati record del secondo trimestre per Samsung e SK hynix, rilevando al contempo la preoccupazione degli investitori per gli investimenti produttivi e l'intensificarsi della concorrenza cinese. Questa tensione nel mercato della memoria complica l'idea che ogni nuovo prodotto godrà di condizioni economiche favorevoli in modo permanente.

Anche gli acquirenti di data center AI hanno leva contrattuale. Le più grandi aziende cloud possono qualificare diversi fornitori, progettare acceleratori personalizzati e influenzare le specifiche della memoria. Potrebbero accogliere il vasto portafoglio di Samsung continuando al tempo stesso ad acquistare singoli livelli da fornitori diversi.

Una presentazione integrata dimostra quindi l'intento strategico, non il controllo del mercato. Samsung ha assemblato i prodotti necessari per competere lungo l'intera gerarchia. Il suo prossimo onere è dimostrare che queste parti funzionano insieme su scala e producono risparmi misurabili.

Tre segnali che metteranno alla prova l'affermazione di Samsung sui data center AI

La prossima fase sarà misurata attraverso l'adozione delle piattaforme, la convalida del software e una produzione sostenuta, piuttosto che con un'altra presentazione.

Il primo segnale è l'implementazione di Samsung HBM4 e PM1763 in piattaforme di acceleratori nominate. Le partnership annunciate forniscono una direzione, ma i sistemi spediti offrono prove più solide. Gli acquirenti dovrebbero osservare se i progetti rack AMD Helios e dell'era Nvidia utilizzino insieme diversi componenti Samsung.

Una piattaforma che combina HBM Samsung, memoria per server e storage sosterrebbe la tesi del fornitore integrato. Anche vittorie di singoli componenti avrebbero importanza, ma mostrerebbero un approvvigionamento convenzionale anziché una gerarchia coordinata.

Il secondo segnale è il test a livello di applicazione. Risultati utili dovrebbero coprire caricamento del modello, retrieval, offloading della KV-cache, latenza di inferenza, throughput, potenza e stabilità termica. I test dovrebbero confrontare configurazioni anziché presentare la specifica di picco di un singolo componente.

Risultati indipendenti rafforzerebbero notevolmente il caso di Samsung. Potrebbero mostrare se lo storage PCIe 6.0 mantenga gli acceleratori più occupati, se l'espansione CXL riduca i requisiti HBM e se il raffreddamento a liquido sostenga le prestazioni durante carichi di lavoro prolungati.

L'assenza di tali risultati non significherebbe che i prodotti hanno fallito. Lascerebbe non verificata l'affermazione centrale sui sistemi. Le sole specifiche dei componenti non possono dimostrare un costo inferiore per token generato o un migliore utilizzo del rack.

Il terzo segnale è la risposta competitiva. SK hynix, Micron, Sandisk e altri fornitori di storage stanno sviluppando le proprie risposte al divario di capacità della memoria per l'AI. HBF, HBM personalizzata, memoria CXL e SSD enterprise ad alta capacità determineranno se la gerarchia di Samsung diventerà distintiva o semplicemente attesa.

La standardizzazione conterà in questo caso. I clienti generalmente preferiscono interfacce supportate da diversi fornitori perché l'interoperabilità limita il lock-in. Samsung può influenzare i progetti emergenti, ma deve anche partecipare a standard condivisi che consentano ai clienti di combinare i prodotti.

I lettori di Google News dovrebbero considerare questa presentazione come l'apertura di una competizione sui sistemi, non una vittoria di prodotto già definita. Samsung ha collegato HBM4, memoria espandibile e storage PCIe 6.0 attorno a un autentico collo di bottiglia: spostare una quantità sufficiente di dati verso acceleratori sempre più costosi.

L'ampiezza dell'azienda le offre un percorso credibile. La posizione di SK hynix nell'HBM, il portafoglio concorrente di Micron e le nuove architetture flash impediscono una vittoria facile. La domanda per i team infrastrutturali è ora pratica: quale fornitore può trasformare componenti promettenti in minore latenza, prestazioni costanti e migliore utilizzo all'interno di un rack implementato?

Osservate le prime implementazioni nominate con più prodotti, quindi cercate misurazioni indipendenti dei carichi di lavoro. Queste due forme di prova diranno molto più di un altro titolo di Google News sulla larghezza di banda di picco.