Majestic Labs sfida i limiti della memoria GPU mentre Blocks Files punta i riflettori su Prometheus

Majestic Labs sfida lo status quo delle GPU con Prometheus, un server progettato attorno a 128TB di memoria condivisa anziché alla scarsa capacità HBM. Il report di Blocks Files mette nettamente a fuoco questo confronto. Secondo Majestic, l'infrastruttura AI oggi contiene troppa capacità di calcolo costosa e troppo poca memoria accessibile.

La startup non promette una GPU solo leggermente più veloce. Vuole separare la capacità di memoria dal calcolo e scalare ciascuna risorsa in modo indipendente. L'approccio prende di mira i carichi di inferenza in cui i processori attendono spesso pesi del modello, token in cache o altri dati.

Nvidia e AMD affrontano la stessa pressione con sistemi HBM più grandi, interconnessioni più rapide e rack strettamente integrati. Majestic segue la strada opposta. Utilizza un ampio pool di memoria convenzionale, chiplet di interfaccia personalizzati e processori AI programmabili all'interno di un singolo server.

Questa distinzione rende Prometheus qualcosa di più di un altro annuncio su un acceleratore. È una prova diretta per capire se i futuri sistemi AI abbiano bisogno di maggiore capacità aritmetica o di un diverso rapporto tra processori e memoria.

Majestic ha divulgato ambiziose dichiarazioni su capacità, prestazioni ed efficienza energetica. Tuttavia, i suoi processori non sono ancora arrivati ai clienti e mancano risultati di benchmark indipendenti. L'idea è abbastanza credibile da attirare attenzione, ma il vantaggio promesso dipende ancora dall'esecuzione su hardware, software e produzione.

Il report di Blocks Files rivela una diversa sfida alle GPU

Majestic Labs sostiene che il settore abbia acquistato GPU aggiuntive in parte per ottenere memoria, anche quando i carichi di lavoro non riescono a sfruttare appieno la capacità di calcolo extra.

La copertura del 23 luglio sul server memory-first descrive il rifiuto dell'azienda del tradizionale abbinamento tra GPU e memoria ad alta larghezza di banda. L'HBM colloca memoria veloce, impilata verticalmente, vicino a un acceleratore. La prossimità garantisce un'ampia larghezza di banda, ma limita la capacità complessiva.

Secondo Majestic, i limiti fisici attorno a un grande processore riducono il numero di stack HBM che possono essere collegati in modo efficiente. Aumentare l'altezza degli stack crea inoltre complicazioni tecniche e produttive. I sistemi moderni combinano quindi più acceleratori quando un singolo dispositivo non dispone di memoria sufficiente.

Questa soluzione fornisce più memoria, ma introduce overhead di comunicazione. I dati devono attraversare collegamenti tra GPU, switch o livelli di memoria host. Gli sviluppatori devono decidere dove collocare pesi del modello, attivazioni e cache chiave-valore.

Una cache chiave-valore memorizza informazioni provenienti da token elaborati in precedenza, così che un modello non debba ricalcolare l'intera conversazione. Durante l'inferenza con contesti lunghi può consumare molta memoria. Un numero maggiore di utenti aumenta questa pressione, poiché ogni richiesta attiva mantiene il proprio stato.

Majestic afferma che i sistemi convenzionali associano inoltre ogni nuovo blocco di memoria a un altro costoso processore. Alcuni carichi di lavoro ricevono più capacità di calcolo di quanta possano utilizzare, semplicemente perché il deployment richiede capacità aggiuntiva.

Prometheus tenta di spezzare questo legame. Il server previsto collega fino a 12 processori AI personalizzati a un unico pool di memoria piatto. Secondo l'azienda, ogni processore dovrebbe vedere lo stesso spazio di indirizzamento con caratteristiche di accesso uniformi.

I chiplet di aggregazione della memoria, o MAC, sono collocati vicino ai componenti di memoria montati sulla scheda. Raccolgono il traffico da molti chip di memoria e li collegano al sistema di calcolo tramite brevi cavi in rame. Blocks Files riporta che tali connessioni possono estendersi fino a circa un metro.

Questa distanza è importante perché l'HBM deve rimanere estremamente vicina al package del processore. L'approccio di Majestic offre ai progettisti di sistemi più spazio fisico per la memoria senza richiedere che ogni componente circondi il die di calcolo centrale.

L'azienda chiama il proprio processore Ignite e lo descrive come un'AIU, o unità di intelligenza artificiale. Il chip combina core programmabili con accelerazione matriciale per i calcoli impiegati dalle reti neurali.

Prometheus è il server completo costruito attorno a Ignite, ai chiplet di interfaccia, ai moduli di memoria e al software di supporto. Le specifiche pubbliche di Prometheus di Majestic dichiarano fino a 128TB di memoria condivisa ad alta larghezza di banda in un singolo sistema.

Per confronto, gli attuali server con acceleratori misurano la memoria direttamente collegata in terabyte distribuiti su un intero rack, non in decine di terabyte all'interno di un solo server. Questo divario di capacità costituisce la promessa centrale di Prometheus.

La storia di Blocks Files evidenzia quindi un disaccordo architetturale. Il modello di Nvidia parte da GPU ad alte prestazioni e scala verso l'esterno. Majestic inizia dall'insieme di dati che un'applicazione AI deve mantenere, quindi assegna capacità di calcolo sufficiente per elaborarlo.

L'inferenza AI aumenta la pressione sulla memoria

Il problema della memoria sta diventando più difficile perché l'inferenza combina modelli di grandi dimensioni, contesti più lunghi e molti utenti simultanei.

L'addestramento riceve gran parte dell'attenzione attorno all'infrastruttura AI. Tuttavia, l'inferenza, ovvero il processo di esecuzione di un modello addestrato per gli utenti, crea un diverso equilibrio tra memoria e calcolo.

I parametri di un modello devono rimanere disponibili mentre genera l'output. Ogni fase di generazione legge i pesi del modello ed elabora lo stato corrente. Quando le unità aritmetiche terminano più rapidamente di quanto la memoria riesca a fornire dati, ulteriore capacità di calcolo offre benefici limitati.

Questa condizione viene comunemente chiamata prestazione limitata dalla memoria. Il processore dispone di capacità di calcolo disponibile, ma lo spostamento dei dati determina la velocità effettiva di completamento.

Finestre di contesto più lunghe accentuano lo squilibrio. Un modello che serve prompt brevi conserva meno stato conversazionale. Un modello che gestisce documenti lunghi, repository software, raccolte di ricerca o sessioni estese con agenti deve preservare molte più informazioni.

I sistemi agentici aggiungono un'altra esigenza. Un agente può chiamare strumenti, esaminare i risultati, rivedere il proprio piano e ripetere il processo. Ogni passaggio prolunga la sessione e può aumentare l'impronta di memoria attiva.

I modelli mixture-of-experts creano una sfida correlata. Questi sistemi contengono più gruppi di parametri specializzati e attivano gruppi selezionati per ciascun token. Riducono il lavoro aritmetico, ma la raccolta più ampia di parametri necessita comunque di storage accessibile.

Il cofondatore di Majestic Sha Rabii ha dichiarato a EE Times che la capacità di calcolo cresceva più rapidamente della larghezza di banda della memoria. Ha affermato che la maggior parte dell'inferenza dei grandi modelli era già limitata dal movimento della memoria. Il dettagliato progetto di pooling della memoria punta a oltre 100TB di DRAM standard a basso consumo per ambiente di accelerazione.

La memoria low-power double-data-rate, o LPDDR, offre una capacità molto maggiore dell'HBM, con caratteristiche diverse in termini di larghezza di banda e latenza. La sfida tecnica di Majestic consiste nel far comportare questa capacità come un rapido sistema di memoria per acceleratori.

L'azienda non può riuscire semplicemente collegando memoria ordinaria tramite un bus server convenzionale. Ciò fornirebbe capacità senza il throughput necessario per alimentare più processori AI.

Majestic sta invece sviluppando insieme l'interfaccia fisica, il protocollo di comunicazione, il controllo del flusso, i meccanismi di affidabilità e il software. I suoi chiplet devono distribuire le richieste su molti dispositivi di memoria mantenendo al contempo alta la larghezza di banda e prevedibili i ritardi.

L'azienda prevede inoltre di distribuire i dati a strisce nel pool. Lo striping divide le informazioni tra più dispositivi di memoria, consentendo a molti componenti di servire richieste in parallelo.

Se quel sistema funzionerà come descritto, gli operatori potrebbero mantenere modelli e cache più grandi all'interno di un unico dominio coerente. Avrebbero bisogno di meno trasferimenti tra memoria locale dell'acceleratore, acceleratori remoti e memoria host.

Questo è importante per le aziende che eseguono retrieval, analisi di documenti, agenti di coding o conversazioni lunghe. Queste applicazioni spesso tengono più ai token completati per unità di energia che al picco aritmetico teorico di un processore.

Majestic afferma che il suo progetto può supportare molti più utenti concorrenti per server. Questa dichiarazione non ha ricevuto una convalida indipendente. Tuttavia, identifica la metrica economica che gli acquirenti osservano sempre più attentamente.

Un data center dispone di elettricità, raffreddamento, spazio a pavimento e capacità di rete limitati. Aggiungere un'altra GPU aiuta solo quando il carico di lavoro riesce a mantenerla attiva. Le unità aritmetiche inattive continuano a consumare risorse senza generare un output proporzionale.

L'inquadramento di Blocks Files è utile perché sposta l'attenzione dalle operazioni di picco al secondo. La vera competizione riguarda la quantità di lavoro utile che un intero sistema completa entro i propri limiti di energia e memoria.

Prometheus sostituisce il rack GPU con un pool di memoria condivisa

Prometheus considera la memoria il centro della macchina, mentre i suoi processori diventano consumatori di una risorsa dati comune.

Majestic è stata fondata nel 2023 da Ofer Shacham, Sha Rabii e Masumi Reynders. I tre avevano lavorato in precedenza in organizzazioni di silicio personalizzato presso Google e Meta.

Le loro esperienze comprendono processori, sistemi e hardware consumer già commercializzato. Majestic afferma che il suo team più ampio detiene oltre 120 brevetti e ha contribuito a centinaia di milioni di chip personalizzati.

L'azienda è emersa pubblicamente con oltre 100 milioni di dollari di finanziamenti. Bow Wave Capital ha guidato il suo Series A, mentre Lux Capital ha guidato un precedente round seed. Tra gli altri partecipanti figuravano SBI, Upfront, Grove Ventures, Hetz Ventures, QP Ventures, Aidenlair Global e TAL Ventures.

Quell'annuncio di finanziamento ha presentato un sistema che dichiarava una memoria per processore 1.000 volte superiore rispetto a una GPU leader. Dichiarava inoltre che un server potesse consolidare la capacità di memoria e la larghezza di banda associate a più rack avanzati.

Si tratta di proiezioni dell'azienda, non di risultati indipendenti pubblicati. Dipendono dall'hardware utilizzato per il confronto, dal carico di lavoro eseguito e da come il benchmark misura l'output utile.

Il meccanismo divulgato è comunque concreto. Prometheus contiene due principali elementi di silicio personalizzato. Uno è il processore Ignite, mentre l'altro è il chiplet di interfaccia della memoria che collega il calcolo alla LPDDR condivisa.

Fino a 12 dispositivi Ignite possono accedere a uno spazio di memoria contiguo. Majestic descrive questo spazio come piatto, ossia il software non dovrebbe dover gestire diversi livelli di memoria visibilmente differenti.

Questo modello di programmazione affronta un'importante debolezza dei deployment multi-GPU. Attualmente, uno sviluppatore deve aggirare l'HBM locale, la memoria collegata ad altre GPU, la memoria CPU e lo storage. Ogni livello ha capacità, larghezza di banda e latenza diverse.

I framework dividono i modelli tra i dispositivi per rispettare tali vincoli. Coordinano inoltre la comunicazione tra acceleratori. Le prestazioni possono diminuire quando la partizione scelta produce trasferimenti eccessivi o lavoro sbilanciato.

Prometheus mira a eliminare alcune di queste decisioni. Secondo l'azienda, ogni processore Ignite raggiungerebbe ogni posizione del pool condiviso con latenza e larghezza di banda comparabili.

Il progetto utilizza una coerenza flessibile anziché riprodurre ogni comportamento di una memoria condivisa CPU convenzionale. La coerenza definisce come i processori mantengono una visione uniforme quando leggono o modificano dati comuni.

Majestic non ha pubblicato abbastanza dettagli implementativi da consentire a osservatori esterni di valutare ogni compromesso. I suoi meccanismi proprietari di controllo del flusso e operazioni atomiche determineranno quanto efficacemente il sistema gestirà contesa e sincronizzazione.

Anche l'architettura del processore è importante. Secondo le informazioni disponibili, Majestic combina proprietà intellettuale Arm, elementi RISC-V e un proprio design. I motori matriciali accelerano i calcoli densi comuni nei modelli di IA.

L'azienda prevede di supportare PyTorch, il framework di machine learning ampiamente utilizzato, e Triton, un linguaggio di programmazione per kernel acceleratori ottimizzati. La compatibilità software è essenziale perché il vantaggio di Nvidia si estende ben oltre il silicio.

CUDA offre ai clienti Nvidia librerie mature, compilatori, strumenti di debugging, guide alle prestazioni e sviluppatori esperti. Un nuovo hardware può offrire specifiche interessanti e incontrare comunque difficoltà se le applicazioni richiedono riscritture estese.

Rabii ha riconosciuto che il successo di un server dipende in larga misura dalla rapidità con cui gli sviluppatori riescono a utilizzarlo e dall'affidabilità dei suoi strumenti. Questa ammissione rivela la seconda metà del compito di Majestic.

L'hardware deve spostare i dati in modo efficiente. Anche il software deve rendere questo spostamento sufficientemente invisibile affinché le applicazioni esistenti possano beneficiarne.

Nvidia e AMD stanno espandendo HBM, non la stanno abbandonando

Majestic sta scommettendo contro un modello di scalabilità incentrato su HBM, mentre i maggiori fornitori di acceleratori continuano a investire pesantemente in quel modello.

I sistemi rack-scale di Nvidia collegano molte GPU tramite NVLink e tecnologie di rete correlate. L'approccio crea un dominio di calcolo più ampio, preservando al contempo una memoria estremamente veloce vicino a ciascun acceleratore.

AMD segue una direzione comparabile con i suoi acceleratori Instinct e il design rack Helios. Il suo MI455X, recentemente illustrato in dettaglio, utilizza HBM4 e offre 432GB di memoria con 23.3TB al secondo di larghezza di banda per GPU.

Su 72 acceleratori, l'architettura MI455X fornisce 31.1TB di HBM all'interno di un singolo rack. AMD afferma che Helios unisce tale memoria in un dominio coerente.

Questi sistemi riconoscono lo stesso problema individuato da Majestic. Nvidia e AMD stanno aumentando capacità della memoria, velocità della memoria, larghezza di banda della cache, prestazioni dell'interconnessione e coordinamento a livello di rack.

Il disaccordo riguarda fino a che punto questa strategia possa scalare economicamente. Majestic sostiene che associare HBM premium a ogni dispositivo di calcolo di fascia alta mantenga un rapporto sfavorevole tra capacità e risorse aritmetiche.

I fornitori affermati possono rispondere a questa preoccupazione in vari modi. Possono aumentare la densità HBM, migliorare il packaging, comprimere i dati dei modelli, affinare il caching o distribuire i carichi di lavoro in modo più efficiente.

Possono inoltre utilizzare reti più veloci per rendere meno onerosa la memoria remota. Miglioramenti software come la quantizzazione riducono il numero di bit richiesti per ciascun parametro. La decodifica speculativa può aumentare l'output consentendo ai modelli di verificare insieme diversi token proposti.

Questi metodi riducono la pressione senza sostituire l'architettura GPU. Inoltre, funzionano all'interno di ambienti maturi già operativi presso i clienti.

L'opportunità più forte di Majestic risiede nei carichi di lavoro in cui domina la capacità. Modelli sparsi molto grandi, reti neurali a grafo, agenti a lunga esecuzione e finestre di contesto estreme possono richiedere più memoria che capacità aritmetica.

La sua posizione è più debole per i compiti che sfruttano pienamente il calcolo matriciale denso e rientrano comodamente nell'HBM locale. Le GPU convenzionali restano ben adatte a tali carichi di lavoro.

Anche l'addestramento crea una sfida più difficile. L'addestramento esegue ripetutamente grandi operazioni matriciali e sincronizza gli aggiornamenti su molti dispositivi. Può utilizzare un'enorme quantità di memoria, ma beneficia anche delle massime prestazioni di calcolo e interconnessione disponibili.

Majestic afferma che Prometheus può supportare l'addestramento. Tuttavia, il suo focus iniziale resta sull'inferenza e sui carichi di lavoro degli agenti. Questo orientamento offre all'azienda un obiettivo più circoscritto e verificabile.

Qualcomm sta perseguendo un'altra strada incentrata sulla memoria. Il suo approccio near-memory colloca la logica dell'acceleratore sotto gli stack DRAM anziché affidarsi al packaging HBM convenzionale.

Qualcomm dichiara una larghezza di banda per watt sei volte superiore rispetto a HBM e una capacità oltre 200 volte maggiore rispetto alla SRAM on-chip. Non ha divulgato la larghezza di banda assoluta dell'architettura, lasciando irrisolti confronti importanti.

L'esistenza di molteplici approcci rafforza la diagnosi di Majestic, ma non necessariamente le sue affermazioni sul prodotto. I principali progettisti di chip considerano chiaramente il movimento dei dati un vincolo centrale.

Il mercato quindi non sta scegliendo tra aziende che riconoscono il muro della memoria e aziende che lo ignorano. Sta scegliendo tra modi diversi per superare quel muro.

L'articolo di blocks files coglie la posizione più aggressiva di Majestic: l'abbinamento GPU-HBM ha raggiunto un vicolo cieco. Nvidia, AMD e i loro fornitori di memoria stanno spendendo molto per dimostrare il contrario.

Le affermazioni non verificate sono importanti quanto l'architettura

Prometheus resta un sistema in fase di sviluppo, quindi la sua capacità dichiarata non può ancora dimostrare prestazioni applicative, efficienza o affidabilità commerciale.

Si prevede che i processori e i chiplet di interfaccia memoria di Majestic raggiungano il tape-out nel corso del 2026. Il tape-out segna il completamento del design di un chip prima dell'avvio della produzione. Non significa che il silicio di produzione funzionante sia immediatamente disponibile.

L'azienda prevede che i server inizino a raggiungere i clienti principali nel 2027. Un altro rapporto colloca l'introduzione più ampia attorno alla metà di quell'anno.

Questa tempistica lascia diverse fasi tra l'architettura attuale e un prodotto distribuibile. Fabbricazione, packaging, validazione delle schede, firmware, sviluppo del compilatore, test termici e integrazione del sistema possono ciascuno far emergere problemi.

L'interfaccia memoria rappresenta la principale questione tecnica. LPDDR offre capacità elevata e caratteristiche energetiche favorevoli, ma i singoli dispositivi non eguagliano la larghezza di banda di HBM.

Majestic deve combinare molti canali di memoria senza creare congestione. I chiplet MAC, i collegamenti in rame, i protocolli e il sistema di striping devono fornire sia throughput sia tempi di accesso prevedibili.

I grandi pool di memoria creano anche sfide nella gestione dei guasti. Più componenti significano più possibili errori. Un sistema di produzione deve rilevare gli errori, isolare i guasti e continuare a operare senza corrompere lo stato del modello.

Prometheus deve riuscirci presentando al contempo un modello di memoria semplice al software. La semplicità d'uso non può nascondere comportamenti che producono pause imprevedibili o un crollo delle prestazioni in presenza di contesa.

Anche le definizioni dei benchmark sollevano un'altra preoccupazione. Majestic ha dichiarato prestazioni superiori di oltre 50 volte in alcuni scenari e tra 10 e 50 volte più token per megawatt.

Queste cifre richiedono un'interpretazione attenta. Architettura del modello, precisione, dimensione del batch, lunghezza del contesto, lunghezza dell'output, obiettivo di latenza e numero di utenti concorrenti possono modificare drasticamente i risultati dell'inferenza.

Un sistema ottimizzato per batch di grandi dimensioni può produrre molti token rispondendo però troppo lentamente per un servizio interattivo. Un sistema con capacità eccezionale può comunque ottenere prestazioni inferiori su modelli più piccoli e ad alta intensità di calcolo.

I confronti dipendono inoltre dal riferimento Nvidia o AMD scelto. Una singola GPU, un rack più vecchio e un attuale sistema rack-scale producono rapporti molto diversi.

Nessun laboratorio indipendente ha pubblicato benchmark applicativi su hardware Prometheus di produzione. Majestic non ha divulgato risultati completi su latenza, larghezza di banda, potenza o compatibilità software.

Gli ordini dei clienti riportati non colmano questa lacuna di verifica. Gli impegni iniziali possono indicare una domanda forte, ma i clienti spesso vincolano gli acquisti di hardware emergente a traguardi tecnici e condizioni di consegna.

L'adozione software presenta un altro rischio. Il supporto a PyTorch e Triton è un inizio necessario. Non riproduce automaticamente l'ampiezza o la maturità delle librerie CUDA.

Gli operatori necessitano di kernel ottimizzati, strumenti per l'esecuzione distribuita, osservabilità, controlli di sicurezza, automazione del deployment e aggiornamenti stabili. Hanno inoltre bisogno di un comportamento prevedibile su modelli reali, non su dimostrazioni selezionate.

Secondo il profilo di EE Times di maggio, Majestic conta circa 40 dipendenti divisi tra California e Israele. Si tratta di un team compatto per gestire contemporaneamente chip, server, memoria, compilatore e lavoro di produzione.

I suoi fondatori hanno esperienza rilevante e il suo finanziamento offre al progetto margine per svilupparsi. Nvidia e AMD dispongono comunque di organizzazioni ingegneristiche, relazioni con i fornitori e basi clienti installate molto più grandi.

La conclusione scettica è semplice. Majestic ha identificato un vincolo reale e proposto un meccanismo coerente. Non ha ancora dimostrato che Prometheus possa offrire i rapporti dichiarati al di fuori delle proiezioni interne.

Questa distinzione dovrebbe orientare il modo in cui gli acquirenti leggono la copertura di blocks files. L'architettura merita attenzione, ma l'attenzione non è una convalida.

Tre segnali mostreranno se Majestic può mantenere le promesse

La prossima fase dipende da silicio funzionante, benchmark applicativi riproducibili e prove che il software IA esistente possa migrare senza un'ampia ricostruzione.

Il primo segnale è una convalida del silicio riuscita. Majestic ha affermato che sia Ignite sia il suo chiplet di interfaccia memoria raggiungeranno il tape-out nel 2026.

Un tape-out completato manterrebbe vivo il calendario. Campioni funzionanti che raggiungessero gli obiettivi previsti di clock, potenza e collegamento fornirebbero prove molto più solide.

Qualsiasi ritardo indebolirebbe la prospettiva di consegne ai clienti nel 2027. I problemi di interfaccia sarebbero particolarmente significativi perché il fabric di memoria rappresenta la differenziazione centrale dell'azienda.

Il secondo segnale è un benchmark che esponga la configurazione completa del carico di lavoro. Risultati utili dovrebbero indicare il modello, la precisione numerica, la dimensione del batch, la lunghezza dell'input, la lunghezza dell'output, l'obiettivo di latenza e la potenza del sistema.

I test dovrebbero confrontare Prometheus con gli attuali rack Nvidia e AMD, non con un singolo acceleratore o una piattaforma obsoleta. Dovrebbero inoltre separare il tempo al primo token dalla successiva generazione di token.

L'inferenza a contesto lungo offrirebbe un test particolarmente rivelatore. Prometheus dovrebbe ottenere un vantaggio quando un modello e la relativa cache superano la capacità pratica della memoria GPU convenzionale.

I modelli più piccoli e ad alta intensità di calcolo offrono il controtest. Se Prometheus mantenesse risultati competitivi anche in quel caso, il suo mercato potrebbe estendersi oltre le distribuzioni specializzate ad alta intensità di memoria.

Il terzo segnale è la migrazione software. Majestic deve dimostrare che un modello PyTorch reale possa essere trasferito su Prometheus con modifiche limitate al codice.

Una dimostrazione dovrebbe includere compilazione, kernel ottimizzati, monitoraggio e ripristino dai guasti. Dovrebbe inoltre rivelare quali componenti dipendenti da CUDA richiedono una sostituzione.

Le distribuzioni presso i clienti principali conteranno più delle dichiarazioni generiche di compatibilità. Un cliente credibile dovrebbe descrivere il carico di lavoro, l'obiettivo operativo e il motivo per cui ha scelto un sistema memory-first.

Questi segnali rafforzeranno o indeboliranno la valutazione centrale di Majestic. Silicio riuscito, benchmark trasparenti e una migrazione gestibile dimostrerebbero che il pooling della memoria può sfidare i rack GPU.

Una larghezza di banda debole, condizioni di benchmark ristrette o pesanti riscritture software sosterrebbero la strategia dei fornitori affermati. Gli acquirenti continuerebbero ad accettare la capacità HBM limitata in cambio di strumenti maturi e prestazioni comprovate.

La domanda più importante non è se l'IA abbia bisogno di più memoria. Ogni principale roadmap per acceleratori risponde già a questa domanda con sistemi di memoria più grandi.

La domanda è se la memoria debba rimanere vincolata a ogni processore premium oppure diventare una risorsa di sistema scalabile in modo indipendente. Majestic ha basato l’intera architettura sulla seconda risposta.

Per gli sviluppatori e gli acquirenti di infrastrutture, il prossimo passo pratico è esaminare le tracce dei carichi di lavoro prima di accettare le argomentazioni di una delle due parti. Misurate l’utilizzo degli acceleratori, la crescita della cache, i trasferimenti di dati, la latenza e i consumi energetici in condizioni di domanda reale. Poi verificate se il prossimo aggiornamento dei blocchi porta misurazioni di produzione anziché un’altra dichiarazione sulla capacità.