SK hynix’ speicherzentriertes KI-Rack fordert den GPU-zentrierten Server heraus
SK hynix stellte auf dem OCP Global Summit 2026 ein speicherzentriertes KI-Rack vor und stellt damit das prozessorzentrierte Design infrage, das moderne KI-Server geprägt hat. Die MARS-Architektur trennt Speicher von einzelnen CPUs und GPUs und macht diese Kapazität anschließend rackweit gemeinsam nutzbar. Der Ansatz zielt auf einen wachsenden Konflikt: Mehr Beschleuniger lösen nicht automatisch die Herausforderungen bei Bewegung, Duplizierung und Speicherung von Inferenzdaten.
Das Unternehmen präsentierte MARS, kurz für Memory-Centric AI Rack System, während des Gipfeltreffens vom 12. bis 15. Oktober in San Jose. Die Demonstrationen kombinierten CXL-Speicher, DRAM, SSDs, Computational Memory und Software mehrerer Partner. Die zentrale Idee ist einfach, ihre Umsetzung jedoch nicht: Speicher soll zu einer gemeinsam genutzten Ressource auf Rack-Ebene werden, statt in einzelnen Servern gebunden zu bleiben.
Damit positioniert sich SK hynix gegen das etablierte GPU-zentrierte Servermodell, nicht gegen einen bestimmten Chiphersteller oder Speicherlieferanten. NVIDIA, AMD und andere Prozessoranbieter entwickeln bereits zunehmend integrierte Rack-Plattformen. SK hynix argumentiert, dass Inferenzinfrastruktur zusätzlich eine unabhängig verwaltete Speicherschicht benötigt – insbesondere weil agentische Workloads große Caches und längere Kontexte ansammeln.
Das speicherzentrierte KI-Rack von SK hynix entwickelt sich von Komponenten zu Systemen
Die entscheidende Veränderung ist kein neues Speichermodul. SK hynix schlägt nun vor, wie das gesamte KI-Rack seinen Speicher organisieren sollte.
SK hynix lieferte traditionell Komponenten, die Serverentwickler um Prozessoren herum einsetzen. Auf dem OCP Global Summit 2026 vertrat das Unternehmen über das MARS-System eine umfassendere architektonische Position. Das Design integriert Partner-Hardware und -Software in einem Rack, dessen Zentrum gemeinsamer Speicher bildet.
Ein Rack ist die physische Struktur, die Server, Netzwerkausrüstung, Speicher, Stromversorgungssysteme und weitere Infrastruktur aufnimmt. Heute verfügt jeder Server üblicherweise über eine feste Menge lokalen Speichers. Ein Server kann seine Kapazität ausschöpfen, während ungenutzter Speicher an anderer Stelle im selben Rack nicht zugänglich bleibt.
MARS soll dieses Zuteilungsmodell verändern. Es nutzt Compute Express Link, kurz CXL, um Prozessoren und Speicher über eine auf PCI Express basierende cache-kohärente Schnittstelle zu verbinden. CXL-Pooling ermöglicht mehreren Hosts den Zugriff auf Kapazität aus einer gemeinsamen Sammlung von Speichergeräten.
Das Unternehmen zeigte drei MARS-Demonstrationen mit Partnern, statt lediglich ein Konzeptdiagramm zu präsentieren. Arcee, Liqid und Marvell beteiligten sich an einer Demonstration, die mehrere Server und GPUs mit gebündeltem Speicher verband. SK hynix erklärte, das System habe Key-Value-Caches übertragen und wiederverwendet, ohne sich vollständig auf herkömmliche Netzwerkkommunikation zu stützen.
Ein Key-Value-Cache, häufig KV-Cache genannt, speichert Zwischendaten, die ein Sprachmodell bereits berechnet hat. Die Wiederverwendung dieser Daten verhindert, dass das Modell denselben Kontext für jedes generierte Token erneut berechnen muss. Der Cache wächst, wenn Gespräche, Dokumente und mehrstufige Agentenaufgaben umfangreicher werden.
Eine weitere Demonstration kombinierte Technologie von AMD, Penguin Solutions, XCENA und Arcee. Sie platzierte DRAM- und SSD-Kapazität hinter einer CXL-basierten hybriden Speicherschicht. Das System prognostizierte, welche Cache-Daten benötigt würden, lud sie in DRAM und hielt den vollständigen Cache auf SSDs vor.
Eine dritte Demonstration mit dem Anbieter persönlicher KI-Agenten Pickle konzentrierte sich auf Transfers zwischen mehreren Modellen. Laut SK hynix verkürzte Streaming über gebündelten Speicher die Zeit, die für die Übertragung von Daten zwischen diesen Modellen benötigt wurde. Das Unternehmen stellte dies als Möglichkeit dar, die Verzögerung bis zur finalen Antwort eines Agenten zu verkürzen.
Diese Demonstrationen sind relevant, weil sie den Vorschlag über isolierte Speicher-Benchmarks hinausführen. Sie zeigen, wie gebündelte Kapazität tatsächliche Inferenzaufgaben unterstützen könnte, darunter Cache-Sharing, multimodale Pipelines und persönliche Agenten. SK hynix hat jedoch keine vollständigen, unabhängig reproduzierbaren Leistungsergebnisse für die MARS-Demonstrationen veröffentlicht.
Auch die Veranstaltung selbst unterstrich den Architektur-Fokus. Das Open Compute Project beschrieb sein Thema für 2026 als Skalierung von Infrastruktur für die KI-Ära. Seine Vision für den Gipfel forderte Veränderungen bei Chips, Racks, Kühlung, Stromversorgung, Netzwerken und Rechenzentrumsanlagen.
Dieser Kontext erklärt, warum SK hynix eher ein System als eine weitere Komponenten-Roadmap hervorhob. Das Unternehmen möchte, dass Speicheranbieter beteiligt sind, wenn Betreiber darüber entscheiden, wie sich ein KI-Rack verhält. Damit würde die Speicherarchitektur eine größere Rolle spielen, bevor Server ihre endgültigen Produktionsdesigns erreichen.
Inferenz macht Speicherkapazität zu einem Problem auf Rack-Ebene
KI-Inferenz verändert den Engpass, weil die Bereitstellung langer, persistenter Workloads sowohl schnelle Berechnung als auch großen wiederverwendbaren Speicher erfordert.
KI-Training machte Beschleuniger und High-Bandwidth Memory zum Zentrum der Infrastrukturplanung. Beim Training werden große Gruppen von Modellparametern wiederholt durch parallele Prozessoren bewegt. HBM sitzt nahe an diesen Prozessoren und liefert die nötige Bandbreite, um sie auszulasten.
Inferenz erzeugt einen anderen Mix an Belastungen. Jede Anfrage kann einen langen Prompt, gespeicherte Gesprächsverläufe, abgerufene Dokumente, Tool-Ergebnisse, Bilder oder Audio mitbringen. Agentische Systeme können mehrere solcher Workloads aufrechterhalten und zugleich mehrere Modelle und Dienste koordinieren.
Der daraus entstehende Zustand passt nicht sauber in einen einzelnen Beschleuniger. KV-Caches verbrauchen mit längeren Kontexten mehr Kapazität, während Modellgewichte und Embeddings zusätzlichen Bedarf schaffen. Betreiber müssen entscheiden, welche Informationen in HBM verbleiben, welche in den Systemspeicher verschoben werden und welche in den Speicher ausgelagert werden.
Eine zusätzliche GPU kann mehr angebundenen HBM bereitstellen, fügt jedoch auch eine teure Rechenressource hinzu. Das ist ineffizient, wenn die unmittelbare Einschränkung Kapazität statt Rechendurchsatz ist. Zudem kann Speicher ungenutzt gebunden bleiben, wenn Workloads zwischen Servern schwanken.
SK hynix argumentiert, dass Disaggregation die Antwort ist: Sie trennt Speicherkapazität von einem bestimmten Prozessor und weist sie bei Bedarf zu. Hosik Kim, Leiter der Speicherforschungssysteme im Unternehmen, beschrieb in seiner Präsentation auf dem Gipfel die physischen und wirtschaftlichen Grenzen rund um GPU-Speicher. Sein Vorschlag auf Rack-Ebene forderte Systeme, die um disaggregierte Speicher- und SSD-Ressourcen aufgebaut sind.
Der Übergang zu Agenten verstärkt dieses Argument. Ein herkömmlicher Chatbot kann einen Großteil seines temporären Zustands nach einer Sitzung verwerfen. Ein persistenter Agent muss möglicherweise Kontext bewahren, frühere Arbeit erneut aufgreifen, spezialisierte Modelle koordinieren und viele gleichzeitige Nutzer bedienen.
Das verändert den Wert der Speicherwiederverwendung. Wenn mehrere Inferenzserver auf einen gecachten Prompt oder ein gemeinsames Präfix zugreifen können, benötigen sie weniger Duplikate. Wenn ein ausgefallener oder überlasteter Server Arbeit an anderer Stelle übergeben kann, ohne den gesamten Zustand über das Netzwerk zu verschieben, könnten sich die Antwortzeiten verbessern.
CXL-Pooling-Speicher soll dieses Teilen direkter ermöglichen. Er kann Kapazität auf Rack-Ebene über Speichersemantik bereitstellen, statt jede Übertragung als herkömmlichen Speicher- oder Netzwerkvorgang zu behandeln. Zero-Copy-Sharing soll Prozessoren den Zugriff auf dieselben Daten ermöglichen, ohne eine weitere vollständige Kopie zu erstellen.
Ob dieser Ansatz hilft, hängt weiterhin vom Workload ab. Einige Inferenzoperationen erfordern extrem geringe Latenzen und benötigen HBM direkt neben dem Beschleuniger. Andere Daten können höhere Latenzen tolerieren, wenn das System dadurch deutlich mehr Kapazität gewinnt oder Duplizierung vermeidet.
Deshalb schlägt MARS keinen Ersatz für HBM vor. SK hynix zeigte HBM4, HBM4E, Server-DRAM, Enterprise-SSDs und High Bandwidth Flash neben seinen CXL-Systemen. Die Strategie ist eine Hierarchie, in der Software jeden Datentyp auf der passenden Ebene platziert.
Der Zeitpunkt spiegelt zudem einen branchenweiten Wandel wider. OCP erwartet, dass sich die nächste Inferenzwelle über zentralisierte Hyperscale-Standorte hinaus ausbreitet. Regionale Rechenzentren, Unternehmensstandorte, Telekommunikationsstandorte und Industriestandorte werden Systeme mit unterschiedlichen Energie- und Kapazitätsgrenzen benötigen.
Diese Umgebungen können nicht jeden Speicherengpass durch den Kauf weiterer Beschleuniger-Racks lösen. Ein gemeinsamer Pool könnte die Auslastung bei ungleichmäßigen Workloads verbessern. Er könnte zudem Kapazitätserweiterungen unabhängiger von einer bestimmten Prozessorgeneration machen.
Für Unternehmenskäufer verändert sich daher die zentrale Frage. Die Entscheidung betrifft nicht mehr nur den Beschleuniger mit dem höchsten Benchmark-Ergebnis. Käufer müssen auch wissen, wie das Rack Modellzustand, Cache-Wachstum, Datenbewegung und ungenutzten Speicher verwaltet.
CXL-Pooling-Speicher ist der Mechanismus hinter MARS
Das SK hynix MARS-System basiert darauf, dass CXL Speicher zu einer komponierbaren Infrastruktur macht, während Software entscheidet, was in welche Ebene gehört.
SK hynix stellte ein CMM-DDR5-Modul der zweiten Generation mit 256 GB vor, das auf CXL 3.2 basiert. CMM steht für CXL Memory Module, ein Gerät, das Speicher über die CXL-Schnittstelle erweitert oder teilt. Das Unternehmen gibt an, dass das Modul eine Bandbreite von 80 GB pro Sekunde erreicht.
Dieser Wert liegt mehr als doppelt so hoch wie die Bandbreite der vorherigen Generation von SK hynix. Das Unternehmen beansprucht zudem eine Verbesserung der Energieeffizienz um rund 30 Prozent. Diese Angaben beschreiben den Produktvergleich von SK hynix und wurden bisher nicht breit durch Dritte verifiziert.
Das Modul unterstützt CXL-Pooling, sodass Hosts Kapazität aus einer gemeinsamen Ressource beziehen können. Durch dynamische Zuteilung kann ein ausgelasteter Server mehr Speicher erhalten, ohne ihm diese Kapazität dauerhaft zuzuweisen. Ein weniger ausgelasteter Host kann ungenutzte Kapazität für einen anderen Workload zurückgeben.
Dieser Mechanismus bekämpft gebundenen Speicher, verändert aber auch das Ausfall- und Verwaltungsmodell. Betreiber benötigen Kontrollen für Isolation, Zugriffsrechte, Dienstgüte, Telemetrie und Wiederherstellung. Speicherfehler oder Fabric-Überlastungen können eine größere Gruppe von Maschinen betreffen, wenn Kapazität gemeinsam genutzt wird.
MARS ergänzt unterhalb von gebündeltem DRAM eine hybride Ebene. CXL-Hybridspeicher kombiniert DRAM mit SSD-Kapazität, sodass häufig genutzte Daten im schnelleren Speicher bleiben können. Weniger aktive Daten können auf Speicher mit höherer Kapazität verbleiben, bis das System prognostiziert, dass sie bald benötigt werden.
SK hynix zeigte dieses Verhalten mit großen KV-Caches. Die Demonstration sagte Berichten zufolge nützliche Cache-Einträge aus früheren Gesprächen und Aufgabenverläufen voraus. Anschließend lud sie diese Einträge in DRAM, bevor der Workload sie anforderte.
Dieser Prozess ähnelt Caching in anderen Bereichen der Informatik, doch KI-Inferenz bringt eine ungewöhnliche Größenordnung und Zugriffsmuster mit sich. Eine Cache-Entscheidung kann die Zeit bis zum ersten Token, die kontinuierliche Token-Generierung und die Zahl gleichzeitig bedienter Nutzer beeinflussen. Eine schlechte Vorhersage kann zudem zusätzliche Datenbewegung und Verzögerung verursachen.
Mit SK hynix verbundene Forscher untersuchten diesen geschichteten Ansatz in einer Studie aus dem Jahr 2026 namens ITME. Das vorgeschlagene System kombiniert produktionsreifen CXL-Speicher mit PCIe-Gen5-SSDs für große Inferenzzustände. Die Autoren berichteten in ihrer Auswertung von einem bis zu 35,7 Prozent höheren Durchsatz als bei herkömmlichem CPU-Offloading.
Diese Zahl sollte nicht als allgemeiner MARS-Benchmark verstanden werden. Die Studie bewertete eine spezifische Architektur, Konfiguration und einen bestimmten Workload. Dennoch liefert sie technische Hinweise darauf, dass geschichteter Speicher die Inferenz verbessern kann, wenn Cache-Footprints die lokale Host-Kapazität übersteigen.
Computational Memory bildet einen weiteren Teil des Mechanismus. Statt jeden Datensatz in eine CPU oder GPU zu verschieben, werden ausgewählte Operationen nahe am Speicher ausgeführt, der diese Daten enthält. SK hynix nennt sein rechenfähiges Modul CMM-Ax.
Auf dem Gipfel unterstützte CMM-Ax eine effiziente Demonstration eines Sprachmodells mit langem Kontext. Langer Kontext bedeutet, dass das Modell innerhalb einer Anfrage mehr Text oder andere Eingaben verarbeiten kann. Diese Fähigkeit erfordert mehr Speicher und erzeugt zusätzliche Datenbewegungen zwischen Verarbeitungs- und Kapazitätsebenen.
Begrenzte Berechnungen näher am Speicher auszuführen, kann Datenverkehr, Energieverbrauch und Prozessor-Overhead reduzieren. Dadurch wird ein Speichermodul nicht zu einem allgemeinen Ersatz für eine GPU. Die nutzbaren Operationen müssen zu den spezialisierten Rechenressourcen und dem Programmiermodell des Moduls passen.
Eine unabhängige Demonstration von XCENA verdeutlicht sowohl die Chance als auch die fehlenden Belege. Sein MX1-Controller unterstützte gemeinsam genutzte KV-Caches und Vektorsuche innerhalb eines CXL-Speichergeräts. Die Demonstration für Computational Memory nutzte Tausende kleiner RISC-V-Kerne und unterstützte große DRAM-Konfigurationen.
XCENA veröffentlichte jedoch keine Details zu Latenz, Durchsatz oder vollständiger Serverkonfiguration für diese Gipfel-Demonstrationen. Diese Auslassung erschwert direkte Vergleiche. Sie zeigt auch, warum Käufer funktionale Demonstrationen von produktionsreifen Leistungsversprechen trennen sollten.
Der übergeordnete Mechanismus ist daher eine koordinierte Speicherhierarchie. HBM verarbeitet die bandbreitenempfindlichsten Daten direkt neben Beschleunigern. Gemeinsamer DRAM erweitert die verfügbare Kapazität, Computational Memory übernimmt ausgewählte Operationen, und SSDs halten größere oder weniger häufig benötigte Datensätze vor.
Software muss diese Hierarchie kohärent machen. Sie muss wichtige Daten identifizieren, künftige Zugriffe antizipieren, Informationen verschieben, bevor sie dringend benötigt werden, und sich erholen, wenn Prognosen scheitern. Ohne diese Kontrollen können zusätzliche Speicherebenen Komplexität statt nutzbarer Kapazität schaffen.
Das GPU-zentrierte Rack steht nicht still
SK hynix stellt prozessorzentriertes Design infrage, doch Beschleunigeranbieter behandeln Netzwerk, Speicher und Software bereits als Teile eines einzigen Computers im Rack-Maßstab.
Moderne KI-Racks werden zu eng integrierten Systemen. Die Plattformen von NVIDIA kombinieren GPUs, CPUs, Hochgeschwindigkeitsverbindungen, Netzwerke, Kühlung und Software. Auch AMD baut Plattformen im Rack-Maßstab rund um Beschleuniger und offene Infrastrukturstandards.
Diese Integration verschafft Prozessoranbietern einen wichtigen Vorteil. Sie kontrollieren die Softwarepfade, die von KI-Frameworks, Engines zur Modellbereitstellung, Kommunikationsbibliotheken und Orchestrierungswerkzeugen verwendet werden. Ein Speicher-Fabric muss in diese Pfade passen, ohne fragile kundenspezifische Integrationen zu schaffen.
SK hynix versucht nicht, den Prozessor aus dem Zentrum der Berechnung zu entfernen. Sein Argument betrifft Ressourcenbesitz und Datenplatzierung. Das Unternehmen möchte, dass Speicherkapazität als Dienst auf Rack-Ebene arbeitet, statt jedem Server untergeordnet zu bleiben.
Diese Unterscheidung macht den zentralen Konflikt zu einem architektonischen, nicht zu einem unternehmerischen. Ein GPU-zentriertes Rack skaliert durch das Hinzufügen eng gekoppelter Rechenknoten und ihres angebundenen Speichers. Ein speicherzentriertes Rack behandelt Kapazität als separaten Pool, auf den mehrere Recheneinheiten zugreifen können.
Beide Ansätze haben Abwägungen. Lokaler Beschleunigerspeicher bietet vorhersehbare Latenz und hohe Bandbreite. Gemeinsamer Speicher kann höhere Kapazität und bessere Auslastung bereitstellen, doch der Zugriff durchläuft zusätzliche Verbindungen, Switches, Controller und Softwareschichten.
Die beiden Designs können innerhalb einer Plattform koexistieren. Eine GPU kann aktive Tensoren und unmittelbare Cache-Einträge in HBM halten, während älterer Kontext in gepooltem DRAM liegt. SSD-gestützte Kapazität kann einen deutlich größeren Zustand bewahren, der keine HBM-Latenz benötigt.
Samsung demonstrierte auf dem OCP Global Summit 2026 eigene Arbeiten zum CXL-Pooling, darunter einen Agenten-Workload mit dynamisch zugewiesenem Speicher. Diese parallele Entwicklung deutet darauf hin, dass Speicher-Pooling zu einer Wettbewerbsanforderung wird und nicht nur ein isoliertes SK-hynix-Projekt bleibt.
Der Wettbewerb wird außerdem Controllerlieferanten, Serverhersteller, Cloud-Betreiber und Softwareentwickler einbeziehen. Marvell, Liqid, XCENA, Penguin Solutions, Arcee, NAVER Cloud und AMD traten in den Demonstrationen von SK hynix auf. Kein einzelner Anbieter kontrolliert jede für den Einsatz erforderliche Ebene.
Diese Abhängigkeit von Partnern kann die Architektur stärken, wenn Schnittstellen offen bleiben. Sie kann die Einführung jedoch auch verlangsamen, wenn Firmware, Treiber, Orchestrierungssoftware und Observability-Werkzeuge unterschiedlich schnell reifen. Betreiber werden Kapazitätsgewinne ablehnen, wenn die Fehlersuche unvorhersehbar wird.
Standardisierung ist daher Teil des Wettbewerbs. Der SK-hynix-Manager Youngpyo Joo nahm an einem OCP-Panel zur Abstimmung von Software-Frameworks und APIs zwischen Anbietern teil. Die Diskussion behandelte die Software, die erforderlich ist, um Produkte in einem Markt zu verbinden, der Kooperation und Wettbewerb vermischt.
CXL bietet eine gemeinsame Hardwaregrundlage, doch eine Spezifikation gewährleistet kein identisches Verhalten zwischen Produkten. Richtlinien zur Speicherzuweisung, Topologiemanagement, Sicherheit und Workload-Platzierung benötigen weiterhin konsistente Software. Auch die Leistungsoptimierung variiert zwischen CPUs, GPUs, Switches und Speichergeräten.
Der GPU-zentrierte Ansatz profitiert von etablierten Entwicklergewohnheiten. Teams analysieren bereits die Auslastung von Beschleunigern, planen Jobs nach GPU-Verfügbarkeit und optimieren Kernel für bestimmte Plattformen. Eine speicherzentrierte Architektur verlangt von ihnen, neue Engpässe zu beobachten und neue Ressourcenebenen zu optimieren.
Ihr stärkster Weg zur Akzeptanz wird vermutlich einen großen Teil dieser Komplexität verbergen. Modellserver sollten Kapazität oder gemeinsamen Zustand über stabile Softwareschnittstellen anfordern. Entwickler sollten nicht jedes physische Speichergerät manuell verwalten müssen.
Für Hyperscaler könnten die wirtschaftlichen Vorteile diesen Aufwand rechtfertigen. Selbst geringfügige Verbesserungen der Speicherauslastung können in großen Flotten relevant sein. Für kleinere Unternehmen können Integrationskosten die Einsparungen übersteigen, bis Anbieter erprobte Systeme mit klaren Supportgrenzen liefern.
MARS setzt daher beide Seiten unter Druck. Anbieter von Beschleunigerplattformen benötigen bessere Antworten auf Kapazitätserweiterung und Cache-Sharing. SK hynix und seine Partner müssen zeigen, dass zusammensetzbarer Speicher in den Softwareumgebungen, die Kunden bereits nutzen, zuverlässig funktioniert.
Proof-of-Concept-Ergebnisse lassen die schwierigen Fragen offen
Der Gipfel bestätigte die technische Machbarkeit, etablierte MARS jedoch nicht als Produktionsstandard für KI-Infrastruktur.
SK hynix bezeichnete mehrere Demonstrationen als Proof-of-Concept-Validierung. Ein Proof of Concept bestätigt, dass ein Ansatz unter ausgewählten Bedingungen funktionieren kann. Er belegt weder Zuverlässigkeit in einer Flotte, allgemeine Leistung, operative Einfachheit noch kommerzielle Verfügbarkeit.
Das Unternehmen verwendete in seiner Ankündigung starke Formulierungen zu Leistungsverbesserungen. Für die Demonstration des Agenten mit gepooltem Speicher lieferte es jedoch keine vollständigen Ergebnisse. Öffentliche Angaben lassen Modellgrößen, Anfrageprofile, Serverzahlen, Latenzverteilungen, Leistungsmessungen und Basiskonfigurationen aus.
Diese Details entscheiden darüber, ob CXL-gepoolter Speicher in der Praxis gewinnt. Ein System kann den Gesamtdurchsatz verbessern und zugleich die Tail-Latenz erhöhen, die die langsamsten Anfragen misst. Es kann Duplizierung reduzieren und bei Spitzennachfrage dennoch Fabric-Engpässe verursachen.
CXL-Zugriff ist außerdem langsamer als direkt angebundenes HBM. Dieser Unterschied widerlegt Pooling nicht, da nicht jedes Byte HBM-Leistung erfordert. Er verlangt jedoch eine sorgfältige Platzierung, damit häufig abgerufene Daten nicht zu viel Zeit auf einer entfernten Ebene verbringen.
Das Workload-Profil ist ebenso wichtig wie die Hardware. Gemeinsame Präfixe und wiederholte Unterhaltungen schaffen Möglichkeiten zur Cache-Wiederverwendung. Unvorhersehbare Prompts oder sich rasch ändernde Kontexte können die Wiederverwendung verringern und den Nutzen eines gemeinsamen Caches schwächen.
Prognosen bringen ein weiteres Risiko mit sich. MARS-Demonstrationen luden wahrscheinlich benötigte Cache-Einträge vorab in DRAM. Korrekte Prognosen können langsamere Speicherzugriffe verbergen. Falsche Prognosen verschwenden Bandbreite und belegen Platz, den ein anderer Workload benötigen könnte.
Auch Sicherheitsgrenzen erfordern eine genaue Prüfung. Mehrere Server, die Speicher teilen, dürfen die Prompts, Embeddings oder zwischengespeicherten Zustände eines Mandanten nicht einem anderen offenlegen. Die Isolation muss Hardware, Firmware, Orchestrierungssoftware und Fehlerbehebung umfassen.
Der Übergang zu persistenten Agenten erhöht den Einsatz. Ein KV-Cache kann Nutzerunterhaltungen und Aufgabenhistorie widerspiegeln. Betreiber benötigen klare Regeln für Löschung, Aufbewahrung, Verschlüsselung und Auditierung, wenn dieser Zustand über gepoolten Speicher und SSD-Ebenen verschoben wird.
Zuverlässigkeit wird komplexer, wenn ein Rack von einem gemeinsamen Fabric abhängt. Ein ausgefallenes Modul sollte nicht unabhängige Hosts blockieren. Controller benötigen vorhersehbares Failover, während Überwachungssysteme erkennen müssen, ob Verzögerungen aus der Rechenleistung, lokalem Speicher, gepooltem Speicher, Storage oder Netzwerk stammen.
Auch Energieversprechen benötigen Messungen auf Systemebene. Ein Speichermodul kann Energie effizienter nutzen, während die umfassendere Architektur Switches, Controller oder zusätzliche Datenbewegungen hinzufügt. Käufer benötigen Ergebnisse auf Rack-Ebene, nicht nur Komponentenvergleiche.
Die Produktionsökonomie bleibt unklar. SK hynix kündigte weder allgemeine Verfügbarkeit, Kundenpreise noch Einsatzvolumina für MARS an. Ebenso legte das Unternehmen nicht offen, ob NAVER Cloud plant, die Architektur in einem kundenorientierten Produktionsdienst zu betreiben.
Das CXL-Modul der zweiten Generation des Unternehmens bietet konkretere Spezifikationen. Unabhängige Berichterstattung bestätigte, dass SK hynix das 256-GB-CXL-3.2-Produkt und seine behauptete Effizienzsteigerung zeigte. Die Zusammenfassung des Speicherportfolios stützt sich dennoch überwiegend auf vom Unternehmen bereitgestellte Informationen.
Die stärksten Belege werden von Betreibern kommen, die reproduzierbare Ergebnisse veröffentlichen. Relevante Messgrößen umfassen Zeit bis zum ersten Token, Tokens pro Sekunde, gleichzeitige Sitzungen, Cache-Trefferquoten, Rack-Leistung und Speicherauslastung. Ergebnisse sollten Ziele mit gleicher Dienstqualität vergleichen, nicht nur maximalen Durchsatz.
Softwareportabilität stellt einen weiteren Test dar. Ein für einen Controller oder Fabric optimierter Workload sollte keine vollständige Neuschreibung erfordern, wenn der Betreiber den Serveranbieter wechselt. Offene APIs und gemeinsame Telemetrie werden beeinflussen, ob CXL zur Infrastruktur wird oder eine Sammlung von Demonstrationen bleibt.
MARS lässt sich daher am besten als glaubwürdiger Architekturvorschlag mit früher Systemvalidierung verstehen. Es ist noch kein Beweis dafür, dass speicherzentrierte Racks konventionelle Designs ersetzen werden. Der Vorschlag verdient Aufmerksamkeit, weil er einen realen Engpass identifiziert und eine technisch kohärente Antwort bietet.
Drei Signale werden zeigen, ob speicherzentrierte KI-Racks die Zukunft sind
Die nächste Phase hängt von Produktionsbelegen, interoperabler Software und einer klaren Antwort der Anbieter von Plattformen im Rack-Maßstab ab.
Das erste Signal ist ein offengelegter Kundeneinsatz. SK hynix arbeitet seit September 2025 mit NAVER Cloud an CXL-basierten Speicherlösungen für KI-Workloads in der Cloud. Auf der OCP zeigten die Unternehmen Proof-of-Concept-Arbeiten zu KV-Cache-Sharing und einem Dienst zum Teilen von Embeddings.
Eine Produktionsankündigung sollte den Workload, den Umfang des Einsatzes und ein messbares Ergebnis benennen. Sie sollte außerdem zeigen, ob gepoolter Speicher Beschaffung von Beschleunigern reduziert, die Sitzungskapazität erhöht oder die Reaktionszeit verbessert. Ohne diese Details bleibt ein Kundenname ein unterstützender Beleg statt einer Validierung.
Ein NAVER-Cloud-Einsatz mit reproduzierbaren Gewinnen würde den Fall von SK hynix stärken. Anhaltende Proof-of-Concept-Sprache ohne Produktionsmeilensteine würde die kurzfristige Behauptung schwächen. Sie würde darauf hindeuten, dass die Integration schwieriger bleibt, als die Hardware-Demonstration vermuten lässt.
Das zweite Signal ist softwareseitige Abstimmung zwischen Anbietern. OCP-Arbeitsgruppen und CXL-Teilnehmer benötigen gemeinsame Frameworks zum Erkennen von Pools, Zuweisen von Kapazität, Überwachen der Leistung und Durchsetzen von Isolation. Plattformen zur Modellbereitstellung müssen außerdem wissen, wann Cache-Daten in HBM, DRAM oder SSD-gestütztem Speicher platziert werden sollen.
Achten Sie auf unterstützte Integrationen mit verbreiteten Inferenz-Frameworks statt auf einmaligen Demonstrationscode. Stabile APIs, Orchestrierungsunterstützung und gemeinsame Telemetrie würden das Einsatzrisiko verringern. Fragmentierte Managementwerkzeuge würden eng integrierte, prozessorgeführte Racks begünstigen.
Das dritte Signal ist die Reaktion von GPU- und Rack-Plattform-Anbietern. Sie können externe Speicher-Tiers übernehmen, ihre eigenen Pooling-Systeme verbessern oder mehr Speicher direkt an Beschleuniger anbinden. Ihre Plattform-Roadmaps werden zeigen, ob Composable Memory zum Standard wird oder auf bestimmte Workloads beschränkt bleibt.
Unterstützt ein Prozessoranbieter gemeinsame CXL-Pools, würde das die memory-zentrierte These stärken, selbst wenn sein Rack weiterhin rechenzentriert bleibt. Eine proprietäre Alternative könnte den Markt fragmentieren. Größere lokale Speicherkonfigurationen könnten das Pooling zudem für Kunden hinauszögern, die vorhersehbare Latenz priorisieren.
SK hynix hat bereits gezeigt, dass das Argument über CXL-DRAM hinausgeht. Das Portfolio des Unternehmens kombiniert HBM, herkömmlichen Serverspeicher, Computational Memory, SSDs und High Bandwidth Flash. HBF soll deutlich mehr Kapazität als HBM bereitstellen und zugleich mehr Bandbreite als herkömmlicher Speicher liefern.
Das Unternehmen präsentierte HBF als Tier für Inferenzumgebungen, die viele Nutzer bedienen. Die Vergleiche auf dem Summit beruhten auf internen Simulationen; kommerzielle Hardware muss die tatsächliche Leistung daher noch belegen. Verfügbarkeit, Ausdauer, Softwareintegration und Energieverhalten werden seinen Platz in der Hierarchie bestimmen.
Für Entwickler ist diese Architektur relevant, weil längere Kontexte und persistente Agents keine kostenlosen Softwarefunktionen sind. Jede Produktentscheidung erzeugt physischen Zustand, der irgendwo gespeichert werden muss. Cache-Richtlinien, Retrieval-Muster und Model Routing beeinflussen zunehmend Infrastrukturkosten und Reaktionszeiten.
Für Unternehmenskäufer sollten Hardware-Anforderungen konkreter werden. Fragen Sie Anbieter, wie sie ungenutzten Speicher messen, gemeinsame Kapazitäten verwalten, Mandanten isolieren und sich von Fabric-Ausfällen erholen. Fordern Sie Ergebnisse mit Modellen und Kontextlängen, die den geplanten Deployments ähneln.
Fragen Sie außerdem, ob das System nützliche Telemetriedaten bereitstellt. Teams müssen Cache-Hit-Raten, Tier-Migrationen, CXL-Überlastung, Storage-Lesevorgänge und Tail-Latenz sehen können. Eine gepoolte Ressource, die sich nicht diagnostizieren lässt, wird zu einer betrieblichen Belastung.
Das memory-zentrierte AI-Rack von SK hynix stellt den GPU-first Server nicht über Nacht auf den Kopf. Es liefert jedoch ein überzeugendes Argument dafür, dass Inferenzinfrastruktur Speicher nicht als passive Erweiterung behandeln kann. Die schwierigere Frage lautet, ob Anbieter diese Erkenntnis in wiederholbare, unterstützbare Systeme überführen können.
Achten Sie in den kommenden Monaten auf einen namentlich genannten Produktionseinsatz, gemeinsame Software-Schnittstellen und die direkte Integration in kommerzielle Rack-Plattformen. Diese drei Entwicklungen würden MARS von einer Summit-Vision zu einem Infrastrukturmodell weiterentwickeln.
Bleiben sie aus, könnte memory-zentriertes Design eine nützliche Technik für ausgewählte Workloads bleiben statt zum neuen Standard zu werden. Beide Ergebnisse werden Käufern etwas Wichtiges zeigen: Die künftige AI-Performance hängt davon ab, wo Daten liegen – nicht nur davon, wo gerechnet wird.
