SK hynix 以内存为中心的 AI 机架挑战 GPU 优先服务器

SK hynix 在 OCP Global Summit 2026 上发布了一款以内存为中心的 AI 机架，对塑造现代 AI 服务器的处理器优先设计提出挑战。其 MARS 架构将内存与单个 CPU 和 GPU 分离，并让这些容量能够在整个机架内共享。这一方案瞄准了日益突出的矛盾：增加加速器并不能自动解决推理数据的移动、复制和存储问题。

该公司在 10 月 12 日至 15 日于圣何塞举行的峰会上展示了 MARS，即 Memory-Centric AI Rack System。其演示结合了 CXL 内存、DRAM、SSD、计算内存以及多家合作伙伴的软件。核心理念很简单，但实施起来并不简单：内存应成为机架级共享资源，而不应继续被困在单独的服务器内部。

这一立场使 SK hynix 站在既有 GPU 中心服务器模式的对立面，而非针对某一家芯片制造商或内存供应商。NVIDIA、AMD 及其他处理器厂商已在打造集成度越来越高的机架平台。SK hynix 则认为，推理基础设施同样需要独立管理的内存层，尤其是在智能体工作负载积累大量缓存和更长上下文的情况下。

SK hynix 以内存为中心的 AI 机架从组件走向系统

重要的变化并非一款新内存模块。SK hynix 现在提出的是整个 AI 机架应如何组织内存。

SK hynix 传统上一直供应由服务器设计商围绕处理器部署的组件。在 OCP Global Summit 2026 上，该公司通过 MARS system 展示了更广泛的架构主张。该设计将合作伙伴的硬件和软件整合进一个机架，并将共享内存置于中心。

机架是容纳服务器、网络设备、存储设备、电力系统及其他基础设施的物理结构。如今，每台服务器通常拥有固定数量的本地内存。一台服务器可能耗尽容量，而同一机架内其他位置的闲置内存却无法访问。

MARS 试图改变这种资源分配模式。它使用 Compute Express Link，即 CXL，通过基于 PCI Express 的缓存一致性接口连接处理器与内存。CXL 池化让多个主机能够访问由一组共享内存设备提供的容量。

该公司与合作伙伴展示了三项 MARS 演示，而非仅仅给出概念图。Arcee、Liqid 和 Marvell 参与的演示将多台服务器和 GPU 连接至池化内存。SK hynix 表示，该系统在不完全依赖传统网络通信的情况下传输并复用了键值缓存。

键值缓存通常称为 KV cache，用于存储语言模型已经计算过的中间数据。复用这些数据可避免模型为生成的每个 token 重复计算相同上下文。随着对话、文档和多步骤智能体任务增长，缓存也会变得更大。

另一项演示结合了 AMD、Penguin Solutions、XCENA 和 Arcee 的技术。它将 DRAM 和 SSD 容量置于基于 CXL 的混合内存层之后。该系统预测哪些缓存数据将被需要，将其载入 DRAM，并在 SSD 中保留完整缓存。

第三项与个人 AI 智能体提供商 Pickle 合作的演示聚焦于多个模型之间的传输。SK hynix 表示，池化内存流式传输缩短了在这些模型间移动数据所需的时间。该公司将其定位为缩短智能体返回最终结果前等待时间的方式。

这些演示之所以重要，是因为它们将这一方案推进到了孤立内存基准测试之外。它们展示了池化容量如何支持实际推理任务，包括缓存共享、多模态流水线和个人智能体。不过，SK hynix 尚未发布 MARS 演示的完整、可由第三方独立复现的性能结果。

活动本身也强化了对架构的关注。Open Compute Project 将其 2026 年主题描述为为 AI 时代扩展基础设施。其 summit vision 呼吁对芯片、机架、冷却、电力、网络和数据中心设施进行全方位变革。

这一背景解释了为何 SK hynix 强调的是系统，而不是又一份组件路线图。该公司希望在运营商决定 AI 机架如何运行时，让内存供应商参与其中。这将使内存架构在服务器进入最终量产设计之前发挥更大作用。

推理正使内存容量成为机架级问题

AI 推理改变了瓶颈：服务长时间运行且持久的工作负载，既需要快速计算，也需要大容量、可复用的内存。

AI 训练使加速器和高带宽内存成为基础设施规划的核心。训练会反复让大规模模型参数组在并行处理器间流动。HBM 紧邻这些处理器，为维持其运转提供所需带宽。

推理带来了不同组合的压力。每项请求可能包含长提示词、已存储的对话历史、检索文档、工具结果、图像或音频。智能体系统在协调多个模型和服务的同时，可能会维持多个此类工作负载。

由此产生的状态无法整齐地容纳在单个加速器内。随着上下文变长，KV cache 会消耗容量；模型权重和嵌入也会带来额外需求。运营商必须决定哪些信息留在 HBM，哪些移至系统内存，哪些下沉至存储层。

增加另一块 GPU 可以带来更多直连 HBM，但同时也增加了昂贵的计算资源。当眼前约束是容量而非算术吞吐量时，这种做法效率不高。工作负载在服务器之间变化时，它也可能让内存处于闲置状态。

SK hynix 认为，答案是解耦，即将内存容量从特定处理器中分离出来，并按需分配。该公司内存系统研究负责人 Hosik Kim 在峰会演讲中谈及 GPU 内存周围的物理与经济限制。他的 rack-level proposal 呼吁构建围绕解耦内存和 SSD 资源的系统。

向智能体的转变强化了这一论点。传统聊天机器人可以在会话结束后丢弃大部分临时状态。持久型智能体则可能需要保留上下文、回顾先前工作、协调专用模型，并服务大量并发用户。

这改变了内存复用的价值。如果多台推理服务器能够访问同一份缓存提示词或共享前缀，就无需保存那么多重复副本。如果发生故障或过载的服务器可以将工作移交至其他位置，而无须通过网络迁移全部状态，响应时间就可能改善。

CXL 池化内存旨在使这种共享更直接。它能够通过内存语义暴露机架级容量，而不是将每次传输都视为传统存储或网络操作。零拷贝共享旨在让处理器访问相同数据，而无需再创建一个完整副本。

是否有益仍取决于工作负载。一些推理操作依赖极低延迟，需要位于加速器旁的 HBM。若系统获得更多容量或避免重复，其他数据则可容忍更高延迟。

因此，MARS 并非要取代 HBM。SK hynix 在其 CXL 系统旁展示了 HBM4、HBM4E、服务器 DRAM、企业级 SSD 和 High Bandwidth Flash。其战略是一种层级体系，由软件将每类数据置于适当层级。

这一时机也反映了全行业的转型。OCP 预计下一波推理将扩展到集中式超大规模站点之外。区域数据中心、企业设施、电信站点和工业场所将需要具备不同功耗与容量限制的系统。

这些环境无法通过购买更多加速器机架来解决所有内存短缺问题。共享池可以提高不均衡工作负载下的利用率，也可以让容量扩展更少依赖特定处理器代际。

因此，对企业买家而言，关键问题正在变化。选择不再只是哪个加速器能提供最高基准成绩。买家还需要了解机架如何管理模型状态、缓存增长、数据移动和闲置内存。

CXL 池化内存是 MARS 背后的机制

SK hynix MARS 系统依赖 CXL 将内存转变为可组合基础设施，同时由软件决定每个层级应存放什么。

SK hynix 推出了基于 CXL 3.2 的第二代 256GB CMM-DDR5 模块。CMM 即 CXL Memory Module，是一种通过 CXL 接口扩展或共享内存的设备。该公司称，这一模块的带宽达到每秒 80GB。

这一数值超过 SK hynix 上一代产品带宽的两倍。该公司还宣称能效提升约 30%。这些数据是 SK hynix 的产品对比结果，尚未获得广泛的第三方验证。

该模块支持 CXL 池化，让主机能够从共同资源中获取容量。动态分配可为繁忙服务器提供更多内存，而无需永久分配这些容量。负载较低的主机则可归还闲置容量，供其他工作负载使用。

这一机制针对的是闲置内存问题，但它也改变了故障与管理模型。当容量实现共享时，运营商需要针对隔离、访问权限、服务质量、遥测和恢复进行控制。内存错误或互连拥塞可能影响更广泛的一组机器。

MARS 在池化 DRAM 之下增加了混合层级。CXL 混合内存将 DRAM 与 SSD 容量结合，让频繁访问的数据留在更快的内存中。活跃度较低的数据可以保留在高容量存储中，直到系统预测其即将被需要。

SK hynix 使用大型 KV cache 展示了这种行为。据称，该演示从先前对话和任务历史中预测有用的缓存条目，随后在工作负载请求前将这些条目载入 DRAM。

这一过程类似于计算领域其他地方的缓存，但 AI 推理带来了不同寻常的规模和访问模式。缓存决策会影响首个 token 的时间、持续 token 生成，以及可同时服务的用户数量。错误预测也可能增加额外的数据移动和延迟。

与 SK hynix 相关的研究人员在一篇名为 ITME 的 2026 年论文中探索了这一分层方法。所提出的系统将生产级 CXL 内存与 PCIe Gen5 SSD 结合，用于处理大规模推理状态。作者报告称，在其评估中，吞吐量最高比传统 CPU 卸载方式高出 35.7%。

这一数字不应被视为通用的 MARS 基准。该研究评估的是特定架构、配置和工作负载。不过，它仍为以下观点提供了技术证据：当缓存占用空间超过本地主机容量时，分层内存可以改善推理表现。

计算内存构成了这一机制的另一部分。系统无需将每个数据集都移入 CPU 或 GPU，而是在存储该数据的内存附近运行选定操作。SK hynix 将其配备计算能力的模块称为 CMM-Ax。

在峰会上，CMM-Ax 支持了一项高效的长上下文语言模型演示。长上下文意味着模型能够在一次请求中处理更多文本或其他输入。这种能力需要更多内存，并会增加处理层与容量层之间的数据移动。

将有限的计算能力部署得更靠近内存，可以减少数据传输、功耗和处理器开销。但这并不意味着内存模块能够全面替代 GPU。可用的操作必须适配模块的专用计算资源与编程模型。

XCENA 的独立演示同时说明了这一机会及其尚缺的证据。其 MX1 控制器支持在 CXL 内存设备内部实现共享 KV 缓存和向量搜索。这项计算内存演示采用数千个小型 RISC-V 内核，并支持大容量 DRAM 配置。

不过，XCENA 未公布这些峰会演示的延迟、吞吐量或完整服务器配置细节。这一缺失使直接比较变得困难，也表明买家应将功能演示与达到生产就绪标准的性能声明区分开来。

因此，更宏观的机制是一套协同的内存层级结构。HBM 在加速器旁处理对带宽最敏感的数据；共享 DRAM 扩展可访问容量；计算内存处理特定操作；SSD 则保留规模更大或访问频率更低的数据集。

软件必须让这一层级结构协调一致。它需要识别重要数据、预测未来访问、在信息变得紧急前完成迁移，并在预测失误时进行恢复。缺少这些控制机制，额外的内存层级可能只会增加复杂性，而非提供有用容量。

GPU 优先型机架并未停滞不前

SK hynix 正在挑战以处理器为中心的设计，但加速器厂商早已将网络、内存和软件视为一台机架级计算机的组成部分。

现代 AI 机架正成为高度集成的系统。NVIDIA 的平台整合了 GPU、CPU、高速互连、网络、散热和软件。AMD 也正在围绕加速器和开放基础设施标准构建机架级平台。

这种集成赋予处理器厂商重要优势。它们掌控 AI 框架、模型服务引擎、通信库和编排工具所依赖的软件路径。内存互连架构必须适配这些路径，且不能引入脆弱的定制集成。

SK hynix 并不试图将处理器从计算中心移除。其论点关乎资源所有权与数据放置。该公司希望内存容量作为机架级服务运行，而不是继续从属于每一台服务器。

这一差异使核心冲突成为架构层面的冲突，而非企业之间的竞争。GPU 优先型机架通过增加紧密耦合的计算节点及其附属内存来扩展。以内存为中心的机架则将容量视为可由多个计算单元访问的独立资源池。

两种路线各有取舍。本地加速器内存提供可预测的延迟和高带宽。共享内存能够带来更高的容量和利用率，但访问需要跨越更多链路、交换机、控制器和软件层。

两种设计可以共存于同一平台中。GPU 可以将活跃张量和即时缓存条目保留在 HBM 中，而较早的上下文则放在池化 DRAM 中。由 SSD 支撑的容量可保存规模更大、但不要求 HBM 延迟的状态。

Samsung 在 OCP Global Summit 2026 上展示了自身的 CXL 池化成果，包括一个使用动态分配内存的智能体工作负载。这一并行推进表明，内存池化正成为竞争性要求，而非 SK hynix 的孤立项目。

竞争还将涉及控制器供应商、服务器制造商、云运营商和软件开发商。Marvell、Liqid、XCENA、Penguin Solutions、Arcee、NAVER Cloud 和 AMD 都出现在 SK hynix 的演示中。没有任何单一厂商掌控部署所需的全部层级。

如果接口保持开放，这种对合作伙伴的依赖可以强化该架构。但当固件、驱动程序、编排软件和可观测性工具以不同速度成熟时，它也可能拖慢采用进程。一旦排障变得不可预测，运营商就会拒绝容量增长带来的收益。

因此，标准化也是竞争的一部分。SK hynix 高管 Youngpyo Joo 参加了 OCP 的一场小组讨论，议题是协调各厂商的软件框架和 API。讨论涵盖了在一个合作与竞争并存的市场中连接不同产品所需的软件。

CXL 提供了共同的硬件基础，但一项规范并不能确保不同产品表现完全一致。内存分配策略、拓扑管理、安全性和工作负载放置仍需要一致的软件支持。性能调优也会因 CPU、GPU、交换机和内存设备而异。

GPU 优先路线受益于成熟的开发者习惯。团队已经会分析加速器利用率、围绕 GPU 可用性安排任务，并针对特定平台优化内核。以内存为中心的架构则要求他们观察新的瓶颈，并调优新的资源层级。

其最有力的采用路径，很可能是隐藏大部分复杂性。模型服务器应通过稳定的软件接口请求容量或共享状态。开发者不应需要手动管理每一个物理内存设备。

对于超大规模云服务商而言，这种经济效益可能足以证明投入的合理性。即使内存利用率仅有适度提升，在庞大机群中也意义重大。对于规模较小的企业，在厂商提供经过验证、支持边界清晰的系统之前，集成成本可能会超过节省的成本。

因此，MARS 对双方都施加了压力。加速器平台厂商需要更好地应对容量扩展和缓存共享问题。SK hynix 及其合作伙伴则必须证明，可组合内存能够在客户已使用的软件环境中可靠运行。

概念验证结果仍留下关键问题

峰会证明了技术可行性，但尚未证明 MARS 将成为 AI 基础设施的生产默认方案。

SK hynix 将多项演示描述为概念验证。概念验证可确认一种方法能在特定条件下发挥作用，但不能证明其具备机群可靠性、通用性能、运维简易性或商业可用性。

该公司在公告中使用了关于性能提升的强烈措辞，但未提供池化内存智能体演示的完整结果。公开细节缺少模型规模、请求模式、服务器数量、延迟分布、功耗测量和基准配置。

这些细节决定了 CXL 池化内存在实际应用中是否胜出。系统可能提升整体吞吐量，却增加衡量最慢请求的尾部延迟。它也可能减少重复数据，却在需求高峰期引入互连架构争用。

CXL 访问速度也慢于直接连接的 HBM。这一差距并不会否定池化，因为并非每一个字节都需要 HBM 级性能。但它要求谨慎放置数据，避免被频繁访问的数据在远端层级停留过久。

工作负载特征与硬件同样重要。共享前缀和重复对话为缓存复用创造机会。不可预测的提示词或快速变化的上下文则可能降低复用率，削弱共享缓存的收益。

预测也带来另一项风险。MARS 演示会预先将可能使用的缓存条目加载到 DRAM 中。预测正确可以掩盖较慢的存储访问；预测错误则会浪费带宽，并占据其他工作负载可能需要的空间。

安全边界同样需要严格审视。多台共享内存的服务器绝不能让一个租户的提示词、嵌入向量或缓存状态暴露给另一个租户。隔离必须覆盖硬件、固件、编排软件和故障恢复。

向持久化智能体的转变提高了风险等级。KV 缓存可能反映用户对话和任务历史。当这些状态跨越池化内存和 SSD 层级移动时，运营商需要明确的删除、保留、加密和审计机制。

当机架依赖共享互连架构时，可靠性也变得更加复杂。一个故障模块不应拖慢无关主机。控制器需要可预测的故障转移机制，而监控系统必须能识别延迟究竟来自计算、本地内存、池化内存、存储还是网络。

功耗声明同样需要系统级测量。内存模块可能更高效地使用能源，但更广泛的架构可能增加交换机、控制器或额外数据移动。买家需要机架级结果，而不只是组件比较。

生产经济性仍不明确。SK hynix 尚未公布 MARS 的全面上市时间、客户定价或部署规模，也未披露 NAVER Cloud 是否计划在面向客户的生产服务中运行该架构。

该公司的第二代 CXL 模块提供了更具体的规格。独立报道确认，SK hynix 展示了 256GB CXL 3.2 产品及其宣称的效率提升。不过，这份内存产品组合摘要主要仍依赖公司提供的信息。

最有力的证据将来自运营商公布可重复的结果。相关指标包括首个令牌生成时间、每秒令牌数、并发会话数、缓存命中率、机架功耗和内存利用率。结果应比较服务质量目标相同的方案，而不只是比较最大吞吐量。

软件可移植性构成另一项考验。针对一种控制器或互连架构优化的工作负载，不应在运营商更换服务器供应商时需要全面重写。开放 API 和通用遥测能力将影响 CXL 是成为基础设施，还是仍停留在一系列演示之中。

因此，MARS 最适合被理解为一项可信的架构提案，且已获得早期系统验证。它尚不能证明以内存为中心的机架将取代传统设计。该提案值得关注，因为它识别出一个真实瓶颈，并提出了技术上连贯的应对方案。

三个信号将揭示以内存为中心的 AI 机架是否代表未来

下一阶段取决于生产证据、可互操作的软件，以及机架级平台厂商给出的明确回应。

第一个信号是已披露的客户部署。自 2025 年 9 月以来，SK hynix 一直与 NAVER Cloud 合作，为云端 AI 工作负载开发基于 CXL 的内存解决方案。在 OCP 上，两家公司展示了涉及 KV 缓存共享和嵌入向量共享服务的概念验证工作。

一项生产部署公告应明确工作负载、部署规模和可衡量结果，还应展示池化内存是否减少了加速器采购、提升了会话容量或改善了响应时间。缺少这些细节，客户名称仍只是辅助证据，而非验证。

如果 NAVER Cloud 的部署带来可重复的收益，将强化 SK hynix 的论点。若持续使用概念验证措辞却没有生产里程碑，则会削弱短期主张。这将表明集成仍比硬件演示所暗示的更困难。

第二个信号是跨厂商的软件协同。OCP 工作组和 CXL 参与者需要建立用于发现资源池、分配容量、监控性能和实施隔离的通用框架。模型服务平台也必须知道何时应将缓存数据放置在 HBM、DRAM 或由 SSD 支撑的内存中。

应关注与广泛使用的推理框架之间获得支持的集成，而非一次性的演示代码。稳定的 API、编排支持和共享遥测能力将降低部署风险。碎片化的管理工具则会有利于紧密集成、由处理器主导的机架。

第三个信号来自 GPU 和机架平台供应商的反应。他们可以采用外部内存分层，改进自身的池化系统，或让更多内存直接挂载在加速器上。他们的平台路线图将揭示：可组合内存会成为标准，还是仅适用于特定工作负载。

如果处理器供应商支持通用 CXL 内存池，即便其机架仍以计算为主导，也将强化以内存为中心的论点。专有替代方案则可能造成市场碎片化。对于优先考虑可预测延迟的客户而言，更大容量的本地内存配置也可能推迟其采用池化方案。

SK hynix 已表明，这一讨论并不局限于 CXL DRAM。其产品组合涵盖 HBM、传统服务器内存、计算内存、SSD 和 High Bandwidth Flash。HBF 的目标是在提供远高于 HBM 的容量同时，交付高于传统存储的带宽。

该公司将 HBF 定位为面向多用户推理环境的一层存储。其在峰会上的对比基于内部模拟，因此商用硬件仍需证明实际性能。可用性、耐久性、软件集成和功耗表现，将决定它在这一层级中的位置。

对开发者而言，这种架构很重要，因为更长的上下文和持久化智能体并非免费的软件功能。每一项产品决策都会产生必须存放在某处的物理状态。缓存策略、检索模式和模型路由正日益影响基础设施成本与响应时间。

对企业采购方而言，硬件需求应当变得更加具体。应询问供应商如何衡量闲置内存、管理共享容量、隔离租户，以及如何从互连架构故障中恢复。应要求其使用与计划部署相似的模型和上下文长度提供结果。

还应询问系统是否提供有用的遥测数据。团队需要了解缓存命中率、分层迁移、CXL 拥塞、存储读取和尾延迟。无法诊断的池化资源会成为运营负担。

SK hynix 的以内存为中心的 AI 机架并不会一夜之间颠覆以 GPU 为先的服务器。但它有力地说明，推理基础设施不能再将内存视为被动的附属组件。更难的问题在于，供应商能否将这一洞见转化为可重复部署、可获得支持的系统。

未来几个月，应关注具名的生产部署、通用的软件接口，以及与商用机架平台的直接集成。这三项进展将推动 MARS 从峰会愿景迈向一种基础设施模型。

如果这些进展没有出现，以内存为中心的设计可能仍只是适用于特定工作负载的实用技术，而不会成为新的默认选择。无论结果如何，采购方都会得到一个重要启示：未来 AI 的性能取决于数据存放的位置，而不仅仅是计算发生的位置。