Marvell Structera X CXL 3.2 扩展 AI 内存，但容量只是挑战的一半

Marvell 推出了两款 Structera X CXL 3.2 控制器，配备六个内存通道、四主机连接能力，物理内存最高可达 9TB。Marvell Structera X CXL 3.2 的发布瞄准了日益突出的推理瓶颈：只有在周边拥有足够可用内存时，加速器才能处理 token。

Structera X 3406 支持 DDR4，而 Structera X 3506 支持 DDR5。两者均通过 PCIe 6.0 连接，预计将在 2027 年第一季度开始送样。Marvell 表示，与上一代产品相比，这些产品可改善首 token 时间，并延长所支持的上下文长度。

不过，这一比较只反映了硬件层面的情况。Astera Labs、Montage Technology、Meta 等厂商也在推进 CXL 内存设计。竞争重点正从谁能连接最多内存，转向谁能将较慢的共享容量转化为可预测的应用性能。

Marvell Structera X CXL 3.2 新增六个内存通道

Marvell 在一代控制器中同时提升了容量、主机带宽和压缩吞吐量。

此次 Structera X 发布涵盖两款第二代内存扩展器。内存扩展器是一种控制器，可让处理器通过外部互连访问额外内存，而非仅依靠其原生内存通道。

Structera X 3406 提供六个 DDR4 通道，每个通道支持三个 DIMM。DIMM 是服务器内部承载 DRAM 芯片的可拆卸模块。Marvell 表示，借助 18 个 RDIMM 插槽，一颗控制器最多可支持 9TB DDR4 内存。

Structera X 3506 将六个 DDR5 通道与每通道两个 DIMM 配对。Marvell 称，其 12 个 RDIMM 插槽最多支持 6TB DDR5。不同的上限反映的是控制器配置和内存技术的差异，而非宣称 DDR4 天生更强。

两款产品均从基于 PCIe 5.0 的 CXL 2.0 升级至基于 PCIe 6.0 的 CXL 3.2。CXL 即 Compute Express Link，是一种一致性互连技术，可让处理器以加载和存储语义访问所连接的设备和内存。

新链路通过 PCIe 6.0 x16 连接，支持最高 256GB/秒的聚合主机带宽。这是 Marvell 上一代产品所述 128GB/秒的两倍。控制器还可将连接能力分配给最多四台主机，使多个系统能够访问同一设备后方的容量。

通道数量至关重要，因为控制器需要足够的后端带宽来服务更快的主机链路。Marvell 将内存通道数量从四个增至六个，提升了 50%。该公司仍采用 5 纳米制造工艺生产两款控制器。

Marvell 还将内联 LZ4 压缩和解压缩吞吐量提升至 250GB/秒。LZ4 是一种低延迟压缩格式，以牺牲部分压缩率换取速度。新的吞吐量是上一代所述速率的五倍。

Marvell 表示，压缩可使已安装 DRAM 提供的有效容量提升至两到三倍。这一结果取决于数据本身，因为已经压缩的数据或不规则页面，不会像重复性数据那样缩小。

此次发布还引入了扩展的安全性和可靠性功能。Marvell 将 Caliptra 2.0、AES-256 内存加密、CXL Integrity and Data Encryption 以及后量子密码学列为支持的保护措施。其 StructGuard 可靠性系统新增纠错能力，旨在防范 DRAM 设备故障。

这些变化使此次发布不只是一次常规标准升级。控制器必须驱动六个内存通道，以接近线速的水平处理压缩、保护数据，并协调多台主机的访问。每增加一项功能，也意味着运营方在部署前需要验证的领域随之增加。

Marvell 计划在 2026 OCP Global Summit 上展示这些设备。不过，预计要到 2027 年初才会开始送样。因此，该公告描述的是一款即将推出的组件，而不是大多数客户今天就能购买和部署的硬件。

为什么 AI 推理需要的不只是加速器内存

直接目标不只是模型存储，而是并发和长上下文推理所产生、持续扩张的工作状态。

在推理过程中，Transformer 会存储由先前处理 token 生成的键和值张量。这种 KV 缓存可避免系统在每一个解码步骤中重复计算相同的注意力状态。

KV 缓存需求会随上下文长度、批处理大小、模型结构以及活跃请求数量增长。因此，长提示词会在模型生成单个响应之前就消耗内存。Agent 工作流带来更大压力，因为它们需要保留历史记录、使用工具、检索文档，并服务大量会话。

高带宽内存，即 HBM，仍是加速器必须立即访问的数据的首选位置。其带宽远高于普通服务器 DRAM 或 CXL 连接内存。然而，HBM 容量有限、物理位置靠近处理器，且部署后难以扩展。

运营方可以通过缩小批处理大小、缩短上下文、重新计算被驱逐的状态，或将较冷的数据移至其他位置来应对。每种选择都可能降低利用率或增加延迟。当额外内存能让昂贵的加速器持续处理 token 而非等待数据时，它就具有价值。

Marvell 将 Structera X 定位为这类状态的额外层级。该控制器并不会将 DDR4 或 DDR5 变成 HBM。它创建了一个更大的池，使选定数据能够保持字节可寻址，并且位置比传统存储更近。

该公司称，在等效上下文长度下，新控制器可将首 token 时间最多缩短 40% 至 50%。首 token 时间衡量的是提交提示词与收到第一个生成 token 之间的延迟。

Marvell 还声称，在等效延迟下可支持长达两倍的上下文窗口。对于深度学习推荐模型，该公司称每秒查询数最多可提升至两倍，嵌入表的有效容量可增加两到三倍。

这些数据是供应商基于公开公告中未说明配置提出的主张。Marvell 尚未公布足够的工作负载、软件、处理器或基准细节，供读者复现这些结果。在独立系统测试出现之前，应将其视为产品目标。

不过，其背后的需求是可信的。关于 CXL 内存池化的研究指出，当长提示词和多租户推理超出现有 HBM 容量时，会出现容量缺口。该分析将 CXL 池化与重新计算以及传统 DDR 卸载进行比较，而非将额外内存视为通用加速方案。

这种区别十分重要。更大的内存层级可以防止容量驱动的故障，并减少不必要的重新计算。它无法消除 HBM 与外部 DRAM 之间的带宽差异。

这使数据放置策略成为性能的核心。频繁访问的页面必须保留在更快的内存中，而较冷的页面可以移入 CXL 层。如果软件分类不当，服务器可能在获得数 TB 容量的同时失去应用速度。

同样的问题也存在于语言模型之外。推荐系统维护着大型嵌入表，其中不同条目的访问流量并不均衡。数据库和分析引擎同样会将热工作集与较冷容量分开。Structera X 除服务 LLM 外，也瞄准这些受内存限制的工作负载。

因此，此次发布反映出 AI 基础设施的更广泛变化。加速器仍是显眼的计算引擎，但内存容量与数据移动正日益决定这些引擎能够完成多少有用工作。

六通道加大四通道竞争对手的压力

Marvell 最明显的硬件优势是单控制器密度，而竞争对手则在部署成熟度和架构方面保有不同优势。

Astera Labs 已在其 Leo 产品系列中列出 CXL 3.2 产品。其 Leo 2 控制器支持四个 DDR4 或 DDR5 通道、PCIe 6.0 连接和内存扩展。P-Series 还支持池化和共享。

Astera 的 A2000 扩展卡提供八个 DDR5 RDIMM 插槽或 12 个 DDR4 插槽。其架构为系统构建商提供完整的卡式方案，而不只是控制器组件。Marvell 已宣布的六通道设计，每颗控制器支持的后端通道数量多出 50%。

这一差异可减少连接特定 DRAM 容量所需的控制器数量。更少的控制器可以简化板卡设计，并可能降低功耗、空间占用和成本。实际系统收益将取决于封装、散热、内存速度、拓扑和认证情况。

Montage Technology 提供了另一项可比较的方案。2026 年 7 月，该公司宣布试产一款 CXL 3.2 控制器，配备两个 DDR5 通道、最高 8,000MT/秒的速度，并支持 PCIe 6.x。

Montage 表示，其控制器已集成到 Samsung 和 SK hynix 的下一代产品中，并完成初步验证。该公司还称产品与 Intel Xeon 和 AMD EPYC 平台保持一致。这些生态系统表态十分重要，因为互操作性可能决定新型内存设备能否从演示走向量产。

Marvell 也拥有自己的部署基础。该公司称，其第一代 Structera X 2404 和 2504 控制器已向超大规模客户出货。新一代采用现有的软件栈和生态系统集成，这可能缩短认证周期。

第一代设备提供四个内存通道和 CXL 2.0 连接。面向 DDR4 的 2404 每通道可接入三个 DIMM，而面向 DDR5 的 2504 则支持两个。其 产品规格还包括内联压缩、加密和最高 200GB/秒的内存带宽。

超大规模云厂商也可能自行构建定制设备，而非购买商用芯片。例如，Meta 的 Vistara 项目将回收的 DDR4 内存连接到基于较新处理器构建的服务器上。这种方式使单一运营商能够围绕其机群调整硬件和软件，但由此产生的芯片并不面向普通数据中心客户供应。

Marvell 同时面临商用控制器和超大规模厂商自研替代方案的竞争。其六通道架构为系统制造商提供了密度更高的通用选择。当机群规模足以证明更深层优化的合理性时，定制设计仍可能胜出。

因此，核心竞争是架构性的：每颗控制器后方的最大内存容量，与周边平台的成熟度之间的较量。Marvell 在公开对比中强调六通道、四主机支持和压缩能力。竞争对手则可通过现成卡产品、已验证的平台、软件或复杂度更低的设计回应。

目前没有公开证据表明存在普遍赢家。Marvell 的产品尚未进入其声明的送样窗口，而竞争的 CXL 3.2 设备则处于不同的商业化阶段。买家最终比较的将是完整系统，而非孤立的控制器规格。

压缩让容量更具弹性，但并非没有代价

Structera X 可以呈现更多有效内存，但其收益取决于数据可压缩性和访问行为。

两到三倍有效容量的承诺，来自通过控制器的 LZ4 引擎处理内存内容。如果一个页面能压缩至原始大小的一半，那么在扣除元数据和运行开销前，同样的物理 DRAM 大致可容纳两倍的逻辑数据。

这一机制可用于稀疏嵌入、重复值以及其他可压缩的数据结构。当页面包含加密、已压缩或高度不规则的数据时，其作用会小得多。可用的压缩比也可能在工作负载的生命周期中发生变化。

压缩会为每一次受影响的访问增加额外工作。Marvell 的应对方式是提高引擎吞吐量；该公司表示，其吞吐能力可以跟上 PCIe 6.0 接口的速度。但仅靠吞吐量无法说明尾延迟、资源争用，或不同页面压缩比变化时的表现。

控制器还必须维护逻辑地址与压缩后物理位置之间的映射。纠错和加密需要与该映射协同工作。当多台系统共享容量时，多主机访问还会增加一层协调机制。

这也解释了为何每秒 250GB 的压缩能力值得关注。即使主机链路和 DRAM 通道仍有闲置带宽，较慢的引擎也可能成为瓶颈。峰值速率相匹配，并不意味着混合工作负载能获得同样的结果。

Marvell 的四主机设计使利用率成为论证的另一部分。闲置在某台服务器后的内存，通常无法帮助另一台临时出现负载峰值的服务器。共享 CXL 容量让运营商可以在多台主机之间分配资源池，而不必为每台机器都按最坏情况过度配置。

这一优势取决于编排能力。软件需要决定哪台主机获得容量、页面如何迁移，以及在故障或需求变化时如何处理。硬件能够提供共享内存，却不知道应该由哪个应用使用它。

在 CXL 3.0 引入的主要互连能力之上，CXL 3.2 增加了管理、可靠性和安全性方面的改进。与 CXL 2.0 所采用的 PCIe 5.0 基础相比，PCIe 6.0 将每通道信号速率提高了一倍。它还改用四电平脉冲幅度调制和固定大小的流量控制单元。

这些变化提升了链路带宽，但并不会让外接内存变得与本地 DRAM 完全相同。请求仍需经过控制器和外部链路。压缩、加密、共享和交换都会为路径增加更多工作。

因此，Marvell 的设计应被理解为具备带宽支持的容量基础设施，而不是对所有本地内存访问的替代方案。最适合的部署模式是将对延迟敏感的数据保留在靠近计算的位置，并将较冷的数据放入扩展层。

对于推理而言，这可能意味着将活跃的注意力数据保留在 HBM 中，同时把可复用或不那么紧急的 KV-cache 块迁移至 CXL 连接的 DRAM。对于推荐系统，经常请求的嵌入可以保留在本地，而长尾数据则占用扩展容量。

成功与否取决于应用是否暴露出足够的局部性。具有明显冷热区域的工作负载可从分层中受益。均匀访问大型数据集的工作负载，则会更频繁地感受到较慢层级的影响。

同样的谨慎也适用于上下文长度方面的说法。在既定延迟下支持两倍上下文长度，只有在整个服务都能达到响应目标时才有意义。更高的最大值并不会自动提高并发生产流量下的吞吐量。

软件分层才是更严峻的考验

最大的未知在于，真实系统能否足够准确地放置数据，从而将额外容量转化为稳定的推理性能。

CXL 内存引入了非统一的访问特性。本地 DRAM、加速器 HBM、外接 DRAM 和存储设备分别提供不同的容量、带宽和延迟。应用需要能够理解这些差异的策略。

操作系统已经将部分 CXL 内存作为独立的 NUMA 节点暴露出来。NUMA，即非统一内存访问，描述的是访问时间取决于内存位置的系统。基本的放置策略可以将较冷的页面移离本地 DRAM，但不断变化的工作负载会令这一决策更复杂。

数秒前仍然较冷的页面，可能会在新的查询或推荐趋势出现后变得重要。将其迁回会消耗带宽和时间。过度迁移可能抵消更大层级带来的益处。

近期研究说明了这一问题。xTier project 使用内核内机器学习对页面进行分类，并随着工作负载阶段变化调整采样。其作者评估了六种内存受限工作负载，涵盖多种本地内存与 CXL 内存比例。

在 1:15 或更高的比例下，xTier 在报告的 18 种配置中有 14 种速度最快。它平均迁移的页面也少于对比系统。这些结果表明，更智能的分层可以让 CXL 容量更具实用性，同时也证实数据放置仍是一个活跃的研究问题。

另一项关于云虚拟机的 2026 年研究报告称，远程 CXL 内存与本地内存之间存在显著的性能差异。作者将这些差异与工作负载变化及软件栈复杂性联系起来。这些发现并未否定 CXL，但挑战了外接容量表现一致的任何假设。

Microsoft 研究人员从不同角度审视了早期云部署。他们的 CXL deployment study 认为，CPU 和 DRAM 的内部机制可能比协议本身更能主导某些延迟和波动。这使端到端测量比归咎于某一条链路更为重要。

这些观点可以共存。CXL 协议开销只是路径的一部分，但完整的内存层仍然与本地内存表现不同。运营商必须将处理器、固件、控制器、DIMM、内核、分配器和应用一起测试。

Marvell 目前公开的性能声明缺乏这样的细节。该公司没有说明其报告增益背后的确切模型、提示词分布、并发量、主机处理器或内存放置策略。它也没有公布新控制器的功耗。

功耗之所以重要，是因为压缩、加密、六个内存通道和 PCIe 6.0 信号传输都会消耗能量。能够提升加速器利用率的设计，仍可能改善系统效率。买家需要全平台测量数据来完成这一计算。

可靠性也需要接受类似审视。在四台主机之间共享内存可以提高利用率，但也会扩大控制器或固件故障的影响范围。StructGuard 和 CXL 可靠性功能可应对其中一部分风险，但仍需要生产环境证据。

安全性声明同样应谨慎解读。AES-256 和 CXL 链路加密可保护特定位置和传输路径上的数据。后量子密码学可以保护选定的交换过程，但这些功能不会自动保护应用，也不会消除密钥管理风险。

样片时间也带来了最后一个不确定性。Marvell 于 2026 年 10 月公布规格，预计在 2027 年初提供样片。在大规模部署前，芯片表现、主板供应、平台支持和量产时间都可能发生变化。

对于数据中心买家而言，正确的问题不是规格表上的六通道是否胜过四通道，而是经过认证的服务器能否在代表性流量、内存压力和故障条件下持续提供更好的服务级性能。

三个信号将揭示 Structera X 能否扩展

平台验证、独立工作负载结果和生产环境采用情况，将决定 Marvell 的密度优势能否转化为持久的市场地位。

第一个信号是能否在 2027 年第一季度按时提供样片。Marvell 需要交付具备已公布 PCIe 6.0、CXL 3.2、压缩、安全和四主机能力的可用 Structera X 3406 和 3506 样片。

仅有样片并不能证明产品已具备量产条件。它将验证客户能否按计划开始认证。若出现延迟，Astera Labs、Montage Technology 及超大规模云厂商的定制项目将获得更多推进时间。

第二个信号是具名的平台与内存验证。买家应关注与特定代际 Intel Xeon 和 AMD EPYC、DDR4 和 DDR5 供应商、服务器厂商及操作系统版本的确认兼容性。

CXL 依赖这一整套技术栈的协作。控制器可能符合规范，却仍会在完整系统中遇到固件、BIOS、错误报告或内存管理问题。公开的互操作性结果将加强 Marvell 的说法，即其现有 Structera 软件基础能够加速采用。

这些测试应覆盖所有宣传的工作模式。四主机配置、压缩引擎、加密功能和最大 DIMM 配置会带来不同的流量和散热条件。在缩减容量下进行验证，所揭示的信息会少于对预期部署方案的测试。

第三个信号是独立的 AI 推理测量。评测者和客户需要获得首 token 时间、输出 token 吞吐量、尾延迟、加速器利用率、内存功耗和故障恢复方面的结果。

这些测试应比较多种配置。有意义的基准包括仅使用 HBM 的运行模式、传统主机内存卸载、第一代 Structera X、竞争对手的 CXL 控制器以及基于存储的缓存层。每项对比都应使用相同的模型和流量分布。

压缩结果也需要按工作负载披露。一项两到三倍容量的声明，只有在读者知道哪些页面被压缩、它们变化的频率以及解压如何影响延迟时才有意义。混合应用流量会比单一有利数据集提供更好的测试。

来自真实服务的证据将最具说服力。拥有持续流量的超大规模云部署，将表明 Marvell 的控制器能够超越演示和工程样片阶段。服务器制造商的采用将使可服务市场超出定制安装范围。

Marvell Structera X CXL 3.2 的发布提出了明确的硬件主张：六个内存通道可以在每个控制器后连接更多容量，而 PCIe 6.0 则提供相应的主机带宽。它还将压缩、共享、安全和可靠性集成在同一设备中。

尚未解决的问题位于芯片之上。软件能否持续决定哪些数据应放在 HBM、本地 DRAM、CXL 内存或存储中，而不会增加不可接受的延迟？这一决策将决定额外的 TB 容量是提升有用的推理吞吐量，还是仅仅扩展一个利用不足的层级。

开发者和基础设施买家应要求供应商提供完整系统证据，而非仅看控制器峰值数字。在未来数月内，关注样片供应情况、平台认证及可重复的推理基准测试。如果这三个信号一致，六通道 CXL 内存将更不像可选容量，而更像 AI 服务技术栈中切实可行的一部分。