Samsung 为 AI 数据中心提出全栈内存战略
- Olivia Johnson
- 13小时前
- 讀畢需時 13 分鐘
Samsung 借助其最新的内存与存储展示提出了一项更广泛的主张:未来的 AI 数据中心需要协同设计的硬件,而非单颗更快的芯片。这场活动经由 Google News 进入公众视野,但真正重要的竞争在服务器机架深处展开。Samsung 希望客户购买一套整合式层级方案,涵盖加速器内存、可扩展服务器内存和企业级存储。
这一主张使 Samsung 与 SK hynix 正面竞争;后者是凭借面向 AI 加速器的高带宽内存率先取得优势的供应商。Samsung 并未只用 HBM 来回应这一压力,而是将 HBM4、低功耗服务器模块、Compute Express Link 产品和 PCIe 6.0 固态硬盘视为同一架构的组成部分。
这种思路在技术上合乎逻辑,因为 AI 加速器很少单独工作。训练和推理系统会持续在多个硬件层级之间传输模型权重、提示词、缓存上下文和中间结果。但 Samsung 仍需证明,将这些层级纳入同一产品组合后,能带来更优的实际部署系统,而不只是更完整的展会陈列。
Google News 标题掩盖了 Samsung 更大的战略
Samsung 销售的是 AI 数据中心层级架构,而不是一组彼此无关的内存芯片。
最初的 Google News 报道称,Samsung 展示了面向未来 AI 数据中心的先进内存和存储产品。这一概述并无不妥,但低估了其中的战略主张。Samsung 希望在数据流向加速器处理之前、期间和之后所经过的多个环节提供产品。
距离处理器最近的层级是高带宽内存,即 HBM。它将堆叠式 DRAM 放置在加速器旁,以提供极高的数据吞吐量。Samsung 于 2026 年 2 月开始商业出货 HBM4。该公司称,其实现方案可达到每针脚 11.7 吉比特每秒,以及总计 3.3 太字节每秒的带宽。
Samsung 采用其第六代 10 纳米级 DRAM 和 4 纳米逻辑基础芯片设计 HBM4。该基础芯片负责堆叠内存与处理器封装之间的通信,使 Samsung 能够针对特定加速器客户定制接口和功耗特性。
该公司提供容量介于 24GB 至 36GB 的 HBM4 堆叠产品,并计划推出容量达到 48GB 的 16 层版本。随着模型规模扩大,这些指标之所以重要,是因为加速器运营商同时需要带宽和容量。
Samsung 已开始迈向下一步。在 GTC 2026 上,它展示了 HBM4E——一种旨在行业进入 HBM5 前进一步提升带宽的增强代产品。根据 Samsung 的 HBM4E 路线图,该产品的目标是实现每针脚最高 16 吉比特每秒和每秒 4 太字节的带宽。
在距离处理器更远的层级,Samsung 正将 SOCAMM2 定位为低功耗服务器内存层。SOCAMM2 在紧凑型服务器模块中采用了更常见于移动设备的 LPDDR 技术,目标是在不承受传统服务器 DRAM 模块功耗特性的前提下,提供比 HBM 更大的容量。
Samsung 还拥有 CXL 内存产品。Compute Express Link,即 CXL,是一种互连技术,可让处理器通过一致性连接共享并扩展内存。它能够让服务器访问超出各处理器直接连接内存之外的池化容量。
存储层则由 PM1763 企业级 SSD 组成。它采用 PCIe 6.0,即连接存储设备与服务器处理器的最新一代接口。Samsung 在此前于行业活动展示该硬盘后,于 7 月开始量产。
这一产品阵容解释了为何此次展示值得获得比常规产品汇总更多的关注。Samsung 的主张是,下一场基础设施竞争将围绕 AI 数据所经过的完整路径展开。这条路径从持久化存储开始,在加速器旁结束。
这些硬件仍由速度、容量、耐久性限制和成本各不相同的产品构成。Samsung 的机会在于协调这些产品;其挑战则是证明客户能够从这种协调中获得足够收益,从而愿意在多个层级优先选择同一家供应商。
为什么 AI 系统需要的不只是更快的 HBM
HBM 可以快速为加速器供给数据,但无法以经济的方式容纳 AI 服务所需的每个模型、提示词和缓存响应。
HBM 在 AI 硬件中备受关注,因为加速器性能依赖内存带宽。处理器可以包含数千个计算单元,但这些单元在等待数据时几乎无所作为。将堆叠内存置于处理器附近可以缩短这种等待。
然而,HBM 容量受封装面积、散热限制、制造复杂性和成本约束。因此,运营商只会将最活跃的信息保留在这一层级中。活跃度较低的数据则会经由系统内存、CXL 连接的容量或 SSD 流转。
推理任务尤其凸显这一层级架构的重要性。推理服务器基于已训练完成的模型生成答案。它既必须保存模型权重,也必须追踪与活跃请求相关的工作上下文。
这些工作上下文通常保存在键值缓存中。KV cache 会保留中间注意力数据,使模型无需为每个新响应重新计算此前的每个 token。更长的对话和更多并发用户会显著扩大这一缓存。
服务器可以将昂贵的 HBM 预留给活跃计算,同时将较冷的缓存条目移往其他位置。系统 DRAM 提供更大的容量,而 CXL 可以连接额外的内存池。SSD 则提供规模更大的持久化容量,尽管其延迟更高。
实际问题并不是某一个层级能否取代另一个,而是硬件和软件能否在各层级间转移数据,同时避免让加速器闲置。Samsung 的整合式主张依赖于这种数据移动成为首要设计问题。
其 PM1763 提供了一个具体例子。该硬盘提供 4TB、8TB 和 16TB 配置。根据 Samsung 的 PM1763 规格,16TB 版本的顺序读取速度达到每秒 28,400 兆字节,写入速度达到每秒 21,900 兆字节。
Samsung 表示,这一性能水平超过前代 PM1753 的两倍。该公司还称,该硬盘可在约 1.4 秒内传输一个 40GB 的大语言模型。这一比较说明了其预期工作负载,尽管实际部署涉及的不只是一次顺序文件传输。
该硬盘结合了第九代 V-NAND 和新开发的 4 纳米控制器。V-NAND 通过垂直堆叠闪存单元来提高密度。控制器则负责管理 SSD 内的数据放置、错误校正、通信及其他操作。
Samsung 称,与前代产品相比,PM1763 的能效提升超过 1.8 倍。它还支持直接芯片液冷,即让冷却液接近发热组件。这一功能很重要,因为如果散热限制迫使存储设备降速,它就无法持续维持最高速度。
这些规格不会让 SSD 变成 HBM。两者之间的延迟差异依然显著,软件也必须预判哪些数据应向上层转移。不过,更快的存储扩大了可容忍卸载的工作负载范围。
这会影响检索系统、模型加载、检查点恢复和 KV-cache 管理。例如,检索增强生成服务会先搜索已存储的信息,再让模型组织答案。存储性能会影响系统检索文档、向量或缓存上下文的速度。
因此,Samsung 正围绕一个明确的系统问题连接多种产品。加速器需要以合适的速度和“温度”获得数据。仅提升峰值计算能力,无法解决这一问题。
Samsung 真正的对手是 SK hynix 的 HBM 领先地位
Samsung 必须在 SK hynix 将其 HBM 地位转化为更广泛的内存架构之前,把制造广度转化为客户订单。
SK hynix 在生成式 AI 基础设施的第一波发展中成为核心供应商。其 HBM 地位使其在加速器公司和超大规模运营商中获得了曝光度。Samsung 虽然在传统内存领域规模庞大,却不得不从 HBM3E 的相对弱势中恢复。
HBM4 为 Samsung 提供了另一个切入点。该标准加入了更复杂的逻辑基础芯片,也扩大了定制化机会。这些变化有利于能够结合 DRAM 制造、逻辑制造、封装以及客户定制设计的公司。
Samsung 经营着所有这些业务。这种垂直覆盖范围使其有别于更依赖外部晶圆代工厂提供逻辑组件的内存供应商。但这也带来了执行风险,因为每个内部环节都必须在良率、性能和进度方面达标。
Samsung 与 AMD 的合作展示了它希望如何利用这一覆盖范围。两家公司表示,Samsung 将成为 AMD Instinct MI455X 加速器的主要 HBM4 供应商。根据双方的 AI 内存合作伙伴关系,Samsung 还将为 AMD 的 Venice 服务器处理器和 Helios 机架级系统提供 DDR5 内存。
这不仅仅是一次 HBM 插槽胜利。它使 Samsung 能够参与同一平台的多个层级。成功的部署将支持其论点:客户可从协调一致的内存产品中获益。
Samsung 正在 Nvidia 系统周边采取类似策略。其 GTC 展示包括 HBM4、HBM4E、SOCAMM2、PM1763 和其他 SSD 产品。这一产品阵容将 Samsung 的组合与 Nvidia 从单个加速器转向机架级 AI 系统的转变联系起来。
SK hynix 并未停步。它正在开发 CXL 产品、先进 HBM 以及新的基于闪存的内存概念。它与 Sandisk 在高带宽闪存上的合作,瞄准的是昂贵 HBM 与较慢存储之间的同一缺口。
高带宽闪存,即 HBF,将闪存封装起来,以提供远高于 HBM 的容量和高于传统 SSD 的带宽。它无法匹配 HBM 的延迟,但可能为推理数据创造另一层级。这使竞争问题不再只是 Samsung 与 SK hynix 在单一产品类别中的较量。
两家公司追求的是不同的起点优势。SK hynix 从牢固的 HBM 客户关系出发,向外延伸。Samsung 则从广泛的半导体产品组合出发,试图让这种广度本身产生价值。
Micron 带来了第三重压力。它在先进 DRAM、HBM 和企业级存储领域展开竞争,为客户提供了另一种多元化供应选择。当认证允许多个供应商时,超大规模运营商很少愿意让关键组件依赖单一制造商。
Samsung 的战略可以帮助客户降低集成复杂性,但这些客户会抗拒更深层的供应商集中。从一家公司采购 HBM、系统内存和存储,可能简化验证流程;但也可能增加对该公司定价、产能分配和制造中断的风险敞口。
这正是为什么这次展示不能证明 Samsung 已经赢得了架构竞赛。它展示的是 Samsung 希望在哪些领域竞争。客户资格认证、出货量和部署表现,将决定其整合产品组合是否会改变采购行为。
关键在于数据放置,而非峰值速度
只有当软件能将每一部分 AI 数据放置在正确的硬件层级中时,Samsung 的产品才具有战略价值。
基准测试可以展示 HBM 的最大带宽或 SSD 的顺序读写速度。但生产环境中的 AI 服务面对的是更复杂的问题:它必须决定在每个时刻,哪些信息值得占用最快的容量。
经常使用的模型权重应放在靠近加速器的位置。活跃的 KV-cache 条目同样受益于低延迟。使用频率较低的上下文、检索索引、模型检查点和辅助模型文件,则可以放在更慢但容量更大的层级中。
CXL 在直连内存和存储之间引入了另一种选择。它允许系统扩展内存容量,或在多个处理器之间共享内存池。Samsung 曾探索基于 CXL 的模块,将 DRAM 与用于在不同层级间移动数据的软件和硬件结合起来。
这一理念类似于将正在使用的文件放在桌面上,而把参考资料放在附近的柜子里。SSD 则更像一个更大的档案库。但这一比喻并不完全准确,因为 AI 系统必须在不中断计算的情况下完成数百万次数据放置决策。
软件决定了这一层级体系能否发挥作用。操作系统、加速器运行时、数据库、模型服务框架和存储控制器必须协同调度数据移动。如果软件无法预测需求或隐藏传输延迟,再快的设备也可能得不到充分利用。
工作负载行为也会改变结果。模型训练会流式读取大型数据集并写入检查点。交互式推理要响应不规律的请求,并维护众多用户的上下文。检索系统会在生成前执行搜索,而多模态应用则需要处理大型图像、音频或视频输入。
针对顺序吞吐量优化的硬盘在模型加载时可能表现出色,但在小规模随机请求中带来的收益则不同。容量、延迟、每秒输入输出操作数、耐久性和能耗都很重要。一个头条数字无法描述完整的工作负载。
同样的谨慎也适用于 Samsung 关于 PM1763 可在约 1.4 秒内传输一个 40GB 模型的说法。该数字为接口吞吐量提供了有用的说明,但并未涵盖让模型可用于推理所涉及的所有初始化、分配、验证和运行时步骤。
Samsung 对液冷的支持也反映出系统层面的限制。AI 机架正日益在有限空间内集中部署处理器、内存、网络和存储设备。随着温度升高,组件会降速,因此散热已成为性能工程的一部分。
PM1763 的公告称,该硬盘针对直达芯片的冷却方式进行了优化。这种设计可支持其在液冷服务器内持续运行。不过,运营商仍需要兼容的机架、冷板、管路、监控系统和维护流程。
Samsung 的 HBM 路线图面临类似的散热挑战。堆叠更多 DRAM 层可提高容量,但也会使热传导更加复杂。更快的信号传输和更复杂的逻辑基底芯片会进一步增加压力。
在 Computex 2026 上,Samsung 展示了一项名为 Heat Path Block 的 HBM4E 散热概念。该架构旨在改善热量从未来 HBM 产品中传导出去的路径。Samsung 的 AI 系统展示将这一散热工作与 HBM4E 晶圆及更广泛的内存层级并列呈现。
将这些公告联系起来的核心机制,是在功耗和散热限制下协调数据移动。Samsung 不需要让每一层都达到 HBM 的速度。它需要的是让这一层级体系持续为昂贵的加速器供给数据,同时限制安装在加速器旁的高成本内存数量。
这对云服务运营商而言是一个颇具吸引力的主张。但仅凭组件演示很难验证。买家需要应用层面的测量数据,涵盖每秒 token 数、响应延迟、功耗、机架密度和整体利用率。
Samsung 的展示并未证明什么
完整的产品组合并不会自动形成完整且经济的 AI 平台。
Samsung 提供了足够多的组件,足以描绘出一套连贯的架构。但它尚未公开提供广泛、独立的部署数据,以证明客户通过整体采用这套产品栈能够实现更优的经济效益。
大多数已公布的性能数据来自 Samsung 的内部评估。该公司指出,结果可能因配置和环境而异。这一限定很重要,因为服务器架构、固件、散热、软件和工作负载都会塑造实际性能。
HBM4 的量产也是需要密切关注的领域。Samsung 表示已开始商业出货,并预计 2026 年 HBM 销售额将增长逾三倍。然而,出货增长并不能揭示其在出货量最大的加速器平台中的份额,也不能说明其制造良率。
良率衡量的是一个生产流程中能够产出的可用芯片数量。它会显著影响成本和可供应量。当一款产品结合先进 DRAM、逻辑基底芯片、堆叠和封装时,这一点尤其重要。
Samsung 的整合器件制造模式可以加快这些环节之间的协调,但也可能产生多个导致进度延误的节点。基底芯片、DRAM 层、键合工艺或封装认证中的任何延迟,都可能拖慢最终 HBM 产品的推出。
企业级 SSD 的采用也有其自身的认证周期。数据中心运营商会评估固件表现、耐久性、故障恢复、安全性、散热和性能一致性。一款进入量产的硬盘,在大规模部署之前仍需通过平台验证。
PM1763 采用 PCIe 6.0,其原始数据速率是 PCIe 5.0 的两倍。服务器必须支持这一较新的接口,才能获得其优势。运营商还需要具备足够的处理器和网络容量,以避免瓶颈只是转移到其他地方。
Samsung 表示,该硬盘已完成面向下一代 AI 平台的验证。该公司尚未披露全部客户、出货数量或工作负载结果。因此,读者应将产品可用性与广泛采用区分开来。
需求状况带来了另一项不确定性。AI 基础设施投资推动了对内存的异常强劲需求,但内存仍是一个周期性业务。当价格和订单上涨时,供应商会增加产能;而当利用率或融资条件变化时,客户则会调整采购。
Samsung 最新财报说明了这两方面。其半导体业务受益于 AI 服务器需求和内存价格上涨。与此同时,购买内存的设备业务则受到更高组件成本的压力。
The Associated Press 报道称,Samsung 和 SK hynix 的第二季度业绩创下纪录,同时也指出投资者担心制造投资以及日益激烈的中国竞争。这种内存市场紧张态势使得“每一款新产品都将永久享有有利经济效益”的观点变得更加复杂。
AI 数据中心买家也拥有议价能力。最大的云公司可以认证多家供应商、设计定制加速器,并影响内存规格。它们可能欢迎 Samsung 的广泛产品组合,同时继续从不同供应商采购单独的层级产品。
因此,整合展示证明的是战略意图,而非市场控制力。Samsung 已经集齐了在整个层级体系中竞争所需的产品。其下一项挑战,是证明这些部件能够在大规模环境中协同工作,并带来可量化的节省。
检验 Samsung AI 数据中心主张的三个信号
下一阶段将通过平台采用、软件验证和持续量产来衡量,而不是另一场展示。
第一个信号,是 Samsung HBM4 和 PM1763 在具名加速器平台中的部署情况。已宣布的合作伙伴关系可以指明方向,但已经出货的系统提供的证据更有力。买家应关注 AMD Helios 和 Nvidia 时代的机架设计是否会同时采用多种 Samsung 组件。
将 Samsung HBM、服务器内存和存储结合在一起的平台,将支持其一体化供应商的论点。单独的组件胜出仍然重要,但这展示的是传统采购,而非协调一致的层级体系。
第二个信号是应用层面的测试。有价值的结果应涵盖模型加载、检索、KV-cache 卸载、推理延迟、吞吐量、功耗和热稳定性。测试应比较不同配置,而不是只展示单个组件的峰值规格。
独立结果将显著增强 Samsung 的论据。它们可以显示 PCIe 6.0 存储是否能让加速器保持更高忙碌度、CXL 扩展是否能降低 HBM 需求,以及液冷是否能在长时间工作负载下维持性能。
缺少这类结果并不意味着产品失败,但会使其核心系统主张仍未经验证。仅凭组件规格,无法证明每个生成 token 的成本更低,或机架利用率更高。
第三个信号是竞争对手的回应。SK hynix、Micron、Sandisk 和其他存储供应商正在针对 AI 的内存容量缺口开发各自的解决方案。HBF、定制 HBM、CXL 内存和大容量企业级 SSD,将决定 Samsung 的层级体系会变得与众不同,还是仅仅成为行业常态。
标准化在这里至关重要。客户通常更倾向于选择由多家供应商支持的接口,因为互操作性可以限制锁定效应。Samsung 可以影响新兴设计,但也必须参与共享标准,让客户能够组合不同产品。
Google News 的读者应将这次展示视为一场系统竞赛的开端,而不是已尘埃落定的产品胜利。Samsung 将 HBM4、可扩展内存和 PCIe 6.0 存储围绕一个真实瓶颈连接起来:向日益昂贵的加速器输送足够的数据。
该公司的广度为其提供了一条可信的发展路径。SK hynix 在 HBM 领域的地位、Micron 的竞争性产品组合以及新的闪存架构,都让其难以轻松取胜。如今基础设施团队面临的问题很实际:哪家供应商能够将前景可观的组件转化为已部署机架中的更低延迟、稳定性能和更高利用率?
关注首批具名的多产品部署,随后寻找独立的工作负载测量结果。这两类证据将比另一则关于峰值带宽的 Google News 标题更能说明问题。