Samsung 的 zHBM 押注 3D 封装，突破 AI 内存墙

Samsung 在 8 月 4 日亮相 FMS 2026 时推出了 zHBM，这是一种拟议架构，将堆叠内存置于 AI 加速器上方。该设计明显偏离了当前高带宽内存系统采用的并排封装方式。它也为 Google News 的标题带来了一个值得审视的冲突点：Samsung 希望通过垂直整合攻克 AI 内存墙。

这一理念很直接。缩短内存与计算之间的连接，应能以更低能耗和更低延迟传输更多数据。然而，将内存堆叠在处理器上方也会集中热量、增加制造复杂度，并使产品成败与封装良率紧密相连。

因此，zHBM 不只是 Samsung 内存路线图上的又一个项目。它押注于封装几何结构能够带来传统 HBM 扩展难以持续实现的性能提升。它也促使 SK hynix、Micron、加速器设计商及封装合作伙伴思考，垂直整合究竟应推进到何种程度。

当前的 HBM 已经通过垂直电气通路堆叠 DRAM 芯片并实现连接。不过，这些内存堆叠通常与 GPU 或加速器并排放置在共享中介层上。Samsung 的新方案则将堆叠内存移至加速器本身之上，使距离成为核心竞争变量。

内存墙指的是处理器速度与系统传输数据能力之间不断扩大的差距。当算术单元等待模型权重、激活值或缓存上下文时，更快的算术单元价值有限。Samsung 的答案是让内存在物理上更接近计算单元，但这种接近也带来了严峻的散热和生产权衡。

Google News 标题掩盖了更大的架构转变

Samsung 提出的并非只是新一代速度更快的 HBM，而是封装拓扑结构的改变。

Samsung 在加州圣克拉拉举行的 FMS 2026 上展示了 zHBM。该活动公布的会议议程将 Samsung 的主题演讲定位为围绕以内存为中心的 AI 基础设施、不断扩大的上下文，以及以计算为中心系统的局限性。

这一新架构将内存垂直置于 AI 加速器上方。传统 HBM 封装通过中介层将多个堆叠的 DRAM 芯片连接到处理器；中介层是一种在相邻组件间承载宽电气连接的基板。zHBM 则会将这种水平关系转变为垂直关系。

这种区别很重要，因为每增加一毫米互连都会带来电气成本。信号沿封装布线传输时会消耗能量，而更长的路径会增加延迟，并限制连接的排列密度。垂直键合可以缩短这些路径，并有望提高连接密度。

早期报道显示，zHBM 采用四层或八层内存结构。Samsung 尚未公开提供涵盖容量、带宽、功耗、尺寸或量产时间的完整规格。因此，现有信息支持的是架构分析，而非性能定论。

这一名称同样需要谨慎看待。zHBM 并不是可与已定稿 JEDEC HBM 世代相提并论的新行业标准，而是 Samsung 对一种拟议的垂直整合内存架构的命名。客户在部署之前仍需要接口、设计工具、可靠性数据和制造流程。

Samsung 在推出这一概念时，还展示了其他面向 AI 数据中心的内存技术。这一更广泛的产品组合反映了基础设施设计的重要转变。训练和推理系统如今需要多个内存层级，分别在带宽、容量、延迟、持久性和成本之间取得平衡。

HBM 提供最靠近加速器、速度最快的层级。传统 DRAM 在更远离芯片的位置扩展工作内存。NAND 闪存提供大得多的容量，但速度更低。挑战在于，在数据穿过这些层级时让昂贵的计算单元持续保持忙碌。

最初的zHBM 报道捕捉到了这一雄心，但真正的发展更为深层。Samsung 的观点是，未来的提升将取决于内存和逻辑如何组装，而不只是每个组件如何制造。

这种方法使先进封装与晶体管微缩并列成为主要的系统设计工具。它也提高了 Samsung 的赌注，因为该公司供应内存、运营晶圆代工业务，并开发封装技术。zHBM 将检验这些业务能否作为一个协调一致的平台运作。

为什么 AI 系统不断撞上内存墙

当加速器执行计算的速度快于内存提供所需数据的速度时，瓶颈就会出现。

现代 AI 芯片包含大量算术单元阵列。其标称性能通常以每秒运算次数呈现，但该数字假定有稳定的有效数据流。当数据流中断时，昂贵的计算能力便会闲置。

一项关于AI 内存墙的已发表研究发现，在过去二十年中，服务器峰值计算性能的扩展速度快于 DRAM 和互连带宽。作者测得，峰值计算性能每两年增长 3.0 倍，而 DRAM 带宽每两年增长 1.6 倍。

研究中的互连带宽增长更慢，每两年仅增长 1.4 倍。这些数字描述的是历史趋势，而非对每一种系统的预测。尽管如此，它们说明了仅增加算术能力无法解决 AI 性能限制。

这一问题在生成式 AI 推理期间尤为明显。解码器模型按顺序生成 token，并反复从内存读取模型权重。低批量工作负载花在移动这些权重上的时间，可能多于执行计算的时间。

更长的上下文带来了另一项负担。AI 系统必须在键值缓存中保存有关先前 token 的信息，该缓存存储中间注意力数据以供复用。更大的上下文和更多并发用户会扩展该缓存，同时提高容量和带宽需求。

智能体系统进一步加剧了压力。一个智能体可能维护状态、调用多个模型、检索文档，并保持多个工作流处于活动状态。每种行为都会增加内存、存储、加速器和网络之间的数据移动。

HBM 通过宽接口和垂直堆叠 DRAM 缓解了这一问题的一部分。Samsung 商用HBM4 规格展示了当前路径。该公司称，其 12 层 HBM4 可达到每引脚每秒 11.7 千兆比特，以及每个堆叠最高每秒 3.3 太字节。

Samsung 提供容量从 24GB 到 36GB 的该产品，也提到未来可达到 48GB 的 16 层选项。这些仍是显著的提升，但更高带宽无法消除封装内部的所有物理距离。

传统 HBM 堆叠仍然需要与加速器进行横向通信。中介层提供数千个连接，但这些路径会占用封装面积并消耗功率。更大的系统可以增加更多 HBM 堆叠，不过封装尺寸、布线和散热限制最终都会介入。

zHBM 瞄准了这段剩余距离。如果内存直接位于计算单元上方，垂直连接可以比横向连接更短、更密集。处理器或许能在不经由宽大中介层驱动信号的情况下访问更多数据。

这并不意味着 zHBM 消除了整个内存层级。容量需求将继续超过能够放置在加速器附近的高端内存数量。系统仍将依赖外部 DRAM、闪存存储和高速网络。

该方案瞄准的是层级中价值最高的部分。让频繁访问的权重和数据靠近计算单元，可以提高加速器利用率。它也能减少移动每一比特所消耗的能量，而这已成为高密度数据中心中日益重要的限制因素。

对云运营商而言，利用率直接影响经济性。等待内存的加速器依然会占用空间、制冷、网络和资本。因此，改善数据交付能力的重要性可能不亚于提升名义计算性能。

开发者也会间接感受到同样的限制。它表现为更小的批量大小、受限的上下文、更高的延迟，或更复杂的模型分区。更好的硬件无法消除所有软件权衡，但可以改变哪些妥协是必要的。

Samsung 将封装变为其主要竞争武器

主要竞争不再是 Samsung 对阵某一家内存供应商，而是垂直封装与并排 HBM 布局之间的竞争。

Samsung 的定位使其有理由推动这场竞争。该公司生产 DRAM、NAND、逻辑制程和先进封装。垂直整合设计使公司能够协调跨组件决策，而其他供应商可能需要与合作伙伴协商这些决策。

其 HBM4 已经体现了这一策略。Samsung 采用 4 纳米制程制造该产品的逻辑基底芯片，并以其 1c DRAM 技术制造内存芯片。该公司表示，其内存与晶圆代工业务之间的协调有助于性能和生产。

在 GTC 2026 上，Samsung 还展示了混合铜键合，这是一种利用高密度铜连接来结合芯片的封装方法。其GTC 技术总结称，这种方法使当时展示产品的热阻降低了 20%。

混合键合与 zHBM 有关，因为精细的垂直连接需要精确、可靠的芯片结合。传统微凸点会占据芯片之间的空间，并限制连接密度。直接铜键合可以缩小间距、缩短电气路径，并形成更多垂直连接。

然而，在一个结构中制造更多组件也会增加它们之间的相互依赖。内存、加速器或键合中的缺陷都可能影响整个组装封装。制造商必须在键合前识别出合格芯片，并在大量连接中保持对准。

SK hynix 和 Micron 仍然是重要的竞争参照对象。两者均销售 HBM，并投资于先进堆叠、热管理和客户定制设计。它们无需复制 zHBM 这一名称，也能挑战 Samsung 的论点。

它们可以通过提高传统 HBM 带宽、增加堆叠高度、改进基底芯片，或开发更紧密的逻辑整合来应对。加速器公司也可以重新设计封装，以支持更大的横向 HBM 系统，而无需将内存直接置于高温计算区域之上。

因此，市场可能会支持多种布局。训练加速器优先考虑最大带宽和大规模互连。推理芯片可能更强调容量、延迟或能效。定制加速器可以围绕更窄的工作负载假设来优化内存。

Samsung 与加速器设计商的合作关系，将决定 zHBM 能否成为产品，还是仅停留在路线图概念。内存供应商无法单独决定封装架构。处理器、内存接口、冷却系统、供电和软件栈必须协同设计。

这一要求提升了客户定制 HBM 的重要性。标准接口面向广泛市场，而定制设计会针对单一加速器调校内存行为。由于物理堆叠将内存决策与处理器设计绑定，zHBM 似乎更接近定制化一端。

Samsung 一直在加强这类客户关系。7 月，该公司宣布扩大与 Broadcom 的合作，涵盖内存、代工服务和先进封装。双方特别提及面向 AI 和网络芯片的 2.3D 与 2.5D 集成。

该协议并未确认 Broadcom 将采用 zHBM。但它说明了 Samsung 为何希望让封装成为采购决策的一部分。该公司可以提供多种集成路径，同时开发更激进的垂直方案。

这一战略也给独立封装供应商和代工厂带来压力。如果加速器客户倾向于由同一供应商提供内存、逻辑和组装服务，垂直整合制造商就会获得更多议价能力。如果客户更偏好分别选择业内最佳组件，Samsung 则必须证明集成所创造的价值足以抵消灵活性下降。

Google News 的读者或许会看到 Samsung、SK hynix 和 Micron 之间一场简单的竞赛。更具决定性的竞争在于系统边界应设在哪里。zHBM 提议消除内存封装与处理器封装之间的边界。

热管理和良率是 zHBM 量产前的两大关卡

将内存置于加速器上方可以缩短数据路径，但也会让对温度敏感的 DRAM 靠近封装中最热的组件之一。

AI 加速器会将大量电能转化为热量。传统封装会将高功耗组件分布在中介层上，并将其连接至散热系统。垂直堆叠会减少每一层可用于冷却的表面积。

DRAM 也需要在特定热限制内运行。更高温度可能影响数据保持能力、可靠性和性能。若封装让热量滞留在内存周围，就可能抵消更短连接所带来的电气收益。

因此，Samsung 必须建立可信的散热路径。热量可能需要通过专用垂直结构、绕过内存区域，或传导至重新设计的均热板。随后，冷却设备还必须将这些热量从完整封装中移除。

供电带来另一项限制。加速器和内存需要在高电流下获得稳定电压。垂直集成提高了布线密度，而热膨胀可能对键合结构和薄芯片施加机械应力。

封装良率则带来独立的经济风险。将多个高价值芯片组合在一起，会使封装成本取决于每个组件能否协同正常工作。即使单个芯片良率很高，涉及多道键合工序时，组装良率也可能下降。

直接键合后，可维修性十分有限。传统组件发生故障时，有时可以在组装较早阶段被隔离。高度集成的堆叠则很少有机会在不报废更多价值的前提下更换单个不良元件。

Samsung 对这些问题并不陌生。其 HBM 产品已采用硅通孔技术，即穿过硅芯片的垂直电连接。该公司在 zHBM 出现前多年就已开发 12 层 TSV 封装。

但堆叠 DRAM 芯片并不等同于将内存置于正在运行的计算芯片之上。功率密度、芯片尺寸、材料和热梯度均不相同。既有 HBM 经验能够降低不确定性，但不能免除新的验证需求。

Samsung 公开的 zHBM 讨论尚未提供与 HBM4 或 HBM4E 的经审计比较。该公司也未披露量产良率、持续带宽、实测每比特能耗或加速器级性能。对于早期概念而言，这些缺失并不反常，但会限制人们得出有把握的结论。

最稳妥的解读是，Samsung 展示了一个方向。它尚未证明在量产条件下，zHBM 能带来更好的整体系统经济性。实验室封装和获得认证的数据中心组件面对的是不同标准。

可靠性测试需要涵盖反复温度变化、长时间负载运行、键合完整性以及内存错误率。客户还会希望看到大量封装之间具备可预测的一致性能，而非仅展示选定样品的有利结果。

软件带来另一项不确定性。应用不会自动从新的物理布局中获益。编译器、运行时和模型服务框架必须能够在可用内存层级之间有效放置数据。

小型、高速的 zHBM 层可以像扩展的近计算缓存一样工作。更大规模的实现则可以直接存放模型权重或键值缓存数据。每种用途都需要不同的容量、带宽和分配策略。

系统设计者还必须将 zHBM 与替代方案比较。更传统的 HBM 堆叠可能以更低的制造风险提供足够带宽。压缩、量化、模型稀疏化和改进调度，无需改变封装几何结构也能减少内存流量。

高带宽闪存提供了另一条路径。它以 DRAM 级行为换取更大的容量和持久性。对于某些推理工作负载，这使其颇具吸引力，不过它无法取代最快的内存层。

结果并非一场赢家通吃的竞争。AI 系统很可能会结合多种技术。只有当额外集成在计入冷却、良率和软件成本后，仍能带来可测量收益，zHBM 才能获得一席之地。

因此，应将 Samsung 的说法视为工程目标。该概念具备合理的物理动机，但该公司尚未独立证明其已具备商业就绪性。验证缺口是核心风险，而非否定这一架构的理由。

Samsung 发布 zHBM 后应关注什么

三个信号将表明 zHBM 正在成为基础设施，还是仍只是颇具说服力的会议概念。

第一个信号是完整的技术披露。Samsung 需要公布代表性封装的容量、带宽、接口密度、功耗和热测量数据。比较应在 zHBM 和传统 HBM 上使用相同的工作负载及相同类别的加速器。

每传输比特的能耗将尤其重要。更短的连接应能降低数据移动成本，但冷却和封装开销可能抵消其中一部分优势。持续结果比短暂的峰值测量更重要。

详细的封装示意图也能澄清 zHBM 的预期角色。它应显示内存是覆盖整个加速器、占据特定区域，还是采用专用散热结构。这一几何布局决定了性能和可制造性。

第二个信号是客户认证。加速器设计商必须在真实工作负载和量产要求下测试该封装。具名的评估合作伙伴将比又一次内部演示更具分量。

认证将表明 zHBM 已超越内存供应商路线图阶段。它还会揭示哪类市场最先重视这一设计。定制推理加速器可能会比通用 GPU 更早接受更紧密的集成。

Samsung 的 2026 年 HBM 路线图提供了有用参照。该公司已将 HBM4 推进至量产，并表示 HBM4E 样品将在当年晚些时候推出。zHBM 的类似里程碑将包括工程样品、客户测试和明确的量产窗口。

第三个信号是竞争对手的反应。SK hynix、Micron、TSMC 和主要加速器供应商将在会议和产品发布中披露各自的内存与封装计划。它们的选择将检验 Samsung 关于垂直放置是下一个必要步骤的主张。

如果竞争对手采用类似的内存置于逻辑芯片之上的布局，即便 Samsung 未赢得首份合同，也将强化这一架构论点。如果市场普遍偏好更大的并排 HBM 系统，则会削弱这一论点。

散热设计同样值得关注。Samsung 及其竞争对手已将散热视为一级内存问题。任何缺乏封装级冷却证据的未来 zHBM 更新，都应谨慎看待。

标准化活动将在竞争信号中提供另一项线索。专有设计可以服务于定制客户，但更广泛的采用将受益于通用接口和测试规范。加速器供应商的参与比品牌宣传更重要。

对于开发者和企业采购方而言，眼下的启示并不是围绕尚无出货日期的 zHBM 硬件制定计划。更有价值的结论关乎系统瓶颈。模型速度越来越取决于数据移动、内存容量和工作负载形态。

基础设施团队应先衡量加速器利用率、内存带宽压力和缓存增长情况，再假定增加计算能力就能解决延迟问题。他们还应检查量化、批处理和模型部署位置如何改变这些指标。

知识密集型 AI 应用使这一问题变得具体。处理大量长文档集合或维持扩展工作上下文的系统，会给整个内存层级带来压力。硬件响应会影响多少上下文能够保持在接近计算的位置，以及应用检索这些上下文的速度。

Google News 让 Samsung 的 3D 封装提案进入视野，但接下来必须由产品证据支撑这一叙事。请关注实测规格、具名认证合作伙伴，以及竞争性内存架构的明确回应。

如果 Samsung 能提供这三项，zHBM 将像是从横向 HBM 封装迈向垂直集成 AI 系统的可信过渡。如果披露内容仍停留在概念层面，传统 HBM 将凭借成熟良率、既有接口和可部署容量继续保持优势。

下一次公告应回答一个实际问题：Samsung 能否在不制造更大热管理和制造难题的情况下缩短内存路径？答案，而非 zHBM 这个名称，将决定这一架构是否会改变 AI 基础设施。