Samsung zHBM 内存瞄准将 AI 响应速度提升 10 倍，但该架构仍面临散热考验

Samsung 表示，其 zHBM 内存架构有望将智能体 AI 的每用户响应速率从约每秒 100 个 token 提升至 1,000 个 token。这个十倍目标听起来像是一项芯片基准指标，但更应被理解为一种系统级愿景。Samsung 正在提出一种让内存与 AI 加速器建立不同物理关系的方案。

该设计将高带宽内存直接置于加速器上方，而不是像传统方案那样并列放在中介层上。更短的连接路径应能缩短模型权重和中间数据的传输距离。但这也带来了棘手的散热问题，因为处理器产生的热量必须穿过内存结构散出。

这一差别构成了真正的核心。Samsung 并非宣布了一款能独立实现 AI 速度提升十倍的量产芯片。它的论点是，传统的并列式 HBM 封装无法支撑要求更高的 AI 智能体所需的响应速率。SK hynix 则通过存内计算和其他内存层级来应对同样的数据传输瓶颈，由此形成不同架构方案之间的竞争。

Samsung 的十倍目标是系统目标，而非芯片基准

报道所称的十倍提升描述的是 Samsung 对 AI 响应速度的目标，而其公开的 zHBM 硬件预估则更低且更具体。

Samsung 内存产品规划高管 Kim In-dong 于 2026 年 9 月 16 日在圣克拉拉举行的 AI Infra Summit 上阐述了公司的立场。根据这篇响应速度报道，Kim 认为当前对话式 AI 的单用户速度约为每秒 100 个 token。Samsung 希望智能体系统达到每秒 1,000 个 token。

Token 是 AI 模型处理的文本小单位。每秒 token 数衡量系统生成或处理这些单位的速度，但该指标取决于完整的计算栈。模型、批处理规模、加速器、内存容量、网络、软件和服务配置都会影响结果。

因此，Samsung 的说法并不意味着单个 zHBM 组件会自动让每个模型快十倍。它描述的是 Samsung 认为未来内存与处理器集成必须支持的服务性能。尚无公开的独立基准测试将 zHBM 原型与完整的智能体工作负载联系起来，并证明其能达到每用户每秒 1,000 个 token。

Samsung 的独立产品资料提供了更窄范围的比较。其3D 内存公告称，采用 zHBM 的下一代接口预计可提供约为 HBM5 八倍的性能。该公司还预计其内存密度将超过 HBM5 的十倍，能效达到三倍，热阻降低超过 50%。

这些数字涉及不同属性。性能关乎系统移动和处理数据的速度。密度关乎在一定面积或封装内可容纳多少内存。能效比较有效工作与消耗功率之间的关系。热阻衡量结构阻碍热量流动的程度。

将这些数字合并为“快 10 倍的芯片”这一说法，会抹去其中的差异。Samsung 自身对接口性能使用的是约八倍的表述，对密度则称超过十倍。每秒 1,000 个 token 的目标属于对未来 AI 服务响应能力更广泛的主张。

这一差距并不意味着该提案不重要。它指出了概念级架构与应用级成果之间的距离。Samsung 必须通过可用的硅芯片、经过验证的封装、软件优化和客户部署，将这两个层级连接起来。

此次活动还为 Samsung 在 2026 年 8 月 Future of Memory and Storage 上提出的概念补充了细节。当时，该公司展示了 zHBM 和 zNAND-O 概念模型，以及其 HBM4E、HBM5、存内计算和企业存储路线图。9 月的演讲则围绕一种可衡量的用户体验重新定义 zHBM：来自 AI 智能体的更快响应。

智能体 AI 对内存的要求高于简单的聊天机器人交互。一个智能体可能在回答前规划步骤、调用工具、重新访问已存储的上下文，并协调多个模型操作。仅靠更快的算术运算，无法消除加速器反复等待数据所造成的延迟。

Samsung 押注于，下一次重大的性能提升将需要改变封装方式，而非仅仅提高另一代 HBM 的数据速率。这正是 Samsung zHBM 内存在其雄心勃勃的数字获得独立验证之前仍值得关注的原因。

内存墙正在成为 AI 响应时间问题

当 AI 加速器的计算单元必须等待模型数据时，其计算价值便会下降，使内存传输成为用户可感知响应时间的一部分。

现代加速器能够执行海量计算，但它无法使用尚未抵达计算单元的权重。大型模型会在内存与处理核心之间持续传输参数、激活值和缓存的注意力数据。当这种传输无法跟上节奏时，额外的算力便会闲置。

这一限制通常被称为“内存墙”。处理器性能的增长速度，快于系统以相当速度和效率供应数据的能力。HBM 通过堆叠 DRAM 芯片并经由大量并行数据路径连接它们，解决了其中一部分问题。

当前 HBM 系统一般会将多个内存堆栈置于 GPU 或其他加速器旁边的硅中介层上。这种 2.5D 布局提供的带宽远高于传统内存模块。不过，数据仍需在独立封装之间穿越中介层。

Samsung zHBM 内存消除了大部分横向传输过程。它将 HBM 结构置于加速器上方，并在各层之间使用密集的垂直连接。混合铜键合将铜触点直接连接，相较许多传统封装方式，能在更小面积内实现更多连接。

该公司还描述了一种分布式输入输出设计。该架构并非主要依靠提高每个引脚上的信号速度来实现更高带宽，而是在众多短连接之间提高并行度。这种方法可减少移动每一比特所消耗的能量。

这很重要，因为数据传输会消耗原本无法用于计算的功率。它也会产生热量，并增加服务器所需的散热基础设施。即使加速器底层算术单元不变，更高效的连接也能改善每瓦性能。

Samsung 表示，zHBM 支持在处理器与内存之间的层中集成定制知识产权。这可能让加速器设计者针对特定工作负载调整内存控制、接口或其他功能。这也意味着，该产品不能被视为客户可在开发后期简单接入的标准化内存堆栈。

加速器与 zHBM 封装需要从早期阶段就开展联合设计工作。供电、物理尺寸、数据路径、散热和控制逻辑必须彼此匹配。Samsung 的架构说明明确表示，zHBM 无法作为独立内存产品实现完全优化。

这一要求改变了商业层面的利害关系。内存供应商传统上主要通过容量、带宽、可靠性和制造执行力竞争。垂直集成封装会让它们更深入地参与系统架构，也更贴近加速器设计者的产品路线图。

客户同样面临更高的投入成本。选择传统 HBM 代际产品已经需要认证和封装规划。选择 zHBM 将影响加速器设计本身，使兼容性和长期供应关系变得更为重要。

Samsung 有战略理由推动这种集成模式。该公司业务涵盖内存、晶圆代工、逻辑设计和先进封装。一款需要将这些能力结合起来的产品，创造了销售不止 DRAM 芯片的机会。

这也对既有封装路线形成压力。TSMC 的 CoWoS 技术已成为将 AI 处理器与相邻 HBM 堆栈结合的关键。TSMC 也在独立开发用于高密度三维集成的 SoIC 技术，因此 Samsung 并不独占向垂直芯片连接发展的更广泛趋势。

问题在于，哪种集成形式能够以所需规模实现可靠量产。传统 HBM 拥有现有供应商基础、成熟接口和已知制造实践。zHBM 在计算与内存之间提供了更短路径，但它要求客户接受更紧密的耦合。

对于 AI 开发者和企业买家而言，这场封装争论似乎与模型行为相距甚远。但其影响将体现在响应延迟、单台服务器可处理的并发用户数量、能耗，以及可装入系统的最大模型规模上。

能够在没有长时间停顿的情况下完成多次工具调用的更快智能体，与仅仅更快生成文本的聊天机器人会带来不同感受。Samsung 的每秒 1,000 个 token 目标意在将半导体架构与这种体验联系起来。该公司仍需展示哪些工作负载会受益、在何种条件下受益，以及系统成本为何。

Samsung zHBM 内存与 HBM5 的较量是一场架构押注

决定性竞争并非 Samsung 对阵某一家内存供应商，而是处理器—内存垂直集成与持续并列扩展之间的较量。

HBM5 代表演进路线。它可以改进信号传输、容量、电源管理和堆栈构造，同时保留处理器与附近内存之间可辨识的关系。这一路线让产业能够复用大量现有封装模式。

Samsung zHBM 内存采取了不同方法。它将物理布局视为限制因素，并将内存移至加速器上方。更短、更密集的连接为更高带宽提供了路径，而无需完全依赖以更快速度穿越更宽封装的信号。

这两条路线形成不同的工程重点。

物理连接

• 传统 HBM5：内存位于加速器旁边，并通过中介层进行通信。

• Samsung zHBM：内存位于加速器上方，并使用密集的垂直连接。

设计灵活性

• 传统 HBM5：加速器和内存的开发保持更高的模块化程度。

• Samsung zHBM：处理器、内存、中间层、供电系统和散热策略需要早期协调。

数据传输

• 传统 HBM5：更高的接口速度和更宽的系统持续提升带宽。

• Samsung zHBM：更多短垂直路径可在缩短传输距离的同时提高并行度。

制造风险

• 传统 HBM5：产业延续客户和供应商已熟悉的工艺。

• Samsung zHBM：晶圆键合、对准、测试、良率管理和散热控制变得更加紧密相连。

升级模式

• 传统 HBM5：客户可在熟悉的封装架构中认证更新的内存产品。

• Samsung zHBM：每个加速器项目都可能需要更为定制化的集成工程。

随着封装规模扩大，垂直路线的吸引力愈发清晰。在加速器周围布置更多 HBM 堆叠会增大中介层面积，并使布线更加复杂。大型封装还面临制造、供电和机械方面的限制。

将内存向上堆叠可以缩小水平占用空间。更多内存可以紧贴处理器布置，而无需让封装进一步向外扩展。Samsung 预测其内存密度将超过 HBM5 的十倍，不过这一数字仍是附属于概念架构的公司估算。

同样的做法也会降低模块化程度。某一键合层出现问题，可能影响整个组件的价值。因此，键合前后对内存进行测试至关重要，因为报废包含昂贵加速器的封装代价高昂。

这也是为什么良率与峰值性能同样重要。良率衡量制成组件中符合规格的比例。即使设计速度很快，如果太多键合封装失效或必须以较低运行速度工作，也可能难以在商业上取得成功。

Samsung 还需要加速器合作伙伴。其定制层间结构方案意味着，只有当处理器设计商承诺采用其接口和物理结构时，zHBM 才更具价值。单凭内存演示无法证明联合优化系统的优势。

与此同时，SK hynix 正在为内存墙提供另一种应对方案。在同一场 AI Infra Summit 上，该公司重点展示了 PIM，即存内计算。PIM 将部分计算功能置于内存内部或附近，使部分数据无需返回主加速器。

SK hynix 还展示了高带宽闪存，以及用于管理键值缓存的软件技术；键值缓存用于存储模型推理过程中生成的数据。其 AI memory portfolio 表明，没有任何一种内存类型应当承担所有 AI 任务。

这一观点不同于将处理器与 HBM 的连接视为主要瓶颈。PIM 将部分计算移向数据所在的位置。高带宽闪存增加了一个容量更大、速度更慢的内存层级。软件可以决定哪些信息应存放在昂贵的高速内存中，哪些则可保留在其他位置。

这些方法并不相互排斥。未来系统可以使用垂直集成 HBM 承担活跃计算，使用 PIM 处理重复性操作，并使用高带宽闪存存储大型模型权重。不过，每增加一项技术，设计复杂度也会随之上升。

因此，竞争的核心在于谁能掌控系统优化。Samsung 的 zHBM 主张倾向于内存、逻辑与封装的紧密集成。SK hynix 则强调更广泛的内存和软件选择。晶圆代工厂与加速器公司也拥有各自的封装技术和接口偏好。

Samsung 凭借改善的势头进入这场竞争，但其地位并非无可争议。TrendForce 报告称，Samsung 在 2026 年第二季度占据了整体 DRAM 营收的 39.4%。这一数字反映的是更广泛的 DRAM 市场，而非仅在 HBM 领域的领先地位。

这家研究机构将 Samsung 的整体增长部分归因于 HBM4 的早期量产和出货。其 DRAM market data 也说明了下一代架构为何重要：内存需求仍与 AI 基础设施扩张紧密相关。

HBM 的领先地位取决于客户认证、可用产出和产量。在部署前数年展示的概念可以影响产品路线图，但无法取代已经在被采购的产品。Samsung 必须持续推进传统 HBM，同时说服客户协助设计其潜在继任者。

热量、良率与客户承诺才是真正的考验

将内存置于高热量加速器之上能够缩短数据路径，但也使温度和制造良率成为设计核心。

AI 加速器在持续工作时会产生大量热量。在并排式封装中，热量可以从处理器流向冷却系统，而不必先穿过 HBM 堆叠。垂直结构改变了这一散热路径。

Samsung 承认这一问题。其技术资料称，来自加速器的热量必须穿过内存结构。该公司提出采用优化的堆叠尺寸、混合铜键合和其他结构调整，以降低热阻。

Samsung 估计，与 HBM5 相比，zHBM 可将热阻降低一半以上。这一数据在该公司的模型中令人鼓舞，但并未回答所有运行层面的问题。

数据中心需要的是持续工作负载下的性能，而不只是短暂的演示。温度会影响信号表现、内存可靠性，以及加速器能够维持的频率。达到热极限的封装可能降低时钟速度，并失去部分理论优势。

冷却硬件同样重要。垂直堆叠封装可能需要不同的冷板、导热界面材料或液冷设计。这些变化会影响服务器布局和数据中心部署，因此不能孤立地评估该封装。

制造带来了另一项挑战。晶圆对晶圆键合会在单个成品单元分离前连接大面积表面。精确对准和洁净的铜接触至关重要。任一晶圆上的缺陷都可能减少可用组合器件的数量。

当键合组件的价值不同，经济性会变得更加棘手。单独一层内存失效固然不便；但包含先进加速器的键合组件失效，会浪费更多的处理价值。

制造商可以采用测试策略、已知良品芯片筛选和修复功能来限制这一风险。不过，Samsung 尚未公开 zHBM 的生产良率、客户认证结果或大规模可靠性数据。

这项技术也仍处于早期阶段。Samsung 在 FMS 2026 上将 zHBM 作为概念模型展示。据报道，产品窗口将从 2029 年或更晚开始，这意味着商业系统出现前仍有数个开发周期。

在解读每秒 1,000 token 的目标时，这一时间表至关重要。在 zHBM 投入生产前，AI 软件和加速器将继续改进。未来部署需要与届时可用的硬件进行比较，而不只是与当今系统相比。

底层工作负载的定义同样重要。每秒 token 数可以描述单个用户，也可以描述大批量任务；可以衡量输入处理、输出生成，或两者的混合。采用推测解码的紧凑模型，与使用长上下文的大型推理模型表现不同。

Agentic 任务会增加更多变量。模型可能在等待数据库、Web 服务、代码运行器或另一模型。更快的内存并不能消除加速器外部的延迟。

因此，令人信服的验证应当区分多类结果。Samsung 需要提供原始内存带宽和延迟测量、完整的加速器基准测试、持续热表现、每生成一个 token 的能耗，以及应用层面的智能体性能。

该公司还必须明确基准。“HBM5 性能的八倍”若不了解接口配置、内存容量、工作负载和功耗范围，就很难评估。将经过优化的 zHBM 与受限制的 HBM5 系统比较，并不能描述所有部署场景。

客户参与提供了另一项信号。Samsung 表示该架构支持客户特定的知识产权，但尚未公开点名量产 zHBM 封装的加速器合作伙伴。公开合作伙伴名称将表明，该设计已超越内部技术提案阶段。

这正是 Samsung 广泛的半导体能力既能帮助、也会令其主张复杂化的地方。内存、晶圆代工和封装团队可以协调同一堆叠方案。外部加速器设计商则可能仍会担忧依赖高度集成的供应商。

互操作性同样仍是未知数。HBM 的成功部分得益于通用标准支持了由内存供应商、逻辑设计商、晶圆代工厂、封装供应商和测试公司构成的生态系统。高度定制的垂直架构或许能带来更高性能，却会降低可互换性。

风险并不在于 zHBM 完全无法工作。更现实的风险是，该设计在技术上可行，却只适用于有限数量的昂贵系统。较低良率、专用冷却需求或漫长的协同设计周期，都可能推迟更广泛的采用。

因此，Samsung 的说法应被视为一个方向，而非已经完成的成果。该公司已指出一种减少内存数据移动的可信机制，但尚未证明这一机制能够胜出的商业条件。

三项信号将显示 zHBM 能否走出实验室

下一阶段取决于可测量的芯片、加速器合作伙伴和持续系统数据，而不是又一个预测倍数。

第一项信号是详细的原型基准测试。Samsung 应披露运行中 zHBM 芯片的内存带宽、延迟、功耗和热表现结果。比较必须采用清晰的 HBM5 基准，并说明工作负载、封装、冷却系统和测量方法。

如果该结果能在持续工作负载下接近预测的四至八倍性能范围，将增强 Samsung 的论据。若性能提升只出现在狭窄的数据传输测试中，或需要不切实际的功耗范围，则会削弱其论据。

第二项信号是具名的加速器合作。zHBM 需要与处理器进行早期协同优化，因此公开开发合作伙伴的分量将超过又一次独立内存展示。合作伙伴可能是云服务提供商、加速器公司或定制芯片开发商。

合作将表明客户认为额外的设计投入值得。如果双方披露认证里程碑、送样时间表和预定部署类别，其意义将大得多。

没有合作伙伴并不能证明 zHBM 缺乏需求。半导体协议往往保持保密。不过，若长期缺乏客户证据，将使 Samsung 所提出的产品路径更难与研究项目区分开来。

第三项信号是持续的散热和良率披露。Samsung 必须证明热量能够从加速器排出，而不会损害内存可靠性或迫使系统严重降频。它还必须证明键合良率支持量产经济性。

这些指标决定垂直集成能否带来系统价值。如果冷却复杂度或报废封装消耗了节省下来的成本，降低数据移动能耗的重要性就会下降。稳定运行和可重复制造，比孤立的峰值结果更能证明该架构的价值。

读者也应将标题数字放在恰当的类别中。1,000 token 的数字是 AI 服务目标。八倍的数字是 Samsung 预测的接口性能。超过十倍的数字则涉及内存密度。

Samsung zHBM 内存提出了清晰的技术主张：让数据在物理上更接近计算，再用大量短连接替代少量长而快速的连接。这一机制直接针对影响训练、推理和 AI 运营成本的瓶颈。

悬而未决的问题是执行。Samsung 必须将一张有前景的堆叠示意图，转化为客户能够冷却、认证、制造和编程的封装。与此同时，传统 HBM、PIM、先进封装和软件优化也在持续进步。

对于开发者而言，更快的内存可能支持更大的活跃上下文、更多并发智能体，以及负载下更低的延迟。企业采购方应关注实测吞吐量、每项任务的能耗、可靠性和部署成本，而非单一的标题倍数。

关注下一批原型数据、首个加速器合作伙伴，以及首批持续热性能结果。如果这三项都出现，Samsung 对垂直内存的押注就值得被认真看待。若未能出现，1,000-token 目标仍将是对行业雄心的有力描述，而非 zHBM 已经实现这一目标的证据。