top of page

SK hynix 内存池瞄准重复 AI 计算

12分钟前
讀畢需時 12 分鐘
Illustrative photograph. Photo: Konstantinos Kanavouras / Pexels.

SK hynix 与 Intel 合作概述了一种共享内存设计,目标是处理重复 AI 计算,而非替代连接在图形处理器上的内存。SK hynix memory pool 方案将额外容量置于单台服务器之外,使此前计算过的上下文可供后续任务使用。

据 ChosunBiz 报道,副总裁 Joo Young-pyo 于 2026 年 11 月 12 日在 Intel AI Summit Seoul 上介绍了这一方法。服务器保留本地内存,同时共享一个外部资源池。该公司表示,正与客户和合作伙伴验证这一架构,其中包括在系统设计阶段与 Intel 合作。

核心竞争在于保留有价值的计算成果,还是为重复计算付费。NVIDIA 已通过其 Dynamo 软件支持将缓存上下文转移到图形处理器(GPU)之外。SK hynix 则以内存供应商的系统设计能力,切入同一运营问题。买方应将该方案与现有缓存方法进行比较,而不应假定新增一个内存机架就会自动改善每一种 AI 工作负载。

SK hynix memory pool 公告确认了什么

该公告描述的是一个正在验证的系统架构,而非对现有 GPU 服务器的成熟替代方案。

ChosunBiz 对这一共享内存架构的报道显示,重新计算时的平均首 token 时间为 80.76 秒,使用外部固态存储时为 33.56 秒,使用远程内存时为 15.45 秒。首 token 时间衡量的是 AI 系统开始返回答案前的等待时间。

远程层使用了通过 Compute Express Link 访问的动态随机存取存储器(DRAM);Compute Express Link 是一种用于连接处理器和内存的标准。相对于重新计算,报告中的降幅约为 81%。Joo 承认,检索远程数据仍比访问直接连接的内存更慢。这些是公司及合作伙伴的结果,报道尚未显示已有独立复现。

这一差异界定了本文的范围。结果支持研究一种针对被丢弃上下文的特定替代方案,但并不能证明对完整对话、每种模型或每项生产服务都具有同等改善效果。

底层资源是键值缓存(key-value cache),它存储语言模型在处理兼容上下文时可复用的中间注意力数据。保留这些数据可以避免模型原本需要重复的工作。然而,将所有内容都保留在处理器附近,会与有限本地容量的其他需求竞争。

所提架构将这一保留决策与单台服务器的物理限制分离开来。系统可以在其他位置保留有用状态,并在需要时检索。这样做是否有帮助,取决于避免了多少工作以及引入了多少额外开销。

这比单纯增加内存是一项更具体的主张。额外容量只有在软件能够识别有价值的数据、妥善保留这些数据,并在传输延迟抵消收益前完成检索时才有意义。

它也改变了买方对“资源池”一词的理解方式。共享容量并不自动意味着每个处理器都能将其作为速度相同的内存使用。位置、访问路径和竞争请求仍然重要。

该设计值得关注,因为它涉及计算与保留上下文之间的边界。GPU 可以完成一项计算,却仍要负责存储另一项任务日后可能需要的数据。将这些职责分开,会带来另一项放置决策。

商业问题也随之而来。这一额外选择是否能产生足够多的有效工作,足以证明再增加一个受管理基础设施组件是合理的?演示可以证明可行性,但无法回答企业部署中的这一问题。

目前,最有力的解读仍然是狭义且务实的。SK hynix 已描述了一种架构,并报告了在重复推理场景下具有优势的对比结果。买方仍需证明,自身应用是否足够频繁地遇到相同瓶颈,从而能够受益。

这使工作负载选择先于采购决策。很少重新访问兼容上下文的服务,与反复处理相同材料的服务,面临的是不同的机会。

重复上下文使推理运营商承受压力

受影响最大的运营商,是那些反复为处理系统已见过的上下文付费的运营商。

设想一款企业助手回答有关技术手册的后续问题。用户先要求解释,随后询问例外情况,再将这些例外与另一份文档进行比较。多轮交互之间,大部分输入保持不变。

这是一个说明性工作负载,而非 Intel 合作项目已披露的部署。它的价值在于展示经济压力从何而来。用户体验的是持续对话,而基础设施必须决定哪些先前工作仍可用。

如果有价值的缓存状态得以保留,下一项请求就可以复用兼容的计算。如果该状态消失,系统就必须重建它。即使重建支撑上下文需要大量工作,用户的后续问题看上去也可能很小。

这造成了艰难的运营选择:在加速器附近保留更多状态,同时减少其他请求可用的空间;或移除这些状态,并在对话恢复时面临再次付费的风险。

共享层提供了另一种选择,但并未消除这一决策。运营商仍必须区分有价值的上下文与不太可能再次使用的数据。否则,资源池就会成为积累信息却无法产生足够复用价值的地方。

这种压力也会延伸至调度软件。如果另一名工作节点能更高效地访问可复用状态,将请求分配给一名可用工作节点未必是最优选择。移动工作与移动上下文成为相互关联的决策。

这也是为什么相关买方通常是推理平台团队,而不是孤立地选择内存组件的人。推理是指运行已训练模型以生成输出。其性能取决于完整的服务系统。

最有用的运营指标,是在可接受响应时间内完成的工作量。如果处理器忙于重建上下文,单看硬件利用率可能会产生误导。满负荷的加速器并不自动意味着高效的加速器。

同样,如果每个会话都变得更慢,同时会话数量的增加也可能令人失望。容量提升和响应能力需要在同一工作负载及服务预期下共同评估。

因此,内存池会对采购假设施加压力。增加加速器是应对需求增长的直接做法。当重复输入处理在不增加新信息的情况下消耗资源时,保留计算成果提供了另一条路径。

两种路径都不会在所有情况下获胜。以新提示词为主的应用,复用机会较弱;反复出现兼容上下文的应用,则有更充分的理由测试超出本地内存范围的保留方式。

对于应用开发者而言,其含义是架构性的,而非神奇的。保持提示词构造的一致性以及请求模式的可理解性,会使复用更容易评估。即使用户将任务视为重复,持续变化的输入也可能使这一机会更复杂。

对于知识工作者而言,两者的关联是间接的。可搜索的 AI knowledge base 会组织信息以供检索;推理缓存则保留与处理上下文相关的计算。这些功能服务于助手工作的不同阶段。

更快的上下文复用并不能证明检索更好、答案更准确,或拥有持久的个人记忆。买方在评估基础设施改进实际带来的效果时,应将这些产品主张区分开来。

因此,短期压力落在运营商识别浪费性重复上。长期问题则是,外部保留是否会成为服务架构的常规组成部分。

SK hynix CXL memory 加入既有的复用竞赛

竞争分界线在于系统保留和检索有价值状态的效率,而非是否支持卸载本身。

SK hynix CXL memory 是早于 Seoul 演示的一项更广泛努力的一部分。在其 10 月对池化内存演示的介绍中,该公司描述了在 OCP Global Summit 展示的系统。

这些演示包括与 Arcee、Liqid 和 Marvell 共同进行的共享缓存工作,以及涉及 AMD 和其他合作伙伴的混合内存演示。SK hynix 还介绍了与 NAVER Cloud 进行的概念验证工作。这些均为公司报告的演示,而非独立的生产评估。

这段历史很重要,因为 11 月的活动不应被解读为内存池化的发明。更有价值的发展是,内存继续被作为系统资源展示,而 Intel 参与了设计过程。

NVIDIA 通过 KV cache offloading 提供了相关比较。其 Dynamo 软件支持将缓存状态转移至主机内存、本地存储和网络存储。NVIDIA 表示,当复用收益超过传输开销时,卸载最为有用。

Samsung 则在其推理存储分析中提出了另一种方法,研究在固态硬盘上保留缓存状态。其材料将存储视为推理基础设施的一部分,同时警示实验室性能会随部署条件而变化。

这些方法在目标上重叠,但并非可相互替代的产品。内存设备、服务框架和存储系统处于架构的不同部分。比较它们需要追踪从保留状态到有效计算的完整路径。

这条路径始于识别兼容的缓存条目,随后是找到其位置、传输必要数据,并将其提供给模型。每一步都会影响保留是否优于重建。

AI memory pooling 增加了另一个维度:跨服务器共享容量。潜在优势是更广泛地访问保留状态,并减少对单台机器可用内存的依赖。

然而,广泛访问只有在软件能够加以利用时才有价值。服务软件若无法高效定位或使用资源池,就只能获得容量,而没有相应的应用收益。

研究还表明,设计空间远不止于单一公告。CMM-MP architecture 描述了一种结合 CXL 和 Ethernet 的专用内存池设备。它研究了如何在设备内处理资源池发现和后端通信。

这项研究作为技术背景具有参考意义,而非对 Seoul 系统确切规格的说明。它展示了“共享内存”这一看似简单的要求背后蕴含着多少工程工作。

因此,竞争不仅关乎原始设备性能,同样关乎集成能力。供应商需要提供软件路径、受支持的配置,以及来自代表性应用的证据。当周边系统做出不当的数据放置决策时,即使是高性能组件也可能令人失望。

对 SK hynix 而言,系统协作带来了更早影响这些路径的机会。对 Intel 而言,内存设计成为更广泛基础设施讨论的一部分。这两项观察均不能证明存在排他性合作关系,也不能证明任何一方能胜过 NVIDIA。

买方不应将此简单定义为内存供应商与加速器供应商之间的竞争。它们的技术可以在同一部署中共存。真正有意义的竞争,是以更少的重复工作完成工作负载的不同方式之间的较量。

因此,SK hynix CXL 内存需要与可用的最佳基准方案进行比较。这应包括经过调优的本地缓存和其他外部保留选项,而非仅与会丢弃有用状态的系统相比。

只有当完整架构改善结果时,AI 内存池才值得采用。内存池的存在是评估的起点,而不是结论。

该基准测试尚未解决部署经济性问题

首个 token 的有利结果,并不能证明运营成本更低或完整回答更快。

SK hynix 内存池基准测试针对的是输出开始前的一项特定延迟。一次生产环境中的对话还包括其他阶段,例如请求等待、输入准备、生成,以及任何外部工具调用。

改善其中一个阶段可能意义重大。但仍需测量该阶段在用户总等待时间中的占比。百分比不应被延伸解读到产生它的指标之外。

比较基准同样值得审视。重新计算已被丢弃的上下文是一种合理的运行条件,尤其是在可用内存无法保留全部内容时。然而,这并非运营方唯一可以配置的替代方案。

公平评估应包括针对同一应用进行调优的现有系统。否则,新架构可能因修复了本可避免的低效而获得认可,而非因相对于现实替代方案提供了优势。

工作负载组合是另一个尚未解决的变量。上下文重复度高的测试会创造许多复用机会。主要接收无关请求的服务则机会更少,即使两者使用的是同一模型。

因此,买方应询问被保留的状态实际会被再次请求的频率。他们还应询问每次成功检索避免了多少有用工作。仅统计缓存条目,几乎无法说明其运营价值。

响应时间的分布同样重要。平均值可能有所改善,而个别请求仍可能经历长时间延迟。生产服务需要理解这些较慢的情况,因为用户面对的是单次响应,而非平均值。

共享资源在负载下会带来额外问题。多台服务器可能同时请求数据。测试应确定,当内存池处理相互竞争的流量而非孤立序列时,这些收益是否依然存在。

可靠性同样值得关注。内存池增加了一个其可用性可能影响请求处理的组件。运营方需要明确:当无法检索保留状态时应如何响应,包括系统是重建该状态还是延迟请求。

这是采购要求,并非所报道设计存在缺陷的证据。这一区分很重要,因为合理的验证问题不应演变为关于技术失效的无依据主张。

安全性构成另一组验收标准。共享容量必须维持不同工作负载和客户之间的边界。授权和删除行为需要与性能一同接受审视,尤其是在保留状态反映敏感输入时。

缓存上下文也有生命周期。模型变更、配置变更或源材料更新,都可能改变先前状态是否仍适用。在依赖广泛复用之前,买方应确定其服务软件如何处理这些转换。

运营经济性不止取决于内存本身。网络、软件集成、监控、支持和人员时间都会影响结果。更快的测试并不会自动计入这些开支。

相关比较应是满足服务目标所需的总基础设施。如果内存池有助于在该目标内完成更多有用工作,那么它就具备值得研究的经济价值。

如果实现收益需要困难的集成,或导致资源利用不足,其价值就会减弱。同一架构可能适合重复文档工作负载,却在另一种应用中表现不佳。

这些限制并未否定此次发布。它们界定了有前景的比较与采购决策之间的距离。该基准测试指出了一种值得检验的机制;部署证据必须证明其实际适用范围。

因此,最有力的怀疑性问题是具体的:在纳入完整系统的开销和运营要求后,避免重复计算是否仍然有利?

三个信号将表明池化内存是否值得部署

接下来有用的证据,应将该架构与可复现的工作负载、受支持的系统和持续的运营结果联系起来。

未来数月应关注的第一个信号,是足够详细的基准测试披露。买方需要了解模型配置、上下文特征、请求模式以及竞争性的缓存策略。

该披露应区分等待输出与完成响应。它还应展示随着并发需求增加,结果如何变化。这些细节将使所报告的改进更易于解读。

跨不同复用模式的证据将进一步增强论证。如果有利结果集中于重复上下文请求,只要边界明确,仍然具有价值。清晰的限制使技术更容易被负责任地部署。

相反,如果标题中的百分比缺乏足够的配置细节,核心不确定性依然存在。运营方可以认可这一架构理念,却无法判断已发布的比较是否适用于自己的系统。

第二个信号是受支持的实施路径。关注已命名的服务器配置、兼容的服务软件,以及对哪些组织支持完整部署的清晰说明。

相比之下,广泛的合作公告不如说明买方如何获得并运行可用系统的文档有决定性意义。关键问题是,当内存硬件和推理软件来自不同供应商时,谁负责集成。

如果这一信号能将演示转化为可复现的部署选项,它将增强论点。若持续演示却没有清晰的支持路径,该方案仍更接近技术探索。

第三个信号是来自运行代表性服务客户的运营证据。有价值的披露应将保留上下文与响应时间、完成请求数、可靠性和总资源使用联系起来。

这些观察应覆盖持续运行,而非短暂的有利测试。随着请求变化、缓存数据老化以及软件版本演进,内存池必须保持实用价值。

客户证据还将明确该设计适合哪些场景。它可能证明自己在具有重复上下文的工作负载中作用突出,却不足以支持适用于所有推理任务的广泛主张。

即使是这种更窄的结果也很重要。基础设施的成功在于可靠地解决可识别的问题,而不是适配每一种应用。界定明确的部署细分场景,比缺乏测量支持的宏大承诺更有价值。

对企业买方而言,实际的下一步是在选择硬件前衡量重复情况。识别现有服务在哪些地方重新构建兼容上下文,以及这种重建会造成多少用户可见延迟。

随后,应针对相同请求轨迹比较不同的保留策略。保持模型行为、响应质量预期和服务目标一致。这样,评估的重点便是有用工作,而非孤立的组件规格。

请基础设施团队同时保留有利和不利的结果。涵盖全新请求、回访对话、变动文档以及竞争性需求。记录检索上下文成本高于重建它的情况。这些案例有助于界定适当的部署边界。

SK hynix 内存池方案值得接受这类评估,因为其核心理念针对的是可识别的浪费来源。它提出的问题是:有用的计算是否应在生成它的服务器之外继续保留。在将该基准测试视为采购信号之前,应先确定你自己的服务在哪些地方损失了这些工作。哪些重复请求会受益于让其上下文持续可用?又需要什么证据来证明增加另一层内存是合理的?

 
 

免费开始使用

一款本地优先的AI助手

为了获得更好的人工智能体验,

remio 目前仅支持Windows 10+ (x64)和M-Chip Mac 。

你的 AI 工作伙伴

和 remio 一起高效工作

规划、创作、交付

一站式完成

bottom of page