SK hynix 在 SC26 展示以内存为中心的 AI 机架演示
SK hynix 在 Supercomputing 2026 上展示了以内存为中心的 AI 系统,对“仅增加处理硬件即可解决 AI 服务瓶颈”的假设提出了挑战。11 月 20 日发布的 SK hynix SC26 报告介绍了多项演示,重点在于保留有价值的计算结果并减少不必要的数据移动。
核心问题在于,AI 系统如何保存已经完成的工作。重新计算熟悉的输入会消耗资源,但读取已存储的结果同样需要时间。只有当整体服务能够受益时,共享内存才具有价值。
NVIDIA 已通过推理软件应对相关问题,而 Samsung 则提供了自己的内存池化架构。这使 SK hynix 必须证明,除具吸引力的硬件配置外,还具备切实优势。对买家而言,真正相关的比较是在现实条件下完成的工作量,其中还包括所需的软件和运维投入。
SK hynix SC26 演示实际展示了什么
展会展示的是系统架构和技术演示,而非完整方案已全面上市的公告。
根据该公司的以内存为中心的机架演示,MARS 指的是 Memory-centric AI Rack System。其演示涵盖共享缓存计算、内存池内计算,以及跨服务器共享预处理。
CXL,即 Compute Express Link,是一种支持处理器与内存连接的互连标准。SK hynix 介绍了如何结合 DRAM(工作内存)和 SSD(固态存储驱动器)来保留并读取缓存结果。KV 缓存存储语言模型使用的中间注意力计算结果。
其他展品包括通过 CXL 实现的 KV Cache Offloading、Compute-using-DRAM 和 Custom HBM Array。HBM 指高带宽内存,即为实现高数据传输速率而设计的堆叠式内存。SK hynix 还表示,已与 SK Telecom 完成推理环境验证。
在评估成熟度时,这些展示应分别看待。系统演示、合作伙伴验证和架构概念回答的是不同问题。将它们合并为一项公告,会暗示它们具有相同的部署状态,但现有证据并不支持这一点。
有价值的演示可以说明组件能在选定工作负载下协同运行。但这并不能自动证明该配置面对陌生应用、需求变化或请求竞争时的表现。这些条件决定了一种架构是否能带来实际的运营改善。
该活动也不应被解读为 AI 共享内存的发明。SK hynix 在 10 月的MARS 系统演示中,已在 OCP Global Summit 上介绍过内存池化及相关服务实验。11 月的报告是在既有方向上补充展会细节。
这一时间线改变了适当的解读方式。读者应评估最新演示揭示了哪些集成进展和工作负载覆盖情况,而不应将每个展示的组件都视为刚刚上市的新产品。
真正有价值的消息在于,SK hynix 希望客户从何种层面评估内存。容量和带宽依然重要,但该公司希望买家考虑内存如何参与整个服务。
这让采购团队面临更高要求的比较。他们需要区分可直接采购的硬件,与复现演示所需的软件、合作伙伴组件和工程工作。
因此,采购决策需要明确的配置方案。否则,一个有前景的架构方向很容易演变成一系列关于兼容性、性能和支持的假设。
重复的 AI 工作让服务团队承压
眼前的压力落在那些必须在固定基础设施预算内交付高响应 AI 服务的团队身上。
以一个示例性的企业助手为例,它会反复查阅同一批技术文档。用户提出问题、要求提供支持证据,随后又要求修改答案。在这段交互中,大量信息持续具有相关性。
服务需要决定在请求之间保留什么。将可复用结果保留在近处会占用原本可能被其他对话使用的内存;丢弃它们,则会在用户再次返回时产生额外工作。
两种选择都不必然错误。答案取决于信息被复用的频率、保持有效的时长,以及能够多快恢复。服务无关请求的部署,与处理持续对话的服务,面对的是不同的计算。
这使内存管理既是产品问题,也是基础设施问题。用户感受到的是等待、中断和响应不一致,而看不到延迟究竟来自计算、读取还是调度。
服务团队面临的压力,是在选择下一轮硬件升级之前,准确解释这些延迟。增加处理能力解决的问题,与消除重复准备工作不同。两者都可能重要,但需要分别提供证据。
NVIDIA 对KV cache offloading的讨论提供了有用参考。其 Dynamo 软件可将缓存状态移至 CPU 内存、本地存储或网络存储。CPU 是通用处理器;GPU 是通常用于加速 AI 计算的处理器。
NVIDIA 明确指出,只有当复用收益超过传输开销时,卸载才最有效。其示例包括持续对话、共享内容和同时处理大量请求的服务。这一限定比笼统承诺更快推理更重要。
推理是运行已训练模型以生成输出的过程。对推理运营方而言,保留缓存工作只有在改善服务实际约束时才有价值。
应用在不同阶段可容忍的延迟类型不同。后台文档分析与等待用户下一条指令的助手,需求并不相同。买家不应使用同一项头条指标来评估两者。
知识类应用让这种区别尤其明显。可搜索的知识库帮助用户找到相关材料,而基础设施决定模型处理这些材料的效率。更好的缓存管理并不能证明检索选中了正确的文档。
这将营销语言可能混淆的两个采购问题区分开来。应用是否找到了并使用了可信的信息?其服务系统是否能在预期需求下高效处理这些信息?
SK hynix SC26 的故事关注的是第二个问题。当重复上下文是可衡量的浪费工作来源时,其相关性会提高;当服务的主要瓶颈位于其他环节时,其吸引力则会下降。
因此,面临扩容压力的团队应在决定扩展哪一组件之前,先衡量自己重复了多少工作。
共享内存必须胜过数据移动成本
当访问可复用工作所需的成本(包括协调成本)低于重建它的成本时,共享池才会创造价值。
这正是更广泛架构论点背后的机制。将内存与单台服务器分离,可以让资源分配更具灵活性。然而,这种分离也引入了请求必须经过的路径。
比较不能止步于可用容量。它必须包括定位正确数据、传输数据并使其可用所需的时间,也必须考虑来自其他请求的竞争。
设想一段暂停后再次继续的对话。恢复其此前状态可能避免重复计算;但若恢复来得太晚,用户仍然需要等待。
相反的情况同样重要。系统可能保留了后续请求根本不需要的信息。这些信息占用空间并消耗管理精力,却没有带来实际回报。
因此,任务在于选择性保留。运营方需要判断哪些结果值得保存在近端内存,哪些应放在更慢的位置,哪些则应被丢弃。
这种判断会随着工作负载行为而变化。重复指令可以跨多个请求持续有用,而临时结果则可能立即失去价值。一视同仁地处理两者,会浪费本就稀缺的资源。
早于当前 AI 服务讨论的研究说明了这一更广泛的问题。2022 年关于CXL memory pooling的论文 Pond,利用生产跟踪数据和工作负载评估研究了云内存分配。作者报告称,在其研究中,相对较小的池便捕获了大部分池化收益。
Pond 评估了 158 个工作负载,并报告 DRAM 成本降低 7%,性能维持在其本地分配参考方案的 1–5% 范围内。这些发现针对的是该研究配置,而非 MARS 或当代 AI 推理。
历史经验的意义在于方法论。池规模、分配策略和可接受的性能损失应纳入同一项评估。增加共享资源本身并不能证明系统更优。
对于 SK hynix MARS,相应的买家问题是共享的有效单位。一个内存池可能改善容量分配、复用计算状态,或支持在数据附近执行选定操作。每项收益都需要恰当的比较。
这些收益也不应轻率相加。避免的计算与改善的容量利用率在效果上可能重叠。将两者视为独立收益进行计算,可能夸大总体改善。
同样的谨慎也适用于近内存计算,即将选定处理置于已存储数据附近。其吸引力取决于避免的数据移动是否足以证明新执行路径的合理性。
合理的评估应明确哪些操作会移动、哪些仍由传统处理器完成,以及中间结果如何流动。这能揭示该架构是在减少工作,还是仅仅重新安置工作。
还应考察查找失败后的请求路径。当所需的缓存状态不存在时,服务仍需要具备可接受的行为。否则,最有利的演示也可能掩盖普通新请求的实际体验。
作为设计目标,这项技术承诺是可信的。要证明其实际价值,则需展示完整方案节省的工作量大于其新增的工作量。
NVIDIA 和 Samsung 提供了不同的比较基准
SK hynix 面临已成熟的替代方案,它们从系统的不同层面解决内存效率问题。
NVIDIA 的 Dynamo 为跨内存和存储管理缓存计算提供了以软件为中心的比较对象。Samsung 的 CMM-B 则为内存池化提供了以硬件为中心的比较对象。两者都不能直接替代 SK hynix 展示中的每一个要素。
Samsung 在其memory pooling architecture白皮书中,将 CMM-B 描述为机架级池化解决方案。该文档讨论了资源分配、主机连接,以及使用内存数据库进行的验证。
数据库测试与 AI 服务测试之间的区别至关重要。一项结果只能为所评估的配置和应用提供证据,并不能在无关工作负载之间建立普适的性能排名。
Samsung 的文档还指出,部署位置和配置会影响测得的吞吐量与延迟。这为买家提供了一个实用提醒:连接更多内存并不能消除系统布局的重要性。
这些替代方案勾勒出竞争挑战,无需强行判定胜负。NVIDIA 强调围绕现有处理与存储资源的软件协同。Samsung 则记录了通过 CXL 扩展和分配内存的方法。
SK hynix MARS 将内存共享纳入更广泛的系统叙事。其竞争任务在于证明,这种整合在哪些场景下能比经过良好配置的替代方案带来可衡量的优势。
“良好配置”这一表述分量很重。新架构应当面对经过优化的参考方案,包括恰当的缓存和调度机制。与本可避免的低效设置比较,只能回答一个范围窄得多的问题。
买家还需要比较达到所报告结果所需的投入。依赖大量应用改动的配置,与由现有软件支持的升级,具有不同的采用路径。
这并不意味着更深层的整合不可取。运行稳定、高容量工作负载的运营方,可能愿意接受大量工程工作以获得持久改进。另一类运营方则可能更重视面对不断变化的应用时的灵活性。
支持安排也应纳入计算。当部署横跨内存设备、处理器、互连和服务软件时,必须有人诊断这些边界之间的故障。买家需要得到关于责任归属的明确答案。
这就是为何核心张力在于架构,而非公司之间的竞争。本地资源提供熟悉的执行路径。共享资源则承诺更广泛的复用与分配灵活性,同时带来额外的协调要求。
最有力的比较应保持应用目标不变。它应考察每种方法如何在相同需求下提供所需的响应速度和输出质量。
单独的硬件带宽结果无法回答这个问题。有利的软件基准测试同样无法证明每一种底层内存布局的价值。
对企业买家而言,竞争格局带来了一项优势:多种方法都可以作为可信的参考。SK hynix 必须通过可复现的证据,证明其相对于这些参考方案的价值。
对整个行业而言,这会将关注点转向整合质量。某一特定应用的最佳配置将取决于各组件如何协同,而不仅仅是哪一个组件拥有最引人注目的规格。
验证仍留下工作负载和部署问题
最大的未解问题是:当有利的复用条件消失时,所报告的方法能否始终如一地带来帮助。
SK hynix 的说明提供了由公司主导开展技术工作的证据,但并未证明存在经独立验证、普遍适用的加速效果。合作伙伴的参与增加了背景信息,但不能替代针对竞争配置进行的可复现评估。
独立研究为这一通用机制提供了保持谨慎的理由。研究人员 William Meng、Benjamin Lee 和 Hong Wang 考察了 KV 卸载瓶颈,并在其评估的系统中发现,传输带宽是一项严重约束。
他们的研究并未测试 MARS,也未推翻 SK hynix 的说法。它表明,即使卸载解决了容量问题,移动缓存状态仍需接受审视。所避免的计算量与新增的传输量应纳入同一项测量。
对买家而言,第一个未解问题是工作负载的代表性。以重复输入为主的测试,回答的问题与以陌生请求为主的测试不同。如果两种模式都会出现在生产环境中,评估就应包含两者。
下一个问题是争用,即对共享资源的竞争。一个资源池若在孤立应用中表现良好,当无关服务同时访问它时,仍需进一步测试。
在这里,平均响应时间并不足够。运营方还应审查异常缓慢的请求,以及繁忙服务是否会损害其他服务。平均值可能改善,而部分用户却经历更严重的中断。
缓存未命中也需要明确处理。未命中发生在所请求的缓存信息不可用时。报告应说明未命中的发生频率以及系统如何恢复,而不是只描述成功复用的情况。
正确性同样值得重视。复用状态必须与生成它的模型、输入序列和执行配置保持兼容。如果性能比较改变了应用预期的行为,其意义就会丧失。
这是对评估的要求,而不是 SK hynix 实现存在缺陷的证据。公开报告应区分未解问题与已被证明的问题。缺少细节并不意味着可以假定失败。
安全性带来了另一个部署问题。买家应询问共享资源如何在用户和应用之间维持访问边界,还应明确缓存信息过期或必须删除时会发生什么。
可靠性也需要同样具体的说明。当某个组件不可用时,恢复路径是什么?服务会以较低性能继续运行、在其他位置重复执行工作,还是会停止,直到共享资源恢复?
能耗主张需要完整的测量边界。某一处理器活动减少,并不能证明整个配置的消耗有所降低。内存、存储、互连和辅助设备都应纳入核算。
商业就绪度仍是与技术可行性不同的问题。买家需要了解受支持的配置、维护预期,以及从评估到部署的清晰路径。
这些问题不会削弱展示的价值。它们界定了下一阶段所需的证据。一场有价值的演示应让后续评估更精确,而不是取而代之。
适当的结论是审慎关注。该架构瞄准了真实的系统问题,但现有证据表明,其实际优势仍取决于工作负载和实施方式。
关注可复现结果、整合与持续使用
接下来值得关注的信号,是更广泛的性能证据、受支持的整合,以及超出演示阶段的持续使用。
未来数月首先值得关注的信号,是可复现的工作负载比较。有价值的报告应明确模型、硬件布局、软件版本、请求模式和参考配置。
它应将重复输入行为与陌生输入行为区分开来,还应展示随着需求上升和可用内存受限,性能如何变化。
如果益处能在现实的请求组合中持续存在,这些证据将加强论证。如果改进主要依赖异常可预测的复用,论证范围则会收窄。
范围更窄的结果仍然有用。基础设施不必让每个应用都获益,才能证明采用的合理性。买家需要知道哪些应用适配、适配的可靠性如何,以及仍存在哪些权衡。
第二个信号是与服务软件的受支持整合。经过文档记录的配置能帮助运营方了解,在不依赖展示团队的情况下,他们能够复现什么。
重要细节包括兼容性边界、部署步骤、监控方式以及故障期间的行为。这些细节能将一组组件转化为运维团队可负责任地评估的对象。
可维护整合的证据将加强这样一种论点:内存池可以进入常规服务设计。即使底层技术结果仍具吸引力,大量未经支持的定制也会使采用更具选择性。
买家还应关注整合是否能经受软件和模型变化。仅在冻结技术栈下表现良好的配置,与具有受支持升级路径的配置,带来的是不同的承诺。
第三个信号是在日常需求下持续的客户使用。持续部署提供了评估维护、不断变化的工作负载以及共享资源运营后果的机会。
最有力的证据应说明所服务的应用,以及运营方保留该配置的原因。它还应在有利结果之外,纳入局限性和未成功的工作负载。
若运营方在计入工程和支持投入后仍报告收益,持续使用将加强商业层面的论证。若回归传统配置,则需要解释,而非自动否定。
这些信号应保持彼此独立。可复现基准测试建立技术证据。受支持的整合建立通向运营的路径。持续使用则有助于判断收益能否经受实际约束。
SK hynix 在 SC26 的展示,最好被理解为一项探究这些问题的邀请。它将内存管理与处理能力并列,纳入 AI 服务设计的讨论。
对于开发者,有用的回应是在自身应用中测量重复输入处理和恢复延迟。对于基础设施买家,则是要求与实际服务需求挂钩的比较。
对于知识工作者,最终影响将通过响应速度和服务可靠性显现。该架构的意义在于:在不损害应用信息质量的前提下改善这些体验。
从团队熟悉的工作负载开始,然后比较其在有无共享缓存状态时的表现。要求两种配置采用相同的模型、输出预期和需求模式。测量完整的请求路径,包括未成功复用以及从中断中恢复的情况。询问谁为该配置提供支持,以及应用需要做出哪些改动。将性能证据与关于答案质量的主张分开看待。当下一次 SK hynix SC26 后续信息提供这些细节时,值得关注。在此之前,应利用这些演示来完善采购问题,并识别可测量的浪费。你的服务正在进行哪些重复工作?又需要什么证据,才能证明值得改变这些工作的存储位置?



