HYPIC 为混合注意力 LLM 带来位置无关缓存，挑战前缀缓存

HYPIC 推出了首个有公开报道的混合注意力 LLM 位置无关缓存系统，其评估中的平均首词元延迟降至原来的 1/3.25。来自小红书、北京大学和上海交通大学的研究人员为 RAG 应用和 AI agents 所使用的长篇模块化提示词设计了该系统。

关键矛盾并不只是使用缓存还是不使用缓存。混合注意力模型已经通过用线性注意力替代大多数全注意力层，降低了长上下文成本。然而，现有的位置无关缓存技术依赖逐词元数据，而这些线性层并不会保留此类数据。

这种不兼容迫使服务团队面临一个棘手的选择。他们可以部署采用更小循环状态的新型混合模型，也可以使用为传统 transformer 设计的灵活缓存。HYPIC 声称通过状态组合、有限的边界重新计算以及对未缓存片段的并行处理，将两种方法结合起来。

结果令人期待，但目前仍属于研究发现，而非经过广泛生产环境验证的成果。该系统在四种混合模型和五种工作负载上进行了测试，其中包括一条生产环境 RAG 轨迹。其质量也仍比完整重新计算平均低 1.71 分，使部署团队面临可量化的权衡。

HYPIC 位置无关缓存系统带来了哪些变化

HYPIC 将可独立复用的提示词片段视为可组合的模型状态，从而将灵活缓存扩展到传统全注意力 transformer 之外。

作者于 2026 年 7 月 12 日发布了 HYPIC 论文的第二版。七名研究人员分别来自小红书、北京大学和上海交通大学。Yifei Liu 和 Juntong Wu 被列为共同贡献者，Junhao Hu 则是通讯作者。

该系统面向检索增强生成、多文档分析和长期运行的 agents。这些应用很少会将一个简单的用户问题直接发送给模型。它们会使用系统指令、检索到的文档、记忆文件、工具定义、示例和执行历史来组装提示词。

其中许多片段会在不同请求中反复出现。一个客服助手可能会为数百名用户检索同一份政策文档。一个编程 agent 在调查不同任务时，可能会加载相同的代码库文件。一个企业搜索系统可能会反复以新的顺序组合熟悉的文档。

标准前缀缓存只有在某个已处理片段之前的词元也完全匹配时，才能复用该片段。如果同一文档从第二个位置移动到第四个位置，发生变化的前缀可能会导致缓存无法命中。随后，服务器就必须再次执行成本高昂的预填充计算。

位置无关缓存（PIC）改变了这一规则。它允许系统只缓存一次独立完整的提示词片段，之后可以在不同前缀之后或不同位置复用该片段。这种方法更符合检索系统和 agents 使用模块化材料构建提示词的方式。

早期的 PIC 研究主要关注全注意力模型。这些模型会保留单个词元的键值向量，为缓存系统提供可直接存储、移动和选择性重新计算的对象。模型可以将缓存的文档表示拼接在一起，并修复周围上下文发生变化的位置。

混合注意力模型则会生成不同的数据结构。它们用线性注意力层替代大多数全注意力层，将先前的词元压缩到一个固定大小的循环状态中。该状态可以降低内存占用和处理成本，但也会移除现有 PIC 方法所需的逐词元操作入口。

这种不兼容至关重要，因为混合设计正逐渐进入主流模型系列。HYPIC 研究人员将 MiniMax-M1、Ring-2.5、Qwen3.5 和 Kimi-Linear 列为混合使用线性注意力和全注意力的模型示例。

在研究人员给出的 Qwen3.5-35B-A3B 示例中，40 层里有 30 层使用线性注意力。每个线性层在每次请求中大约保存 2 MB 的循环状态。根据论文，在 128,000 词元的上下文中，一个全注意力层可能需要大约 256 MB 的 KV 缓存。

在这种配置下，每层的差异超过 100 倍。然而，较小的状态也使现有缓存系统无法逐词元操作每个片段。

HYPIC 改变的是服务层，而不是重新训练模型。它添加了一种表示，使服务器能够组合独立处理的提示词片段所产生的循环状态。随后，它会修复片段边界附近剩余的全注意力层。

研究人员在 SGLang 上实现了 HYPIC，SGLang 是一个专为结构化语言模型工作负载设计的推理框架。因此，该项目提出的是一种服务系统方案，而不是新的基础模型或注意力架构。

因此，其核心主张范围有限但意义重大。HYPIC 并不是让混合注意力成为可能，而是声称当模型已经使用混合注意力堆栈时，它能够让模块化缓存复用变得切实可行。

为什么前缀缓存无法充分满足 RAG 和 AI Agents 的需求

即使应用正在动态组装上下文，推理系统仍围绕完全相同的提示词开头组织缓存复用，因此承受着越来越大的压力。

当前缀相同时，前缀缓存表现良好。服务提供商可以只处理一次通用系统提示词，保留其中间状态，并在以后包含相同前缀的请求中复用这些计算结果。

这种模式常见于使用固定指令的聊天应用。它也适用于每个请求都以相同模板开头的批处理工作负载。现代服务引擎之所以采用这种方式，是因为其规则简单，并且能够保持精确的因果注意力。

RAG 和 agent 工作负载则没有这么规整。检索结果可能因查询、文档顺序、权限级别、时效性或重排序决策而变化。Agents 还会在之前出现过的片段之间插入工具响应、记忆记录和执行轨迹。

假设一个内部研究助手已经处理过三份长篇报告。之后的一个问题可能会使用其中两份报告，再添加第四份，并将最相关的报告放在首位。这些信息并不陌生，但完整前缀已经不同。

前缀缓存会将该请求的大部分内容视为新的工作。位置无关系统则会将其视为可复用的构建模块。

随着提示词上下文不断扩展，这种差异变得愈发重要。预填充是模型在生成第一个输出词元之前处理所有输入词元的阶段。当提示词包含数万个词元时，预填充可能会占据用户大部分等待时间，并成为服务提供商的主要计算成本。

用户会通过首词元生成时间（TTFT）感受到这一瓶颈。第一个词元出现后，生成过程可能很快，但长时间无响应仍会让 agent 显得反应迟缓。

HYPIC 通过提高片段级复用率来解决这一延迟问题。检索到的文件无需处于相同的绝对位置，也无需拥有相同的前置文档，就可以获得复用资格。系统会尝试将其缓存状态与其他片段的状态组合起来。

这种方法挑战了前缀缓存作为混合模型默认生产基线的地位。论文报告称，在所有测试配置中，与前缀缓存相比，HYPIC 将 TTFT 平均降低至原来的 1/3.25。

在一秒 TTFT 服务级别目标下，据报告 HYPIC 每秒可支持的查询数量达到原来的 1.66 倍。这项指标非常重要，因为一种优化即使能改善单个请求，也仍可能在服务器面临持续流量时失效。

不同模型的性能提升幅度有所不同。在相同的一秒延迟目标下，与前缀缓存相比，HYPIC 在 Ring-mini 上将可持续 QPS 提升至 1.85 倍。在 Ring-flash、Qwen3.5-35B 和 Qwen3.5-122B 上，对应的提升幅度分别为 1.49 倍、1.58 倍和 1.71 倍。

每块 GPU 的峰值词元吞吐量增幅相对较小。HYPIC 报告称，在 Ring-mini、Ring-flash、Qwen3.5-35B 和 Qwen3.5-122B 上的增幅分别为 1.50 倍、1.46 倍、1.32 倍和 1.30 倍。

这些数据描述的不仅仅是更快的缓存命中。它们表明，更广泛的复用可以改变固定 GPU 部署在满足延迟目标的情况下所能承载的流量。

这对于依赖重复信息的企业 AI 系统尤其重要。一家公司可能拥有数百万份文档，但实际工作负载往往集中在热门政策、代码模块、客户记录或当前项目上。

可复用单元不再是整个提示词，而是提示词中的文档、记忆条目、工具规范或其他有意义的片段。

先前的研究已经为全注意力模型确立了这一方向。发表于 ICML 2025、经过同行评审的 EPIC 系统正式定义了位置无关缓存，并报告了显著的延迟和吞吐量改善。

然而，EPIC 和相关系统操作的是词元级 KV 表示。HYPIC 解决了当大多数层不再保留这些表示时出现的架构缺口。

这给服务框架、模型提供商和基础设施团队带来了压力。如果混合模型继续普及，仅为传统 transformer 构建的缓存系统所能覆盖的模型堆栈比例将不断缩小。

这也会改变模型选型方式。评估长上下文模型的买家不能只考虑基准测试质量、上下文长度和生成速度。模型的注意力架构还可能决定哪些服务优化仍然可用。

HYPIC 如何组合线性注意力状态

HYPIC 的核心机制是一个缓存的转移算子，用于描述每个片段如何转换进入该片段的循环状态。

线性注意力层通过循环更新处理词元。它不会为每个先前的词元分别存储键和值，而是维护一个紧凑状态，并随着每个词元的到来不断演化。

该状态既取决于片段自身的词元，也取决于之前所有内容生成的状态。这种依赖关系使简单直接的片段复用并不安全。

假设系统从空状态开始，分别独立处理文档 A 和文档 B。简单地将它们的最终状态相加，并不能复现依次处理 A 和 B 所得到的状态。文档 B 应该转换文档 A 留下的状态，而不能表现得像之前没有任何上下文一样。

HYPIC 论文报告称，在其所有评估单元中，简单相加会损失完整重新计算质量得分的 66.9%。这一结果表明，基础的合并方式无法支持可靠的混合注意力缓存。

HYPIC 会为每个独立处理的片段存储两项内容。第一项是从零状态开始处理时该片段的最终循环状态。第二项是片段累积转移算子。

该算子捕获片段如何转换其之前已经存在的任意状态。在复用期间，服务器将缓存的转移应用于当前状态，然后加上该片段从零状态开始处理时产生的贡献。

作者将最终得到的组合描述为近乎精确，并且其耗时相对于片段长度保持恒定。缓存文档变得更长，并不意味着系统在组合期间需要重新处理其中的每个词元。

这一特性是其性能主张的核心。如果组合一个缓存片段仍需要与其包含的每个词元数量成正比的工作量，那么位置无关缓存所能带来的价值将十分有限。

该方法还将一次性工作与复用工作区分开来。创建一个片段的转移算子和状态会在其首次预填充期间带来额外开销。后续请求可以复用这些缓存对象，而无需重复主要计算。

在使用 Qwen3.5-35B-A3B 的实验中，在测试的不同片段长度下，转移算子和状态构建约占片段预填充时间的 5.2% 至 6.7%。当片段很少重复时，这项开销仍然不可忽视。

其经济逻辑取决于复用频率。仅使用一次的片段需要承担构建成本，却无法在之后获得缓存收益。频繁检索的文档则可以将这项成本分摊到多个请求中。

因此，缓存准入与淘汰策略非常重要，尽管这并非论文的核心贡献。生产部署必须预测哪些片段值得占用 GPU 内存、主机内存或持久化缓存空间。

该机制还假设系统能够将提示词划分为语义独立的片段。文档和记忆文件是天然的候选对象。任意的 token 片段可能无法保持同等程度的有效自包含性。

不同的混合模型也并不完全相同。它们的线性层可能采用不同的循环更新规则。HYPIC 针对多个线性注意力家族设计了转移机制，包括标量、对角和稠密转移形式。

作者评估了两个内部 Ring 变体和两个 Qwen3.5 模型。这一模型范围支持了该方法并不局限于某一种参数规模的观点。

不过，四个模型无法证明其具备普遍兼容性。新的混合架构可能采用需要不同组合逻辑的状态更新、注意力调度或路由系统。

相关 PIC 工作也在快速发展。2026 年的 MiniPIC 设计专注于 vLLM 内的位置无关 KV 存储和用户可控复用。据报告，在大型 RAG 工作负载上，其预填充吞吐量比基线 vLLM 高 49%。

MiniPIC 以较小的实现成本解决传统的基于 KV 的复用问题。HYPIC 则面向混合堆栈内部的循环状态。因此，与其将这两个项目视为直接替代方案，不如将它们看作针对不同缓存表示的不同应对方式。

更广泛的转变已经十分明确。缓存设计正在变得更加架构感知。对于全注意力、线性注意力、状态空间组件及其混合组合，单一的通用缓存层可能无法实现最佳复用策略。

边界修复避免全注意力丢失上下文

状态组合解决了线性层的问题，但 HYPIC 仍需修复全注意力层，因为独立缓存的片段在这些层中缺少跨片段上下文。

混合模型保留了一些全注意力层，因为全局 token 级注意力仍然十分有用。这些层让后续 token 能够直接查看先前的细节，而不必完全依赖压缩后的循环状态。

独立片段预填充会给这些层带来问题。当服务器单独处理一份文档时，其中的 token 无法关注最终将出现在它之前的文档或指令。

因此，缓存表示与对完整提示词进行全面重新计算所得的表示不同。PIC 系统需要一个纠正步骤，以恢复足够的跨片段交互。

现有方法可以在全注意力模型内部选择性地重新计算 token 的 KV 条目。混合堆栈使这一过程变得更加困难，因为其中的线性层不会保留每个 token 的所有中间隐藏状态。

HYPIC 的解决方案是接缝窗口，即在每个片段边界起始处重新计算一小段 token。系统让这些 token 的隐藏状态在混合堆栈中传播，并利用它们恢复跨片段注意力。

这一设计遵循了论文中的一项实证观察。最大的注意力偏差出现在片段起始附近，因为这些 token 会突然遇到在独立预填充时并不存在的前置上下文。

HYPIC 并不重新计算所有 token，而是将计算集中在这些接缝附近。该策略限制了纠正成本，同时让保留的全注意力层能够跨越片段边界回看。

系统主要的质量权衡也出现在这里。HYPIC 是对全面重新计算的近似，因为大多数缓存 token 表示仍然基于独立片段处理。

在报告的 16 种模型与工作负载组合中，HYPIC 的平均得分比全面重新计算低 1.71 分。这个平均值掩盖了不同模型家族之间有意义的差异。

据报告，在 Qwen3.5-35B 上，HYPIC 的得分比全面重新计算高 0.47 分。论文将这一微小优势视为基本无损情况下的波动，而不是推理能力更强的证据。

在 Qwen3.5-122B 上，其得分比全面重新计算低 0.56 分。Ring 模型上的差距更大，Ring-mini 达到 3.44 分，Ring-flash 达到 3.29 分。

与单一平均值相比，这些差异更值得关注。三分的下降对于某项检索任务而言可能可以接受，但对另一项任务而言可能无法接受。汇总基准得分不会自动转化为安全的生产阈值。

质量差距还可能与工作负载结构相互影响。包含关联较弱的参考文档的提示词，或许能够容忍有限的边界纠正。法律分析或代码调试任务则可能依赖远距离片段之间的精确关系。

片段顺序同样重要。位置无关并不意味着上下文顺序对模型不再重要。它意味着当片段出现在新位置时，系统可以在应用组合与纠正之后复用其缓存计算。

论文评估涵盖四个公开数据集和一条生产 RAG 轨迹。这比仅测试合成序列更有说服力，但仍无法代表所有智能体工作流。

长期运行的智能体可能生成高度交织的提示词。工具输出可能直接引用先前的观察结果，而之后的记忆条目又可能改变对先前文件的理解。清晰的片段边界可能因此更难识别。

此外还存在运维调优问题。较大的接缝窗口应当能够恢复更多跨片段信息，但需要更多重新计算。较小的窗口可以节省时间，但会增加近似风险。

部署团队需要根据自身的提示词、模型和故障成本进行质量测试。论文中的设置只能作为起点，而不是通用的接缝窗口大小。

这一限制并不会抹杀该成果。HYPIC 的贡献在于证明，即使线性层中不存在逐 token 状态，选择性的边界处理仍能保留大部分测得的质量。

但这也意味着不能只看延迟这一项亮眼指标。真正相关的是对延迟、吞吐量、缓存开销和任务质量的综合比较。

冷请求转变为并行工作负载

HYPIC 通过并行处理未缓存片段，将缓存能力扩展到复用之外，从而解决缓存命中平均值可能掩盖的尾部延迟。

每个缓存系统最终都会出现未命中。文档会发生变化，新文件会不断到来，不常用的片段会被淘汰，首次查询还可能检索到服务器从未处理过的材料。

一个较长的冷请求可能包含多个未缓存片段。前缀缓存和早期 PIC 系统通常会在单个模型实例上，将这些片段作为一个顺序请求进行处理。

HYPIC 观察到，PIC 已经使每个片段在首次预填充期间具备自包含性。这种独立性使服务器能够将冷片段分散到多个工作节点。

每个工作节点并行处理一个或多个片段。随后，由一个组合工作节点将所得的转移算子、循环状态和经过修复的边界数据组装到请求的运行状态中。

调度器采用最长处理时间优先策略。它优先分配较长的片段，以降低某个缓慢工作节点拖延整个请求的风险。

HYPIC 还将计算与数据传输流水线化。这减少了组合工作节点等待所有片段结果到达的时间。

对于纯冷请求，论文报告称使用八个实例实现了 5.7 倍的 TTFT 加速。在另一项报告的分解结果中，片段并行将关键计算路径缩短至原来的 1/3.6。

这一功能改变了缓存未命中的性质。未命中仍然需要完整处理片段，但当提示词包含独立组件时，这一过程不再必须完全按顺序执行。

这一区别对尾部延迟十分重要。当热门文档带来频繁缓存命中时，平均 TTFT 可能看起来表现良好。但少量较长的冷请求仍可能违反服务目标，并造成糟糕的用户体验。

并行冷预填充确实需要多个工作节点具备空闲容量。负载较低的集群可以积极地分散单个请求。繁忙的集群则必须判断，为降低一个请求的延迟而占用多个实例是否值得。

这种选择在单个请求延迟与集群整体公平性之间引入了调度权衡。针对交互式智能体优化的系统可能优先考虑较低的尾部延迟。批处理平台则可能更倾向于提高整体利用率。

随着缓存状态增大或网络带宽收紧，数据传输也可能变得更加重要。论文报告称，在其测试配置中，通信和组合开销仍然较小，但更大规模的部署可能面临不同的拓扑约束。

故障处理是另一个需要考虑的问题。分布式冷请求现在依赖多个工作节点和一个组合阶段。当某个片段失败时，生产实现需要支持超时、重试、取消和清理。

文档更新时，缓存一致性也十分重要。如果工作节点处理的是同一片段的不同版本，或复用了过期状态，组合过程可能生成一种从未对应过任何一致来源集合的提示词表示。

这些属于工程问题，并不与论文机制相矛盾。它们决定了研究中的加速效果能否经受住生产现实的考验。

对于 AI 智能体而言，潜在收益十分具体。智能体通常需要先加载指令、工具、记忆、代码仓库文件和检索证据，然后才能采取行动。并发处理独立组件可以缩短首次可见响应前的等待时间。

知识密集型应用也可以改进自身的输入流水线。构建可搜索知识库的团队已经在将文档组织为可复用单元。这种结构可以自然地与片段感知推理相匹配。

不过，应用开发者无法仅通过提示词措辞启用 HYPIC。服务基础设施必须能够识别边界、管理缓存的转移算子、协调纠正过程，并调度分布式冷预填充。

因此，这一成果对推理服务提供商施加的压力大于终端用户。如果 HYPIC 的发现能够在大规模环境中成立，那么仅提供传统前缀缓存的服务商可能会浪费大量长上下文性能潜力。

HYPIC 的成果仍需证明什么

下一项检验不应只是又一次孤立的速度基准测试。HYPIC 必须证明，在不断变化的生产流量下，其质量、缓存经济性和分布式调度仍然可靠。

首先需要关注的信号是独立实现。论文称研究人员在 SGLang 上构建了 HYPIC，但广泛验证需要可复现的代码、有文档记录的内核，以及来自原始研究机构之外团队的结果。

独立测试应比较完全相同的模型版本、硬件、缓存预算、提示词和服务目标。批处理、量化、内核或请求到达模式方面的细微差异，都可能对推理结果产生实质性影响。

第二个信号是模型覆盖范围。初始评估包括 Ring-mini、Ring-flash、Qwen3.5-35B 和 Qwen3.5-122B。这些模型覆盖了有代表性的规模，但混合注意力这一类别要广泛得多。

测试应考察其他循环更新规则、混合专家路由、更长上下文、量化部署以及多节点推理。可复用的服务抽象必须能够适应架构差异。

第三个信号是特定工作负载下的质量。平均 1.71 分的差距令人鼓舞，但企业需要的是故障分析，而不仅仅是汇总分数。

研究人员应报告哪些问题的答案发生了变化、错误与分段边界有何关系，以及扩大接缝窗口是否能够修复这些问题。评估应涵盖代码智能体、法律检索、深度研究和多步骤工具调用。

截至 2026 年 7 月 16 日，源论文仍是 arXiv 预印本，而非经过同行评审的会议论文。在其他团队复现这些结果之前，其主张应被视为论文所报告的实验结果。

对“首个系统”的描述也需要从狭义上理解。HYPIC 似乎是首个专门设计用于将位置无关缓存与混合注意力 LLM 服务相结合的系统。它并不是首个 PIC 系统，也不是首个针对混合模型的优化方案。

竞争可能来自多个方向。传统 PIC 系统可以改进对混合架构的支持。模型设计者可以开放更多可复用的中间状态。服务引擎也可以开发原生分段接口，以降低集成复杂度。

前缀缓存不会消失。它仍然精确、相对简单，并且在提示词具有稳定的共同开头时非常有效。许多聊天和批处理工作负载都非常符合这种模式。

当请求反复重新排列较长且各自具有独立语义的分段时，HYPIC 会更具吸引力。其价值应当会随着文档复用率、分段长度、上下文多样性以及严格的首 token 延迟目标而提升。

提供商需要衡量这些属性，而不能假设每个长提示词都能同等受益。命中率较低的缓存可能会占用内存并增加管理开销，却无法节省足够的计算量。

同样的谨慎态度也适用于分段并行。对于孤立的冷请求，八工作进程加速看起来很有吸引力，但生产环境中的调度器必须权衡它与其他竞争流量之间的关系。

一项有意义的新基准测试应同时报告集群利用率、尾延迟、排队情况和吞吐量。它还应包括缓存频繁更替、文档更新以及真实的淘汰压力。

论文提出的一秒 TTFT 服务目标提供了一个实用的运营框架。未来的报告应说明 HYPIC 在更严格和更宽松的目标下是否都能保持其 QPS 优势，而不仅仅是在单一阈值下。

安全性和隔离性也值得研究。企业级服务系统可能会缓存属于不同用户、团队或权限域的分段。复用机制必须防止未经授权的状态共享，并在访问权限发生变化时可靠地使缓存表示失效。

对于开发者而言，最直接的启示在于架构。长上下文性能如今取决于模型架构、提示词组装、缓存和调度之间如何相互作用。独立评估这些层面可能会掩盖真正的瓶颈。

对于企业采购方而言，HYPIC 提出了一些值得向推理服务供应商询问的问题。平台能否复用不属于相同前缀的文档？它能否在不禁用灵活缓存的情况下支持混合注意力模型？它如何衡量近似组合造成的质量损失？

管理智能体记忆的团队也应审视其系统划分信息的方式。结构良好的 AI 知识库 可以提供稳定、可复用的分段，而混乱纠缠的提示词历史会让安全复用变得更加困难。

HYPIC 所报告的 3.25 倍延迟降低和 1.66 倍可持续 QPS 提升使其值得关注。更深层的成果是，它消除了高效混合架构与灵活分段缓存之间必须二选一的错误认知。

这一成果能否改变生产环境中的推理，将取决于可复现性、更广泛的模型支持以及工作负载层面的质量测试。未来几个月，应关注公开代码、独立基准测试，以及报告真实缓存命中模式的部署案例。

如果这些信号出现，HYPIC 位置无关缓存可能会成为 RAG 和智能体系统中重要的服务层。如果没有出现，这篇论文仍然指出了推理平台必须解决的一个核心问题。