Kimi K3：SemiAnalysis 的 Kimi 论点遭遇推理现实检验
Kimi K3 拥有 2.8 万亿参数，但 SemiAnalysis 的 Kimi 论点其实并不真正聚焦于模型规模，而是如何避免规模通常带来的成本。Moonshot AI 围绕一个目标重新设计了记忆、残差连接、专家计算和数值精度：让超大规模稀疏模型变得可用。
这一设计对两项既有假设提出了挑战。第一项认为，前沿性能必须依赖 OpenAI、Anthropic 或 Google 的专有模型。第二项则认为，一旦内存和通信需求超过可用硬件的承载能力，更大的开放权重模型就会变得不切实际。
Kimi K3 挑战了这两项假设，但并未完全推翻它们。Moonshot 报告称，该模型在编程、推理和长上下文任务上表现强劲。然而，独立部署细节显示，完整模型在其发布版本中仍占据约 1.56 TB 的空间。
由此形成了一种值得关注的张力。Kimi K3 降低了每个 token 所需的计算量，但它依然是一个存储和服务成本极高的庞大系统。其架构提升了扩展效率，但效率并不会让这种规模变小。
Kimi K3 改变的不只是参数数量
Kimi K3 的重要性在于，Moonshot 同时改变了信息在序列长度、网络深度和专家层之间的流动方式。
Moonshot 于 2026 年 7 月推出 Kimi K3，这是一款面向编程、研究、推理和智能体工作的开放权重原生多模态模型。其技术报告显示，模型总参数量为 2.8 万亿，每个 token 的计算仅激活其中 1040 亿参数。
这些数字使 K3 远大于 Kimi K2。但更重要的变化隐藏在数字之下。K3 在一个 93 层架构中结合了 Kimi Delta Attention、Attention Residuals 和 Stable LatentMoE。
Kimi Delta Attention，即 KDA，是一种循环注意力机制。它维护压缩状态，而不是保留每个 token 的键值数据。当模型可接受多达 1,048,576 个 token 时，这一区别尤为关键。
K3 并不完全依赖这种压缩记忆。其注意力栈包含 69 个 KDA 层和 24 个 Gated Multi-Head Latent Attention 层。Gated MLA 层通过压缩的键值表示，对序列进行显式检索。
这些层大致遵循三比一的模式：三个 KDA 层执行高效的时间序列处理，随后一个 MLA 层恢复对可全局检索 token 信息的访问。这种混合设计避免了两个不理想的极端。
传统的全注意力栈可以保留细致的检索能力，但随着序列扩展，其成本会不断增长。纯循环设计可将记忆保持在有限范围内，却可能失去对早期细节的精确访问。K3 为两种机制分配了不同任务。
该模型还改变了信息跨越网络深度的方式。标准残差连接会将每一层的最新表示传递给下一层。Attention Residuals 则允许后续层从多个更早深度产生的表示中进行选择。
这很重要，因为深层网络可能会覆盖有用的中间特征。与视觉边缘、源代码变量或文档事实相关的 token，可能会在数十层中不断演变。最终层需要的或许是较早的版本，而非最新版本。
Attention Residuals 提供了这样的路径。Moonshot 的方法会为先前区块表示生成学习得到的权重，再将选中的信息组合到当前层中。它实际上将网络深度视为另一个可被搜索的维度。
第三项变化涉及专家计算。K3 包含 896 个路由专家，但每个 token 仅选择其中 16 个。它还会在专家处理前，将模型 7,168 维的隐藏状态压缩为 3,584 维的潜在空间。
这种压缩正是 Stable LatentMoE 的决定性特征。专家在更窄的表示上工作，从而减少与每个专家相关的计算量，模型随后再将结果投影回更宽的隐藏维度。
这些机制支撑了 Moonshot 的核心效率主张。该公司称，K3 的整体扩展效率约为 Kimi K2 的 2.5 倍。该数字结合了架构和训练改进，因此不应被视为通用的服务速度倍数。
因此，K3 不只是又一次规模扩展实验。Moonshot 在提升总容量的同时，也着手解决通常伴随而来的记忆、深度和专家成本。剩下的问题是，这些节省能否在真实部署中延续。
SemiAnalysis 的 Kimi 案例始于压缩记忆
K3 的长上下文设计通过让大多数层记住紧凑状态来节省内存，同时由较少的层保留显式检索能力。
SemiAnalysis 对 Kimi 的讨论聚焦于一个基本的推理问题。在自回归生成过程中，Transformer 会反复读取有关早期 token 的信息。标准注意力会将这些信息存储在键值缓存中，通常称为 KV cache。
该缓存会随上下文长度和层数增长。因此，在模型生成第一个有用答案之前，一个百万 token 的提示就可能消耗大量加速器内存。它也会增加硬件在解码过程中必须移动的数据量。
KDA 改变了 K3 大多数注意力层的扩展行为。每个 KDA 层不再为每个早期 token 保存独立的键和值，而是更新一个固定大小的循环状态。随着新 token 到来，该状态对序列进行汇总。
从实际运行角度看，这就是压缩记忆。它的存储不会随着每增加一个 token 而线性扩展。对于书籍、代码库、研究档案或长智能体历史等工作负载，这一特性可以缓解一项主要瓶颈。
不过，压缩也会带来权衡。循环状态必须决定哪些信息值得保留。一旦细节被折叠进该状态，检索某个精确的早期 token 就会比访问已存储的 KV 条目更困难。
K3 通过定期加入 MLA 层来解决这一问题。其 93 层中仅有 24 层维护按 token 存储的潜在 KV 状态。这些层充当全局检索检查点，嵌入在一个主要由固定状态处理构成的栈中。
AMD 的部署分析展示了这一架构对内存的影响。在其八路张量并行设置下，KDA 状态会随着上下文增长而基本保持不变，而 MLA 缓存仍会随 token 数量增长。
针对 100 万个 token，AMD 估计，在文档说明的配置下，每块 GPU 的 MLA 潜在 KV 数据需要 14.496 GB。KDA 状态和卷积状态合计仅占不到 1 GB 的很小一部分。
这些数字说明了该架构的真正成就。K3 并未消除长上下文存储，而是将线性增长的缓存限制在少数注意力层中，并压缩了这些层内存储的表示。
这种混合设计也影响推理性能。在解码时，KDA 在大多数层中避免反复扫描持续扩大的缓存。这可以减少内存流量，而内存流量往往比原始计算量更容易限制 token 生成速度。
MLA 仍然不可或缺，因为长上下文任务需要的不只是模糊回忆。一个编程智能体可能需要数千行之前的精确函数签名。一个研究智能体可能需要数百个来源中某一来源的准确主张。
K3 的百万 token 上限不应被误认为具备百万 token 级别的可靠性。上下文容量衡量的是系统可接受什么，而不是它能多准确地检索每一项细节。实际表现取决于提示结构、检索需求和证据分布。
模型的智能体设计还增加了另一层复杂性。Moonshot 要求客户端在多轮会话中保留此前的推理内容和工具调用。这一要求可能会增加应用侧状态，并使编排更复杂。
因此，开发者必须评估两种形式的记忆。架构控制模型内部的加速器内存，而应用仍须管理模型外部的对话历史、工具结果、文件和持久任务状态。
这一区别对长时间研究或工程任务尤为重要。模型可以接受极大的上下文，却依然会受益于有组织的技术知识库。选择性检索或许仍比将所有可用资料塞入一个提示更可靠。
压缩记忆为 K3 提供了可信的长上下文机制。它并未消除对审慎检索、评估和上下文管理的需求，而是将实际限制从单纯容量转向信息质量。
跨网络深度的注意力为 K3 提供了第二条检索轴
Attention Residuals 让 K3 能够检索有用的中间表示，而不是依赖单一的逐层更新链。
Transformer 的讨论通常将注意力视为 token 之间的关系：一个 token 会查看序列中的其他 token。K3 增加了另一种关系：后续层可以查看更早网络深度产生的表示。
普通残差流会按顺序累积变化。每一层接收当前状态、对其修改，然后将结果向前传递。信息可以持续存在，但必须经受所有中间变换。
Attention Residuals 改变了这一路径。Moonshot 将网络划分为区块并存储代表性的残差状态。后续层会计算这些状态的权重，再将选中的信息合并进自身计算。
这一机制类似于跨深度检索。序列注意力会询问哪些早期 token 重要；深度注意力则询问，当前哪个更早的表示阶段重要。
当不同层专注于不同抽象层次时，这可能有所帮助。早期层可能保留局部语法或视觉细节。中间层可能组织各种关系，而后续层则聚焦于计划、答案或工具决策。
编程模型能够说明其价值。某一层可能识别变量的作用域，另一层可能推断模块边界，后续层则可能规划补丁。直接访问早期特征可以减少对单一、持续变化的残差流的依赖。
Attention Residuals 论文报告称，在测试的计算范围内，验证损失有所降低。论文还将分块聚合描述为在完整深度注意力与部署成本之间的务实折中方案。
这种折中至关重要。若存储每个 token 在每一层的表示，在提示处理期间将带来严重的内存压力。该论文估计，在分片前，一个包含八个区块、长度为 128,000 token 的序列需要 15 GB 内存。
序列分片可将负担分散到多个设备上。分块预填充还能进一步降低负担，因为系统会分段处理提示。发布的 K3 配置每 12 层使用一次区块表示，从而限制同时存储的表示数量。
AMD 估计，对于一个 8,192 token 的 AttnRes 预填充分块，每块 GPU 约需 0.94 GB。与模型权重相比，这一数值尚可管理，但不包括内核工作空间及其他运行时开销。
跨深度的注意力同样会使执行变得更复杂。后续层现在依赖于先前选定的块状态。实现需要专用内核、通信模式和内存规划，才能避免这一特性抹去其理论收益。
这正是模型架构与系统工程变得密不可分的地方。一项技术或许能提升训练效率，却可能因为硬件反复移动残差状态而拖慢推理服务。K3 依靠分块存储和融合通信来控制这一成本。
这一设计类似于前沿模型领域更广泛的变化。扩展不再只是增加层数和数据量。实验室正越来越多地重新设计信息流，使额外容量能在每个训练单位中产生更有价值的计算。
K3 沿两个轴应用了这一原则。KDA 在时间维度上压缩信息。Attention Residuals 则在深度维度上保留选定信息。二者结合，降低了对传统 transformer 均匀注意力和严格顺序残差路径的依赖。
Moonshot 将 K3 所报告的 2.5 倍扩展改进部分归因于这些机制。不过，这一综合性说法并未单独说明 AttnRes 在完整规模下贡献了多少。公开消融实验为该方法提供了证据，但未覆盖所有生产环境中的交互因素。
因此，这一架构值得关注，但不应被视为既定教条。其他实验室仍需在不同模型规模、数据组合和服务栈中复现这些收益。独立实验将揭示跨深度检索会成为标准组件，还是仍将保持专用性质。
Stable LatentMoE 让计算稀疏，而非让存储变小
K3 每个 token 仅激活其专家网络中的一小部分，但部署硬件仍必须容纳完整的专家集合。
Mixture-of-Experts 模型将总容量与活跃计算分离。路由器会检查每个 token，并选择一小组前馈专家。其余专家不会为该 token 执行运算。
K3 激进地推进了这一方法。它包含 896 个路由专家和两个共享专家。每个 token 会选择 16 个路由专家，占路由专家总数不足 2%。
1040 亿活跃参数这一数字不仅包含被选中的专家。注意力、嵌入、共享组件和其他模型结构也会参与其中。不过，活跃计算量仍远低于 2.8 万亿总参数。
Stable LatentMoE 还带来了另一层缩减。在路由之前，K3 会将其 7,168 维隐藏状态投影为 3,584 维潜在表示。专家计算在这一更窄的空间内进行。
这一选择降低了相对于全隐藏宽度运行时的专家工作负载。它也让 Moonshot 能够增加专家数量，在不以相同比例增加活跃计算量的情况下实现更强的专门化。
“stable”一词部分指的是训练期间的路由行为。稀疏专家可能遭遇负载不均衡：热门专家接收过多 token，其他专家则接收过少。失衡会浪费硬件资源，也可能使优化过程不稳定。
Moonshot 报告称，其通过更广泛的系统设计实现了完全均衡的专家并行训练。该公司还描述了旨在让专家分配在 K3 规模下保持有效的路由和优化改动。
推理服务暴露出不那么理想的一面。每个 token 只使用 16 个专家，但不同 token 可能选择不同的专家组。除非接受从较慢内存进行代价高昂的数据传输，部署系统就必须让所有专家权重保持可访问。
AMD 的实现会在张量并行域中保留全部 896 个专家标识符。它将每个专家的矩阵分片到八块 GPU 之间，而不是将不同专家放置在彼此隔离的设备上。
由此产生的权重占用相当可观。AMD 计算，打包后的路由专家数值与缩放参数约需 1.446 TB。计入加载器后的总量在运行时状态之前约为 1.561 TB。
在加入一百万 token 序列的已知状态后，每块 MI355X GPU 大约加载 205 GB。该示例可装入八个各配备 288 GiB 的加速器中，但它未计入若干类别的开销。
这些遗漏包括通信缓冲区、分组矩阵乘法工作区、分配器碎片、框架内存以及重排后的权重副本。生产运营方需要比公开估算更多的余量。
因此，稀疏计算并不意味着轻量部署。K3 可以减少每个生成 token 的运算量，但同时需要一个容量大、紧密互连的内存池。这更有利于拥有现代多加速器系统的云服务商和研究团队。
其原生 MXFP4 权重有所帮助。MXFP4 是一种低精度数值格式，使用约四个比特存储大部分模型权重。Moonshot 从监督微调阶段起便采用量化感知训练，而非只在训练完成后压缩模型。
激活值使用 MXFP8，这是一种专为兼容硬件高效处理而设计的八比特格式。这些格式降低了存储和带宽需求，但也缩小了成熟推理服务环境的选择范围。
Moonshot 将 vLLM、SGLang 和 TokenSpeed 列为推荐推理引擎。AMD 已记录在 Instinct 硬件上的部署情况，为不局限于 Nvidia 路径提供了证据。更广泛的支持仍将取决于优化内核和稳定的框架集成。
因此，与专有系统的实际比较并不对等。API 客户看到的是输出质量、延迟、限制和可靠性。自托管团队面对的则是拓扑、内存容量、精度支持、通信开销和运维工作量。
K3 强化了这场比较中开放权重的一方。开发者可在 Moonshot 的许可证下检查并调整权重。然而，只有资源充足的运营方才能以严肃规模高效地服务完整模型。
基准测试加大压力，但尚未定论
Kimi K3 让人更难忽视开放权重领域的竞争，但其最有力的证据仍来自受控评估和厂商选择的设置。
Moonshot 报告称，其在推理、编程、多模态和智能体基准测试中表现出色。其模型卡列出，在最大推理投入设置下，GPQA Diamond 得分为 93.5，Terminal-Bench 2.1 得分为 88.3。
该公司还报告 FrontierSWE 得分为 81.2，SWE-Marathon 得分为 42.0。不同基准测试奖励不同的技能、测试框架和预算，因此没有单一分数能够证明广泛的优越性。
Moonshot 承认，K3 在整体上仍落后于最强的专有模型。这一承认增强了报告的可信度，但比较结果仍对评估设置高度敏感。
智能体基准测试高度依赖脚手架。与 Kimi Code 配对的模型，并不面对与 Codex 或 Claude Code 配对的模型完全相同的系统。工具定义、重试策略、上下文处理和投入设置都会影响结果。
推理投入带来了另一个变量。K3 始终启用思考，并默认使用其最高设置。更高的投入可以改善回答，但也会增加延迟和 token 消耗。
公平的企业比较必须衡量的不只是任务完成情况。团队还需要评估端到端耗时、故障恢复、输出一致性、基础设施利用率和人工审查。这些结果很少能容纳在一个排行榜栏目中。
Arena 的联合创始人 Anastasios Angelopoulos 称 K3 是当年最重大的发布之一。这篇独立报道还称，K3 在发布前后领跑 Arena 的前端编程排名。
这一结果立即给闭源模型提供商带来压力。开放权重系统不再需要赢下每一项基准测试。它们只需具备足够可信度，让开发者能够将控制力和定制能力与托管服务的便利性进行比较。
K3 也给其他开放模型开发者带来压力。DeepSeek 推广了高度稀疏的大型模型，而 Z.ai 则通过其 GLM 系列追求强劲的编程性能。Moonshot 如今将类似的规模雄心与原生多模态能力和架构改动结合起来。
历史上的类比是 DeepSeek 在 2025 年初的发布。两个时刻都挑战了哪些组织能够打造前沿级系统的既有假设。二者也都产生了快于独立复现进展的主张。
因此，K3 的基准测试应被视为可验证的线索。发布的权重使得比闭源 API 更有力的验证成为可能。研究人员可以检查架构文件、运行受控评估，并衡量其在私有任务上的行为。
模型的规模减缓了这一验证过程。很少有独立团队能够加载完整检查点、复现百万 token 测试，并比较多种硬件配置。较小规模的量化或分布式部署可能会改变质量和速度。
许可证也仍存在公开问题。开放权重提供了访问权限，但并不等同于不受限制的开源软件。组织在采用前必须审查使用条款、再分发条件和合规需求。
数据来源仍是另一项不确定性。Moonshot 描述了经过精炼的训练数据，以及覆盖通用、编程和智能体领域的后训练。公开材料无法对所有训练来源或生成轨迹提供完整审计。
这些限制并不会否定这一架构。它们界定了下一步所需的证据标准。如果独立团队能在现实工作负载中复现质量、吞吐量和稳定性，K3 将变得更具意义。
在此之前，最有力的判断应更为克制。Moonshot 已推出一款技术上独特、可供检视且达到有竞争力基准水平的模型。它尚未让前沿推理变得低成本或易于运营。
推理性能接下来必须证明什么
K3 能否长期重要，将取决于经测量的服务效率、独立任务表现和持续的软件支持。
第一个信号是其在多个硬件平台上的真实吞吐量。运营方应公布不同上下文长度下的提示处理速度、生成速度、负载下的延迟和内存使用情况。
一项有价值的测试必须将预填充与解码分开。预填充处理所提供的上下文，而解码则逐个生成新 token。KDA、MLA 和 AttnRes 对这两个阶段的影响不同。
测试还应包括并发用户。一个模型在单个百万 token 请求中表现良好，但当许多较短会话争夺内存和通信带宽时，行为可能会有所不同。
AMD 和 Nvidia 系统上的结果将增强 Moonshot 的硬件可移植性论据。对更多加速器的支持将进一步增强这一论据。如果高效推理需要某一种狭窄配置，K3 的开放可用性将超出其实际可及性。
第二个信号是独立的长周期表现。研究人员应测试完整的软件项目、扩展型研究任务、视觉编辑，以及跨越数小时而非数分钟的工具使用。
Moonshot 的模型文档重点介绍了仓库级编程、编译器工作、芯片设计和多媒体制作。这些示例需要持久状态、可靠的工具执行能力和从错误中恢复的能力。
模型可以在孤立任务上取得好成绩，却在长时间运行中逐渐偏离。它也可能生成令人印象深刻的成果，却消耗过多推理 token，或需要隐性的人工干预。
独立评估应记录故障、重启、工具调用准确性和人工修正。如果 K3 在这些条件下仍保持可靠，其架构将显得比仅凭发布基准测试所暗示的更具影响力。
第三个信号是生态系统的采用情况。关注 vLLM、SGLang 和其他引擎是否会在初次发布后持续提供优化支持；也要关注云服务商是否会提供稳定部署，而非临时演示。
采用情况还将显示潜在专家路由是否会带来运营摩擦。服务商必须对具有不同专家选择的 token 进行批处理，平衡通信，并维持可预测的延迟。较差的专家局部性可能会浪费理论上的算力节省。
如果引擎开发者解决这些问题，K3 将在控制能力和部署灵活性方面对专有供应商形成压力。如果支持变得碎片化，大多数用户将通过托管 API 接触 K3，其自托管优势也会被削弱。
SemiAnalysis 关于 Kimi 的论点，归根结底建立在系统经济学之上。K3 使用压缩记忆来控制序列成本，使用深度注意力保留表征，并通过潜在专家集中算术计算。
每一种机制都在应对真实的瓶颈。它们共同表明，前沿模型的扩展可以通过架构层面的资源分配推进，而不只是依靠更大规模的稠密计算。即便 K3 本身的运行成本依然高昂，这一经验也可能影响其他模型。
这种矛盾仍然具有建设性。相对于其庞大的能力，K3 很高效；但从绝对规模看，它仍然要求很高。它开放了权重，但全规模部署依然集中在拥有雄厚基础设施的组织手中。
开发者应使用自己的长任务测试该模型，而不应只看公开排行榜。基础设施团队应计算完整的推理服务成本，包括闲置内存和互连开销。企业采购方则应在评估模型质量的同时，审查可靠性、治理能力和许可条款。
什么证据会改变这一判断？持续、独立的胜出表现，高效的多供应商推理服务，以及持久的引擎支持，将把 K3 从一次令人印象深刻的发布，转变为一个架构参考点。复现表现不佳或利用率偏低，则会将其重要性限制在研究领域。接下来的几个月，应会揭示 SemiAnalysis 的 Kimi 论点实际支持哪一种结果。
