Kyutai REKI 模型为机器人加入记忆，无需承受常见的算力负担
Kyutai 发布了一款拥有 24 亿参数的机器人模型，它能够记住近期观测，同时每次实测动作预测仅增加 0.1 毫秒。Kyutai REKI 模型将这类记忆置于其动作专家模块中，避免重复处理此前的相机画面。这一设计瞄准了机器人学习中长期存在的矛盾：记忆有助于操控，但历史上下文往往会提高训练和推理成本。
REKI 是 Registering Knowledge in Vision-Language-Action Models 的缩写，将视觉语言骨干模型与一个更小的机器人动作预测模块结合起来。Kyutai 表示，32 个持久寄存器 token 让模型能够保留近期画面中的信息。在机器人预测下一个动作块时，这些寄存器仍然可供使用。
这种方法对那些通过将多张图像输入更大视觉语言模型来获取时间上下文的系统形成了压力。它也挑战了一种假设：更强的操控策略必然依赖更大的模型或私有训练数据集。REKI 使用公开数据，发布训练流程，并报告了与参数规模大得多的模型相比具有竞争力的结果。
这并不能证明紧凑型开放机器人模型可以取代所有更大型的替代方案。其最有力的证据来自仿真基准测试和受控的真实机器人演示。不过，其架构提出了一个具体且可检验的论点：短期记忆应当靠近动作生成环节，以保持低成本并直接发挥作用。
Kyutai REKI 模型让记忆成为动作生成的一部分
REKI 的核心变化在于架构：近期视觉上下文成为动作专家缓存的一部分，而非另一项高成本的视觉输入。
视觉语言动作模型，即 VLA，会将图像和语言指令转化为物理动作。在 REKI 中，Qwen3.5-2B 视觉语言模型首先编码相机视角和指令。随后，一个拥有 2 亿参数的动作专家模块读取这一表征，并通过流匹配生成动作序列。
流匹配是一种生成方法，可通过多轮细化步骤，将初始的噪声动作序列转化为可用轨迹。REKI 在 Kyutai 报告的延迟测试中使用了十个 Euler 步骤。机器人状态和当前流时间通过自适应归一化输入动作专家模块。
完整模型包含 24 亿个参数。根据官方的 REKI 架构，约 22 亿参数属于视觉语言骨干模型，其余 2 亿参数构成动作专家模块。
关键新增部分是每个观测帧对应的一组 32 个学习得到的寄存器 token。这些 token 概括编码后的指令和相机视角，随后会保留在键值缓存中，为后续动作预测存储可复用的注意力信息。
REKI 在包含同一轨迹三个帧的时间窗口上进行训练，这些帧间隔一秒采样。推理期间，模型保留前两帧的寄存器；新帧到达时，则丢弃最早的一组。
这一窗口让策略获得了刚刚观察到内容的简短记录。因此，机器人能够区分持续进行的动作和新遇到的状态，而不必仅凭最新图像推断全部信息。
寄存器 token 从不关注生成的动作 token。它们依赖于观测，而非特定的机器人状态、流时间或去噪步骤。因此，Kyutai 可以在每帧仅计算一次，并在整个动作生成过程中重复使用。
这种分离之所以重要，是因为基于流的动作生成需要重复多项计算。如果在每次细化步骤中都重新计算历史视觉上下文，成本将成倍增加。REKI 让观测摘要保持稳定，同时让动作 token 持续变化。
Kyutai 报告称，在一张 Nvidia H100 上，根据两张 256×256 相机图像预测一个动作块需时 21.8 毫秒。读取缓存寄存器增加 0.1 毫秒。每保留一帧约增加 2 MiB 的 GPU 内存占用。
这些测量结果适用于 Kyutai 的编译实现和指定硬件，并不能证明其在更小型加速器或完整机器人系统上的延迟表现。相机采集、网络连接、安全逻辑和执行器控制都可能增加端到端响应时间。
不过，这一架构成果是具体的。REKI 在无需让更大模型重新处理所有过去帧的前提下，增加了有限的时间窗口。它也避免了需要额外训练和推理路径的独立记忆网络。
Kyutai 通过 REKI model card 发布了预训练模型及多个基准测试专用检查点。权重采用非商业性相同方式共享许可，而配套代码采用 MIT License。对于评估商业部署的组织而言，这一区别很重要。
高效机器人记忆改变成本方程
Kyutai REKI 模型认为，有用的机器人记忆并不需要不断扩大的视频上下文，或第二套推理系统。
许多操控策略主要依据当前观测采取行动。这种设计使推理易于管理，但也会丢失场景如何到达当前状态的线索。单张图像可能无法揭示一次抓取是否刚刚失败、物体是否移动，或机器人是否开始回撤。
一种应对方式是将多帧历史画面输入视觉语言骨干模型。这样能提供直接的时间证据，但每增加一张图像都会带来视觉 token，算力和内存需求会随上下文窗口扩大而上升。
另一种方法是使用循环机制。循环策略将隐藏状态从一个步骤传递到下一个步骤。该状态可以概括此前观测，但训练往往会变得串行化，也更难并行处理。
第三条路径是增加专用记忆模块。这可以支持更丰富的历史、检索或多种时间尺度，但也会引入另一个需要验证数据流、优化方式和故障行为的组件。
REKI 选择了更聚焦的目标。其寄存器保存足够多的近期上下文，以改善局部动作一致性。该机制并不试图提供整个任务或工作场所的语义历史。
训练同样避免了在记忆窗口中进行顺序展开。Kyutai 将三个帧打包进一个批次并一同处理。动作专家使用可变长度注意力，而每一帧都会产生训练损失。
这种安排保留了并行训练。对于相同数量彼此独立、没有记忆的帧，视觉语言模型的工作量不会增加。动作专家需要处理额外寄存器 token 的成本，但该组件规模要小得多。
推理期间，过去寄存器的键和值保留在缓存中。当前动作 token 会与当前观测一起关注这些寄存器。因此，模型通过其原本就会执行的注意力运算获得时间信息。
这正是 Kyutai 所称“可忽略成本”背后的机制。该说法并非指记忆完全没有成本；在报告的配置中，寄存器会占用 GPU 内存、注意力容量，以及 0.1 毫秒时间。
更有力的一点在于比例关系。这一实测增量不足 21.8 毫秒动作块延迟的百分之一，也远小于通过一个拥有 22 亿参数的骨干模型反复编码多张相机图像的成本。
记忆窗口仍被有意保持得很短。每隔一秒采样的三个帧无法捕捉长期的家务任务或延长的恢复过程。该设计记住的是近期视觉状态，而非每一个相关事件。
这一界限使 REKI 区别于那些面向数分钟情节上下文的系统，也限制了陈旧信息相关的风险。滚动缓存会丢弃旧寄存器，而非让无限历史不断累积。
对于实际操控而言，短期记忆仍能解决一个常见故障。无记忆策略可能会在两个合理姿态之间来回切换，因为每张当前图像都会触发不同的局部决策。近期观测为动作专家提供了其先前方向的证据。
Kyutai 报告称，引入记忆后，这类姿态振荡大约减少了四倍。这一结果将架构与可观测的机器人行为联系起来。与单独的基准平均分相比，它更具信息量，因为它明确了寄存器所应对的一种故障模式。
这一设计也提出了一个有价值的工程问题。团队不再只能在无状态控制与大型记忆系统之间做选择，而可以测试紧凑、缓存的观测摘要是否能解决对其机器人最重要的时间性故障。
公开数据让更大型 VLA 模型面临压力
REKI 最有力的竞争论点在于将效率与可复现性结合，而非宣称自己绝对领先于所有机器人模型。
Kyutai 表示，REKI 完全在公开来源上进行了预训练。数据混合包含 10 亿帧，覆盖机器人遥操作、仿真和第一人称人类视频；其中还包含 1220 万个视觉语言样本。
机器人数据包含 Open X-Embodiment、BridgeData V2、DROID、AgiBot World、RoboMIND、RoboCOIN 及其他已发布数据集的子集。仿真来源包括 InternData-A1 和 GR00T X-Embodiment Sim。
以人为中心的数据为操控提供了另一种视角。Kyutai 使用了 EgoDex、EgoVerse 和 Xperience 数据，其中展示了来自第一人称视角的手部交互。视觉语言数据集则增加了空间定位和指向示例。
REKI 论文称，预训练在 32 张 H100 GPU 上运行了 200,000 步。Kyutai 保留了每个数据集原生的控制约定，而没有将所有机器人转换为一种通用动作表征。
公开数据并不意味着可以轻松复现。报告中的训练运行仍需要相当可观的硬件、数据处理和工程时间。数据集许可和存储需求也仍然相关。
不过，这次发布改变了外部研究人员能够检查的内容。Kyutai 发布了数据整理代码、训练逻辑、推理代码、评估工具、部署组件和模型权重。公开的 REKI 代码库为复现和修改提供了起点。
这种开放性很重要，因为许多强大的 VLA 系统发布检查点时，并未披露完整的预训练数据混合。另一些系统依赖外部人员无法精确复现的私有机器人轨迹或合成数据管线。
因此，REKI 的主要对手并非某一家企业，而是参数更多、训练输入较难复现的数据密集型 VLA 路线。Kyutai 认为，架构和数据整理可以恢复该路线的大部分性能。
其报告的基准结果支持了这一论点的一部分。REKI 在 LIBERO-Plus 上达到 90.4% 的成功率，在 RoboTwin Clean2Rand 上达到 65.8%。Kyutai 报告称，这些是在公开数据上预训练的对比模型中最高的分数。
当系统使用专有或合成数据时，这种比较会变得更复杂。Qwen-RobotManip 在 Clean2Rand 上达到 68.5%，领先于 REKI 的 65.8%。其技术报告介绍了一个规模更大的 47 亿参数模型，以及一套从人类到机器人的合成流程。
在 RoboCasa365 上，REKI 报告的平均成功率为 38.4%。Xiaomi-Robotics-1 达到 57.4%，而 ABot-M0.5 达到 40.4%。两者的参数量都约为 REKI 的两倍。
这些数据相比“整体性能之冠”，更清楚地支持了“单位规模性能”的说法。REKI 在部分比较中领先，在另一些比较中则落后于更大的系统。它的优势取决于所关注的基准、数据类别和部署约束。
RoboCasa365 基准也说明了为何单一平均值需要谨慎解读。其任务包含原子行为和复合任务，并分别设有已见与未见条件。模型在这些组别中的表现可能并不均衡。
Kyutai 的论文报告称，REKI 在 RoboCasa365 原子任务上的得分为 80.2%，在已见复合任务上的得分为 57.1%。在未见复合任务中，其成功率降至 32.1%。
最后这个数字揭示了当前 VLA 评估的核心局限。识别指令并生成有效的局部动作，并不能保证在陌生情境中可靠地组合动作。紧凑型记忆本身无法弥合这一差距。
不过，REKI 确实提高了可复现基线的标准。研究人员可以修改其寄存器、数据混合方案或动作专家，而无需重建一个未公开文档的系统。这可以让后续实验更易于解读。
对于开展此类实验的团队，维护一个可搜索的工程知识库有助于将配置变更与观察到的故障关联起来。可复现性不仅依赖于公开的源代码，也依赖于被记录的决策。
基准提升需要谨慎解读
REKI 的结果颇具前景，但仍是由作者报告的测量结果，受到基准协议、编译选择和有限真实世界测试的影响。
在 LIBERO-Plus 上，记忆使 REKI 报告的成功率提高了 1.5 个百分点。在 RoboTwin 清洁场景中，增幅达到 5.5 个百分点；在 RoboCasa365 中则为 5.4 个百分点。
这些改进出现在三个不同的基准中，这加强了记忆带来的贡献不只是某个数据集特定技巧的论点。一项评估消融实验还在保持训练模型不变的情况下移除了历史帧。
当这些过去的帧被移除后，性能回落至接近无记忆基线的水平。这一结果表明，模型在推理期间使用了缓存的历史信息，而非仅在训练期间获得正则化收益。
振荡分析提供了另一项有用的验证。Kyutai 将振荡定义为在动作块之间于两个姿态间往复移动。据报告，记忆将受影响回合数从显著更高的无记忆比例降至约四分之一。
不过，这些测量结果仍来自 REKI 的作者。独立实验室需要在不同随机种子、硬件、摄像头和控制频率下复现这些消融实验。微小的实现差异就可能影响机器人基准结果。
延迟比较同样需要结合背景理解。Kyutai 在一张 H100 上使用 LIBERO 输入测量了已发布模型。由于这些系统的公开实现缺乏等效的优化执行路径，团队自行编译了其中若干系统。
这项工作使比较更贴近实际，但并未创造完全平等的条件。模型拥有不同的架构、图像处理要求、动作预测范围和编译器兼容性。在另一种加速器或服务栈上，延迟排名可能会改变。
REKI 在其编译配置中达到 21.8 毫秒。Kyutai 报告 X-VLA 为 25.5 毫秒，π0.5 为 33.8 毫秒，ABot-M0 为 46.1 毫秒，InternVLA-A1.5 为 51.3 毫秒。
这些数字衡量的是动作块预测，而不是完整的机器人反应时间。生产系统还需要处理传感器、通信、碰撞检查、运动规划和执行器指令。最慢的环节可能位于神经模型之外。
真实机器人的证据范围比仿真评估更窄。Kyutai 展示了使用 UR5 机械臂的自主执行轨迹，并报告每项任务使用 50 个演示进行微调。这表明其具备部署能力，但并不能证明其在家庭或工厂环境中的广泛可靠性。
较短的记忆窗口带来了额外的运行问题。当一个回合结束、摄像头发生变化或人类中断任务时，控制器必须重置缓存的寄存器。否则，旧观察结果可能会影响新的情境。
机器人状态本身并不进入寄存器。这使其可以跨去噪步骤复用，从而提升效率。但这也可能限制它们对接触、力或内部控制状态转换的表征能力。
视觉历史可以显示物体已经移动，却未必能捕捉抓取失败的原因。触觉传感器或关节扭矩信号可能揭示摄像头无法提供的信息。未来版本需要在不失去效率优势的前提下测试更丰富的输入。
许可协议是另一项约束。REKI 的代码采用 MIT License，但其权重采用 CC BY-NC-SA 4.0。企业不能假定公开可用就意味着可以不受限制地进行商业集成。
数据集来源同样值得审查。一个混合数据集可以是公开的，同时却整合了许可协议、采集流程、摄像头设置和动作语义各不相同的来源。Kyutai 表示其对每个来源都进行了筛选，但下游团队仍需自行负责合规。
最后，基准领先地位很快就会过时。竞争者可以加入类似的缓存寄存器、蒸馏更大的模型，或改进编译器。REKI 的持久贡献将较少取决于某个排行榜位置，而更多取决于其记忆设计能否获得独立采用。
Kyutai REKI 接下来会如何发展
三个信号将决定 REKI 是成为持久的 VLA 基线，还是仅停留在高效的研究成果。
第一个信号是独立复现。外部团队需要使用发布的检查点重新运行记忆消融实验和基准评估。若能匹配报告中的增益，将加强寄存器记忆可跨实现迁移的论点。
复现工作应同时涵盖成功率和故障类别。研究人员应统计振荡、重复抓取、停滞转换和不安全动作。平均分数可能掩盖记忆修复一种故障却加剧另一种故障的情况。
团队还应测试多种窗口长度。REKI 使用每秒采样一次的三帧，其中保留两帧历史帧。更长的窗口将显示寄存器记忆如何扩展，以及延迟或准确率从何时开始恶化。
如果独立测试保留了报告中的增益和低开销，REKI 的架构论据将更有说服力。较大的差异则会削弱基于当前基准得出的结论。
第二个信号是超越 H100 级基础设施的部署。公开的 21.8 毫秒测量结果使用高端数据中心加速器和编译后的执行路径。许多实际机器人使用更小的边缘设备或共享计算资源。
量化检查点、降低图像分辨率和替代加速器将揭示该模型的效率能否在现实约束下保持。端到端测试应包含摄像头采集、预处理、安全检查和控制通信。
成功的边缘部署将把 REKI 的紧凑尺寸转化为运营优势。如果记忆仍然成本低廉、但主干网络主导延迟，关注重点将转向蒸馏和视觉编码器优化。
第三个信号是其在更长、陌生任务上的表现。RoboCasa365 的未见复合任务结果表明，困难的时间组合问题仍未解决。模型必须在超过数秒的时间跨度内保留相关状态，同时避免积累过时上下文。
研究人员可以测试将 REKI 的局部寄存器与较慢的情节记忆相结合的混合系统。快速缓存可以稳定即时动作，而独立的规划器则追踪已完成的子任务和长期目标。
这种组合将保留两类记忆问题之间的区别。机器人需要局部连续性来避免振荡，也需要任务历史来完成延伸流程。一种机制未必能同时解决两者。
竞争者将提供另一项测试。Qwen-RobotManip 强调规模扩展、对齐和合成轨迹。Physical Intelligence 的 π0.5 强调在真实世界环境和异构训练信号中的广泛泛化能力。
REKI 采取了更受约束的定位。它提出，高效的动作侧记忆和公开数据预训练能够产生一个小型、可检查且结果具有竞争力的策略。即使更大的模型在个别基准中胜出，这一定位依然有价值。
开发者应关注其他 VLA 项目是否采用基于寄存器的记忆，或发布可比的消融实验。广泛的架构复用将表明，这项技术解决的是一个共同问题，而非仅适配某个模型。
企业买家则应提出另一组问题。系统能否安全地清除记忆、满足完整控制回路的时限，并从中断中恢复？其权重能否按预期商业条款使用？
研究人员应审查公开的数据流程是否能复现报告中的检查点。他们还应记录预处理决策、评估随机种子和编译器设置。这些细节往往决定一次开源发布能否成为可用的基线。
Kyutai REKI 模型并未终结通用机器人智能的竞争。它缩小了一项重要的工程争议。近期上下文能够改善操作能力，而无需让每一帧历史信息都通过模型中最昂贵的部分。
下一步是在 Kyutai 的环境之外进行验证。如果 REKI 的记忆增益能在独立机器人、更小型硬件和更长任务中保持，动作侧缓存将变得难以被更大型 VLA 的开发者忽视。
