Kyutai REKI 模型為機械人加入記憶，毋須付出慣常的運算代價
Kyutai 發布了一個 24 億參數的機械人模型，能記住近期觀察結果，同時每次量度到的動作預測只增加 0.1 毫秒。Kyutai REKI 模型將記憶置於其動作專家模組之內，避免重複處理較早前的相機畫面。此設計旨在解決機械人學習中一個長期存在的矛盾：記憶有助操控，但歷史脈絡往往會增加訓練與推論成本。
REKI 是 Registering Knowledge in Vision-Language-Action Models 的縮寫，結合視覺語言骨幹模型與一個預測機械人動作的較小模組。Kyutai 表示，32 個持續存在的暫存器 token 讓模型保留近期畫面的資訊。在機械人預測下一段動作時，這些暫存器仍會保留可用。
這種方法對那些將多張影像輸入較大型視覺語言模型以取得時間脈絡的系統構成挑戰。它亦質疑了一個假設：更強的操控策略必須依賴更大的模型或私有訓練資料集。REKI 使用公開資料、發布訓練流程，並報告了可與參數量大得多的模型競爭的結果。
這並不證明小型開放的機械人模型能取代所有較大型替代方案。其最有力的證據來自模擬基準測試及受控的實體機械人示範。然而，其架構提出了一項具體且可驗證的論點：短期記憶應置於接近動作生成的位置，從而維持低成本並直接發揮作用。
Kyutai REKI 模型令記憶成為動作生成的一部分
REKI 的核心改變在於架構：近期視覺脈絡成為動作專家中可快取的一部分，而非另一個昂貴的視覺輸入。
視覺語言動作模型（VLA）會將影像及語言指令轉化為實體動作。在 REKI 中，Qwen3.5-2B 視覺語言模型首先編碼相機視角及指令。其後，一個擁有 2 億參數的動作專家會讀取該表徵，並透過 flow matching 生成動作序列。
Flow matching 是一種生成方法，會透過多個細化步驟，將初始的雜訊動作序列轉化為可用軌跡。REKI 在 Kyutai 報告的延遲測試中使用十個 Euler 步驟。機械人狀態及目前的 flow 時間會透過自適應正規化輸入動作專家。
完整模型包含 24 億個參數。根據官方的 REKI 架構，約 22 億參數屬於視覺語言骨幹模型，其餘 2 億參數則構成動作專家。
重要新增元素，是為每個觀察畫面設置的 32 個已學習暫存器 token。這些 token 概括經編碼的指令及相機視角，之後會保留在鍵值快取中，儲存可供後續動作預測重用的注意力資訊。
REKI 以同一個 episode 中包含三個畫面的視窗進行訓練，這些畫面相隔一秒抽樣。在推論期間，模型會保留前兩個畫面的暫存器；新畫面抵達時，則捨棄最舊的一組。
這個視窗讓策略保留剛剛看見內容的簡短紀錄。因此，機械人能分辨持續中的動作與剛遇到的新狀態，而毋須只從最新畫面推斷一切。
暫存器 token 永不會注意生成的動作 token。它們取決於觀察結果，而不是特定機械人狀態、flow 時間或去雜訊步驟。因此，Kyutai 可為每個畫面只計算一次，並在整個動作生成過程中重用。
這種分離相當重要，因為基於 flow 的動作生成會重複進行多項計算。若在每個細化步驟重算歷史視覺脈絡，成本便會倍增。REKI 讓觀察摘要維持穩定，同時其動作 token 繼續變化。
Kyutai 報告指出，在一張 Nvidia H100 上，根據兩張 256 × 256 相機影像預測一個動作段需時 21.8 毫秒。讀取快取的暫存器額外增加 0.1 毫秒。每個保留畫面約增加 2 MiB GPU 記憶體。
這些量度適用於 Kyutai 的編譯實作及指定硬件，並不能證明在較小型加速器或完整機械人系統上的延遲表現。相機擷取、網絡、安全邏輯及致動器控制，都可能增加端到端反應時間。
不過，這項架構成果相當具體。REKI 在毋須讓較大模型重新處理所有過往畫面的情況下，加入有限的時間視窗。它亦避免使用需要另一條訓練及推論路徑的獨立記憶網絡。
Kyutai 透過 REKI model card 發布了預訓練模型及多個特定基準測試的 checkpoint。權重採用非商業性相同方式分享授權，而隨附程式碼採用 MIT License。這項差異對評估商業部署的機構尤為重要。
高效機械人記憶改變成本方程式
Kyutai REKI 模型認為，有用的機械人記憶不需要持續擴大的影片脈絡，亦毋須第二個推理系統。
許多操控策略主要根據目前觀察結果採取動作。這種設計有助保持推論可控，卻會移除場景如何到達當前狀態的證據。單一影像未必能揭示一次抓取是否剛剛失敗、物件是否移動，或機械人是否開始縮回。
一種做法是將多個歷史畫面送入視覺語言骨幹模型。這可提供直接的時間證據，但每多一張影像便會增加視覺 token，運算及記憶體需求亦會隨脈絡視窗擴大。
另一種方法採用遞迴。遞迴策略會將隱藏狀態從一個步驟傳遞至下一個，該狀態可概括較早的觀察結果，但訓練通常會變得順序化，亦更難平行化。
第三種路徑是加入專用記憶模組。這可支援更豐富的歷史、檢索或多種時間尺度，但亦會引入另一個元件，其資料流、最佳化及失效行為均須驗證。
REKI 選擇較狹窄的目標。其暫存器保留足夠的近期脈絡，以改善局部動作一致性。該機制並不嘗試提供整項任務或工作場所的語義歷史。
訓練亦避免在記憶視窗中進行順序 rollout。Kyutai 將三個畫面打包成一個 batch 並一同處理。動作專家使用可變長度注意力，而每個畫面都會產生訓練損失。
這種安排保留了平行訓練。視覺語言模型所做的工作，不會多於處理同樣數量獨立、無記憶畫面時的工作量。動作專家須處理額外的暫存器 token，但該元件規模小得多。
在推論期間，過往暫存器的鍵和值會留在快取內。目前的動作 token 會連同目前觀察結果一併注意這些暫存器。因此，模型會透過本來已在進行的注意力運算獲得時間資訊。
這正是 Kyutai 所稱「可忽略成本」背後的機制。該說法並非指記憶完全沒有成本。暫存器在所報告的配置中仍會消耗 GPU 記憶體、注意力容量及 0.1 毫秒。
更有力的一點在於比例。該量度增幅不足 21.8 毫秒動作段延遲的百分之一，亦遠低於反覆透過 22 億參數骨幹模型編碼多張相機影像的成本。
記憶視窗刻意維持短暫。每秒抽樣一次的三個畫面，無法涵蓋冗長的家居任務或延展的復原序列。此設計記住的是近期視覺狀態，而不是每一項相關事件。
這個界線使 REKI 有別於針對數分鐘 episodic context 的系統，亦限制與過時資訊相關的風險。滾動快取會捨棄舊暫存器，而非讓無限制的歷史不斷累積。
就實際操控而言，短期記憶仍可處理一個常見失效情況。無記憶策略可能在兩個合理姿勢之間來回切換，因為每張目前影像都會觸發不同的局部決定。近期觀察結果可為動作專家提供先前方向的證據。
Kyutai 報告指出，加入記憶後，這類姿勢震盪約減少四倍。這項結果將架構與可觀察的機械人行為連結起來，比起單看基準平均分數更具資訊價值，因為它點出了暫存器所處理的一種失效模式。
此設計亦帶來一個有用的工程問題。團隊不再只須在無狀態控制與大型記憶系統之間作選擇，而可測試精簡、可快取的觀察摘要，是否能解決其機械人真正重要的時間性失效問題。
公開資料對大型 VLA 模型構成壓力
REKI 最有力的競爭論點，是結合效率與可重現性，而不是聲稱在所有機械人模型中絕對領先。
Kyutai 表示，REKI 完全以公開來源進行預訓練。資料混合包含 10 億個畫面，涵蓋機械人遙距操作、模擬及第一身人類影片，另包含 1,220 萬個視覺語言樣本。
機械人資料包括 Open X-Embodiment、BridgeData V2、DROID、AgiBot World、RoboMIND、RoboCOIN 及其他已發布資料集的子集。模擬資料來源包括 InternData-A1 及 GR00T X-Embodiment Sim。
以人類為中心的資料為操控帶來另一種視角。Kyutai 使用了 EgoDex、EgoVerse 及 Xperience 的材料，展示從第一身視角觀察的手部互動。視覺語言資料集則加入空間定位及指向範例。
REKI 論文指出，預訓練在 32 張 H100 GPU 上進行了 200,000 個步驟。Kyutai 保留每個資料集原有的控制慣例，而非將每款機械人全部轉換為單一通用動作表徵。
公開資料並不代表可輕易重現。所報告的訓練仍需要可觀的硬件、資料處理及工程時間，資料集授權及儲存需求亦仍然相關。
不過，這次發布改變了外部研究人員可檢視的內容。Kyutai 發布了資料整理程式碼、訓練邏輯、推論程式碼、評估工具、部署元件及模型權重。公開的 REKI 程式碼庫為重現及修改提供了起點。
這種開放性相當重要，因為許多強大的 VLA 系統雖然發布 checkpoint，卻不披露完整的預訓練資料混合。另一些則依賴外界無法完全重現的私有機械人軌跡或合成資料流程。
因此，REKI 的主要對手並非某一家公司，而是以較多參數配合較難重現訓練輸入的大型、資料密集型 VLA 路線。Kyutai 認為，架構與資料整理可挽回該路線的大部分效能。
其報告的基準結果支持了這項論點的一部分。REKI 在 LIBERO-Plus 達到 90.4% 成功率，在 RoboTwin Clean2Rand 達到 65.8%。Kyutai 表示，這些是使用公開資料預訓練的比較模型之中最高的分數。
當系統使用專有或合成資料時，比較便會變得更複雜。Qwen-RobotManip 在 Clean2Rand 的成績為 68.5%，領先 REKI 的 65.8%。其 技術報告描述了一個規模較大的 47 億參數模型，以及一條人類至機械人的合成資料管線。
在 RoboCasa365 上，REKI 報告的平均成功率為 38.4%。Xiaomi-Robotics-1 達到 57.4%，而 ABot-M0.5 達到 40.4%。兩者的參數量均約為 REKI 的兩倍。
這些數字更清楚地支持每單位模型規模的效能主張，而非整體效能冠軍的說法。REKI 在部分比較中領先，亦在其他比較中落後於較大型系統。其優勢取決於哪個基準測試、資料類別及部署限制較為重要。
RoboCasa365 基準測試亦說明了為何單一平均值需要審慎解讀。其任務包括原子行為及複合任務，並分設已見及未見條件。模型在這些組別之間的表現可能並不平均。
Kyutai 的論文指出，REKI 在 RoboCasa365 原子任務中取得 80.2%，在已見複合任務中取得 57.1%。其在未見複合任務中的成功率則降至 32.1%。
最後這個數字揭示了現時 VLA 評估的核心限制。理解指令並產生勝任的局部動作，並不保證能在陌生情況下可靠地組合這些動作。單靠精簡記憶無法填補這個落差。
儘管如此，REKI 為可重現的基準模型提高了標準。研究人員可以調整其暫存器、資料混合方式或動作專家模組，而毋須重建一個未有記錄的系統。這可令後續實驗更容易解讀。
對進行這些實驗的團隊而言，維護一個可搜尋的工程知識庫，有助把配置變更與觀察到的故障連結起來。可重現性不僅依賴已發布的原始碼，也取決於是否記錄了相關決策。
基準測試的提升需要審慎解讀
REKI 的結果令人鼓舞，但仍屬作者自行報告的測量結果，會受到基準測試協議、編譯選擇及有限的真實世界測試所影響。
在 LIBERO-Plus 上，記憶令 REKI 報告的成功率提升 1.5 個百分點。在 RoboTwin 的乾淨場景中，增幅達 5.5 個百分點；在 RoboCasa365 中則為 5.4 個百分點。
這些改進橫跨三個不同的基準測試，因而加強了記憶所帶來貢獻不只是特定資料集技巧的論點。一項評估消融實驗亦在保持已訓練模型不變的情況下移除歷史影格。
當這些過去影格消失後，效能會回落至接近沒有記憶的基準水平。這個結果顯示，模型在推理期間會運用快取的歷史資訊，而非只是在訓練時獲得正則化效益。
擺動分析提供了另一項有用檢查。Kyutai 將擺動定義為在動作區塊之間於兩個姿勢來回移動。據報，記憶令受影響的回合數，從明顯較高的無記憶比率降至約四分之一。
不過，這些測量結果仍來自 REKI 的作者。獨立實驗室需要以不同隨機種子、硬件、相機及控制頻率重現這些消融實驗。細小的實作差異都可能影響機械人基準測試。
延遲比較亦需要放在背景中理解。Kyutai 在一張 H100 上，以 LIBERO 輸入測量已發布的模型。由於多個系統的公開實作缺乏等效的最佳化執行路徑，團隊自行編譯了當中的若干系統。
這項工作令比較更貼近實際，但並未帶來完全公平的條件。模型具有不同架構、影像處理要求、動作預測跨度及編譯器相容性。在另一款加速器或服務堆疊下，延遲排名可能改變。
REKI 在其編譯配置下達到 21.8 毫秒。Kyutai 報告 X-VLA 為 25.5 毫秒、π0.5 為 33.8 毫秒、ABot-M0 為 46.1 毫秒，以及 InternVLA-A1.5 為 51.3 毫秒。
這些數字量度的是動作區塊預測，而非完整的機械人反應時間。生產系統還須處理感應器、通訊、碰撞檢查、運動規劃及執行器指令。最慢的環節可能位於神經模型之外。
真實機械人的證據比模擬評估更為有限。Kyutai 展示了使用 UR5 機械臂的自主執行過程，並報告每項任務以 50 個示範進行微調。這表明具備部署可行性，但未能證明在家庭或工廠環境中具有廣泛可靠性。
短記憶視窗帶來額外的操作問題。當一個回合結束、相機改變或人類中斷任務時，控制器必須重設快取的暫存器。否則，舊觀察結果可能影響新情況。
機械人狀態本身不會進入暫存器。這令它們可在去噪步驟之間重用，從而提升效率。但這亦可能限制它們對接觸、力量或內部控制轉換的表達能力。
視覺歷史可以顯示物件已移動，卻未必能捕捉抓取失敗的原因。觸覺感應器或關節扭矩訊號可揭示相機未能提供的資訊。未來版本需要在不失去效率優勢的前提下，測試更豐富的輸入。
授權條款是另一項限制。REKI 的程式碼採用 MIT License，但其權重採用 CC BY-NC-SA 4.0。企業不能假設公開提供即代表可不受限制地進行商業整合。
資料集來源亦值得審視。一個資料混合可屬公開資料，卻同時結合來源不同授權、收集程序、相機設定及動作語義的資料。Kyutai 表示已整理每個來源，但下游團隊仍須自行確保合規。
最後，基準測試的領先地位很快會過時。競爭對手可以加入相似的快取暫存器、蒸餾較大型模型，或改良編譯器。REKI 持久的貢獻，將較少取決於單一排行榜位置，而更取決於其記憶設計是否獲得獨立採用。
Kyutai REKI 接下來會如何發展
三個訊號將決定 REKI 會成為持久的 VLA 基準模型，還是僅維持為一項高效的研究成果。
第一個訊號是獨立重現。外部團體需要利用已發布的檢查點，重新進行記憶消融實驗及基準評估。若能重現報告中的增益，將加強暫存器記憶可跨實作轉移的主張。
重現工作應涵蓋成功率及故障類別。研究人員應計算擺動、重複抓取、停滯轉換及不安全動作。平均分數可能掩蓋記憶修正一項故障、卻加劇另一項故障的情況。
團隊亦應測試多種視窗長度。REKI 使用每秒採樣一張的三個影格，並保留兩個歷史影格。較長視窗可顯示在延遲或準確度開始惡化前，暫存器記憶如何擴展。
若獨立測試保留所報告的增益及低額外負擔，REKI 的架構論據便會更有力。若出現明顯差異，則會削弱從現有基準測試得出的結論。
第二個訊號是在 H100 級基礎設施以外的部署。已發布的 21.8 毫秒測量結果採用高階資料中心加速器及編譯執行路徑。許多實際機械人使用的是較小型邊緣裝置或共享運算資源。
量化檢查點、降低影像解像度及替代加速器，將揭示模型效率能否在現實限制下維持。端到端測試應包括相機擷取、預處理、安全檢查及控制通訊。
成功的邊緣部署會將 REKI 的精簡規模轉化為營運優勢。若記憶維持低成本但主幹網絡主導延遲，焦點便會轉向蒸餾及視覺編碼器最佳化。
第三個訊號是在更長、陌生任務上的表現。RoboCasa365 的未見複合任務結果顯示，困難的時間組合問題仍未解決。模型必須在超過數秒的時間內保留相關狀態，同時避免累積過時的脈絡。
研究人員可以測試把 REKI 的局部暫存器與較慢的情節記憶結合的混合系統。快速快取可穩定即時動作，而獨立規劃器則追蹤已完成的子任務及長期目標。
這種組合可保留兩類記憶問題之間的區別。機械人需要局部連續性以避免擺動，也需要任務歷史以完成延展程序。一種機制未必能同時解決兩者。
競爭對手將提供另一項考驗。Qwen-RobotManip 強調擴展、對齊及合成軌跡。Physical Intelligence 的 π0.5 則強調在真實世界環境及異質訓練訊號之間的廣泛泛化能力。
REKI 採取較受限的定位。它提出，高效的動作端記憶及公開資料預訓練，可產生一個小型、可檢視且具競爭力結果的策略模型。即使較大型模型在個別基準測試中勝出，這個定位仍具價值。
開發人員應留意其他 VLA 專案會否採用以暫存器為本的記憶，或發布可比較的消融實驗。廣泛的架構重用，將顯示這項技術解決的是共通問題，而非僅適配某一模型。
企業買家則應提出另一組問題。系統能否安全地清除記憶、滿足完整控制迴路的時限，並從中斷中恢復？其權重能否按預定商業條款使用？
研究人員應檢視已發布的資料管線能否重現所報告的檢查點。他們亦應記錄預處理決策、評估隨機種子及編譯器設定。這些細節往往決定一個開放發布能否成為可用的基準模型。
Kyutai REKI 模型並未終結通用機械人智能的競賽。它縮小了一項重要工程爭議的範圍。近期脈絡可改善操作能力，而毋須讓每個歷史影格都通過模型中成本最高的部分。
下一步是在 Kyutai 的環境以外進行驗證。若 REKI 的記憶增益能在獨立機械人、較小型硬件及更長任務上維持，動作端快取將會變得難以讓較大型 VLA 開發人員忽視。
