Kyutai REKI Model、通常の計算コスト増なしにロボットの記憶を追加
Kyutaiは、直近の観測を記憶しながら、計測された各アクション予測に加わる時間をわずか0.1ミリ秒に抑える、24億パラメータのロボットモデルを公開した。Kyutai REKIモデルは、この記憶をアクションエキスパート内に組み込み、過去のカメラフレームを繰り返し処理する必要をなくしている。この設計は、ロボット学習における根強い緊張関係を狙うものだ。記憶は操作性能を高める一方、過去の文脈はトレーニングと推論のコストを押し上げがちである。
REKIは、Registering Knowledge in Vision-Language-Action Modelsの略称で、視覚言語バックボーンと、ロボットのアクションを予測する小規模モジュールを組み合わせる。Kyutaiによれば、32個の永続的なレジスタトークンにより、モデルは直近のフレームからの情報を保持できる。レジスタは、ロボットが次のアクションチャンクを予測する間も利用可能な状態に保たれる。
このアプローチは、より大規模な視覚言語モデルに複数の画像を入力して時間的文脈を得るシステムに一石を投じる。また、より強力な操作ポリシーには、より大きなモデルや非公開の学習データセットが必要だという前提にも異議を唱える。REKIは公開データを利用し、トレーニングパイプラインを公開したうえで、大幅に多くのパラメータを持つモデルに対して競争力のある結果を報告している。
この結果は、コンパクトでオープンなロボットモデルが、あらゆる大型モデルの代替になれることを証明するものではない。最も強い根拠は、シミュレーションベンチマークと、制御された実機ロボットのデモンストレーションに基づくものだ。しかし、そのアーキテクチャは具体的かつ検証可能な主張を提示している。短期記憶はアクション生成の近くに置くべきであり、そこなら低コストで直接的に役立てられる。
Kyutai REKI Modelは記憶をアクション生成の一部にする
REKIの中心的な変更はアーキテクチャにある。直近の視覚的文脈を、別の高コストな視覚入力ではなく、アクションエキスパートのキャッシュ済み要素へと変える。
視覚言語行動モデル、すなわちVLAは、画像と言語指示を物理的なアクションへ変換する。REKIでは、Qwen3.5-2B視覚言語モデルがまずカメラビューと指示をエンコードする。続いて、2億パラメータのアクションエキスパートがその表現を読み取り、フローマッチングを通じてアクションシーケンスを生成する。
フローマッチングは、初期のノイズを含むアクションシーケンスを、複数の改善ステップを経て利用可能な軌道へ変換する生成手法である。REKIは、Kyutaiが報告したレイテンシーテストで10回のEulerステップを用いている。ロボット状態と現在のフロー時刻は、適応的正規化を通じてアクションエキスパートに入力される。
モデル全体は24億パラメータで構成される。公式のREKI architectureによれば、そのうち約22億は視覚言語バックボーンに属する。残る2億がアクションエキスパートを構成する。
重要な追加要素は、観測フレームごとに設けられた32個の学習済みレジスタトークンだ。これらのトークンは、エンコードされた指示とカメラビューを要約する。その後、後続のアクション予測で再利用可能なアテンション情報を保存するキー・バリューキャッシュに保持される。
REKIは、1つのエピソードから3フレームを含むウィンドウで学習する。これらのフレームは1秒間隔でサンプリングされる。推論時には、モデルは直前の2フレームのレジスタを保持し、新たなフレームが到着すると最も古いセットを破棄する。
このウィンドウにより、ポリシーは直近で見たものの短い記録を得られる。したがってロボットは、継続中のアクションと新たに遭遇した状態を区別できる。最新の画像だけからすべてを推論する必要はない。
レジスタトークンは、生成されたアクショントークンにアテンションしない。これらは特定のロボット状態、フロー時刻、ノイズ除去ステップではなく、観測に依存する。そのためKyutaiは、フレームごとに一度だけ計算し、アクション生成の全工程で再利用できる。
この分離は重要である。フローに基づくアクション生成では、複数の計算が繰り返される。各改善ステップで過去の視覚的文脈を再計算すれば、コストは膨らむ。REKIでは、アクショントークンが変化し続ける間も観測の要約を安定させる。
Kyutaiによれば、256×256のカメラ画像2枚から1つのチャンクを予測する処理は、Nvidia H100 1基で21.8ミリ秒かかる。キャッシュされたレジスタの読み取りに加わるのは0.1ミリ秒だ。保持される各フレームは、およそ2 MiBのGPUメモリを追加で必要とする。
これらの測定値は、Kyutaiのコンパイル済み実装と指定ハードウェアに適用される。より小型のアクセラレータや、ロボットシステム全体でのレイテンシーを示すものではない。カメラ撮影、ネットワーク、安全ロジック、アクチュエータ制御はいずれも、エンドツーエンドの応答時間を増やし得る。
それでも、このアーキテクチャ上の成果は明確だ。REKIは、過去すべてのフレームに対してより大きなモデルを再実行することなく、限定的な時間ウィンドウを追加する。また、別途トレーニングと推論の経路を要するメモリネットワークも回避する。
Kyutaiは、事前学習済みモデルと複数のベンチマーク専用チェックポイントをREKI model cardを通じて公開した。重みには非商用の継承共有ライセンスが適用され、付属コードにはMIT Licenseが適用される。この違いは、商用導入を評価する組織にとって重要である。
効率的なロボット記憶がコストの方程式を変える
Kyutai REKIモデルは、有用なロボットの記憶には、増え続ける動画コンテキストや第2の推論システムは不要だと主張する。
多くの操作ポリシーは、主に現在の観測に基づいて行動する。この設計は推論を管理しやすくする一方、シーンが現在の状態に至った経緯に関する証拠を失わせる。1枚の画像だけでは、把持が失敗した直後なのか、物体が動いたのか、ロボットが引き戻しを始めたのかを明らかにできない場合がある。
ひとつの対応策は、複数の過去フレームを視覚言語バックボーンに送ることだ。これにより直接的な時間的証拠は得られるが、画像を追加するたびに視覚トークンも増える。すると、計算とメモリの要求はコンテキストウィンドウとともに増大する。
別のアプローチは再帰処理を用いる。再帰型ポリシーは、あるステップから次のステップへ隠れ状態を渡す。この状態は以前の観測を要約できるが、トレーニングはしばしば逐次的になり、並列化が難しくなる。
第3の方法は、専用メモリモジュールを追加することだ。これにより、より豊かな履歴、検索、あるいは複数の時間スケールをサポートできる。一方で、データフロー、最適化、障害時の挙動を検証すべきコンポーネントが新たに増える。
REKIが選んだ対象は、より限定的である。そのレジスタは、局所的なアクションの一貫性を改善するのに十分な直近の文脈を保持する。この仕組みは、タスク全体や作業場の意味的履歴を提供しようとするものではない。
トレーニングでも、メモリウィンドウをまたぐ逐次ロールアウトを回避する。Kyutaiは3フレームを1つのバッチにまとめ、同時に処理する。アクションエキスパートは可変長アテンションを使用し、すべてのフレームがトレーニング損失に寄与する。
この構成は並列トレーニングを維持する。視覚言語モデルが実行する処理量は、同数の独立したメモリなしフレームの場合を上回らない。アクションエキスパートは追加のレジスタトークンに対するコストを負担するが、このコンポーネントははるかに小さい。
推論時には、過去のレジスタのキーと値がキャッシュに残る。現在のアクショントークンは、現在の観測とともにそれらのレジスタにアテンションする。したがってモデルは、すでに実行しているアテンション演算を通じて時間情報を受け取る。
これが、Kyutaiによる「negligible cost」という説明の背後にある仕組みだ。この主張は、記憶に文字どおりコストがないという意味ではない。報告された構成では、レジスタがGPUメモリ、アテンション容量、0.1ミリ秒を消費する。
より重要な点は比率にある。この測定された増分は、21.8ミリ秒のアクションチャンクレイテンシーの1%未満である。また、22億パラメータのバックボーンを介して複数のカメラ画像を繰り返しエンコードするコストよりもはるかに小さい。
メモリウィンドウは意図的に短く保たれている。1秒間隔でサンプリングされた3フレームでは、長時間の家庭内タスクや長い復旧シーケンスを捉えられない。この設計が記憶するのは直近の視覚状態であり、関連するすべてのイベントではない。
この境界は、数分単位のエピソード的文脈を対象とするシステムとREKIを区別する。また、古い情報に伴うリスクも抑える。ローリングキャッシュは、無制限の履歴を蓄積させるのではなく、古いレジスタを破棄する。
実用的な操作において、短い記憶でも一般的な失敗に対処できる。メモリのないポリシーは、現在の画像ごとに異なる局所判断が引き起こされるため、2つのもっともらしい姿勢を行き来することがある。直近の観測は、アクションエキスパートにそれまでの方向についての証拠を与える。
Kyutaiによれば、こうした姿勢の振動は、記憶によって約4分の1に減少した。この結果は、アーキテクチャを観測可能なロボットの挙動に結びつける。レジスタが対処する失敗モードを1つ特定しているため、ベンチマーク平均だけよりも有益である。
この設計は、有益なエンジニアリング上の問いも生む。チームは、ステートレス制御と大規模メモリシステムの二択だけを検討する必要がなくなる。コンパクトでキャッシュされた観測要約が、自らのロボットで重要な時間的失敗を解決するかをテストできる。
公開データがより大規模なVLAモデルに圧力をかける
REKIの最も強い競争上の主張は、あらゆるロボットモデルに対する絶対的な優位を唱えるのではなく、効率性と再現性を組み合わせる点にある。
Kyutaiによれば、REKIは完全に公開ソースのみで事前学習された。その混合データには、ロボット遠隔操作、シミュレーション、一人称視点の人間動画にまたがる10億フレームが含まれる。また、1,220万件の視覚言語サンプルも含む。
ロボットデータには、Open X-Embodiment、BridgeData V2、DROID、AgiBot World、RoboMIND、RoboCOIN、その他の公開コレクションからのサブセットが含まれる。シミュレーションのソースには、InternData-A1とGR00T X-Embodiment Simが含まれる。
人間中心のデータは、操作に関する別の視点をもたらす。Kyutaiは、一人称視点から手の相互作用を示すEgoDex、EgoVerse、Xperienceの素材を利用した。視覚言語データセットは、空間的グラウンディングと指差しの例を追加する。
REKI paperによると、事前学習はH100 GPU 32基で20万ステップ実行された。Kyutaiは、すべてのロボットを単一の普遍的なアクション表現へ変換するのではなく、各データセット固有の制御方式を維持した。
公開データだからといって、再現が容易になるわけではない。報告されたトレーニング実行には、依然として相当なハードウェア、データ処理、エンジニアリング時間が必要である。データセットのライセンスとストレージ要件も引き続き重要だ。
ただし、この公開は外部研究者が検証できる範囲を変える。Kyutaiは、データキュレーションコード、トレーニングロジック、推論コード、評価ツール、デプロイメントコンポーネント、モデルの重みを公開した。公開されたREKI codebaseは、再現と改変の出発点となる。
このオープンさが重要なのは、多くの有力なVLAシステムが、完全な事前学習データ混合を開示せずにチェックポイントを公開しているためだ。ほかにも、外部の人々が正確に再現できない非公開のロボット軌道や合成データパイプラインに依存するシステムがある。
したがってREKIの主な対抗軸は、特定の1社ではない。より多くのパラメータと、再現性の低いトレーニング入力を組み合わせる、大規模でデータ集約的なVLA路線である。Kyutaiは、アーキテクチャとデータキュレーションによって、その路線の性能の多くを取り戻せると主張する。
報告されたベンチマーク結果は、その主張の一部を裏付けている。REKIはLIBERO-Plusで90.4%の成功率、RoboTwin Clean2Randで65.8%を達成した。Kyutaiは、これらが公開データで事前学習された比較対象モデルの中で最高スコアだと報告している。
独自データや合成データを用いるシステムでは、比較はさらに複雑になる。Qwen-RobotManipはClean2Randで68.5％に達し、REKIの65.8％を上回る。同モデルの技術報告書では、より大規模な47億パラメータモデルと、人間からロボットへの合成パイプラインが説明されている。
RoboCasa365では、REKIは平均成功率38.4％を報告している。Xiaomi-Robotics-1は57.4％、ABot-M0.5は40.4％に達する。両者はいずれもREKIのおよそ2倍のパラメータ数を持つ。
これらの数値は、総合的な性能王者という主張よりも、モデル規模当たりの性能という主張をより明確に裏付ける。REKIはいくつかの比較では優位に立つ一方、他ではより大きなシステムに後れを取る。その優位性は、どのベンチマーク、データカテゴリ、導入上の制約を重視するかに左右される。
RoboCasa365ベンチマークは、単一の平均値を慎重に扱うべき理由も示している。タスクには原子的な行動と複合タスクが含まれ、既知・未知の条件がそれぞれ設けられている。モデルはこれらのグループ間で性能にばらつきを見せる可能性がある。
Kyutaiの論文によると、REKIはRoboCasa365の原子タスクで80.2％、既知の複合タスクで57.1％を記録した。一方、未知の複合タスクでは成功率が32.1％まで低下する。
この最後の数値は、現在のVLA評価における中心的な限界を浮き彫りにしている。指示を認識し、局所的に適切な行動を生成できても、未知の状況で信頼性高く行動を組み合わせられるとは限らない。コンパクトなメモリだけでは、その隔たりを埋められない。
それでもREKIは、再現可能なベースラインの水準を引き上げている。研究者は、文書化されていないシステムを再構築せずに、レジスタ、データ混合、アクションエキスパートを変更できる。これにより、追試実験は解釈しやすくなる可能性がある。
こうした実験を行うチームにとって、検索可能なエンジニアリング知識ベースを維持することは、設定変更と観測された障害を結び付ける助けになる。再現性は、公開されたソースコードだけでなく、記録された意思決定にも依存する。
ベンチマーク上の向上には慎重な解釈が必要
REKIの結果は有望だが、ベンチマークのプロトコル、コンパイル上の選択、限られた実環境テストに左右される、著者報告の測定値にとどまる。
メモリにより、REKIのLIBERO-Plusでの報告成功率は1.5ポイント向上する。RoboTwinのクリーンシーンでは5.5ポイント、RoboCasa365では5.4ポイントの向上に達する。
こうした改善は3つの異なるベンチマークで見られ、メモリがデータセット固有の工夫以上の寄与をするという見方を強める。評価アブレーションでは、学習済みモデルを変更せずに履歴フレームも削除している。
過去フレームを取り除くと、性能はメモリなしのベースラインに近づく。この結果は、モデルが学習時に正則化上の恩恵を得るだけでなく、推論時にキャッシュされた履歴を利用していることを示唆する。
振動の分析も、もう1つの有用な検証を提供する。Kyutaiは振動を、アクションチャンクをまたいで2つの姿勢の間を往復する動きと定義している。報告によれば、メモリは影響を受けるエピソード数を、かなり高いメモリなしの割合からおよそ4分の1まで減らす。
ただし、測定値は依然としてREKIの著者によるものだ。独立した研究機関は、異なるシード、ハードウェア、カメラ、制御周波数でアブレーションを再現する必要がある。実装上のわずかな差がロボットベンチマークに影響する可能性がある。
レイテンシ比較にも文脈が必要だ。Kyutaiは、1基のH100上でLIBERO入力を使って公開モデルを測定した。公開実装に同等の最適化済み実行パスがなかったため、チームは複数のシステムを自らコンパイルした。
この取り組みにより比較はより実用的になるが、完全な同等性が生まれるわけではない。モデルごとにアーキテクチャ、画像処理要件、アクションホライズン、コンパイラ互換性が異なる。レイテンシ順位は、別のアクセラレータやサービングスタックでは変わり得る。
REKIは、コンパイル済み構成で21.8ミリ秒に達する。Kyutaiは、X-VLAで25.5ミリ秒、π0.5で33.8ミリ秒、ABot-M0で46.1ミリ秒、InternVLA-A1.5で51.3ミリ秒を報告している。
これらの数値が測るのはアクションチャンクの予測であり、ロボットの完全な反応時間ではない。本番システムでは、センサー、通信、衝突検査、動作計画、アクチュエータ指令も扱う。最も遅い要素は、ニューラルモデルの外部に存在する可能性がある。
実ロボットの証拠は、シミュレーション評価よりも限定的だ。KyutaiはUR5アームによる自律ロールアウトを示し、タスクごとに50件のデモンストレーションでファインチューニングしたと報告している。これは導入可能性を示すが、家庭や工場全体にわたる広範な信頼性を確立するものではない。
短いメモリウィンドウは、追加の運用上の問題を生む。エピソードが終了した場合、カメラが変わった場合、あるいは人間がタスクを中断した場合、コントローラはキャッシュされたレジスタをリセットしなければならない。そうでなければ、古い観測が新しい状況に影響する可能性がある。
ロボットの状態は、レジスタ自体には入力されない。そのため、ノイズ除去ステップをまたいで再利用でき、効率が向上する。一方で、接触、力、内部制御遷移について表現できる内容を制限する可能性もある。
視覚履歴は物体が動いたことを示せても、把持が失敗した理由を捉えられないかもしれない。触覚センサーや関節トルク信号は、カメラにない情報を明らかにできる。将来の派生モデルでは、効率面の優位性を失わずに、より豊富な入力を検証する必要がある。
ライセンスも別の制約となる。REKIのコードはMIT Licenseを採用しているが、重みにはCC BY-NC-SA 4.0が適用される。企業は、公開されていることが無制限の商用統合を許可するとは想定できない。
データセットの来歴も精査に値する。データ混合は公開されていても、異なるライセンス、収集手法、カメラ設定、アクションの意味論を持つソースを組み合わせている場合がある。Kyutaiは各ソースをキュレーションしたとしているが、下流チームは引き続きコンプライアンスの責任を負う。
最後に、ベンチマークでの首位は急速に古くなる。競合他社は類似のキャッシュ済みレジスタを追加したり、より大きなモデルを蒸留したり、コンパイラを改善したりできる。REKIの持続的な貢献は、単一のリーダーボード順位よりも、そのメモリ設計が独立して採用されるかに左右されるだろう。
Kyutai REKIの次の展開
REKIが持続的なVLAベースラインとなるか、効率的な研究成果にとどまるかは、3つのシグナルによって決まる。
最初のシグナルは独立した再現だ。外部グループは、公開されたチェックポイントを用いてメモリアブレーションとベンチマーク評価を再実行する必要がある。報告された改善を再現できれば、レジスタメモリが実装をまたいで移転するという主張が強まる。
再現では、成功率と失敗カテゴリの両方を含めるべきだ。研究者は、振動、繰り返される把持、停止した遷移、危険な動作を数える必要がある。平均スコアは、メモリがある失敗を解決する一方で別の失敗を悪化させているかどうかを隠し得る。
チームは複数のウィンドウ長もテストすべきだ。REKIは1秒間隔でサンプリングした3フレームを使い、うち2つの履歴フレームを保持する。より長いウィンドウにより、レイテンシや精度が低下し始める前にレジスタメモリがどう拡張するかを確認できる。
独立テストで報告された改善と低いオーバーヘッドが維持されれば、REKIのアーキテクチャ上の主張はより強くなる。大きな乖離があれば、現在のベンチマークから導かれた結論は弱まる。
2つ目のシグナルは、H100級インフラを超えた導入だ。公開された21.8ミリ秒という測定値は、ハイエンドのデータセンターアクセラレータとコンパイル済み実行パスを使用している。実用的なロボットの多くは、より小型のエッジデバイスや共有コンピュートで動作する。
量子化チェックポイント、低い画像解像度、代替アクセラレータにより、モデルの効率が現実的な制約下で維持されるかが明らかになる。エンドツーエンドテストには、カメラ取得、前処理、安全検査、制御通信を含めるべきだ。
エッジ環境での導入が成功すれば、REKIのコンパクトな規模は運用上の利点になる。メモリのコストが低いままでバックボーンがレイテンシを支配するなら、注目は蒸留とビジョンエンコーダの最適化へ移る。
3つ目のシグナルは、より長く未知のタスクでの性能だ。RoboCasa365の未知の複合タスク結果は、難しい時間的構成がなお未解決であることを示している。モデルは、古い文脈を蓄積せずに、数秒を超えて関連状態を保持しなければならない。
研究者は、REKIのローカルレジスタとより遅いエピソードメモリを組み合わせたハイブリッドシステムをテストできる。高速キャッシュは直近の動きを安定させ、別のプランナーが完了したサブタスクと長期目標を追跡する。
この組み合わせは、2つのメモリ問題の区別を保つ。ロボットには振動を避けるための局所的な連続性と、長い手順を完了するためのタスク履歴が必要だ。1つの仕組みが両方を解決するとは限らない。
競合他社も別の試金石となる。Qwen-RobotManipはスケーリング、アラインメント、合成軌跡を重視する。Physical Intelligenceのπ0.5は、実世界環境と異質な学習信号をまたぐ幅広い汎化を重視する。
REKIはより制約された立場を取る。効率的なアクション側メモリと公開データによる事前学習により、競争力のある結果を持つ小型で検証可能なポリシーを生み出せると提案している。この立場は、より大きなモデルが個別のベンチマークで勝利する場合でも価値がある。
開発者は、他のVLAプロジェクトがレジスタベースのメモリを採用するか、比較可能なアブレーションを公開するかを注視すべきだ。アーキテクチャが広く再利用されれば、この技術が1つのモデルに適合するだけでなく、共通の問題を解決していることを示すだろう。
エンタープライズの購入者は、別の一連の質問を投げかけるべきだ。システムはメモリを安全に消去し、制御ループ全体の期限を満たし、中断から復帰できるか。重みは意図する商用条件の下で利用できるか。
研究者は、公開されたデータパイプラインが報告されたチェックポイントを再現できるかを検証すべきだ。また、前処理の判断、評価シード、コンパイラ設定も文書化すべきである。こうした詳細が、オープンリリースが利用可能なベースラインになるかを左右することが多い。
Kyutai REKIモデルは、汎用ロボット知能をめぐる競争に決着を付けるものではない。しかし、重要なエンジニアリング上の論点を1つ絞り込んでいる。最近の文脈は、すべての履歴フレームをモデルの最も高コストな部分に通さなくても、操作性能を向上させられる。
次の段階は、Kyutaiの環境外での検証だ。REKIのメモリによる改善が、独立したロボット、小型ハードウェア、より長いタスクでも維持されるなら、アクション側キャッシュはより大きなVLA開発者にとって無視しにくいものになる。
