Kimi Linear、独自の土俵でFull Attentionを上回る
Kimi LinearはMoonshot AIにもたらした。linear attentionの研究者が長年追い求めてきた、3つの厳しい条件でfull attentionを上回ると報告された品質だ。同社によると、このアーキテクチャは、同一のトレーニング条件下で、短文脈テスト、長文脈評価、強化学習のいずれでも首位に立った。
効率性の数値は、この挑戦をさらに鮮明にする。Moonshotは、key-value cacheの使用量を最大75%削減し、100万トークンの文脈ではデコードを6.3倍高速化できると報告している。こうした改善は、グローバルattentionレイヤーの大半をKimi Delta Attentionに置き換えつつ、一定間隔でグローバルレイヤーを残すことで実現した。
このハイブリッド設計は、full attention、特にMulti-Head Latent Attentionに圧力をかける。full attentionは、メモリと計算コストが膨らむにもかかわらず、品質面ではより安全な選択肢であり続けてきた。Moonshotは、モデル開発者がもはやこのトレードオフを受け入れる必要はないと主張している。
根拠は相当なものだが、決定的ではない。比較はMoonshot自身の実験に基づき、単一のモデルファミリーと社内トレーニングシステムを用いている。weights、kernels、serving codeが公開されているため主張は例外的に検証しやすいが、実運用での挙動は依然としてソフトウェアの正確性とハードウェア条件に左右される。
Kimi LinearがAttentionのトレードオフを変える
MoonshotはKimi Linearを小さな妥協策として提示しているのではない。full attentionのより強力な代替として、このアーキテクチャを提示している。
technical reportでは、総パラメータ数480億、アクティブパラメータ数30億のmixture-of-expertsモデルが説明されている。アクティブパラメータとは各トークンで使用される部分集合であり、推論時に必要な計算量を大きく左右する。
このモデルは、Kimi Delta Attention（KDA）とMulti-Head Latent Attention（MLA）を組み合わせている。KDAは、過去のすべてのkeyとvalueを保存する代わりに固定サイズのstateを維持する、再帰型のlinear attentionメカニズムだ。
MLAは、DeepSeekのモデル設計に関連する圧縮型のglobal attentionである。従来のmulti-head attentionと比べてcache要件を削減するが、それでもcacheはシーケンスに応じて増大する。
Moonshotは、MLAレイヤー1つにつきKDAレイヤー3つを使用する。グローバルレイヤーが文脈全体への直接アクセスを維持する一方、linearレイヤーは再帰stateの更新を通じて大半のトークン処理を担う。
この比率が重要なのは、pure linear attentionが依然としてmemory-capacityの問題に直面しているためだ。固定stateは、シーケンス全体を限られた表現へ圧縮しなければならない。入力が大きくなると、詳細が衝突、消失、あるいは取得困難になる可能性がある。
full attentionは、過去のトークンの表現を保持することで、この特有のボトルネックを回避する。新しいトークンはすべて、保存された履歴と直接比較できる。ただし、その結果としてcacheは文脈長に応じて増大する。
Kimi Linearは、この有限stateの制約が消えたとは主張しない。代わりに、このアーキテクチャは2つのメカニズムに異なる役割を割り当てる。KDAが効率的なローカル処理と再帰処理を提供し、定期的なMLAレイヤーがグローバルアクセスを回復する。
Moonshotは、主な比較モデルを同じレシピで1.4兆トークン用いてトレーニングした。レポートによると、Kimi Linearは、掲載されたすべての短文脈pretraining評価でfull-MLAベースラインを上回った。
MMLU-Proのスコアは51.0に達し、full MLAの47.2を上回った。Kimi LinearはMMLUでも73.8を記録し、MLAは71.6だった。
この傾向はHellaSwag、ARC-Challenge、Winogrande、Big-Bench Hardにも及んだ。個別の差はさまざまだったが、Moonshotは掲載比較において短文脈での性能低下はなかったと報告している。
この結果は、linear attentionに対する従来の議論を覆す。歴史的にチームがlinear手法を受け入れてきたのは、従来型ベンチマークの品質を一貫して改善したからではなく、推論コストを削減できたからだ。
linear transformersなどの研究は、数年前に計算面での有用性を示していた。attention計算を再配置することで、自己回帰処理をシーケンス長に対して線形にし、定数サイズのrecurrent stateを維持できる。
品質は、より難しい問題として残った。Softmax attentionは、シーケンス全体で精密かつ内容依存の接続を形成できる。初期のlinear代替手法は、特にタスクで正確な検索や複雑な関連付けが必要な場合に、精度を失うことが多かった。
したがってKimi Linearは、単にベンチマーク順位を変える以上の意味を持つ。慎重に設計されたハイブリッドが、効率性と品質を同じ方向に押し上げられることを示す証拠となる。
この証拠は、この記事の中心的な緊張関係を生む。独立したテストがMoonshotの結果を支持するなら、full attentionは、品質に敏感な長文脈モデルにおける自動的なデフォルトではなくなる。
長文脈デコードがFull Attentionに圧力をかける理由
決定的な優位性は生成時に現れる。追加トークンごとに、full-attentionモデルは拡大するcacheを再訪しなければならないためだ。
key-value cacheは、過去のトークンのattention表現を保存する。これにより、モデルは各デコードステップで履歴全体を再計算せずに済む。
ただしcacheは、会話、文書、agent trajectoryが長くなるにつれて増大する。この増加はアクセラレータのメモリを消費し、サーバーが同時に処理できるリクエスト数を減らす。
MLAはすでにこのcacheを大幅に圧縮している。それでもMoonshotは、Kimi Linearがfull-MLAベースラインと比べてcache使用量をさらに最大75%削減すると報告している。
理由はレイヤー構成にある。attentionレイヤーのうちMLAを使用し、シーケンス長に依存するcacheを必要とするのは4分の1だけだ。3つのKDAレイヤーは、トークンごとにサイズが拡大しないrecurrent stateを維持する。
この違いは、デコード負荷の高いワークロードで重要になる。長時間稼働するcoding agent、research system、tool-using assistantは、大きな入力を受け取った後に広範なtrajectoryを生成できる。
従来のcontext benchmarkは、入力の初期処理であるprefillを重視することが多い。agent workloadには別の負担が加わる。生成が多くのreasoning stepやtool responseを通じて続く可能性があるためだ。
Moonshotは、増加するデコード長にわたって出力トークンあたりの時間を測定した。100万トークン時、レポートではKimi Linearが1.84ミリ秒、MLAが11.48ミリ秒とされている。
これが、報告された6.3倍の優位性の根拠となる。差は短い長さでは小さかったが、MLA cacheがメモリとbatchingにより大きな圧力をかけるにつれて拡大した。
この比較は、すべての導入環境で毎秒のトークン生成量が6倍になることを意味しない。Moonshotの結果は、特定のハードウェア構成、モデル設定、batching方式、実装を反映したものだ。
throughputは、単一リクエストのlatencyとも異なる。より小さなcacheによりサーバーはより大きなbatchを収容でき、個々の計算量の変化がより小さくても、総throughputを高められる。
レポートは、より控えめなprefillの優位性を示している。100万トークンの入力長では、Kimi LinearはMLAより2.9倍高速にpromptを処理したと報告されている。
これらの測定値は、このアーキテクチャが文書要約だけでなくagentを対象とする理由を説明する。一度読み込み短く回答するシステムは、constant-state decodingから得られる価値が小さい。
繰り返しreasoningし、toolを呼び出し、observationを受け取り、生成を続けるシステムは異なるcost curveに直面する。タスク中に履歴が増大し、まさにcache圧力の管理が難しくなる局面に直面する。
この圧力は、モデル開発者、inference platform、enterprise buyerに及ぶ。開発者は、どこでもglobal attentionを使うことが、そのserving costをなお正当化するか判断しなければならない。
inference platformには、recurrent attention stateを理解するkernelとschedulerが必要になる。enterprise buyerには、低いメモリ使用量が現実的なconcurrency、retrieval、reliability要件の下でも維持されるという証拠が必要だ。
知識集約型の作業では、長文脈には単なる生の容量だけでなく整理も必要となる。searchable knowledge baseは、モデルが処理する前に関連する証拠を選択できる。
Kimi Linearは、このアーキテクチャ上の必要性を取り除くものではない。アプリケーションが提供する文脈を処理し、拡張するコストを変える。
したがって短期的な圧力は、長時間稼働するAI agentの開発者に最も強くかかる。彼らは今、より優れた品質と、より平坦なデコードcost curveを両立すると主張するオープンな実装を手にしている。
Kimi Linearがより賢いRecurrent Memoryを使う方法
KDAは、recurrent memoryが何を消去し何を保持するかを、より細かなレベルで制御することでlinear attentionを改善する。
Kimi Delta Attentionは、decay gateとdelta-rule memory updateを組み合わせた先行アーキテクチャであるGated DeltaNetを拡張したものだ。Gated DeltaNet paperは、retrievalおよび言語タスクにおいてMamba2とDeltaNetを上回る結果を報告している。
delta ruleは、予測誤差に応じてmemoryを更新する。単純化すると、モデルは新しい情報を継続的に追加するのではなく、古くなったkey-valueの関連付けを置き換えようとする。
この更新挙動は、memoryが過去に見たすべてのものの制御不能な合計になることを防ぐ助けとなる。また、recurrent stateに以前の関連付けを修正する手段を与える。
Gated DeltaNetは、memoryがどれほど速く薄れるかを決めるdecay mechanismを追加する。しかし、1つのgateが、多くの異なるchannelを持つstate全体に対して過度に広く適用される可能性は残る。
KDAはこの制御をより細粒度にする。そのより細かなgateにより、現在のトークンと学習済みprojectionに応じて、stateの異なる部分が異なる速度で忘却できるようになる。
これは、役立つ文脈が一様に期限切れになるわけではないため重要だ。一時的なformatting cueはすぐに無関係になるかもしれない一方、ユーザー制約やfunction definitionは利用可能な状態を保つべきだ。
このアーキテクチャは、モデルにこうした割り当てをより細かく制御させる。recurrent memoryは依然として有限だが、その容量をより選択的に使うことができる。
MoonshotはKDA向けにchunkwise training algorithmも設計した。chunkingにより、トレーニング中にすべてのrecurrent updateを逐次適用する代わりに、トークンのグループを並列処理できる。
レポートは、専用のdiagonal-plus-low-rank transition structureを使用している。この数学的形式により、意図したdelta-ruleの挙動を保ちながら、chunkwise computationをより効率的にできる。
この実装作業は不可欠だ。魅力的な計算量を持つアーキテクチャでも、kernelが理論上の利点を打ち消すほどのoverheadを導入すれば失敗しうる。
Moonshotのprefill測定は、KDAがレポートで検証されたGated DeltaNet hybridと比べて無視できるほどのlatencyしか追加しないことを示している。一方で、そのベースラインより優れたbenchmark結果を実現した。
Gated DeltaNetとの比較は、なぜglobal attentionが設計に残されているかも明らかにする。Kimi LinearとGated DeltaNet hybridは短文脈評価で近い結果を示し、概してKimiが先行した。
128,000トークンの文脈では、Gated DeltaNet hybridはMoonshotの長文脈suite全体で平均51.2だった。full MLAは平均52.2、Kimi Linearは54.5に達した。
したがって、純粋に効率を追求する経路は長文脈品質を支配しなかった。より強い結果は、KDAを定期的なMLAと組み合わせ、Moonshotが選択したpositional treatmentを用いることで得られた。
RULERは、長い文脈にわたるretrievalとmanipulationをテストするsynthetic suiteであり、Kimi Linearは84.3を記録した。full MLAは81.3、Gated DeltaNet hybridは80.5だった。
Kimi LinearはRepoQAでも68.5を記録し、両ベースラインの63.0を上回った。RepoQAはソフトウェアリポジトリに対する質問応答をテストするため、コーディングやコード検索システムに関連する評価である。
ただし、すべての長文コンテキスト課題で首位だったわけではない。LongBench v2ではMLAが36.1を記録し、Kimi Linearの35.0を上回った。Frames評価でもMLAが60.5対58.8で首位に立った。
こうした例外は重要だ。Moonshot自身の評価の範囲内でも、KDAがフルアテンションの利点をすべて解消したわけではないことを示している。
それでも総合結果はハイブリッド方式に有利だった。さらに重要なのは、最大の効率向上がフルアテンションのベースラインが最も高コストになる領域で現れている点だ。
これは、製品チュートリアルに踏み込まずにKimi Linearの仕組みを説明するものだ。同方式は再帰型メモリとグローバルトークンアクセスを補完的なリソースとして扱い、レイヤーごとに配分する。
その配分こそが逆転を支える仕組みである。Moonshotはリニアアテンションにあらゆる場面でフルアテンションを模倣させたのではない。再帰型メモリの最も弱い点を補うだけのグローバルアテンションを残した。
強化学習が異なる種類のメモリを検証する
Moonshotの強化学習結果は、このアーキテクチャが大規模なプロンプトから事実を取り出すだけでなく、長い生成軌跡にも耐えられることを示唆している。
強化学習は、事前学習とは異なる検証をもたらす。モデルは回答を生成し、報酬を受け取り、学習目標の下でより高いスコアを得る振る舞いへと更新される。
推論モデルでは、こうした出力が長くなる可能性がある。モデルは答えに到達する前に、計算を探り、中間ステップを修正し、長いツール利用シーケンスを生成することがある。
Moonshotは、検証可能な報酬を用いる強化学習でKimi LinearとフルMLAを比較した。RLVRでは、数学問題の解答の正しさのように、自動的に確認できる結果を使用する。
同社によれば、両モデルには同じアルゴリズムとハイパーパラメータを用いた。MoonshotはAIME 2025やMATH 500を含む数学テストで進捗を評価した。
論文によると、Kimi Linearは学習プロセスを通じてより高い性能を維持した。その優位性は、学習精度とホールドアウト評価曲線の両方に現れた。
この結果が重要なのは、リニアアテンションの固定状態が長時間の推論で苦戦する可能性があったためだ。生成シーケンスが拡大するにつれ、重要な初期ステップが消えてしまうかもしれない。
Moonshotの曲線は、KDAのメモリ制御と定期的なグローバルレイヤーの組み合わせが、テストされた推論ワークロードに必要な有用な状態を十分に保持したことを示唆している。
この報告書は、その結論について独立した再現結果を示していない。また、外部研究者が完全には検証できないMoonshot内部の数学学習データセットを使用している。
ハイパーパラメータを一致させることは公平性を高めるが、すべての比較を決着させるものではない。アーキテクチャ固有のチューニングによって、絶対的な結果が変わったり、差が縮小したりする可能性がある。
考慮すべき別の解釈もある。Kimi Linearのアーキテクチャは、普遍的な品質上の優位性ではなく、Moonshotの学習システムに最適化上の利点をもたらしている可能性がある。
それでも有用ではあるが、主張の範囲はより限定的になる。他のモデル規模、データ混合、報酬設計、学習フレームワークでは、異なる順位になる可能性がある。
480億パラメータのMixture-of-Experts構成も、一般化を複雑にする。30億のアクティブパラメータを持つモデルは、同じアクティブ規模の密なモデルとまったく同じようには振る舞わない。
そのエキスパートレイヤーには、アクティブパラメータ数が示すよりはるかに大きな総容量がある。結果は、スパースエキスパートとハイブリッドアテンションスタックの相互作用に左右される可能性がある。
したがって開発者は、3つの問いを分けて考えるべきだ。KDAはMoonshotのモデルを改善するのか、ハイブリッド型リニアアテンションは比較可能なアーキテクチャを改善するのか、そして特定の本番ワークロードを改善するのか。
論文は最初の問いには有望な証拠を、2番目には信頼できる研究上の手がかりを示している。3番目に答えられるのは、ワークロードレベルの評価だけだ。
エンタープライズ向けエージェントでは、ベンチマーク精度だけでは不十分だ。システムは指示を保持し、適切な証拠を引用し、ツール障害に対処し、繰り返される対話の中で安定性を保たなければならない。
再帰状態アーキテクチャは、検査もより難しい可能性がある。フルアテンションは過去のトークンに直接結び付いたキャッシュを公開する一方、KDAは履歴を学習済みの状態行列へ圧縮する。
その圧縮こそが効率性の源泉だ。同時に、モデルが重要な情報を忘れたり上書きしたりした場合に、障害を直感的に把握しにくくする。
したがって強化学習は、論点を決着させることなくMoonshotの主張を補強する。メモリに直接負荷をかける長出力の学習レジームの下でも、このアーキテクチャが競争力を維持したことを示している。
オープンコードにより主張は検証可能になる一方、ソフトウェアスタックはリスクを加える
Kimi Linearのオープンリリースは検証の障壁を下げるが、実装の正しさがモデルの正しさの一部となる。
Moonshotは論文とともに、事前学習済みおよび指示チューニング済みのチェックポイントを公開した。KDAカーネルとvLLM推論エンジン向けの実装も公開している。
公式リポジトリでは、最大モデル長1,048,576トークンのOpenAI互換vLLMデプロイメントについて説明している。また、同じKDAとMLAの3対1のレイヤー比率も記載している。
研究者はアーキテクチャを調査し、統制された評価を実行し、メモリ消費を比較できる。インフラチームは、報告書のグラフだけに依存せず、カーネルをプロファイリングできる。
モデルの重みは、狙いを定めた障害テストも可能にする。評価者は証拠の位置を変え、競合する事実を導入し、長いprefillの後に生成を延長できる。
この開放性は、新しいアテンション機構にとって特に重要だ。状態レイアウト、チャンク境界、キャッシュ、バッチ処理の小さなエラーが、長文コンテキストの挙動を静かに破損させる可能性がある。
後のvLLMバグ報告は、そのリスクを示している。この報告では、複数のvLLMバージョンでKDAのチャンク化prefillに影響する、再帰状態レイアウトの見かけ上のエラーが特定された。
報告者は、短いプロンプトでは一貫性が保たれる一方、長文コンテキストの検索が失敗することを発見した。needleテストでは、要求されたフレーズではなく近傍のフィラーが返された。
この問題は完了としてマークされたが、その存在はより広い教訓をもたらす。ベンチマーク評価されたモデルアーキテクチャと、本番の提供経路は同じ成果物ではない。
フルアテンションの提供には、長年にわたる最適化、テスト、運用経験がある。KDAには、複数のハードウェアバックエンドにまたがる新しいカーネルと状態管理ロジックが必要だ。
vLLMは現在、Kimi Linear moduleを公開しており、アクセシビリティを向上させている。互換性があるからといって、リリース間で同一の性能や信頼性が保証されるわけではない。
モデルを評価するチームは、正確なソフトウェアバージョンを固定すべきだ。長いprefillでの検索、バッチデコード、prefix caching、チャンク境界をまたぐ状態の挙動をテストする必要がある。
実際の同時実行性も測定すべきだ。論文で最大のスループット向上を得るには、節約したメモリをより大きなバッチに使うことが一部で必要になる。
アプリケーションが低ボリュームのリクエストを1件だけ処理する場合、運用上の利点は異なる可能性がある。高同時実行のエージェントプラットフォームは、より小さなキャッシュから大きな恩恵を得られるかもしれない。
ハードウェアも重要だ。特化カーネルは、NVIDIAのアーキテクチャや代替アクセラレータごとに異なる振る舞いをする可能性がある。理論上の効率が本番環境に届くかどうかは、カーネルの利用可能性で決まるかもしれない。
最も強力な検証は、独立した品質テストとエンドツーエンドの提供測定を組み合わせることだ。評価者は、ハードウェア、精度、バッチサイズ、入力長、出力長、ソフトウェアコミットを報告すべきである。
また、従来のマルチヘッドアテンションだけでなく、最適化されたMLAとも比較すべきだ。MoonshotはMLAをベースラインに選んでおり、これにより主張されるキャッシュ削減の達成基準はより厳しくなる。
このリリースは、その作業を可能にした点で評価に値する。多くのアーキテクチャに関する主張は重みや効率的なコードなしに発表され、外部者は中心的な結果を再現できない。
それでも、オープンな成果物が論文の結論を自動的に正しくするわけではない。企業の主張を、反証可能なエンジニアリング上の命題へと変えるのである。
Kimi Linearリリース後に注目すべき点
次の判断は、独立した再現、安定した提供サポート、そしてより大きな本番モデルでの採用にかかっている。
最初のシグナルは、条件を一致させた学習下でのベンチマーク再現だ。独立したチームは、同等のパラメータ数、データ、学習予算を用い、ハイブリッドKDAとフルアテンションを比較する必要がある。
推論のみの比較では、アーキテクチャの寄与を切り分けられない。モデルはデータ品質、エキスパートルーティング、最適化、事後学習の違いを持つ可能性がある。
最も価値の高い研究では、複数のアーキテクチャをゼロから学習させることになる。短文コンテキストの言語モデリング、長文コンテキスト検索、コードタスク、強化学習を対象にすべきだ。
一貫した改善が見られれば、Moonshotの中心的な主張は強化される。結果が混在すれば、Kimi Linearは特定の規模や学習レシピで最も効果を発揮することが示唆される。
2番目のシグナルは、vLLMリリースとハードウェアプラットフォームをまたぐ提供の信頼性だ。長文コンテキストテストは、KDA状態処理の定例的な回帰チェックとなるべきである。
安定したサポートがあれば、このアーキテクチャは本番エージェント向けとして信頼性を得る。状態やカーネルの障害が繰り返されれば、論文のモデルレベルの結果にかかわらず、評価は弱まる。
チームは、デプロイツールがKDAの正しさを損なうことなく、prefix reuse、量子化、speculative decoding、continuous batchingをサポートするか注視すべきだ。こうした機能が実際の提供コストを左右する。
3番目のシグナルは、アーキテクチャの採用だ。最も強い支持は、より大規模なMoonshotシステムや無関係なモデルファミリーにKDAが採用されることだろう。
採用は、Moonshotがこの設計を1つの研究用チェックポイントを超えてスケール可能と考えていることを示す。外部での利用は、他チームが学習と推論における利点を再現できることを示すだろう。
より大きなデプロイメントは、この設計をさらに難しいワークロードにもさらす。マルチエージェントタスク、リポジトリ規模のコーディング、リサーチ統合、長時間のツール利用は、学術ベンチマークとは異なる形でメモリに負荷をかける可能性がある。
読者は、この話を6倍の速度という主張に還元すべきではない。その数値は、Moonshotが報告した設定の中で最も有利な長文コンテキストデコード時点を表している。
より大きな進展は、品質優先のデフォルトとしてのフルアテンションの地位に対する信頼できる挑戦だ。Kimi Linearは再帰型の効率性と、通常の妥協を避けるのに十分なグローバルアクセスを組み合わせている。
開発者にとって実務上の問いは具体的だ。このアーキテクチャは、長い生成の全期間を通じて、アプリケーションに必要な証拠と指示を保持できるのか。
インフラチームにとっての問いは、利用可能な容量に関するものだ。キャッシュの削減は、代表的なトラフィックの下で、より大きな安全なバッチ、より低いレイテンシ、またはより少ないアクセラレータにつながるのか。
エンタープライズの購入者にとっては、アーキテクチャのラベルより信頼性を優先すべきだ。ベンダーには、長文コンテキスト検索テスト、ソフトウェアバージョン、同時実行性の前提、障害分析を求めよう。
Kimi Linearは今、業界に具体的なテスト対象を与えている。最も長い実際のプロンプトで実行し、出力を延長し、何が残るかを検証してほしい。独立した結果がMoonshotの報告と一致するなら、フルアテンションには慣れ親しんだこと以上に強い擁護が必要になる。
