GoogleとMITの遺産、LLMの次なる大物を追うスタートアップ

GoogleとMITの研究は、9年前にGoogleの研究者8人がトランスフォーマーを発表して以来、最も鋭いアーキテクチャ上の挑戦に直面している。スタートアップは、ほぼすべての主要LLMを支える仕組みが、業界の標準であり続けるべきなのかを問い直している。

この対立は、別のチャットボットを作る話ではない。ChatGPT、Claude、Gemini、そして大半のオープンモデルの下層にある計算構造をめぐるものだ。Subquadratic、Liquid AI、Cartesia、AI21 Labsは、各層で密なアテンションを実行せずに長いシーケンスを処理するシステムを探求している。

提案は、スパースアテンションから状態空間モデル、畳み込みを多用するハイブリッドまで幅広い。いずれも、メモリ使用量の削減、処理の高速化、実用的なコンテキスト長の拡大を約束する。ただし、重要なタスク全般でトランスフォーマーを置き換えたものはまだない。

この条件こそが競争を規定する。次に重要となるLLMアーキテクチャは、見栄えのする研究室のチャートを生み出すだけでは勝てない。企業がすでに使っているソフトウェア、チップ、デプロイメントシステムの中で動作しながら、推論能力と想起を維持しなければならない。

トランスフォーマーの成功が、みずからのボトルネックを生んだ

現代の生成AIを切り開いたアーキテクチャは、入力量が増えるほどコストが高くなる。

Googleの研究者は、2017年の論文Attention Is All You Needでトランスフォーマーを発表した。この論文は再帰的な処理をアテンションに置き換えた。アテンションは、入力のどの部分を重視すべきかをモデルが計算できるようにする仕組みだ。

アテンションはトレーニングの高度な並列化を可能にした。また、文書内で離れた位置にある情報をモデルが結び付ける助けにもなった。こうした利点が、今日の大規模言語モデルにつながるスケーリングの道筋を支えた。

自己アテンションの標準的な形式では、シーケンス内の各トークンを他のすべてのトークンと比較する。トークンは単語の一部など、小さなテキスト単位だ。そのため、シーケンス長が2倍になると、アテンション演算におけるペアごとの比較はおおむね4倍になる可能性がある。

エンジニアはこの挙動を二次スケーリングと呼ぶ。あらゆるデプロイ条件でモデル全体のコストが正確に4倍になるという意味ではない。ハードウェア、キャッシュ、バッチ処理、実装上の選択も結果に影響する。

それでも、この基礎的な関係は負荷を生む。短い質問に答えるチャットボットであれば密なアテンションを比較的容易に許容できるが、複数のリポジトリ、数カ月分のメッセージ、長い行動履歴を読むエージェントでは事情が異なる。

コンテキストウィンドウは拡大してきたが、モデルが公表する上限が、その上限付近での手頃で正確な利用を保証するわけではない。チームはプロンプト処理に必要な時間、メモリ消費、推論コスト、そしてモデルが適切な証拠を見つけられるかを考慮する必要がある。

検索拡張生成（RAG）は、モデルに回答を求める前に関連する文章を選び出すことで負担を減らす。特に組織が大規模なAIナレッジベースを維持している場合に、依然として有用だ。

一方で、検索は別の失敗点も導入する。検索レイヤーが重要な文章を除外すれば、モデルはそれを目にすることすらない。より多くのソース資料を直接調べられるシステムは、コード分析、法務レビュー、調査、永続的に動作するエージェントにおいて、そのリスクを下げられる可能性がある。

この見通しが、アーキテクチャ研究に商業的な緊急性を取り戻した理由だ。追加の計算資源でトランスフォーマーを拡張することはできるが、ますます長くなるプロンプトは、チップの改良だけでは解消できない構造的コストを露呈させる。

ここでGoogleとMITのつながりが重要になるのは、Googleが基礎となる論文を発表し、その後MITにゆかりのある研究者が代替案を追求する企業の設立に関わったためだ。この競争は二つの組織の対立というより、学術的な洞察が競合する実運用システムへ移行する過程といえる。

スタートアップは、現行モデルがうたう性能と、顧客が現実にデプロイできるものとの間に機会を見いだしている。品質を損なわずに長いコンテキストを低コスト化できれば、モデルラボとインフラ提供企業の双方に圧力をかけられる。

GoogleとMITの研究から生まれているのは、単一の代替案ではない

ポスト・トランスフォーマーの設計は一つに定まっておらず、スタートアップは異なる技術的賭けに問題を分けて取り組んでいる。

Subquadraticは最も直接的なアプローチを取っている。マイアミ拠点のこのスタートアップは、SubQモデルがSubquadratic Sparse Attention（SSA）を用い、考えられるすべてのトークン間関係を調べずに済むとしている。

スパースアテンションは、モデルが評価するトークンのペアを限定する。難しいのは、密なアテンションで必要となる高コストな処理を実行する前に、どの接続が重要かを選ぶことだ。

Subquadraticによれば、その仕組みはコンテキスト長に対して線形にスケールし、1,200万トークンの研究用コンテキストをサポートする。公開された例には、ソフトウェアリポジトリ全体や長期稼働するエージェントの履歴が含まれる。

これらは企業の主張であり、業界で確立した結論ではない。同社の技術説明によると、SSAは大半の比較を省きながら重要な関係を特定する。

Liquid AIは異なる賭けに出ている。MITにルーツを持つ研究者によって設立された同社は、デバイスなどリソースに制約のある環境向けにLiquid Foundation Modelsを開発している。

同社のLFM2アーキテクチャは、アテンションを完全には排除しない。ゲート付き短距離畳み込みと、少数のGrouped-Query Attentionブロックを組み合わせている。

畳み込みは、再利用可能なフィルターを通じて局所的なパターンを処理する。Grouped-Query Attentionは、複数のクエリヘッドにキーと値の表現を共有させることで、メモリ要件を抑える。

Liquidによれば、LFM2はハードウェアを考慮したアーキテクチャ探索で選定された。つまり、抽象的な演算数だけを最適化するのではなく、実際のメモリ特性や速度特性に照らして設計を評価したということだ。

同社のLFM2の設計には、アテンションブロックより多くの畳み込みブロックが含まれる。この構成は、CPUや組み込みプロセッサでの高速実行を狙っている。

Cartesiaは、変化する内部状態を通じてシーケンスを要約する状態空間モデル（SSM）を追求している。SSMは、すべてのトークンペア間の明示的な関係を保持する代わりに、新たな入力が到着するたびにコンパクトな表現を更新する。

Cartesiaの創業者は、選択的状態空間アーキテクチャであるMambaの開発に関わった。選択性により、モデルは現在の入力に基づいて、どの情報を保持し、どの情報を忘れるかを判断できる。

元のMamba研究は、シーケンス長に対する線形スケーリングと、実験における同等のトランスフォーマーを上回るスループットを報告した。また、言語、音声、ゲノミクスにまたがる応用例も示した。

Cartesiaは商業活動の多くを音声に集中させている。インタラクティブな音声システムは、変化し続ける会話を追跡しながら迅速に応答しなければならないため、効率的なシーケンス処理にとって音声は自然な実証の場となる。

AI21 Labsは第4の道筋を示す。同社のJambaアーキテクチャは、Mamba層をトランスフォーマーのアテンションおよびMixture-of-Expertsコンポーネントと交互に配置する。

Mixture-of-Expertsモデルは、各トークンに対してネットワーク全体の一部だけを活性化する。これにより、各計算で全パラメータを使用せずに、総容量を増やせる。

Jambaの設計は、効率的なシーケンス処理と密なアテンションがそれぞれ異なる問題を解くという実用的な結論を反映している。AI21はグローバルな想起のために一部のトランスフォーマー層を残しつつ、メモリ負荷を抑えるためにMamba層を使う。

こうしたアプローチにより、GoogleとMITの物語は分岐するアーキテクチャ競争へと変わる。Subquadraticはアテンションを維持しつつスパース化しようとしている。Liquid AIはアテンションと畳み込みを組み合わせる。Cartesiaは状態空間処理を重視し、AI21は状態空間層とトランスフォーマー層を混在させる。

共通の目標は効率性だ。見解が分かれるのは、有用な回答を生む関係を損なわずに、LLMが何を安全に捨て、圧縮し、局所的に処理できるかという点である。

スパースアテンションは最も大胆な主張を掲げる

Subquadraticは密なアテンションに正面から挑んでいるが、その証拠は約束の規模に追いつく必要がある。

Subquadraticは2026年5月、異例に大きな主張とともに公に登場した。SubQはトランスフォーマーモデルよりはるかに少ないアテンション計算で、最大1,200万トークンに及ぶコンテキストを処理できるという。

その容量があれば、一つのプロンプトで複数の完全なリポジトリ、あるいは大量の契約書群を扱える。エージェントが過去を何度も要約し直すことなく、はるかに長い運用記録を保持することも可能になる。

同社は、考えられるトークン間関係の大半は結果への寄与が小さいため、密なアテンションは計算を無駄にしていると主張する。SSAは、重要な小さな部分集合を見つけようとする。

これはランダムな接続を単に削るより難しい。関連する手掛かりは数百万トークン離れた場所に現れる可能性があり、その重要性はモデルが別の文章を読んだ後に初めて明らかになることもある。

したがって、スパースアーキテクチャには効果的なルーティング機構が必要になる。誤った接続を選べば、計算量の削減は想起や推論能力を犠牲にして実現される。

Subquadraticによれば、そのアーキテクチャはコンテンツ依存の選択を行う。モデルは固定された局所ウィンドウだけに頼るのではなく、入力からアテンションパターンを選択する。

初期のローンチは、公開アクセスと技術詳細が限られていたため懐疑的な見方を集めた。同社はその後、追加のベンチマーク情報を公開し、Appenが実施した評価を引用した。

元のMIT分析によれば、独立研究者のWill Depueは、研究者たちが密なアテンションのコストを克服する多くの方法を試みてきたと指摘した。

この経緯は重要だ。スパースアテンション、線形アテンション、再帰型ネットワーク、長距離畳み込み、圧縮メモリはいずれも利点を示してきた。その多くは、離れた位置からの正確な検索が求められるタスクで苦戦もしている。

SubQの系譜も懸念材料の一つだ。MIT Technology Reviewは、同社がSubQの初期化を助けるため、AlibabaのQwenモデルの一バージョンから重みを再利用したと報じた。

重みとは、ニューラルネットワークの挙動を決める学習済みの値だ。それを再利用すれば開発を加速できるが、新しいアーキテクチャがどの部分を独力で学習したかという主張は複雑になる。

変換またはブートストラップされたモデルは、トランスフォーマーによるトレーニングから能力を受け継ぐ可能性がある。それは新たな仕組みを無効にするものではないが、そのアーキテクチャが最初から効率的にトレーニングできるかは未解決のままだ。

この区別は商業的に重要だ。既存モデルを変換する手法でも、価値あるインフラになり得る。ゼロから競争力のある基盤モデルをトレーニングできる手法であれば、市場全体の経済性に挑戦することになる。

開発者に必要なのは、コンテキスト上限の実証だけではない。安定したAPI、予測可能なレイテンシー、ツール利用の精度、構造化出力、セキュリティ制御、一般的な推論フレームワークとの統合も必要になる。

長いコンテキストには、独自の評価問題もある。モデルは技術的には数百万トークンを受け入れられても、関連する事実を見落としたり、それらを誤って組み合わせたりする可能性がある。

単純なニードルテストでは、長い入力の中に特徴的な事実を置き、モデルにそれを取り出すよう求める。これは基本的な想起を測るが、多数のファイルにまたがって証拠が散在するタスクは捉えられない。

リポジトリのメンテナンスは、より厳しいストレステストとなる。モデルには、インターフェースを特定し、依存関係をたどり、テストを理解し、離れたコンポーネントを壊さずに変更を加える能力が求められる。

法務・金融分析にも同様の要件がある。正しい結論は、多数の文書に散在する定義、例外、改正、日付に左右されうる。

Subquadraticは、その疎なルーティングが敵対的なワークロードと通常のワークロードの両方で、こうした関係を維持できることを示さなければならない。単一のベンチマーク提供者による評価よりも、複数分野にまたがる独立したテストの方が重みを持つ。

課題は明確だ。同社は二次的な注意機構を直接攻撃する仕組みを提示したが、広範な採用には、再現可能な証拠と利用しやすいモデルが必要になる。

ハイブリッドモデルは明確な決別に賭けない

Liquid AIとAI21は、注意機構を取り除くべき欠陥部品ではなく、配分を抑えるべき高価な要素として扱っている。

ハイブリッドアーキテクチャは、トランスフォーマーが柔軟で内容に基づく想起において依然として非常に優れている、というエンジニアリング上の判断を反映している。その弱点は、この能力をあらゆる場面に適用するコストにある。

Liquid AIのLFM2は、シーケンス処理の多くを短い畳み込みに割り当てる。これらのブロックは局所的なパターンを効率的に調べ、密な注意機構に伴うキャッシュの拡大を回避する。

このモデルには、より広範な比較が有益な操作向けに注意ブロックも含まれる。この分担は、通常は低コストな局所処理を使い、必要なときだけグローバル分析を呼び出すシステムに似ている。

Liquidのハードウェアを意識した手法は、理論比較の弱点も浮き彫りにする。漸近的なスケーリングが優れた操作であっても、スマートフォン、ノートPC、GPU、アクセラレータ上で自動的に高速化するわけではない。

現代のAIハードウェアは、トランスフォーマーのワークロード向けに大幅な最適化が施されている。密な行列乗算は、成熟したカーネル、コンパイラ、サービングシステムの恩恵を受ける。

新しいアーキテクチャは理論上の演算回数を減らせても、ソフトウェアが効率的にスケジューリングできなければ遅く動作する可能性がある。メモリ移動、キャッシュの挙動、バッチサイズは、レイヤーを記述する方程式と同じほど重要になりうる。

Liquidはアーキテクチャ探索を用いて、こうした制約を直接評価している。同社によると、2026年のLFM2-24B-A2Bモデルは総パラメータ数240億で、各トークンに対してアクティブになるのは約20億だ。

このモデルは、疎なMixture-of-Expertsシステムと、LFM2の畳み込みを多用するバックボーンを組み合わせている。Liquidは、32ギガバイトのメモリに収まり、一部の高性能コンシューマー向けシステムでローカル展開が可能になるとしている。

これらはベンダーが報告した特性だ。その品質がより大規模なクラウドモデルと比べてどうなのかは、独立したアプリケーションテストで判断する必要がある。

この路線は商業的にも一貫している。多くの組織は、すべてのタスクに利用可能な最大モデルを必要としているわけではない。制御可能なレイテンシー、プライバシー、インフラ利用と両立する許容可能な品質を必要としている。

オンデバイスモデルは、すべての入力をリモートサービスに送信することなく、非公開文書の分類、コマンド解析、要約、音声インターフェースを支援できる。ネットワークアクセスが限られる状況でも動作を続けられる可能性がある。

AI21のJambaは、状態空間モデルの方向から同様の折衷策に到達している。このアーキテクチャは、どちらか一方に全面的にコミットするのではなく、Mambaとトランスフォーマーのコンポーネントを交互に配置する。

AI21によると、純粋な状態空間モデルは想起に苦労することがある。Jambaは、シーケンス全体にわたる詳細情報へのアクセスを回復するため、ときどき注意レイヤーを残している。

同社のJamba architectureも、総モデル容量とアクティブな計算を分離するためにMixture-of-Expertsレイヤーを採用している。

このアプローチは、注意機構が不要だという明快な主張を手放す。その代わり、最も重要な領域では既知のトランスフォーマーの挙動を維持できるため、本番環境へのより保守的な道筋を得る。

したがって、ハイブリッドシステムは従来型モデルに対する短期的に最も強い圧力となる。トランスフォーマーが誤りだったと証明する必要はない。

示すべきなのは、すべてのレイヤーに同じ高価な操作が必要なわけではないということだけだ。この主張が成り立てば、モデル開発者は確立された学習・展開手法を維持しつつ、注意機構を段階的に減らせる。

この道筋は、過去のコンピューティングの移行に似ている。新しい設計は、汎用的なデフォルトを置き換える前に、専門的なコンポーネントとして導入されることが多い。

グラフィックスプロセッサは、当初は限定的なワークロードを高速化し、その後AIの中核になった。ソリッドステートストレージは、性能に敏感な多くの役割を担うようになる前に、ハードディスクと共存していた。

注意機構の代替技術も同じパターンをたどりうる。畳み込みや状態空間レイヤーが、まず局所処理、ストリーミング入力、長い履歴を担うかもしれない。注意機構は、難しいグローバルな関係を引き続き担える。

その結果生まれるアーキテクチャには、印象に残る一つの名称が付かないかもしれない。対象となるハードウェアとワークロードに合わせて構成される、調整可能な混合体になる可能性がある。

この可能性は、LLMにおける次の大きな変化が、もう一つの「Attention Is All You Need」の瞬間ほど劇的ではないことを示している。それは、注意機構を使う場所が着実に減っていく形で到来するかもしれない。

本当の競争は計算資源あたりの品質にある

代替アーキテクチャが勝つのは、その節約効果が精度、レイテンシー、展開の複雑さに関する現実的なテストを乗り越えた場合だけだ。

モデル比較は、しばしば一つの側面だけを切り出す。論文では、計算複雑性の低下、より長いコンテキストウィンドウ、または高いトークン処理量が報告されるかもしれない。

企業の購入者が直面するのは、複合的な方程式だ。レイテンシー、メモリ、信頼性の予算内で、システムがどれだけ有用な仕事を完了できるかを重視する。

契約上の例外を見落とす高速モデルは、効率的とはいえない。想起性能が優れていても応答時間が予測不能なモデルは、インタラクティブなソフトウェアには不向きな場合がある。

したがって、この競争における主な対戦相手は、一社のスタートアップや既存企業ではない。トランスフォーマーが確立してきた、品質とインフラのバランスだ。

Google、OpenAI、Anthropic、Metaなどの研究所は、トランスフォーマーシステムを改善し続けられる。最適化された注意カーネル、より優れたキャッシュ、量子化、蒸留、より高速なアクセラレータを活用できる。

また、成功した代替コンポーネントを採用することもできる。新しい仕組みを実証したスタートアップは、自らのモデルファミリーを置き換えなくても、既存企業に影響を与えうる。

互換性も、もう一つの防御上の利点をもたらす。トランスフォーマーの推論は、成熟したGPUカーネル、分散学習システム、最適化ライブラリ、展開プラットフォームの広範な集合で動作する。

新しいリカレント演算や疎な演算には、カスタムカーネルやキャッシュロジックが必要になる場合がある。性能障害が既知のトランスフォーマーの挙動とは異なるため、開発者には新たな監視ツールが必要になる可能性がある。

学習の安定性も、もう一つの試金石である。研究者は、多くのモデル規模とデータセットにわたってトランスフォーマーがどう振る舞うかを理解している。代替アーキテクチャについては、最大規模での証拠が少ない。

モデルは数十億パラメータ規模では効率的に見えても、さらに大きくスケールさせると最適化の問題に直面する可能性がある。また、より弱い想起を補うためにレイヤーや学習データを増やす必要があれば、優位性を失うこともある。

ベンチマークの選択は、こうした違いを隠しうる。一般知識テストは、複数ファイルにまたがる推論についてほとんど示さないかもしれない。長文コンテキスト検索テストも、会話品質やツール利用を予測しない可能性がある。

最も強力な評価は、アーキテクチャを実際の仕事に結び付ける。関連するタスクには、大規模リポジトリの修正、矛盾する報告の照合、長い会話を通じた事実の追跡、時間依存の記録の分析が含まれる。

テストでは、回答品質とともに、最初のトークンまでのレイテンシー、総完了時間、ピークメモリ、エネルギー使用量、ハードウェア利用率を測定すべきだ。

また、比較が同等のパラメータ数、学習データ、コンテキスト長、精度設定、サービング条件を用いているかも開示すべきである。

こうした統制がなければ、主張されるアーキテクチャ上の優位性は、異なるエンジニアリング上の選択を反映しているだけかもしれない。正確な数値であっても、テスト条件が異なれば誤解を招く印象を与えうる。

Google MITというキーワードは、実際の系譜を捉えているが、明確な組織間対立を表すものではない。Googleの研究者はトランスフォーマーを導入し、MITの研究者は複数の代替的な研究系統に貢献してきた。

現在の重要な競争は、アーキテクチャの成熟度とアーキテクチャの効率性の間で進んでいる。トランスフォーマーは高い能力に至る既知の道筋を提供し、挑戦者はより少ない計算の無駄で同等の能力に到達すると約束する。

どちらの側にも恒久的な優位性はない。既存企業は検証済みのアイデアを模倣できる一方、スタートアップは長年のレガシーインフラを支える必要なく、自らのシステムを最適化できる。

顧客は、宣伝されるコンテキスト長を決定的な指標として扱うべきではない。より良い問いは、固定された予算の中で、モデルがどれだけ関連情報を正確に利用できるかだ。

開発者にとって、これは公開リーダーボードだけに頼るのではなく、代表的なデータでモデルをテストすることを意味する。法務チーム、ソフトウェア企業、音声プラットフォームでは、それぞれ異なるアーキテクチャ上の弱点が明らかになる。

ナレッジワーカーにとっては、より効率的な長文コンテキストにより、繰り返しのアップロードや要約が減る可能性がある。また、より大きな仕事のまとまりにわたって、アシスタントが継続性を保つ助けにもなりうる。

こうした利点は、プライバシーとアクセス制御に依存する。数百万トークンを読み取れるモデルは、誤った文書を渡したり、情報を過度に広く保持したりした場合の影響を拡大する。

アーキテクチャだけで、こうしたガバナンス上の問題を解決することはできない。変えられるのは、システムが処理できる情報量と、それに必要なリソースだけだ。

ポストトランスフォーマー競争の進展で注目すべきこと

三つのシグナルが、スタートアップが後継者を見つけたのか、それともトランスフォーマースタックに有用な追加要素をもたらしただけなのかを示す。

最初のシグナルは、SubQへの独立したアクセスだ。外部の研究者には、長文コンテキストの結果を再現し、難しい検索パターンをテストし、変化するワークロード下での性能を調べるのに十分な利用可能性が必要である。

ユーザーがその品質と線形スケーリングの主張を検証できれば、幅広いリリースはSubquadraticの主張を強める。アクセスが引き続き限定されれば、このアーキテクチャをめぐる不確実性は残る。

最も有用なテストは、長いプロンプトに一つの事実を挿入するだけでは不十分だ。ファイルをまたいで証拠を結び付け、誤解を招くコンテキストを退け、入力が増えても精度を維持することをモデルに求めるべきである。

研究者は、開示されたハードウェア上での処理時間とメモリ使用量も比較すべきだ。そうでなければ、計算資源の節約に関する主張を展開判断へ落とし込むことは依然として難しい。

二つ目のシグナルは、ハイブリッドレイヤーのより広い採用だ。Liquid AIとAI21の設計では、業界が注意機構を放棄する必要はないため、段階的に広がりうる。

モデル開発者が注意レイヤーの比率低下を開示し始めるか、あるいは新たな本番モデルに畳み込みや状態空間コンポーネントを採用するかを注視したい。

この変化は、記事の中心的な判断を裏付ける。最初のポストトランスフォーマー時代は、注意機構を排除する前に、その使用を抑制する可能性が高い。

ハードウェアとソフトウェアのサポートも、同じ傾向を明らかにする。ハイブリッドモデル向けのネイティブカーネル、推論エンジン、監視ツールが登場すれば、アーキテクチャの選択に伴うリスクは下がる。

三つ目のシグナルは、永続的なエージェントにおける性能だ。エージェントは、時間の経過とともに指示、ツールの結果、コード変更、失敗した試行を蓄積するため、厳しいシーケンス上の問題を生み出す。

現在のシステムは、その履歴を圧縮または破棄することが多い。要約はコンテキストを節約するが、エージェントが後から必要とする詳細を取り除いてしまう可能性がある。

疎なモデルや状態空間モデルは、そのメモリに関する主張が成り立つなら、この領域で明確な優位性を示すべきだ。エージェントは、制約を失ったり、作業を繰り返したり、コンテキストコストが制御不能に増えたりすることなく、より長いプロジェクトを完了できるべきである。

ここで、名目上のコンテキストと実用上のコンテキストの差が明確になります。モデルは、過去のすべてのトークンを同じ重要度で記憶する必要はありません。適切な前提と根拠を保持することが求められます。

Transformerが標準であり続けるのは、柔軟なAttention、スケーラブルな学習、成熟したインフラを兼ね備えているためです。9年にわたる改良により、この組み合わせを上回ることは容易ではなくなっています。

とはいえ、業界のワークロードは変化しています。より長大なリポジトリ、マルチモーダルな記録、継続的な音声、常駐型エージェントはいずれも、Dense Attentionの弱点を増幅させます。

LLMにおける次の大きな潮流を追うスタートアップ各社は、まだ共通の答えを持っていません。その意見の相違は、実際の設計空間を浮き彫りにするという意味で有益です。

Subquadraticは、スパースルーティングによってグローバルな推論を維持できるかを問います。Cartesiaは、状態が明示的なトークン間関係に置き換わり得るかを検証しています。Liquid AIとAI21は、高性能なモデルに必要なAttentionがどこまで少なくてよいのかを問いかけています。

これらのシステムのいずれかが成功しても、GoogleとMITのレガシーが消えることはありません。Transformerは、Attentionを現代AIの中核的なメカニズムとして確立し、その後継は多くのアイデアを受け継いでいくでしょう。

より起こりやすい変化は、アーキテクチャの多元化です。モデルは、デバイス、ワークロード、必要なメモリに応じて、異なるシーケンス機構を組み合わせるようになるでしょう。

開発者が注視すべきなのは、Transformerの終焉に関する宣言ではなく、計算資源あたりで検証された品質です。企業の購入担当者は、検索、ツール利用、レイテンシー、アクセス制御を含むワークフロー全体をテストすべきです。

独立して検証されたスパースAttention、より広範なハイブリッドモデルのサポート、あるいは細部を失わずに数か月分の履歴を活用できるエージェントのうち、どのシグナルが最初にあなたのモデル戦略を変えるでしょうか？