Google DeepMind研究者の流出、LLMスケーリングに対抗する賭けへ資金流入

Google DeepMindの研究者が目に見える規模で退職しており、複数の元社員が大規模言語モデルに代わる手法を追求するため巨額の資金を調達している。Google DeepMindからの研究者流出には現在、AlphaGo、強化学習、シミュレーション、機械推論のベテランが含まれる。

これらの退職が重要なのは、研究者たちが単に小規模な企業の中でGeminiを再現しようとしているわけではないためだ。彼らのスタートアップは、継続学習、拡散、シミュレーション、計画によって、トランスフォーマー型言語モデルが抱えると見なす限界を克服できると賭けている。

これはGoogleにとって居心地の悪い逆転でもある。DeepMindは、相互作用、ゲーム、科学データ、シミュレートされた環境から学習する研究プログラムを通じて評価を築いた。現在は商業的な圧力によってGeminiに注目が集中する一方、DeepMindの初期の成功を支えた研究者の一部は、そうした実験的伝統を別の場所で再構築している。

したがって中心となる競争は、Googleと単一のスタートアップの対決ではない。言語モデルをスケールさせる支配的な戦略と、成長を続ける代替的な学習システム群との競争である。

投資家は研究者自身を価値ある資産として扱っている。しかし、大型の資金調達ラウンドだけでは、新たなアーキテクチャが有用かつ測定可能なタスクにおいてLLMを上回るかどうかは立証できない。

Google DeepMind研究者の流出が資金調達パイプラインに

個々の退職者の集まりが、DeepMindの研究から潤沢な資金を得たスタートアップの設立へと至る、再現可能な経路になっている。

最も分かりやすい場面は、9月にロンドンで開かれた非公式の集まりだった。報道によると、現職および元DeepMind社員15人がGoogleの英国本社近くで会い、シリコンバレーの投資家が何に資金を出したがっているのかを話し合った。

この朝食会は資金調達の発表ではなかった。それでも、現役社員、元社員、スタートアップの志向、ベンチャー投資家の需要を一室に結び付けたという点で、示唆的な場面だった。

より広範な流出に関する報道では、このネットワークから生まれつつある複数のプロジェクトが取り上げられている。それぞれが、現在のLLM時代の次に何が来るべきかという問いに、異なる技術的仮説を適用している。

DeepMindで約10年を過ごしたNando de Freitasは、少なくとも1億ドルの初回調達について協議していると報じられている。彼が構想するRevolution Labsは、主要なチャットボットの大半を支えるトランスフォーマー・アーキテクチャではなく、拡散モデルに焦点を当てるという。

拡散モデルは、データをノイズで徐々に破壊する過程を逆転させることを学習する。画像生成との関連で広く知られるが、研究者はその基盤となる手法を他の予測形式にも適用できる。

AlphaGoを支えた中心的研究者の一人であるDavid Silverは、Ineffable Intelligenceを設立するために退職した。Bloombergは別途、同社が評価額51億ドルで11億ドルを調達したと報じた。

Ineffableは、固定的な訓練を超えることを目指す学習システムを開発している。その正確なアーキテクチャと性能は、依然として大部分が公開されていない。

同じくAlphaGoに貢献したThore Graepelは、夏にDeepMindを離れた。報道によると、科学、工学、ロボティクス向けの推論システムに注力するMetis Reasoningの資金調達を目指している。

Emulateは別の道筋を取っている。同社はJack Parker-Holderを含む元DeepMind研究者が設立し、7億ドルの資金調達について協議していると報じられている。

その目標は、現実世界をシミュレートし予測するシステムを構築することだ。これは、環境を表現し、行動後に環境がどう変化するかを予測するワールドモデルに近い位置付けとなる。

これらのベンチャーには、コーディング、エージェント、ロボティクス、科学的発見、継続学習に取り組む、より小規模なDeepMind発の企業も加わっている。それらは協調した組織を成すものではなく、技術計画を同一視すべきではない。

それらをつなぐのは資金調達の仕組みである。投資家は、広く認知されたブレークスルーに関わった研究者を見いだし、その研究所が成熟した製品を持つ前に新たなラボへ資金を供給する。

このモデルは、通常のスタートアップの順序を逆転させる。従来型の企業は需要を実証し、プロダクトマーケットフィットを見つけ、証拠の蓄積に伴ってより大きなラウンドを調達する。

こうしたAIラボは、チーム、研究仮説、評価の高い機関での経歴を軸に多額の資本を調達できる。公開デモや安定した収益は、はるか後になってから生まれる可能性がある。

この順序は、創業者に難しい研究を追求する時間を与える。一方で、成果が出る前の実績や肩書きに投資する投資家へ、技術的・商業的リスクの多くを移転することにもなる。

Geminiへの商業的集中が残留コストを変える

Geminiを戦略的に不可欠にする同じ商業的集中が、研究人材をDeepMindに引き付けてきた自由を狭め得るため、Googleは圧力に直面している。

DeepMindは歴史的に、研究者が学習、計画、ゲーム、生物学、汎用アルゴリズムを調査する余地を与えてきた。AlphaGoが決定的な成果となったのは、ニューラルネットワーク、探索、強化学習を組み合わせたためだ。

強化学習では、システムは自らの行動に対してフィードバックを受けることで改善する。固定されたデータセットの次の項目を単に予測することとは異なる。

AlphaGoは専門家による対局記録と、繰り返される自己対戦から学習した。その後のAlphaGo Zeroは人間の対局記録を取り除き、自身との対局から学習した。

GoogleのAlphaGoの記録では、同システムが方策ネットワークと価値ネットワークを探索と組み合わせた方法が説明されている。この系譜は今なお重要であり、退職した研究者の何人かがその構築に携わった。

大規模言語モデルの動作は異なる。トランスフォーマーは膨大なデータセット全体にわたる統計的関係を学習し、テキストやコードの小さな単位であるトークンを予測して出力を生成する。

現代のシステムには、ツール、検索、マルチモーダル入力、強化学習が追加されている。それでも商業競争は、モデル規模、コーディング性能、エージェント機能、既存製品全体への展開に大きく集中している。

Googleは、消費者向けアシスタント、エンタープライズソフトウェア、検索、クラウドサービス、開発者ツールにまたがってOpenAIやAnthropicと競争するため、Geminiを必要としている。これは、実行を集中させたいという理解可能な要求を生む。

元DeepMind科学者のJanusz Mareckiは、より困難な社内的帰結を説明した。彼はBloombergに対し、チームは他の仕事をやめて大規模言語モデルに集中するよう、トップダウンの圧力に直面していたと語った。

Mareckiは現在、Ahren Innovation Capitalで働く一方、自身の継続学習企業FractalBrainの資金を調達している。彼の視点には、元社員、投資家、創業予定者という役割が重なっている。

彼の説明は、すべてのDeepMindチームが同じ方向を向いていることを示すものではない。しかし、商業的にすぐには成果につながらないアイデアを持つ研究者にとって、独立した資金調達がなぜ魅力的なのかは説明している。

Google内で働く科学者は、計算資源、エンジニアリング支援、独自データ、実運用製品へのアクセスを得られる。退職すれば、そうした利点を手放し、資金調達、採用、運営、製品に関するリスクを引き受けることになる。

投資家が同じロードマップなしに研究環境を再現できるだけの資金を提供するなら、このトレードオフは魅力的になる。現在の市場は、この選択肢を通常より早い段階で利用可能にしている。

DeepMindのリーダーシップ変更は、移行期にあるという印象を強めた。Demis HassabisはAlphabetのチーフサイエンティストに移り、Koray Kavukcuogluがラボの日常的な運営を引き継いだ。

Hassabisは、人材の移動が一方向の頭脳流出を示すという考えを退けている。主要なラボ間では研究者の交流があり、Googleは引き続き幅広い研究陣を維持していると主張する。

この反論には実質的な根拠がある。Googleは依然として大規模なチームを雇用し、広範な計算インフラを運用し、言語、動画、生物学、数学、ロボティクス、シミュレーションに取り組んでいる。

Google自身の研究も、同社がLLMに代わる手法を放棄したという主張を複雑にする。同社のGenieプログラムは、インタラクティブなワールドモデルを明示的に開発している。

公開されたGenie 3の詳細では、テキストから探索可能な環境を作り出すシステムが説明されている。Googleはこれらの環境を、エージェントの訓練・評価空間として位置付けている。

したがってGoogleは、この新たな競争の両側に位置している。主要なLLMファミリーを商業化する一方、ワールドモデル、計画、科学、身体性を持つエージェントの研究も継続している。

圧力は、リソース配分、速度、研究者の自律性から生じる。幅広い企業ポートフォリオがあっても、個々の科学者には自分が望む道筋が十分な優先度を得ていないと感じられることがある。

元DeepMind研究者たちがアーキテクチャの問いを再び開く

これらのスタートアップは、より大きな言語モデル、より多くのデータ、推論時の追加計算によって、より優れた知能が主として生まれるという前提に挑戦している。

最も強力なLLMは、ソフトウェアの作成、文書の分析、ツールの呼び出し、テキスト、音声、画像、動画をまたぐ作業を行える。こうした成果により、言語モデリングはあらゆる代替手法が対峙すべき基準となっている。

しかし、流暢な出力は、物理的な結果について信頼できる内部モデルを保証するものではない。システムは物体の動かし方を説明できても、その動きを実行しなければならないロボットを制御できるとは限らない。

ワールドモデルは、環境が時間とともにどう変化するかを学習することで、その隔たりに取り組む。エージェントが行動を起こす前に、その行動がもたらす可能性の高い結果を予測する助けとなる。

この違いは、ロボティクス、自動運転車、インタラクティブなエンターテインメント、科学的計画にとって重要だ。これらの領域では、もっともらしい言語応答を生成するだけでは足りない。

カップに遭遇したロボットは、形状、摩擦、力、バランス、不確実性を推定しなければならない。そして、物体が予想と異なる動きをしたときに調整する必要がある。

ワールドモデルをめぐる議論は、空間と時間を理解できるAIを求める研究者の関心を集めている。また、混雑するチャットボット市場の先を見据える投資家の関心も引いている。

ただし、「ワールドモデル」は複数の異なるシステムを含む。一部は視覚的に説得力のある環境を生成する一方、他は正確な物理シミュレーションや行動計画を試みている。

美しい動画が、そのまま信頼できるシミュレーターになるわけではない。表面的な見た目を保ちながら、因果関係、物体の永続性、物理的制約に違反することもある。

継続学習はもう一つの代替案である。配備されている言語モデルの大半は、訓練、調整を経て、比較的固定されたシステムとしてリリースされる。

検索は、モデルが学習済みのパラメータを変更せずに最新情報を提供できる。ファインチューニングは振る舞いを更新できるが、通常は別途の訓練プロセスを必要とする。

継続学習システムであれば、運用中に新たな経験を取り込むことになる。この可能性は、安定性、安全性、評価、以前に学習した能力の喪失に関する難しい問いを提起する。

拡散ベースの推論は第三の道筋を提示する。自己回帰モデルがトークンを順番に生成するのに対し、拡散アプローチは繰り返しノイズを除去するステップを通じて候補結果を洗練できる。

支持者は、このプロセスが並列生成や反復的な修正を支えられると考えている。それでも、コスト、信頼性、推論品質において意味のある優位性をもたらすことを証明しなければならない。

Metis Reasoningは、未知の状況における構造化された推論を目指しているようだ。この野心は、検索と計画に関するDeepMindの初期の研究を想起させるが、公開されている技術的詳細は依然として限られている。

共通するのは、言語を否定しているわけではない点だ。これらのスタートアップは、より大きなシステムの内部でトランスフォーマー、言語インターフェース、LLMコンポーネントを引き続き利用できる。

彼らが賭けているのは、言語予測だけでは汎用知能に必要なあらゆるメカニズムを提供できないという考えだ。相互作用、継続的な学習、シミュレーション、明示的な計画が、より大きな役割を担わなければならない。

この議論は、DeepMindのより古いアイデンティティも呼び起こす。AlphaGoが重要な存在となったのは、囲碁についてより優れた会話ができたからではない。

局面を評価し、先の手を探索し、対局を通じて改善した。MuZeroはその後、環境のルールを事前に与えられずとも計画を学習した。

退社した科学者たちは現在、関連する発想を、より構造化されていない環境へ適用している。記録された人間の出力を吸収するだけでなく、経験を通じて有用な行動を発見する機械を目指している。

これは困難な移行だ。ゲームには明確な行動、測定可能な結果、豊富なシミュレーション練習がある。

現実の環境はノイズが多く、観測は不完全で、探索にはコストがかかる。シミュレーションされたボードゲームでの誤った一手には物理的コストがない一方、ロボットのミスは機器を損傷させかねない。

したがって、代替アーキテクチャの論点が成功するのは、こうしたシステムが現実の制約下で機能する場合に限られる。洗練された研究アイデアは、最終的には信頼できる製品にならなければならない。

Googleは自らの研究の遺産と競合している

中心的な逆転現象は、DeepMindの称賛された研究史が今や、Googleの現在の商業的優先事項に挑むための資金を元従業員が集める助けになっていることだ。

投資家は、これらの創業者を無名のチームとして評価しているわけではない。AlphaGo、AlphaFold、MuZero、Gemini、その他の認知度の高いプログラムとの関係性を織り込んでいる。

SilverとGraepelは、従来の教師あり学習を超える学習と計画を示した研究に貢献した。Parker-Holderは、Genieの研究系統を含むインタラクティブな環境に取り組んだ。

その経歴は、投資家が耳を傾けるに足る信頼できる理由を与える。ただし、新会社がDeepMindの組織的成功を再現できるという移転可能な保証にはならない。

大規模な研究所は、個人の洞察に加え、計算資源、データ、エンジニアリングシステム、安全性プロセス、プロダクトチーム、そして長年にわたり蓄積された知識を組み合わせている。創業者がスタートアップへ持ち込めるのは、その構造の一部にすぎない。

拡大を続ける卒業生データセットでは、元DeepMind従業員が創業したベンチャー支援企業は68社と数えられている。また、評価額が10億ドルを超える企業を18社特定している。

このデータセットは、DeepMind卒業生を広く定義している。言語モデル、エンタープライズソフトウェア、ロボティクス、ヘルスケア、ゲーム、科学応用にまたがる創業者を含む。

これらの数字が示すのはネットワークの広がりであり、単一の技術的潮流の成功率ではない。掲載企業の一部は、主流のトランスフォーマーベースAIに近い位置にとどまっている。

それでも、このネットワークは実用的なスタートアップの循環を生み出す。卒業生は信頼できる同僚を採用し、紹介を得て、DeepMindのプロジェクトを自らの技術的判断力の証拠として使える。

投資家も社会的証明の恩恵を受ける。著名なファンドが初期の資金調達トランシェに参加すれば、その後の参加者は、そのコミットメントを部分的な検証と解釈できる。

Bloombergによると、一部の新規ラウンドはトランシェに分割されている。初期投資家はある評価額で参入し、その最初のコミットメントが信頼を生んだ後、後続投資家がより多くの資本を提供する。

この構造は、スタートアップが製品を発表する前に印象的な見出し上の評価額を生み出しうる。また、創業者と投資家の顔ぶれを異例なほど重要にする。

Radical Venturesは、この種の事業を、長期的な技術的進歩を追求する研究者主導の企業という意味で「neolab」と呼んでいる。同社のneolab分析によれば、40超のこうした研究所が3年間で400億ドルを調達した。

この言葉は、実際の組織的変化を捉えている。フロンティア研究は、もはや大学や成熟した収益を持つテクノロジー企業の内部だけに存在するものではない。

民間資本はいま、複数の著名な研究者を軸に新しい研究所を組織できる。投資家は、基盤技術となり得る技術へのエクスポージャーと引き換えに、長い研究期間を受け入れる。

このモデルには先例がある。OpenAIとAnthropicはいずれも、広く使われる商用システムを開発する前に、研究主導の組織として始まった。

ただし、これらの例は期待を歪める可能性がある。後年の成功は、資金が潤沢なすべての研究所が製品、流通チャネル、または持続可能な技術的優位性を見いだすことを意味しない。

Googleも、より広いエコシステムが同社が追求し続ける研究の方向性を検証する際には利益を得る。DeepMindは、ワールドモデル、科学AI、強化学習、ロボティクスから排除されているわけではない。

場合によっては、同社は元従業員に投資し、彼らのスタートアップと提携し、後に技術を買収することもできる。したがって、人材流出が自動的に恒久的な戦略的損失へ転じるわけではない。

より大きなリスクは集中に関するものだ。画期的な研究には、現在のコンセンサスに異議を唱えることと、代替案を調査する十分な時間が必要になることが多い。

Googleがより多くの研究者を短期的なGeminiの優先事項へ振り向けるなら、独立系の研究所は、競合するアイデアが継続的な注目を受ける場所になり得る。

これが、Google DeepMindの研究者流出が単なる人員の話ではない理由だ。どのAIの問いに大規模な資本を投じるべきかを決める権限を再分配している。

巨額評価はなお公開された証拠を先行している

代替AIアーキテクチャを支持する論拠は知的に真剣なものだが、資金調達市場は技術的証拠が正当化できる速度を上回って価値を付けている。

報道で取り上げられた複数のスタートアップは、自社システムについて限られた情報しか共有していない。詳細なモデル、ベンチマーク群、製品ロードマップ、収益実績を公開していない企業もある。

初期段階の研究を保護する企業にとって、これは珍しいことではない。しかし、顧客、開発者、外部研究者にとって比較を難しくする。

資金調達を技術的検証と混同すべきではない。大型ラウンドは、投資家が特定の条件でリスクを受け入れたことを示す。

それは、拡散が自己回帰生成を上回ることも、継続学習が安定したまま維持できることも証明しない。また、ワールドモデルが物理を理解していることも立証しない。

評価額についても同様の慎重さが必要だ。非上場スタートアップの価値は、流動市場による継続的な判断ではなく、直近の資金調達契約を反映することが多い。

特別な権利、段階的なトランシェ、異なる株式クラスは、見出し上の数字と各投資家が実際に支払った金額をさらに乖離させる可能性がある。

MareckiはBloombergに対し、一部のAI評価額は収益の約10倍という水準から200倍または300倍へ移行したと語った。この指摘は投資家の不安を示しているが、業界全体に共通する指標ではない。

複数のneolabは、掛け合わせるべき収益をほとんど持たない。その評価額は、人材、知的財産、計算資源へのアクセス、将来の技術的優位性が得られる確率に基づいている。

アーキテクチャ自体にも、未解決の評価問題がある。LLMのベンチマークは不完全だが、開発者はコーディング、数学、レイテンシ、コスト、ツール利用、ユーザー選好をテストできる。

汎用ワールドモデルには異なるテストが必要だ。視覚的な品質だけでは、物理的に不可能な予測をしながら説得力ある見た目を作るシステムを評価してしまう可能性がある。

ロボット訓練には、シミュレーション内での学習が物理機械へ移転することを示す証拠が必要になる。科学システムには、既存データセット上の成功だけでなく、前向きな結果が求められる。

継続学習システムには、何を保持し、何を変更し、新しいデータが安全でない振る舞いを導入したかを示す監査が必要だ。こうしたテストは、モデルの進化に応じて繰り返し実施されなければならない。

推論システムは、なじみのある問題分布の外側で評価されなければならない。そうでなければ、モデルは訓練データに含まれるパターンを再現しているだけなのに、有能に見える可能性がある。

創業者たちは商業上の問題にも直面している。LLMプロバイダーはすでに有用な製品、確立された開発者プラットフォーム、拡大する流通網を提供している。

代替システムは、概念的に異なるだけでは勝てない。統合、乗り換えコスト、運用リスクを正当化できるほど、価値あるタスクをより良く解決しなければならない。

完全な置き換えよりも、ハイブリッドシステムの方が現実的だと判明するかもしれない。LLMが指示を解釈し、プランナー、シミュレーター、または強化学習コンポーネントが専門的な判断を制御することができる。

この結果は、スタートアップを無効化することなく、劇的な「ポストLLM」の枠組みを弱めるだろう。彼らの技術は、より広範なアーキテクチャ内の重要な層となる可能性がある。

Googleは、このハイブリッドな未来に有利な位置にある。Geminiは言語およびマルチモーダルのインターフェースを提供でき、DeepMindの研究はシミュレーション、計画、科学的能力を供給する。

スタートアップには、より明確な差別化が必要だ。独立性が、Googleが自らの人材とインフラで迅速に追随できない進歩を生むことを示さなければならない。

投資家にも、創業者の評判に対する規律が必要だ。DeepMindでの経験には意味があるが、組織的な威信は基本的な精査を妨げるハロー効果を生み出しかねない。

最も重要な問いは依然として平凡なものだ。システムはどのタスクを実行するのか、性能はどう測定されるのか、そして有用な成果一つひとつにいくらかかるのか。

それらの答えが公開されるまで、市場が資金を提供しているのは仮説のポートフォリオだ。大規模言語モデルの検証済み後継者をまだ選んでいるわけではない。

賭けが機能しているかを示す3つのシグナル

次の段階を決めるのは、さらなる資金調達見出しの連続ではなく、技術デモ、顧客利用、Googleの対応だ。

第一のシグナルは、Ineffable Intelligence、Revolution Labs、Metis Reasoning、またはEmulateによる公開評価だ。少なくとも1社は、自社ベンチマークの外でも重要なタスクにおける優位性を示す必要がある。

継続学習では、これは以前の能力を消去することなく新たな知識を獲得することを意味する。推論では、測定可能な信頼性で未知の問題を解くことを意味する。

シミュレーションでは、生成された環境内で訓練されたエージェントが、実システムでより良い性能を発揮するかが試金石となる。視覚的に印象的なデモだけでは十分ではない。

独立した再現は、この論拠を大幅に強化する。スタートアップだけが検証した結果は、外部研究者が検討できるようになるまで企業の主張として扱うべきだ。

第二のシグナルは、信頼できる製品または顧客導入だ。ロボティクス、創薬研究、エンジニアリング、自律システム、ゲームは、参入地点になり得る。

狭い用途は、汎用知能に関する包括的な主張より多くを明らかにできる。モデルに実際のレイテンシ、安全性、コスト要件の下で動作することを強いるからだ。

エンタープライズの買い手は、問題を定義してからアーキテクチャを検討すべきだ。出力が既存ワークフローに組み込めず、監査を通過できない場合、モデルの新規性が持つ意味は小さい。

チームには、AIシステムへ提供した情報と、そこから生じた意思決定の記録も必要だ。検索可能なAIナレッジベースは、変化するツールをまたいでそのコンテキストを保持できる。

第三のシグナルはGoogleの対応だ。採用、リテンションパッケージ、研究発表、買収、Geminiのアーキテクチャ変更は、同社が人材流出をどれほど深刻に捉えているかを示す。

Googleは、広く配布された製品の中で、同等の継続学習、計画、またはワールドモデル能力を提供することで、スタートアップの論点を弱められる。その計算資源と顧客へのアクセスは、依然として大きな優位性だ。

有力なスタートアップの成果が出れば、逆方向の圧力が生まれる。Googleは、将来の競合他社への資金供給につながるリスクを避けるため、LLM以外の研究を目先の商業的要求から守る必要に迫られるだろう。

モデル発表と同じくらい、リーダーシップの振る舞いが重要になる。研究者には、型破りなプログラムであっても、成果を出すまで十分に存続できるという証拠が必要だ。

Google DeepMindからの研究者流出はすでに、投資家が次のAIプラットフォームを探す場所を変えている。ただし、どの技術的アプローチが勝つかは、まだ決まっていない。

開発者は資金調達額ではなく、再現可能なベンチマークを注視すべきだ。企業の買い手は、導入実績、明確な評価基準、そして失敗モードの説明を求めるべきである。

ナレッジワーカーは、身近なAIインターフェースの背後に、より多様なシステムが登場することを想定すべきだ。次に役立つツールは、あるモデルを別のモデルに置き換えるのではなく、言語、記憶、シミュレーション、計画を組み合わせるものになるかもしれない。

いま問われている決定的な疑問は、測定可能な形になっている。DeepMindの卒業生たちは、研究の自由と潤沢な資本を、LLM単独よりも世界から確実に学習するシステムへと転換できるのだろうか。