top of page

AIインフラはワークロード・ルーティングの課題になりつつある

8月3日
読了時間: 19分

Google Newsは、AIインフラをめぐるより鮮明な対立を浮かび上がらせた。アクセラレータを多く保有するだけでは、効率的で信頼性の高い推論を保証できなくなっている。

「AI Infrastructure Is Becoming a Workload Routing Problem」という見出しで公開されたこの報道は、チップ供給に執着する業界の見方を捉え直す。より難しい課題は、すべてのリクエストをどこで実行すべきかを決めることだ。

その判断は、モデル、プロンプトの長さ、応答期限、利用可能なメモリ、所在地、キャッシュの状態、許容可能な運用コストによって変わる。NVIDIAは引き続き中核的なハードウェア供給企業だが、Google、Microsoft、AMD、Intel、そしてクラウドネイティブのプロジェクトが、選択可能な実行経路を広げている。

結果として生まれる競争は、単純にNVIDIA対代替チップという構図ではない。大量のコンピューティング調達と、各ジョブを適切なリソースに割り当てるソフトウェア層である、ワークロード認識型オーケストレーションとの対立だ。

この区別が重要なのは、学習済みモデルを実行して回答を生成する推論が、トレーニングとは異なる振る舞いをするからである。推論は継続的に行われ、多様な種類のリクエストを含む。

短い分類タスク、長文ドキュメントの分析、ライブ音声会話では、求められる条件が異なる。それらを一律のハードウェア経路に流すと、容量を浪費するか、ユーザー体験を損なうことになる。

Google Newsが示すのは、インフラ投資の連鎖だ

重要な変化は、単一のチップ発表ではない。複数のベンダーが現在、異なるワークロード分類を前提にAIシステムを設計している。

元の分析では、相互に関連する複数の動きが指摘されている。新しい推論アクセラレータ、特化型メモリ設計、パッケージング能力の拡張、異種ハードウェアにまたがってリクエストを配置するソフトウェアなどだ。

Microsoftは2026年1月、推論専用に設計されたアクセラレータとしてMaia 200を発表した。同社のMaia 200 specificationsによると、このチップは216GBのHBM3eメモリと、毎秒7TBの帯域幅を備える。

Microsoftはまた、Maia 200がネイティブのFP8およびFP4演算をサポートするとしている。こうした低精度フォーマットは、多くの推論演算で使用するデータ量を減らし、モデル品質が許容範囲に維持される場合にはスループットを高められる。

同社によれば、このチップには272MBのオンチップSRAMと、1,400億個を超えるトランジスタが搭載されている。これらのコンポーネントは、モデルデータを効率的に移動させるため再設計されたシステム内に配置されている。

これらは、すべての本番ワークロードにわたる独立した測定値ではなく、企業が公表した仕様である。その意義は、単一の汎用的な性能スコアではなく、メモリ移動、トークン生成、効率的な推論に置かれた設計上の優先順位にある。

Googleも4月のCloud Nextで、同様にシステム全体を重視する考え方を示した。拡張されたインフラポートフォリオには、第8世代TPU 2種、NVIDIA搭載ベアメタルインスタンス、新CPU、専用キャッシュストレージ、オーケストレーションの更新が含まれていた。

このラインアップが重要なのは、すべてのタスクで同じアクセラレータを使うべきだという考えを退けているためだ。Googleは単一の管理されたインフラ層の中で、異なるコンポーネントを提供している。

Googleはまた、Inference Gateway向けに予測ルーティングを導入した。同社によれば、このシステムはリアルタイムのキャパシティ情報を使い、最初のトークンが生成されるまでの時間を70%以上短縮する。

最初のトークンまでの時間は、モデルが回答を始めるまでユーザーが待つ時間を測る指標である。これは特に、音声エージェント、対話型アシスタント、顧客向けアプリケーションで重要となる。

Googleは、同じリリースの一環として、ノード起動の高速化、モデルロードの高速化、Pod起動時間の短縮も報告している。それぞれの改善は、需要の到着から有用な計算の開始までに生じる異なる遅延を対象としている。

したがってGoogle Newsの記事は、幅広い運用上の転換を示している。AIインフラは、ルーティングソフトウェアで結ばれた、特化型実行経路の集合になりつつある。

これは、アクセラレータの供給が無関係になることを意味しない。大規模クラスター、高帯域幅メモリ、先端パッケージング、高速ネットワークは依然として不可欠だ。

しかし、こうしたリソースは今や第二の課題を生み出している。運用者は、どのリソースを各リクエストに割り当てるべきかを決め、その判断が性能要件とポリシー要件を満たしたことを証明しなければならない。

推論ワークロード・ルーティングが今重要な理由

推論は継続的な運用コストとなっており、配置における小さな誤りも、すべてのユーザーリクエストにまたがって増幅され得る。

トレーニングでは通常、計算が大規模で計画的なジョブに集中する。エンジニアはクラスターを予約し、モデルチェックポイントを調整し、定義済みの実行を中心に最適化できる。

推論はそこまで整然としていない。需要は時間帯、地域、製品機能、顧客、モデルバージョン、入力長によって変化する。

Gartnerは、2026年に推論がAI最適化インフラ支出の55%を支えると予測した。同社のinfrastructure forecastでも、その年の推論支出はトレーニング重視のワークロードを上回るとされている。

この予測は一つの推計にすぎないが、その方向性は現在の製品開発と一致している。クラウドプロバイダーは、モデルのトレーニング後にリクエストを管理するサービングシステムに投資している。

本番のAIサービスは、対話型チャット、バッチ要約、埋め込み、コード支援、画像生成、安全性チェック、エージェントのツール呼び出しを扱う可能性がある。これらのワークロードに共通する理想的な構成はない。

対話型の音声リクエストでは、低遅延と予測可能な応答時間が優先される。一方、バックグラウンドの要約ジョブは、より大きなバッチを待てるため、ハードウェア利用率を改善できる。

埋め込みでは、生成型の応答より計算量が少なくて済むことが多い。長いコンテキストの分析ではメモリへの負荷が大きくなり、画像・動画生成ではアクセラレータを長時間占有する場合がある。

エージェント型システムでは、この不一致がさらに明白になる。1つのユーザー指示が、計画、検索、複数回のモデル呼び出し、ツール実行、検証、最終応答を引き起こし得る。

ユーザーには1つのタスクに見える。インフラには、レイテンシー、メモリ、信頼性の要件が異なる一連のワークロードとして見える。

ルーティングは、これらのステップが高性能GPU、カスタムアクセラレータ、小規模モデル、キャッシュ済みの結果、あるいは遅延を許容するバッチキューのいずれに届くかを決める。また、規制対象データをどのリージョンで処理するかも決定し得る。

ルーティング層は、キー・バリューキャッシュの状態を考慮しなければならない。KVキャッシュは、過去のトークンから計算された情報を保存し、モデルが一部の処理を繰り返さないようにする。

関連するキャッシュを持つワーカーにリクエストを送れば、レイテンシーとアクセラレータの演算サイクルを削減できる。送信先がより高速なチップを使っていても、別の場所に送ればその利点を失う可能性がある。

これが、通常のロードバランシングでは不十分な理由である。従来のロードバランサーは、多くの場合、余剰能力がある正常なサーバーへトラフィックを送る。

推論ワークロード・ルーティングには、さらに多くの文脈が必要だ。モデルID、プロンプトの特性、キャッシュの場所、ハードウェア互換性、サービス目標、データポリシーを理解しなければならない。

Microsoft Researchは、自らの推論研究をワークロード認識型かつコスト認識型と表現している。同研究チームは、リソース配分、リクエストスケジューリング、バッチ処理、ルーティング、KVキャッシュを一体的に研究している。

このアプローチは、重要なシステム上の真実を認識している。ある層を改善しても、ボトルネックを解消するのではなく移動させるだけの場合がある。

モデルの重みのロードが遅ければ、より高速なアクセラレータの効果は限定的だ。ルーティングによってキャッシュが分断されたり、人気モデルの周辺に長いキューができたりすれば、サーバーを追加しても効果は薄い。

したがって、その負担はクラウドプロバイダー、モデルホスト、プラットフォームエンジニアリングチームにかかる。彼らは多様なハードウェアを、依然として一貫性を感じられるサービスへと変えなければならない。

Google AI Infrastructureがコントロールプレーンを製品にする

Googleは、ルーティングとオーケストレーションを、自社チップを取り巻く裏方のユーティリティではなく、中核的なインフラ機能として扱っている。

Cloud NextでGoogleは、TPU、NVIDIAシステム、CPU、ストレージ、ネットワーキング、キャッシング、KubernetesにまたがるAIスタックを説明した。これらのリソースを結ぶのがコントロールプレーンである。

コントロールプレーンとは、配置、構成、スケーリング、ポリシーを担うソフトウェアを指す。個々のワーカーがリクエストを実行する前に、インフラがどう応答すべきかを決定する。

GoogleのAI infrastructure updateでは、マネージドKubernetesサービスであるGKEが、エージェントワークロードのオーケストレーションの中心に据えられた。この位置付けは示唆的だ。

同社は最新TPUの性能だけを訴求することもできた。実際には、モデルロード、起動速度、キャッシュストレージ、予測ルーティング、オープンな推論フレームワークとの互換性も強調している。

TPU 8tは、大規模トレーニングジョブを含む高スループットのワークロードを対象としている。TPU 8iは、別個のチップおよびシステム設計で推論ニーズに対応する。

GoogleはNVIDIA Vera Rubinシステムに加え、x86またはArmベースのCPUオプションも提供している。これにより顧客の選択肢は増えるが、プラットフォーム内部のスケジューリングは複雑になる。

プラットフォームは、どのモデルがどのアクセラレータで動作するかを把握しなければならない。精度フォーマット、メモリ容量、利用可能なカーネル、データ移動、予想キュー時間を考慮する必要がある。

顧客が通常求めるのは、ハードウェア研究プロジェクトではなく、信頼できるエンドポイントだ。Googleは、高度な顧客に十分な制御を公開しながらも、多くの複雑さを吸収しなければならない。

ここに、この記事の中心的な対立がある。同質的なキャパシティを購入することと、異種のキャパシティを賢く運用することの対立だ。

同質的なフリートは、互換性、可観測性、インシデント対応を単純化する。エンジニアは、カーネル、デプロイ手順、性能予測、フォールバック挙動を標準化できる。

異種フリートでは、ハードウェアをワークロードにより密接に適合させられる。単一サプライヤーへの依存を減らし、より安価なリソースで足りるジョブに高性能アクセラレータを使うことを避けられる可能性がある。

ただし、多様性は変換コストを生む。あるスタックで正しく動くモデルでも、量子化、カーネル置き換え、コンパイラの変更、スケジューラーの調整後には異なる挙動を示すことがある。

その結果生じる障害は、必ずしも停止として現れるわけではない。ユーザーは、応答の遅延、処理可能コンテキストの短縮、一貫性のない出力、ツール呼び出しエラーの増加を経験するかもしれない。

Googleの方向性は、勝つクラウドプラットフォームが、配置を完全に不透明にすることなく、この複雑さの大部分を隠すことを示唆している。

顧客は今後、ワークロードがどこで実行されたか、どのモデルバリアントが応答したか、どの精度が使われたか、フォールバックが性能を変えたかをますます尋ねるようになるだろう。

こうした問いは、規制対象のアプリケーションやレイテンシーに敏感なアプリケーションで重要である。また、プロバイダーが、その背後にある技術的な妥協を明かさずに低コストを訴求する場合にも重要となる。

ここでGoogle AI Infrastructureは、NVIDIAの統合型アプローチと競合する。Googleは、クラウドソフトウェアを通じて調整される複数のハードウェア経路を提供する。

NVIDIAは、密に結び付いたハードウェアとソフトウェアのスタックを提供しながら、そのオーケストレーションを分散した拠点にも拡張している。どちらのアプローチもルーティングを中核に置くが、所有形態と統合の度合いは異なる。

この競争が、すべてのワークロードで単純な勝者を生むことはない。その測定可能な成果は、インフラ利用率を高めながら、顧客に予測可能なサービスを提供できるかどうかになる。

ハードウェアの多様性はソフトウェア税を生む

アクセラレータの選択肢を増やせばサプライヤー依存を減らせるが、追加される経路の一つひとつがテストと運用の負担を拡大する。

MicrosoftのMaia 200は、カスタムシリコンの魅力を示している。Microsoftは自社のデータセンター、ソフトウェア、モデル提供要件に合わせて推論アクセラレータを設計できる。

同社によると、Maia 200はすでにMicrosoft FoundryおよびMicrosoft 365 Copilotのワークロードをサポートしている。社内サービスでは、Microsoftが製品層とインフラ層を管理する環境が提供される。

外部ワークロードは、より厳しい試験となる。別のモデルプロバイダーは、独自の品質要件、デプロイ運用、カーネル、レイテンシ目標、顧客へのコミットメントを持ち込む。

ベンチマークは、チップが定義されたタスクを迅速に完了できることを示せる。しかし、複雑な本番サービスが急激な負荷増、障害、モデル更新、地域ごとの容量制約の中でも一貫して動作することまでは証明できない。

Intelは、空冷式エンタープライズサーバー向けに設計された推論重視GPU、Crescent Islandで別の道を進んでいる。同社は、多くの高性能アクセラレータで使われるHBMではなく、160GBのLPDDR5Xメモリを採用すると示している。

この選択は、ワークロード上のトレードオフを反映している。高帯域幅メモリは卓越したデータ移動性能を提供する一方、供給、パッケージング、電力、システム設計に関する制約を伴う。

LPDDRベースの設計は、異なる電力および施設上の制約の中で大容量メモリを狙える。その適性は依然として、モデル、レイテンシ目標、ソフトウェアの成熟度、実際のアプリケーションに左右される。

一方AMDは、ラックスケールのインフラとパッケージング関連の協力体制を拡大している。同社の戦略は、InstinctアクセラレータをEPYC CPUや幅広いシステムコンポーネントと組み合わせるものだ。

こうした道筋は、AI需要が単一のハードウェアカテゴリにきれいに対応するという前提に疑問を投げかける。同時に、インフラチームが直面する互換性マトリクスも拡大する。

ソフトウェアは、どのモデルが各メモリプールに収まるかを追跡しなければならない。選択した精度とアクセラレータ向けに検証済みカーネルも必要となる。

運用担当者には、システム内部で何が起きたかを示す証跡、すなわちオブザーバビリティも必要だ。有用な記録には、キュー時間、キャッシュヒット、選択されたハードウェア、モデルバージョン、再試行、フォールバック動作が含まれる。

これらの記録がなければ、平均コストの低下が悪化したテールレイテンシを覆い隠しかねない。テールレイテンシはリクエストの中で最も遅い部分を測る指標であり、ユーザーが感じる信頼性を左右することが多い。

平均応答時間が改善しても、少数のリクエストが耐え難いほど遅くなることがある。音声アシスタントや対話型エージェントは、特にこのパターンに敏感だ。

ルーティングの失敗は、コンプライアンス問題も引き起こしかねない。システムが、データ所在地要件と抵触する地域にある利用可能な容量へリクエストを送る可能性がある。

したがって配置ポリシーは、経済的なルールであると同時にガバナンス上のルールでもある。コスト、性能、プライバシー、サービスの一貫性を同時に守らなければならない。

この複雑さは、ハードウェアの多様性に伴うソフトウェア税だ。価値をもたらし得るが、トラフィック量とワークロードの差異が投資を正当化する場合に限られる。

需要が不確実なスタートアップは通常、マネージドモデルAPIの恩恵を受ける。ハードウェアを意識したルーティングを早期に構築すると、エンジニアの注意が製品品質や顧客導入から逸れるおそれがある。

大規模プラットフォームは逆のリスクに直面する。すべてのリクエストを同一に扱うと、数百万件に及ぶ反復的な処理で高価な容量を浪費しかねない。

分かれ目となるのは利用密度だ。チームがワークロードを分類し、結果を測定し、配置ポリシーを改善できるだけの継続的なトラフィックを持つようになると、ルーティングの価値が高まる。

オープンなルーティング標準が閉鎖的なインフラサイロに挑む

ルーティング層は戦略的に十分重要になり、ベンダーはそのインターフェースと標準の形成をめぐって競争している。

Googleはこの層を単独で構築しているわけではない。Red Hat、IBM Research、CoreWeave、NVIDIAとともにllm-dの立ち上げを支援した。

このプロジェクトは、分散モデル推論のためのKubernetesネイティブなフレームワークだ。Kubernetesはコンテナ化されたアプリケーションを調整し、llm-dはモデル提供の状態に関する知識を加える。

Cloud Native Computing Foundationは2026年3月12日、llm-dをSandboxプロジェクトとして受け入れた。Sandboxステータスは初期段階のコミュニティガバナンスを示すものであり、本番環境での成熟度や相互運用性を保証するものではない。

llm-d projectによると、その機能にはプレフィックスキャッシュ対応ルーティング、prefillとdecodeの分離、キャッシュのオフロード、ハードウェア対応スケーリングが含まれる。

Prefillは、ユーザーの入力トークンを処理する段階だ。Decodeは出力トークンを生成する段階であり、多くの場合、異なるリソースおよびメモリ特性を持つ。

これらの段階を分離すると、運用担当者はそれぞれを独立してスケールできる。同時に、配置に関する判断や、コンポーネント間のネットワーク通信も増える。

このプロジェクトはNVIDIA、AMD、Intel、Googleのアクセラレータをサポートしている。掲げる目標は、モデル、アクセラレータ、クラウドをまたぐ幅広いポータビリティだ。

この野心は、購入者にとって現実的な懸念に応えるものだ。単一のチップやクラウドに縛られたルーティング層は、運用上の知見を新たなロックインの形に変えかねない。

ただし、オープンなインターフェースがハードウェアの差異を消し去るわけではない。各アクセラレータには、依然として異なるカーネル、メモリ挙動、ネットワーク、性能特性がある。

真のポータビリティには、共通APIだけでなく検証済みの結果が必要だ。運用担当者には、出力品質、スループット、レイテンシ、キャッシュ効率、障害復旧について比較可能な指標が求められる。

NVIDIAも、個々のクラスターを超えてルーティングを拡張している。同社のAI Grid設計は、分散インフラを単一のプログラム可能なプラットフォームとして扱う。

同社のAI Grid architectureは、レイテンシ、主権、コスト、ノード健全性、利用率、キャッシュの可用性に基づいてワークロードを配置する。

このアプローチでは、中央データセンター、大都市圏の施設、通信事業者の拠点、エッジサイトをまたいで推論をルーティングできる。場所自体がスケジューリング判断の一部となる。

ライブ音声サービスは、ネットワーク遅延が会話の流れに直接影響するため、近隣での実行から恩恵を受ける。バックグラウンドジョブは、容量が利用可能ならより遠隔地で実行できる場合が多い。

規制対象の医療リクエストでは、承認済みの法域が必要になることがある。メディアワークロードは、テキストよりはるかに多くのデータを移動させるため、ネットワーク帯域幅を優先する可能性がある。

NVIDIAの設計は、Google Newsを通じて強調された同じ論点を補強している。AIインフラは、ハードウェアと地理的条件をまたぐ配置問題へと変化している。

それでも、ベンダーには自社が好むスタックを自然な制御層として提示する動機がある。GoogleはGKEがワークロードを管理することで利益を得る一方、NVIDIAは自社ソフトウェアがグリッドを調整することで利益を得る。

オープンプロジェクトは中立性を約束するが、その成熟度とガバナンスには精査が必要だ。Sandboxプロジェクトは急速に進化し、インターフェースが変わる可能性があり、大企業が求める運用実績を欠くこともある。

クラウドプロバイダーは、ルーティング制御を選択的に公開することもできる。顧客は、実際にどのアクセラレータがリクエストを処理したかを知ることなく、レイテンシクラスや地域設定だけを受け取るかもしれない。

この抽象化は運用を簡素化し得るが、監査を複雑にする。プロバイダーが配置の証跡を隠せば、購入者はハードウェアの置き換えを評価できない。

したがって決定的な標準には、ルーティングだけでなくオブザーバビリティも含まれる。それはリクエストをどこへ送るべきかだけでなく、配置後に何が起きたかも記述しなければならない。

Google Newsの読者が次に注目すべきこと

ルーティング論が信頼に足るものとなるのは、ベンダーが測定可能な配置制御と本番結果を公開した場合に限られる。

最初のシグナルは、予測型Inference GatewayルーティングにおけるGoogleの進展だ。顧客は、多様なモデル、トラフィック急増、キャッシュ条件にわたる独立した結果に注目すべきだ。

Googleは、手動チューニングなしで最初のトークンまでの時間を70%超短縮したと報告している。より広範な証拠によって、それらの改善が選定された構成以外でも持続するかが示される必要がある。

重要な指標には、中央値レイテンシ、テールレイテンシ、キャッシュヒット率、リクエスト失敗率、アクセラレータ利用率が含まれる。モデル品質は、テストされたすべての経路で安定していなければならない。

弱い結果は、予測型配置が複雑さを解消するのではなく移転していることを示唆するだろう。一貫した本番環境での改善は、オーケストレーションが手動チューニングを上回り得るというGoogleの主張を強める。

2つ目のシグナルは、llm-dのようなアクセラレータ中立フレームワークの採用だ。プロジェクト活動だけでは十分ではない。

マネージドサービス、安定したインターフェース、リファレンスデプロイメント、そしてNVIDIA、AMD、Intel、Googleハードウェア間で比較可能なベンチマークに注目したい。エンタープライズの事例研究では、ピークスループットだけでなく、障害とフォールバック動作も記録されるべきだ。

ベンダー横断のデプロイメントは、オープンルーティングモデルを強化する。断片化された実装やハードウェア固有のフォークは、実用的なポータビリティに関する主張を弱める。

3つ目のシグナルは、顧客が配置の証跡にアクセスできるかどうかだ。クラウドのダッシュボードとAPIは、モデルのバリアント、レイテンシクラス、キャッシュ挙動、リージョン、フォールバックイベントを明らかにすべきである。

購入者が必ずしもすべてのチップを手動で選択する必要はない。しかし、インフラに関する判断をユーザー体験と運用成果に結び付けるための十分な証拠は必要だ。

その影響はクラウドエンジニアリングにとどまらない。プロダクトチームは、遅いエージェント動作がモデル、検索パイプライン、ツール実行、インフラ配置のどこに起因するかを把握する必要がある。

エンタープライズの購入者には、機密性の高いリクエストが承認済みリージョン内にとどまったことを示す証拠が必要だ。開発者には、プロバイダーが基盤ハードウェアを変更する際にも予測可能なAPIが求められる。

ナレッジワーカーが最終的に体験するのは、より速い回答、遅延した音声応答、あるいは信頼できないエージェントだ。ルーティングは、ほとんどのインターフェースが明らかにする以上に、その体験を左右している。

Google Newsの見出しは実際の転換を捉えているが、その転換はまだ完了していない。ベンダーは、ワークロードを意識したインフラに必要な制御プレーン、チップ、オープンフレームワークを説明してきた。

今後は、これらのシステムが本番環境の負荷下で機能することを示さなければならない。次の3カ月で、ルーティングが透明性のある運用能力になるのか、それともクラウド複雑性の新たな隠れた層になるのかが明らかになるだろう。

AI開発者にとって、直近で取るべき行動は明快だ。推論を単一の混合カテゴリとして扱うのではなく、ワークロード別にリクエストを測定する。コンテキスト長、レイテンシ、キャッシュ利用、再試行、モデル選択、利用可能な場合はハードウェア配置を追跡する。

そしてGoogle Newsが提起した、より難しい問いを投げかけるべきだ。各リクエストは最も低コストで信頼できる経路に到達しているのか。それともプラットフォームは依然として、たまたま利用可能なアクセラレータへすべてのジョブを送っているのか。

 
 

無料で始めましょう

ローカルファーストのパーソナル知識管理付きAIアシスタント

より良いAI体験のために、

remio は現在、 Windows 10+ (x64)とM-Chip Mac のみをサポートしています。

仕事のAIパートナー
remioでもっと仕事が進む

計画・作成・仕上げまで
すべてをひとつに

bottom of page