AIインフラのボトルネックに注目集まる - SiliconANGLE、GPU競争の先を示す

SiliconANGLEは、10月13日に業界フォーラムが周辺システムを取り上げる数日前、AIインフラを巡る議論を高速なチップの先へと移した。AI infrastructure bottlenecks take focus - SiliconANGLEの記事は、メモリ、ストレージ、ネットワーク、電力、冷却が今や高価なアクセラレーターがどれだけ有用な処理を完了できるかを決めると論じている。

これこそが、このインフラサイクルの中心にある対立だ。チップメーカーはより多くのコンピューティング能力を提供できるが、データの到着が遅れたり、メモリに制約が残ったり、設備が高密度ラックに電力を供給できなかったりすれば、運用者はその恩恵を受けられない。ボトルネックは、単一の不足部品からシステム全体の連携へと移りつつある。

ScaleFlux、Dell Technologies、Cisco、Cerebrasなどのインフラベンダーは、サンノゼで開催されるAI Data Pipeline Forumでこうした圧力について議論すると見込まれている。このイベントはOpen Compute Project Global Summitと同時期に行われ、システム設計、オープン標準、設備上の制約がプロセッサーと同程度に注目を集めることになる。

フォーラム自体は、ベンダーがこれらの問題を解決済みである証拠ではない。その重要性は、議題が何を示しているかにある。AIインフラの競争はシステム全体の競争になりつつあり、その性能は保存されたデータから生成トークンに至る完全な経路で測られる。

AI Data Pipeline Forum前に何が変わったのか

業界の関心の中心は、アクセラレーターの確保から、それらのアクセラレーターを生産的に稼働させ続けることへ移った。

SiliconANGLEは、10月13日のAI Data Pipeline Forumに先立ち、10月10日にフォーラムのプレビューを公開した。同媒体は、theCUBEが同イベントの有償メディアパートナーであり、スポンサーは編集報道を管理しないことを開示している。

この商業的関係は、プレビューを評価する際に重要となる。記事はイベントを紹介し、複数の参加ベンダーをインフラシフトの例として提示している。ただし、そのより大きな主張は、データセンター業界全体に現れている課題と一致している。

AIクラスターは、グラフィックス処理ユニット、すなわちGPUだけに依存するものではない。クラスターには、アクティブなモデルデータを保持できるメモリ、情報を供給・保持できるストレージ、数千のコンポーネントをつなぐネットワークも必要だ。さらに電力供給と冷却が、それらのコンポーネントを継続的に稼働できるかを決定する。

どの層であっても不足や遅延が生じれば、クラスター全体の出力を低下させる可能性がある。データを待つ高速アクセラレーターは、依然として十分に活用されていない資産である。高帯域幅ネットワークも、メモリ容量が不足していれば補えず、既存設備が冷却できなければ高密度ラックを本番稼働に移せない。

このフォーラムは、10月12日から10月15日までサンノゼで予定されている2026 OCP Global Summitの期間中に開催される。公式のサミット議題によると、イベントは定員に達しており、大規模インフラを巡る関心の高さを示す一例となっている。

OCPプログラムは、チップ、ラック、クラスター、データセンター、管理ソフトウェア、物理設備を網羅する。この広がりは、SiliconANGLEの記事の中核的な指摘を裏付ける。個々のコンポーネントは、ますます一つの運用システムの構成要素として設計・検証されなければならない。

したがって、直近の変化は単一製品の発表ではない。インフラの購入者と供給者が、どこを性能の境界と捉えるかという変化である。

AI構築の初期段階では、比較的単純な問いが推奨された。運用者は何基の先進GPUを確保できるのか。この問いは今も重要だが、導入能力の全体像を示すものではなくなった。

現在、運用者はデータがどのようにクラスターへ入るか、中間状態がどこに置かれるか、結果がプロセッサー間をどれほど速く移動できるかを問う必要がある。また、利用可能な電力、冷却方式、ラック重量、導入時間、ソフトウェア互換性も考慮しなければならない。

このシフトにより、これまで目立ちにくかったコンポーネントがクリティカルパスに入る。SSDコントローラー、メモリ拡張技術、光接続、スイッチ、冷却液分配ユニット、電力設備は、アクセラレーター群が生み出す価値に影響し得る。

これはベンダー間の競争も変える。サプライヤーは、最速の単体コンポーネントを提供するだけでは勝てなくなる。購入者は、検証済みのラック、ネットワーク、設備、ソフトウェア環境の中で、そのコンポーネントが予測可能に機能する証拠を必要としている。

10月13日の議論は、このシステム全体の論点をより具体的にするはずだ。しかし、すでに得られる有用な示唆はイベントを超えている。AIインフラの性能は、個別に見たコンポーネント仕様ではなく、ますます連携に依存している。

高価なコンピューティングを今制約するデータ移動

アクセラレーターは、メモリ、ストレージ、または別のプロセッサーが次のデータを供給するのを待っている間、経済的価値を生み出さない。

トレーニングと推論はインフラに異なる負荷を与えるが、いずれもメモリ階層をまたぐ反復的なデータ移動を伴う。その階層には、アクセラレーターの隣にあるメモリ、ホストメモリ、共有メモリ、ローカルフラッシュストレージ、ネットワーク接続ストレージが含まれる。

推論とは、展開済みモデルが入力を出力へ変換するプロセスである。本番システムが多くのリクエストを処理し、外部情報を取得し、対話をまたいで再利用可能な状態を保持するため、データ移動を増幅させる可能性がある。

エージェントベースのアプリケーションは、さらに一層の複雑さを加える。エージェントはツールを呼び出し、データベースを検索し、文書を参照し、1つのタスクを完了するまでに複数のモデルを使用することがある。各段階で転送、ストレージ操作、ネットワーク遅延が発生し得る。

結果として、厄介な不一致が生じる。コンピューティング能力は、それにデータを供給するシステムの能力より速く向上し得る。アクセラレーターを追加しても、この不均衡が自動的に解消されるわけではなく、共有リソースへの需要をさらに高める可能性がある。

メモリ容量は一つの制約となる。大規模モデル、より長いコンテキスト、同時リクエストは、限られた高速メモリを奪い合う。必要なデータをプロセッサーの近くに置けない場合、システムはそれをより低速な層へ移す。

帯域幅も別の制約となる。帯域幅は、接続が一定時間内に運べるデータ量を測る。コンポーネント間の経路がワークロードを支えられなければ、十分なメモリ容量であっても有用性は低下する。

レイテンシーも重要だ。レイテンシーとは、転送や操作が完了するまでの遅延を指す。小さな遅延でも、繰り返されるモデル層、検索ステップ、多数のアクセラレーター間の通信を通じて蓄積する可能性がある。

そのため、ストレージは従来のイメージが示す以上に能動的な役割を果たす。もはや完成したファイルや時折のチェックポイントだけの保存先ではない。トレーニングデータ、モデルパラメーター、検索インデックス、キャッシュされた推論状態、運用記録を保持できる。

ScaleFluxは、サプライヤーがどのように対応しているかを示す例だ。同社のFC6116はPCIe Gen6 NVMe SSDコントローラーであり、MC600はCXL 3.2 Type 3メモリコントローラーである。CXL、すなわちCompute Express Linkは、コヒーレントなインターフェースを介してプロセッサーとメモリデバイスを接続する。

同社のコントローラー仕様によると、FC6116はシーケンシャル読み取りで最大毎秒28ギガバイト、シーケンシャル書き込みで毎秒25ギガバイト、ランダム読み取りで毎秒700万回の入出力操作をサポートする。ScaleFluxによれば、アクティブ時のコントローラー消費電力は9ワット未満である。

ScaleFluxによると、MC600は最大2テラバイトのDDR5メモリをサポートする。また、DDR4もサポートしており、機器メーカーに既存および新しいメモリ構成をまたぐ移行経路を提供する。

これらの数値はベンダーによる主張であり、アプリケーションレベルの性能を独立して証明するものではない。実際の結果は、ドライブ、ファームウェア、ホストシステム、ワークロード、ネットワーク条件に左右される。ScaleFluxは、FC6116が2026年第4四半期に一部顧客向けのサンプリングを開始すると述べており、幅広い本番環境での証拠はなお限られている。

それでも、製品の方向性は示唆に富む。サプライヤーは、消費電力を同じ速度で増加させずに帯域幅とメモリ容量を高めようとしている。また、ハードウェアをファームウェア、リファレンスデザイン、認定支援と組み合わせている。

これは、理論上のインターフェース速度が有用なスループットを保証しないため重要である。デバイスは持続的な負荷の下で安定し、ホストソフトウェアと統合され、エラーから回復し、混在した操作全体で一貫して動作しなければならない。

ネットワーキングも同様の問題に直面している。大規模AIクラスターはプロセッサー間に作業を分散するため、トラフィックパターンがジョブ全体の進行速度に影響し得る。転送の遅延は、1つの依存関係のために複数の高価なコンポーネントを待機させる可能性がある。

OCP Summitの併設光学ワークショップでは、224ギガビットおよび448ギガビットの電気チャネル、次世代光接続、管理インターフェースなどが議題に挙げられている。同イベントのインターコネクトプログラムも、電力、熱的制約、レイテンシー、断片化リスクを強調している。

この議題は、「データ移動」を単一のストレージベンチマークに還元できない理由を示している。それはメモリコントローラー、周辺インターフェース、スイッチファブリック、光リンク、ソフトウェアスケジューリング、データ配置にまたがる。

新たに現れつつある仕組みは単純だ。より高速なコンピューティングは、適時のデータに対するより大きな需要を生む。この需要はプロセッサーを取り巻くすべての層に圧力をかけ、システムのバランスを単独のピーク値より価値あるものにする。

設備面の反発でAIインフラのボトルネックに注目集まる

物理的なデータセンターは、ハードウェアベンダーが出荷するものを何でも受け入れる中立的な建物ではなく、コンピューティング設計に対する能動的な制約になりつつある。

AIラックには、従来のエンタープライズラックよりはるかに多くのコンピューティング機器を集約できる。この高密度化は電力需要を高め、より小さな物理面積に熱を発生させる。運用者は、信頼性を損なうことなく電力を供給し、熱を除去しなければならない。

空冷は多くのワークロードに引き続き適している。最も高密度な構成では、プロセッサーやその他のコンポーネントの近くへ供給される冷却液を通じて熱を移す直接液体冷却の採用が増えている。

この変化は、サーバーをはるかに超える影響を持つ。設備には、新たな配管、熱交換器、ポンプ、監視システム、保守手順が必要になる可能性がある。電力分配、床面レイアウト、ラック寸法、緊急時対応計画の変更も必要になり得る。

ブラウンフィールド設備は特に大きな課題を生む。ブラウンフィールドデータセンターとは、新しい機器に適応させた既存建物を指す。その電気・冷却システムは、現在のAIラック密度が一般的になる以前に設計されたことが多い。

すべてを再構築することが、魅力的な第一選択となることはめったにない。運用者は、既存スペースを改修するか、モジュール式の容量を導入するか、専用コロケーションスペースを賃借するか、新しい設備を建設するかを決めなければならない。

Dellの対応は、統合されたラックスケールシステムを中心とする。同社のラックスケールポートフォリオは、Dellによれば、出荷前に検証されるコンピューティング、ネットワーキング、ストレージ、冷却、管理コンポーネントを組み合わせている。

このアプローチは、実運用における導入上の問題に対処するものだ。顧客サイトで互換性の問題が見つかると、複数のサプライヤーが責任の所在を判断する間、ハードウェアが遊休状態になる可能性がある。工場での統合作業は、そうしたテストの一部をプロセスの早い段階へ移す。

Dellによると、同社のPowerRackシステムは直接液冷と複数世代のアクセラレータに対応する。また同社は、第三者委託調査の条件下では、事前構成済みラックを納入からワークロード稼働まで6時間強で移行できるとしている。

購入者は、この導入結果を普遍的なスケジュールではなく、特定条件下のテスト結果として捉えるべきだ。サイトの準備状況、ネットワーク接続、ソフトウェア設定、電力の利用可能性により、必要な時間は変わりうる。事前検証済みラックでも、不十分な電力インフラ容量を補うことはできない。

物理的なボトルネックは個々の建物にとどまらない。国際エネルギー機関は2026年のエネルギー分析で、送電網の準備状況、サプライチェーン、価格負担、エネルギー安全保障と併せて、データセンター需要の拡大を検討している。

同機関は、2030年までの米国における電力需要増加のおよそ半分をデータセンターが占めると見込む。この予測はAIシステムだけでなくデータセンター全般を対象とするものだが、AIの拡大は主要な推進要因の一つだ。

これは、半導体開発とは異なる時間軸を生み出す。チップ供給企業は製品サイクルに合わせて新世代を投入できる一方、送電線、変電所、発電プロジェクトには、より長い計画・承認プロセスが必要になる場合がある。

したがって、電力の利用可能性は、どこに容量が建設されるかに影響しうる。また、契約、導入スケジュール、事業者が確保すべき予備容量にも影響を与える可能性がある。

冷却には地域的・運用上のトレードオフが伴う。気候、水の利用可能性、電力価格、地域規制は、どの設計が適切かを左右する。すべてのサイトで機能する万能の構成はない。

高密度化は障害の影響も変える。1台のラックにより多くの計算能力が収容されると、冷却または電力の障害がクラスターのより大きな割合に影響する可能性がある。監視、冗長性、修復手順は、高密度ハードウェアとともに進化しなければならない。

モジュール化は一つの対応策となる。標準化されたラックインターフェースと再現可能な設備コンポーネントは、統合作業の一部を減らせる。また、プロセッサ、メモリ、冷却要件の変化に応じて、個別レイヤーを交換しやすくすることもできる。

ただし、モジュール化によってシステムエンジニアリングが不要になるわけではない。標準はインターフェースを定義できるが、事業者は実際のワークロードや環境条件にまたがる性能を依然として検証しなければならない。新たな組み合わせによって、コンポーネント単体のテストでは見逃される挙動が明らかになることがある。

このため、AIインフラのボトルネックに注目が集まる - SiliconANGLEという表現は、カンファレンスのプログラム変更以上の意味を持つ。設備の物理的な制約が、いまやハードウェアとソフトウェアの意思決定に直接影響している。

モデルチームはより多くのアクセラレータを望むかもしれないが、インフラチームは次のラックに十分な電力、冷却、ネットワーク容量、運用サポートがあるかを判断しなければならない。この調整が、AI導入のペースをますます左右している。

オープン標準と密結合システムの競争

主要な競争は、オープンでモジュール型のインフラと、緊密に連携されたスタックの間で繰り広げられており、どちらの道筋でも広範な検証が不要になるわけではない。

オープン標準は柔軟性を約束する。購入者は複数ベンダーのコンポーネントを組み合わせ、単一サプライヤーへの依存を減らし、技術変化に応じたアップグレードの選択肢を維持できる。

Open Compute Projectは、この考え方をチップから設備まで適用している。2026年のテーマは、シリコンのサプライチェーン、システム管理、IT機器、物理インフラを含め、チップから送電網までデータセンターを再考することを掲げる。

この範囲はシステム上の問題を反映している。ラック、冷却ループ、管理ソフトウェア、ネットワークがサポートできなければ、オープンサーバー仕様の価値は限られる。相互運用性は複数の境界にまたがって実現されなければならない。

密結合システムには別の利点がある。一社のサプライヤーまたはパートナーシップがコンポーネントを統括し、構成を検証し、より明確なサポート経路を提供する。これにより導入リスクを下げ、障害発生時の原因特定を短縮できる可能性がある。

その代償は自由度の低下だ。購入者は個別コンポーネントの選択肢が少なくなったり、ベンダーのリリーススケジュールに依存したりする可能性がある。あるレイヤーの挙動がスタックの他の部分と密接に結び付いている場合、そのレイヤーだけを置き換えることは難しくなる。

どちらにも単純な答えはない。オープンなコンポーネントは、購入判断の中で見えなかった統合コストを露呈させることがある。プロプライエタリなシステムは当初は高い性能を発揮しても、将来的な置き換えを制限する可能性がある。

AIワークロードは急速に変化するため、選択はさらに難しくなる。トレーニング、検索、ファインチューニング、バッチ推論、対話型エージェントは、メモリ、ストレージ、ネットワークに異なるパターンをもたらす。

大規模トレーニング実行向けに最適化されたアーキテクチャが、多数の小規模推論リクエストにとって最も優れた経済性を提供するとは限らない。低レイテンシーを意図した設計は、需要が変動する際に利用率を犠牲にすることもある。

そのため購入者には、ワークロードレベルの証拠が必要となる。ピークスループットは有用だが、持続的な利用率、テールレイテンシー、エネルギー使用量、復旧時の挙動、ソフトウェア互換性が、本番環境での価値を左右することが多い。

テールレイテンシーは平均ではなく、リクエストのうち最も遅い部分を測定する。少数の遅延した処理がユーザー体験に影響したり、分散ジョブを停滞させたりするため、重要となる。

利用率も同様に重要だ。これは、利用可能な計算能力のうち、どれだけが有用な処理を行っているかを示す。より低価格なコンポーネントでも、アクセラレータを遊休させたり、過剰なエンジニアリング作業を必要としたりすれば、高コストになりうる。

これはクラウドプロバイダー、機器メーカー、チップ企業、企業の購入者に圧力をかける。クラウドプロバイダーは、自社プラットフォームがハードウェア規模を信頼できるサービスに変換できることを示さなければならない。機器メーカーは、個別仕様を提示するだけでなく、完全な構成を検証する必要がある。

チップ企業は、より幅広いインターフェースに対応するよう求められる。企業の購入者は、サプライチェーンのあらゆるレイヤーからの主張を検証できるだけの技術的理解を身に付けなければならない。

ここでの懐疑的な見方は、具体的であるべきだ。ベンダーには、自社製品が対応する用語でボトルネックを定義する強い動機がある。ストレージ供給企業はデータアクセスを強調し、ネットワーキング企業はファブリック性能を強調するだろう。

電力ベンダーが送電網の制約を指摘するのは妥当であり、サーバーベンダーが事前統合済みラックを主張することもできる。どの主張も特定環境では正しい可能性があるが、あらゆる場所で支配的な制約を特定するものではない。

フォーラムのスポンサー一覧は、こうした注意の必要性を補強している。SiliconANGLEの開示情報は有用な文脈を提供するが、読者はイベント参加者による製品の主張と、独立して観測された運用結果を区別すべきだ。

最も信頼できる証拠は、代表的なワークロードを実行する導入済みシステムから得られる。購入者は、モデルサイズ、バッチサイズ、データ配置、ネットワークトポロジー、電力制限、ソフトウェアバージョンを含む、完全なテスト条件を確認すべきだ。

また、一つのボトルネックが改善した後に、どのコンポーネントが次の制約となるかも尋ねるべきだ。より高速なストレージはネットワークの制約を露呈させるかもしれない。メモリを増やせば電力需要が増加する可能性がある。ラックの高密度化は、問題を冷却システムへ移すことがある。

この繰り返されるパターンは、システムアプローチが注目を集める理由を説明する。インフラ最適化はボトルネックを恒久的に取り除くものではない。その位置を変え、次のレイヤーに対応を迫る。

オープン標準は、交換可能なインターフェースを生み出すことで、こうした対応を容易にできる。統合システムは、それらを調整するために必要な作業を減らせる。どちらが勝るかは、特定の事業者にとって柔軟性と導入の確実性のどちらにより大きな価値があるかに左右される。

次の証拠はパネルではなく導入から得られる

システムレベルへの移行が測定可能な成果を生むかどうかは、製品認定、実際のクラスター利用率、設備の準備状況という三つのシグナルで示される。

最初のシグナルは、新しいメモリおよびストレージコンポーネントに対する顧客認定だ。ScaleFluxは、2026年第4四半期に選定顧客へFC6116のサンプル提供を予定している。サンプル提供は評価の始まりであり、広範な採用と同義ではない。

機器メーカーが検証済み設計、生産スケジュール、相互運用性の結果を発表するかを注視したい。混在ワークロードにわたる証拠があれば、ストレージおよびメモリコントローラーがデータパスの負荷を軽減できるという主張の説得力が増す。

遅延、限定的な互換性、仕様とアプリケーション結果の大きな差異は、その主張を弱める。インターフェース速度だけでは統合の問題を解決できないことを示すことになる。

二つ目のシグナルは、クラスター全体の効率だ。事業者は、ワット当たりトークン数、アクセラレータ利用率、モデルリクエストの提供コストについて議論することが増えている。これらの指標は技術設計を有用な出力に結び付ける。

ワークロードと測定条件の両方を説明する開示を注視すべきだ。モデル、精度、バッチサイズ、レイテンシー目標、完全なシステム電力境界が示されなければ、ワット当たりトークン数にほとんど意味はない。

本番ワークロードにおける利用率の向上は、システム論を支持する。それは、より優れたメモリ配置、ネットワーキング、ストレージ、スケジューリングにより、アクセラレータが稼働時間のより多くで生産的に動作していることを示す。

新しいコンポーネントにもかかわらず利用率が横ばいであれば、ソフトウェアの調整やワークロードの変動性が依然として支配的な問題であることが示唆される。また、一つのレイヤーでの改善が単に別の場所へ混雑を移しただけである可能性も明らかになる。

三つ目のシグナルは、設備の導入速度だ。統合型システムとモジュール型システムは、ハードウェア納入から生産的な稼働までの時間短縮を約束する。その価値は、実際のサイトが必要な電力と冷却を提供できるかに左右される。

ラック密度、冷却方式、コミッショニング時間、設備改修を明示した顧客導入を注視したい。また、電力制約のある市場における電力会社との接続スケジュールや、新たなデータセンター容量も確認すべきだ。

導入期間の短縮は、工場統合と再現可能なラック設計の有効性を補強する。変電所、許認可、冷却改修、地域の反対による遅延が続けば、設備制約が依然として支配的であることを示すだろう。

10月13日のフォーラムは、サプライヤーが何を構築し、どこに需要を見ているかを明確にできる。また、彼らが選好するアーキテクチャ間の違いを浮き彫りにすることもある。ただし、それだけでどのアプローチが最良の本番経済性を生むかを確立することはできない。

読者は具体的な主張に耳を傾けるべきだ。登壇者はワークロード、測定境界、比較対象を特定しているか。ベンダーは自社の制御範囲外にあるものを説明しているか。

オープン性に関する主張も同様の精査に値する。標準インターフェースのサポートは有用だが、意味のある相互運用性には、異なるサプライヤーの製品が現実的な条件下で共に動作することが求められる。

同じ原則はモジュール性にも当てはまる。交換可能なブロックで組み立てられたラックが、必ずしも容易にアップグレードできるとは限らない。電力、ファームウェア、冷却、ネットワークトポロジー、管理ソフトウェアが、隠れた依存関係を維持する可能性がある。

企業の購入者にとって、実務的な対応はインフラを連鎖として評価することだ。調達判断には、アクセラレータの利用可能性と併せて、データパス、設備要件、ソフトウェア依存関係、サポートモデルを含めるべきだ。

開発者にも役割がある。検索パターン、コンテキスト長、キャッシュ、バッチ処理、モデルルーティングはインフラ需要に影響する。アプリケーション設計は、データ移動を減らすことも、増幅させることもできる。

知識労働者は、応答時間、信頼性、サービス制限を通じて、その影響を間接的に体験する。インフラが非効率に稼働すれば、プロバイダーは最終的に、製品の可用性、利用ポリシー、あるいは機能提供の遅れという形で、その制約を反映せざるを得ない。

そのため、AI infrastructure bottlenecks take focus - SiliconANGLEは、データセンターのエンジニアリングにとどまらない重要性を持つ。もはや問われているのは、業界がより高速なプロセッサを構築できるかどうかではない。システム全体が、その能力を信頼性が高く、手頃なAIサービスへと転換できるかどうかだ。

今後3か月で、初期的な答えが見えてくるはずだ。新たなコントローラーは顧客評価に入り、OCPセッションでは技術資料が公開され、ベンダーは導入に関するさらなる実証結果を示すだろう。

各発表は最終判断ではなく、システムを構成する一要素として捉えるべきだ。現実の制約下で有用な出力を改善するのか、そして周辺インフラがその変化を吸収できるのかを問う必要がある。

GPU競争は終わっていない。それは、GPUを稼働し続けるために必要なあらゆる要素をめぐる競争へと拡大している。認定結果、稼働率データ、施設整備のタイムラインを追い、印象的なコンポーネント仕様以上の価値を提供するシステムを見極めよう。