Pat GelsingerのAIハードウェア警鐘：HBMは悪く、本当の制約は電力だ

Pat Gelsingerは10月9日、AIハードウェアをめぐる3つの警鐘を示した。チップ設計をいくら改善しても、不十分なメモリ、遅い製造、利用できない電力は解決できない。

元Intel CEOのGelsingerは、The a16z Showのエピソードで、高帯域幅メモリ（HBM）を「ひどい」技術と呼んだ。一方で、AIハードウェアはルネサンス期に入っているとも述べている。しかし彼の最も鋭い予測は、十分な電力を確保できない計画中のデータセンターに関するものだった。

「電力を供給できないなら、なぜ新しいデータセンターを建設し、100万基のGPUを買うのか」とGelsingerは問いかけた。必要と見込まれていたエネルギーを得られず、債務不履行に陥るデータセンタープロジェクトが増えると予測した。

この見通しは、独立して確立された結論ではない。将来の送電に依存する資金計画や建設計画についてのGelsinger自身の判断である。それでも、その根底にある需給のミスマッチは、十分に注目に値する現実だ。

AIインフラへの投資は、しばしばアクセラレータの供給をめぐる競争のように見える。しかしNvidia、AMD、カスタムチップ設計企業、メモリメーカー、クラウドプロバイダー、電力事業者、開発企業は実際には、相互に結び付いた制約のシステムに直面している。

より高速なプロセッサでも、モデルデータを待たされれば価値は限られる。完成したサーバーも、施設が系統接続の待機列から抜け出せなければ価値は限られる。確保済みの電力供給契約も、送電網や発電設備の整備が何年も遅れれば価値は限られる。

したがって、Pat GelsingerのAIハードウェア論における中心的な対立は、Nvidiaと他のチップ企業の争いではない。約束されたコンピューティング能力と、それを稼働させるために必要な物理インフラの対立である。

Pat GelsingerのAIハードウェア論は3つのボトルネックを結び付ける

Gelsingerの重要な主張は、単一の部品が破綻しているということではない。設計、生産、メモリ、電力が現在、互いに両立しない速度で進んでいるという点だ。

AIは、エンジニアによる複雑な設計の作成、検査、最適化を支援することで、半導体設計の一部を短縮できる。その改善が、後工程のすべてを自動的に短縮するわけではない。

製造、高度パッケージング、検証、システム統合、ソフトウェア開発には依然として長い日程が必要だ。Gelsingerは、これらの工程に時間がかかりすぎると、アクセラレータが大規模展開に至る前に、本来想定していたワークロードが時代遅れになる可能性があると論じた。

彼が歴史的な事例として挙げたのはGraphcoreだ。英国のチップ企業である同社は機械学習向けのインテリジェンス・プロセッシング・ユニットを開発したが、周辺市場とソフトウェア環境は急速に変化した。Gelsingerの論点は、そのエンジニアリングに価値がなかったということではない。標的となる市場が、製品サイクルより速く動く危険性にあった。

チップ企業が専門特化するほど、そのリスクは大きくなる。現在のモデル構造向けに最適化されたアーキテクチャは、発売時には異なるアテンション機構、データ形式、コンテキスト要件、推論パターンに直面するかもしれない。

業界では、多数の専用推論プロセッサの実験も進んでいる。Gelsingerは、顧客が無数のハードウェアとソフトウェアの組み合わせを支えきれないため、この分野はいずれ統合されると見ている。

各アーキテクチャには、コンパイラ、フレームワーク、最適化カーネル、ネットワーキング、監視、運用ツールが必要になる。こうした要件によるソフトウェア負担は、魅力的なベンチマーク結果を上回る場合がある。

10月9日のポッドキャスト書き起こしは、この商用化の問題を2つの物理的制約と結び付けている。AIシステムにはアクセラレータへデータを供給できるほど近い位置のメモリが必要であり、施設にはコンピューティング機器と冷却設備の双方を動かす信頼できる電力が必要だ。

この枠組みは、購入者がアクセラレータの発表をどう読むべきかを変える。ピーク演算性能が示すのは、導入済みシステムの一部にすぎない。メモリ容量、実効帯域幅、パッケージング歩留まり、ネットワーキング、冷却、電力の可用性が、実際の出力を左右し得る。

Gelsingerは中立的な観察者ではない。彼はIntelを率い、製造競争力の再建とAI市場での競争力向上を目指す高額な取り組みを主導した。現在の活動には、ハードウェアおよびフォトニクス分野の事業も含まれる。

それでも彼の業界経験は、この批判に重みを与える。プロセッサ設計、製造戦略、システムアーキテクチャ、経営計画にまたがる経験を持つ。単一の性能主張を受け入れるよう求めるのではなく、購入者が検証できる依存関係を説明している。

ゆえに、彼が見るルネサンスは混沌としている。AIツールは、新たなチップを提案できるチームの数を増やし得る。どの提案が持続するプラットフォームになるかは、製造経済性とソフトウェア採用が決める。

ここで、この記事における最初の逆説が生まれる。設計が容易になるほど、アーキテクチャの実験は増える一方で、製造へのアクセス、パッケージング、展開の規律はいっそう重要になる。

Pat GelsingerがHBMをひどいメモリと呼ぶ理由

HBMが成功しているのは、AIアクセラレータが極めて大きな帯域幅を必要としているからであり、積層DRAMが容量、密度、温度、コストの理想的な均衡を実現しているからではない。

高帯域幅メモリは、動的ランダムアクセスメモリのスタックをアクセラレータの近くに配置する。幅広い接続により、プロセッサは、より狭いチャネルを通じる従来のサーバーメモリよりはるかに多くのデータを移動できる。

この近接性は重要だ。多くのAI処理はデータ移動によって制約されるためである。モデルの重み、活性化値、キャッシュされたトークンの到着が遅すぎると、アクセラレータは演算ユニットを十分に稼働させられない。

HBMは帯域幅の問題に対処するが、その構造は難しいトレードオフをもたらす。積層ダイは、小さな領域にメモリと熱を集中させる。高度パッケージングでは、許容可能な歩留まりを維持しながら、メモリスタックを高価なアクセラレータに接続しなければならない。

Gelsingerは、ビット密度、ショアライン帯域幅、電力、熱特性に焦点を当てた。ショアライン帯域幅とは、チップまたはパッケージの限られた物理的な境界に沿って、設計者がどれだけの接続性を配置できるかを指す。

また彼は、DRAMは熱への耐性が高くないとも指摘した。メモリを高温になる演算ユニットの近くに配置すれば通信は改善するが、熱管理は難しくなる。

彼の表現は意図的に厳しかった。HBMは「ひどい」メモリだが、それでも現時点で最善の選択肢であり続ける。この後半が重要なのは、この批判がAIチップメーカーの判断を非合理的だったとは示していないからだ。

業界は、差し迫ったボトルネックを解消するためにHBMを採用した。有効な代替手段なしにこれを取り除けば、大規模モデルを扱うプロセッサが利用できる帯域幅は減少する。

HBMメーカーも、積層、インターフェース、電力効率、統合を継続的に改善している。アクセラレータ企業が今まさにその進歩を必要としているため、SK hynix、Samsung、Micronは大規模な投資を行ってきた。

SK hynixは、メモリとロジックのより緊密な統合を、現在のシステム制約を回避する道筋として提示している。同社の公開されたメモリ統合に関する取り組みでは、ファウンドリおよびパッケージングパートナーとの協業が強調されている。

この立場は、Gelsingerの見解を部分的に支持する。有力なHBMサプライヤーも、従来型の遠隔メモリが将来のAI要件を満たせるとは主張していない。メモリをロジックに近づけ、パッケージングをアーキテクチャの一部として扱っている。

しかし、改善してもHBMが恒久的な答えになるわけではない。容量、熱密度、製造の複雑性、物理的インターフェースの限界は、依然として活発な研究課題である。

代替技術は、異なる方法で問題を分割する。ニアメモリコンピューティングは、一部の処理を保存データの近くへ移す。低コストメモリのより大きなプールは、帯域幅の一部を容量と引き換えにする。新たなインターコネクトは、過大なレイテンシペナルティなしにアクセラレータが追加メモリへ到達できるようにしようとしている。

高帯域幅フラッシュは、将来的には一部のワークロードで大幅に大きな容量を提供できる可能性があるが、あらゆる役割でDRAMをそのまま置き換えられるわけではない。コンピュート・イン・メモリの概念は、データが置かれている場所で特定の演算を実行し、データ移動を減らそうとする。

こうした手法には、新たなハードウェアとソフトウェアの前提が必要だ。開発者には予測可能なプログラミングモデルが必要であり、クラウド事業者には変化するワークロードに対しても有用性を保つシステムが必要になる。

だからこそ、HBMへの批判をHBM需要の短期的な崩壊と取り違えるべきではない。現在の市場は膨大な帯域幅を必要としており、本番システムは大規模に利用可能な技術を使わなければならない。

より有益な読み方は、アーキテクチャの観点にある。追加される層、インターコネクト、冷却機構、パッケージング工程の一つひとつが、現在どれほど多くのエンジニアリングがプロセッサへのデータ供給に費やされているかを示している。

したがってAIの購入者は、アクセラレータの見出しとなるスループットだけでなく、持続的なアプリケーション性能を問うべきだ。デバイス当たりのメモリ容量、実ワークロード下での帯域幅、熱スロットリング、インターコネクトの挙動、ソフトウェアの成熟度を検討すべきである。

GelsingerのHBM批判は、メモリウォールの診断として最も説得力を持つ。この壁とは、演算速度と、システムがプロセッサにデータを供給する能力との隔たりが拡大していく現象だ。

HBMはその壁を遠ざけるが、取り除くわけではない。

AIハードウェアのルネサンスも製造を避けては通れない

AIはチップのアイデアをより幅広く生み出している一方、製造、パッケージング、ソフトウェアの規模は、生き残れる企業群を絞り込んでいる。

Gelsingerは、AI支援がチップ開発を圧縮できると論じる。エンジニアはモデルを使って設計要素を生成し、レイアウトを探索し、検証結果を調べ、より大規模な技術情報を読み解ける。

これにより、もっともらしい設計に到達するまでの労力は減らせる。しかし、最先端の製造工場を出現させることも、高度パッケージング能力を即座に増やすことも、許容可能な製造歩留まりを保証することもできない。

チップが商業的に意味を持つのは、製造、パッケージング、試験、設置、プログラミングを経て、信頼性高く運用されて初めてである。どの段階の弱点も、売上を遅らせたり、顧客に十分活用されないハードウェアを残したりする可能性がある。

ここに、このルネサンスが単純なスタートアップブームと異なる点がある。より多くのチームが専用プロセッサを探究できる一方、量産展開に必要なすべての資源を確保できる企業は比較的少ない。

Nvidiaの優位性は、この点をよく示している。その地位はアクセラレータ性能に支えられているが、ソフトウェア、ネットワーキング、システム、開発者の習熟度、大規模展開向けに構築されたサプライチェーンにも支えられている。

AMDはInstinctアクセラレータと関連ソフトウェアで競争している。Googleは、クラウド内部でTensor Processing Unitsを開発・展開することに長年を費やしてきた。AmazonとMicrosoftも、自社ワークロード向けのカスタムシリコンを設計している。

これらの企業は、チップ設計をデータセンター、社内ソフトウェアチーム、顧客需要、購買コミットメントと結び付けられる。より小規模な設計企業は、しばしばパートナーシップを通じてそれらを組み立てなければならない。

製造サイクルは、別の形のリスクも加える。あるモデル世代向けに構想された専用チップは、顧客が異なるモデル規模や推論経済性へ移行した後に量産へ到達する可能性がある。

Gelsingerの議論が最も力を持つのは、このタイミングの不一致を指摘する部分だ。AIは設計者が初期段階でより速く動く助けになる一方、物理的な生産経路は比較的硬直したままである。

光インターコネクトは、提案されている対応策の一つだ。これは光を使ってシステムコンポーネント間で情報を移動させ、より長い距離での電気信号の制約の一部を緩和する可能性がある。

Gelsingerは、メモリと演算を近くに保ちながら、より多くの入出力トラフィックを光リンクが担うべきだと論じてきた。現在の活動には、xLightを通じたフォトニクス手法の推進も含まれている。

フォトニックチップに関する記事では、この取り組みを、大規模コンピューティングシステムの接続方法を改善するためのより広範な試みの一環として紹介している。この技術には依然として、製造、統合、導入に関する課題がある。

光技術がすべてのボトルネックを解消するわけではない。電力を生み出すことも、HBMスタックを追加することも、効率的なソフトウェアの必要性をなくすこともできない。ただし、システムの各部分間でデータを移動させる際のエネルギー消費とレイテンシーは削減できる。

同じ原理は、チップレット、先進パッケージング、メモリ統合にも当てはまる。現代の性能向上は、単一のモノリシックなプロセッサに依存するのではなく、専門化されたコンポーネントを接続することにますます左右されている。

そのため、複数のサプライヤーを調整できる企業の価値は高まる。同時に、いずれか1つのコンポーネントが遅延した場合の影響も大きくなる。

したがって、AIハードウェアの復興は多様化と集約の両方をもたらす。新しい設計は登場するが、顧客は大規模に提供可能で、既存ソフトウェアを信頼性高く実行できるアーキテクチャに支出を集中させるだろう。

開発者は、シリコンの仕様と同じくらいソフトウェアサポートを注視すべきだ。成熟したコンパイラや最適化済みモデルカーネルがない有望なアクセラレータは、導入後も活用されないままとなり得る。

企業の購入担当者も関連する判断に直面する。数年前からハードウェアを予約すれば能力を確保できる一方、モデル、エネルギーコスト、稼働率に関する前提に組織を縛り付ける可能性もある。

勝つアーキテクチャは、理論上の数値が最も大きいチップとは限らない。利用可能なメモリ、電力、ソフトウェアを、許容可能な運用コストで安定したトークン生成へ変換できるシステムかもしれない。

電力不足がコンピューティング計画を信用リスクに変える

電力制約は、未完成または電力不足の施設では想定収益を支えられないため、エンジニアリング上の問題を資金調達上の問題へと変える。

Gelsingerの基本的な警告は、必ずしも既存クラウドプロバイダーの差し迫った破綻ではなく、プロジェクトに関するものだ。この区別により、劇的な予測が誤解を招く主張になるのを防げる。

データセンター開発には、土地、許認可、建設融資、機器の契約、電力会社との契約、見込み顧客との契約などが関わり得る。こうした要素が常に同じスケジュールで整うとは限らない。

開発事業者は、電力会社が発電、送電、変電所、系統接続を拡充するよりも速く、建物を建設しサーバーを発注できる。送電開始予定日に間に合わないプロジェクトは、顧客にサービスを提供する前から資産コストを負担し始める可能性がある。

その遅延は財務モデルを弱体化させる。債務返済は継続し、機器は減価償却され、顧客は別の場所に能力を求める可能性がある。積極的な稼働率を前提としたプロジェクトは、割り当てられた電力の一部しか届かなければ脆弱になる。

これがGelsingerの警告の仕組みである。全国規模で電力が消える必要はない。地域的な不足、接続の遅延、不確実な供給スケジュールが、個別プロジェクトに損害を与え得る。

国際エネルギー機関は、2024年にデータセンターが世界で約415テラワット時の電力を消費したと推定している。そのベースケースでは、2030年までに需要は約945テラワット時に達すると見込まれている。

IEAは、2030年までの世界の電力需要増加に占めるデータセンターの割合は10％未満と予測している。この世界全体での比率は、個別市場における深刻な圧力と両立し得る。

データセンターは地理的に集中している。また、特定の場所で大規模かつ安定した電力負荷を必要とするため、世界全体の合計より地域の送電網状況のほうが重要になる。

同機関のエネルギー需要分析では、AI重視の施設が増加分の大部分を牽引すると予想されている。同時に、予測は効率性、導入状況、ハードウェア、モデル開発に左右されるとも強調している。

この不確実性は両方向に作用する。より優れたチップ、改善された冷却、より効率的なモデルは、タスク当たりの電力消費を減らし得る。その後のコスト低下が利用拡大を促し、効率化による削減の一部を相殺する可能性がある。

施設開発事業者には複数の対応策がある。発電余力のある地域を選ぶ、段階的に建設する、長期電力契約を確保する、あるいは新たな発電・送電設備を支援するといった方法だ。

一部の事業者は、天然ガス発電、原子力契約、蓄電設備を組み合わせた再生可能エネルギー、柔軟なコンピューティングスケジュールを検討している。それぞれに、許認可、資金調達、信頼性、排出量に関するトレードオフがある。

電力契約も精査が必要だ。契約上のエネルギー、発電容量、系統接続の承認、実際の供給は、同じ概念ではない。

投資家は、いつ電力が利用可能になるのか、遅延リスクを誰が負うのか、約束された供給が施設の計画上の総負荷を支えられるのかを問うべきだ。冷却・バックアップシステムが含まれるかも確認すべきである。

顧客も、予約したアクセラレータ能力を保証済みと見なす前に、同様の問いを投げかけるべきだ。クラウドプロバイダーはハードウェアを保有していても、すべてのシステムを継続的に稼働させるのに十分な、稼働開始済みのインフラを持たないことがある。

Gelsingerの「100万GPU」の例は、特定の債務不履行プロジェクトを記録したものではなく、規模を表している。読者はこれを、特定の開発案件が失敗した証拠として扱うべきではない。

ただし、彼のより広い結論には説得力がある。調達は、最も遅い物理的依存要素より先行している。電力供給前に投入される資本が大きいほど、スケジュールが乖離した際のエクスポージャーは大きくなる。

債務不履行の予測には、より高い立証責任が必要だ

電力不足は確認されているが、データセンターの債務不履行が相次ぐという見通しは、プロジェクト単位の財務的証拠を必要とする予測である。

Gelsingerの警告は、複数の可能な結果を印象的な1語に圧縮している。建設の遅延、段階的な展開、契約再交渉、資産売却、事業再編、支払い不履行は同じではない。

開発事業者は、債務返済義務を履行できなくなることなく遅延を吸収できる場合がある。大手テクノロジー企業は、投機的な事業者よりも容易に資本を振り向け、機器を移転し、納入スケジュールを再交渉できる。

融資機関も、後続の建設資金を実行する前に電力確保を求めることがある。こうした保護措置はエクスポージャーを減らし得るが、スケジュールリスクをなくすことはできない。

送電開始の遅延が支払い遅延、不良債権、リース契約の解約、苦境下での資産売却を生んだ場合、この主張はより説得力を持つ。公開情報は、延期されたすべての施設を債務不履行と扱うのではなく、こうした結果を特定すべきだ。

メモリへの批判には反論もある。HBMは、従来型メモリシステムでは提供できなかった帯域幅を実現し、現在のAI拡大を可能にしてきた。

HBMをひどいものと呼ぶと、積層、パッケージング、インターフェース、エネルギー効率における大幅な進歩が見えにくくなる。本質的な問いは、別のアーキテクチャが実際のワークロードでHBMを上回り、量産出荷できるかどうかだ。

メモリメーカーには、自らの投資を守り拡大する強い動機がある。それでも、より密接なロジック統合や代替メモリ階層に取り組んでいることは、現在のアーキテクチャにもなお改善の余地があることを示している。

電力予測にも同様の不確実性がある。IEAは、世界のデータセンター電力消費量が2030年までに倍増する一方、AI重視の消費はさらに速く増加する見通しだとしている。

電力会社、規制当局、事業者はすでに対応を進めている。新たな発電、送電網の強化、需要の柔軟化、より効率的なコンピューティングは、需給の差を縮め得る。

IEAはまた、2030年までのデータセンター電力需要増加のほぼ半分を再生可能エネルギーが供給すると見込んでいる。この見通しは、すべての地点におけるタイムリーな供給を保証するものではない。

立地は依然として決定的だ。国全体では十分な発電量があっても、特定地域では送電容量や承認済みの系統接続が不足していることがある。

テクノロジーも需要曲線を変え得る。量子化はモデル値の表現に使う精度を下げる。蒸留は能力をより小さなモデルに移転する。より良いスケジューリングは、導入済みフリート全体の稼働率を高める。

こうした改善は、特定のワークロードに必要なハードウェアを削減し得る。ただし、推論コストの低下は多くの場合、より多くのユーザーやアプリケーションを呼び込むため、総消費量の低下を保証するものではない。

したがって、GelsingerのAIハードウェアに関する議論は、確定した市場予測ではなくストレステストとして捉えるべきだ。メモリ、製造能力、電力が想定より遅れて到着した場合でも、計画が成立するかを問うている。

答えはプロジェクトごとに異なる。強固なバランスシートと確保済み電力を持つハイパースケーラー所有のキャンパスは、将来のテナントと不確実な送電網接続を前提にした開発案件とは異なるリスク区分にある。

読者は、発言者の権威と証拠も分けて考えるべきだ。Gelsingerには半導体分野で深い経験があるが、それがすべてのプロジェクトの資金調達を私的に把握していることを意味するわけではない。

彼の警告が注目に値するのは、そのメカニズムに一貫性があるためだ。検証には、契約、系統接続スケジュール、稼働率データ、融資実績、開発中止に関する開示が必要となる。

3つのシグナルがGelsingerの警告を検証する

このストーリーの次の段階は、供給された電力、実用可能なメモリ代替手段、財務上明確に見えるプロジェクト破綻によって決まる。

第1のシグナルは、発表されたデータセンター能力と、実際に通電した能力との乖離だ。発表は意欲を測るが、稼働開始済みの電力負荷は事業者が実際に利用できる能力を示す。

電力会社による系統接続承認、変電所の完成日、送電プロジェクト、段階的なキャンパス開設を注視すべきだ。遅延が繰り返されれば、電力が制約要因になったというGelsingerの主張を強めるだろう。

より迅速な接続と信頼できる供給は、債務不履行論を弱める。資金調達圧力が深刻化する前に、電力会社と開発事業者が拡張を調整できることを示すからだ。

第2のシグナルは、メモリ代替技術が研究室を出て量産システムに入るかどうかである。HBM4の改善は重要だが、あらゆる批判を解決するのではなく、現在のアプローチを拡張するものだ。

ニアメモリコンピューティング、高帯域幅フラッシュ、光リンク、より大規模な従来型メモリプールは、出荷済み製品によって評価すべきだ。有用な指標には、アプリケーション性能、容量、電力効率、ソフトウェア互換性、量的な供給可能性が含まれる。

HBMへの依存を減らす信頼できる導入事例は、復興論を後押しする。一方、製造規模を伴わない有望なプロトタイプは、商業化に関するGelsingerの警告を支持することになる。

第3のシグナルは、プロジェクト単位の財務的苦境である。投資家は、利用できない電力と直接結び付いた支払い遅延、再編、テナント契約の取り消し、苦境下での売却、融資機関の開示を探すべきだ。

通常のスケジュール変更だけでは十分ではない。複数の独立したプロジェクトが、エネルギー供給の遅延と財務上の債務不履行との共通したつながりを示したときに初めて、その予測は「波」となる。

これらのシグナルは、半導体投資家以外にも重要である。開発者は、どのアーキテクチャに最適化作業を投じるべきかを知る必要がある。企業の購入担当者は、予約した能力が予定どおり届くかを評価する必要がある。

ナレッジワーカーは、モデルの利用可能性、レイテンシー、利用制限、サービス信頼性を通じて結果を体験する。インフラのボトルネックは、最終的にその上に構築される製品に現れる。

発表を比較するチームは、判断、技術的証拠、変化する前提をAIナレッジベースに保存できる。この記録は、納期やアーキテクチャに関する主張が変わったときに役立つ。

Pat GelsingerのAIハードウェアに関する警告は、突き詰めれば調整の問題である。メモリ、パッケージング、ソフトウェア、冷却、資金調達、電力が同時に整わなければ、より良いシリコンを設計するだけではもはや十分ではない。

HBMは不可欠であり続けながら、深刻な問題を抱える可能性がある。AIハードウェアが再興を迎える一方で、大半の新アーキテクチャは規模拡大に至らないかもしれない。データセンター需要が伸びる一方で、個々のプロジェクトは採算が取れなくなる可能性がある。

今後3カ月の問いは具体的だ。新たな予約や予測を重ねるのではなく、稼働中の能力、導入済みメモリの改善、そして実際に動作するシステムを示せる企業はどこか。