SK hynixのメモリー中心AIラック、GPU優先サーバーに挑む
SK hynixはOCP Global Summit 2026で、メモリー中心のAIラックを発表した。これは、現代のAIサーバーを形作ってきたプロセッサー優先の設計に異議を唱えるものだ。同社のMARSアーキテクチャは、メモリーを個々のCPUやGPUから切り離し、その容量をラック全体で共有可能にする。この提案は、アクセラレーターを追加しても、推論データの移動、複製、保存の課題が自動的に解決されるわけではないという、拡大する矛盾を対象としている。
同社は10月12日から15日にかけて開催されたサンノゼのサミットで、Memory-Centric AI Rack Systemの略称であるMARSを披露した。デモでは、CXLメモリー、DRAM、SSD、コンピュテーショナルメモリー、そして複数のパートナー企業のソフトウェアを組み合わせた。中核となる考え方は単純だが、その実装は容易ではない。メモリーは個々のサーバー内に閉じ込められたままではなく、ラックレベルで共有されるリソースになるべきだというものだ。
この立場によりSK hynixは、特定のチップメーカーやメモリーサプライヤーではなく、既存のGPU中心サーバーモデルと対峙することになる。NVIDIA、AMD、その他のプロセッサーベンダーはすでに、統合度を高めたラックプラットフォームを構築している。SK hynixは、特にエージェント型ワークロードが大規模なキャッシュとより長いコンテキストを蓄積するなか、推論インフラにも独立して管理されるメモリーレイヤーが必要だと主張している。
SK hynixのメモリー中心AIラック、コンポーネントからシステムへ
重要な変化は新しいメモリーモジュールではない。SK hynixは現在、AIラック全体がメモリーをどのように構成すべきかを提案している。
SK hynixは従来、サーバー設計者がプロセッサーの周辺に配置するコンポーネントを供給してきた。OCP Global Summit 2026では、MARS systemを通じて、より広範なアーキテクチャ上の立場を提示した。この設計はパートナーのハードウェアとソフトウェアを1つのラックに統合し、その中心に共有メモリーを配置する。
ラックとは、サーバー、ネットワーク機器、ストレージ、電源システム、その他のインフラを収容する物理的な構造である。現在は通常、各サーバーが固定量のローカルメモリーを保有する。あるサーバーで容量が不足しても、同じラック内の別の場所にある未使用メモリーへはアクセスできないことがある。
MARSは、この割り当てモデルの変更を試みる。Compute Express Link、すなわちCXLを用いて、PCI Expressを基盤とするキャッシュコヒーレントなインターフェース経由でプロセッサーとメモリーを接続する。CXLプーリングにより、複数のホストが共有されたメモリーデバイス群の容量にアクセスできる。
同社は概念図だけでなく、パートナー企業とともに3つのMARSデモを披露した。Arcee、Liqid、Marvellは、複数のサーバーとGPUをプールされたメモリーに接続するデモに参加した。SK hynixによれば、このシステムは従来のネットワーク通信に全面的に依存せず、キー・バリューキャッシュを転送・再利用したという。
一般にKVキャッシュと呼ばれるキー・バリューキャッシュは、言語モデルがすでに計算した中間データを保存する。同じコンテキストを生成トークンごとに再計算しなくて済むため、データの再利用が可能になる。会話、文書、複数ステップのエージェントタスクが長くなるほど、キャッシュは大きくなる。
別のデモでは、AMD、Penguin Solutions、XCENA、Arceeの技術を組み合わせた。CXLベースのハイブリッドメモリーレイヤーの背後にDRAMとSSDの容量を配置したシステムである。このシステムは、どのキャッシュデータが必要になるかを予測してDRAMへ読み込み、完全なキャッシュをSSDに保持した。
パーソナルAIエージェントプロバイダーのPickleと行った3つ目のデモは、複数モデル間の転送に焦点を当てた。SK hynixによれば、プールメモリーのストリーミングにより、これらのモデル間でデータを移動する時間が短縮された。同社はこれを、エージェントが最終結果を返すまでの遅延を短縮する手段として位置付けた。
これらのデモが重要なのは、提案を個別のメモリーベンチマークの域を超えたものにするためだ。キャッシュ共有、マルチモーダルパイプライン、パーソナルエージェントを含む実際の推論タスクを、プールされた容量がどのように支え得るかを示している。ただし、SK hynixはMARSデモについて、完全かつ独立して再現可能な性能結果を公開していない。
イベント自体も、アーキテクチャへの注力を強調した。Open Compute Projectは2026年のテーマを、AI時代に向けたインフラのスケーリングと説明している。summit visionでは、チップ、ラック、冷却、電力、ネットワーク、データセンター設備にまたがる変革を求めている。
この文脈は、SK hynixが別のコンポーネントロードマップではなくシステムを強調した理由を説明する。同社は、事業者がAIラックの挙動を決定する段階で、メモリーサプライヤーが関与することを目指している。それにより、サーバーが最終的な生産設計に到達する前に、メモリーアーキテクチャがより大きな役割を持つことになる。
推論はメモリー容量をラックレベルの課題に変えつつある
AI推論は、長く持続するワークロードの提供に高速な計算と大容量で再利用可能なメモリーの両方が求められるため、ボトルネックを変化させる。
AIトレーニングでは、アクセラレーターと高帯域幅メモリーがインフラ計画の中心となった。トレーニングでは、大量のモデルパラメーターが並列プロセッサーを繰り返し通過する。HBMはそれらのプロセッサーの近くに配置され、稼働状態を維持するために必要な帯域幅を提供する。
推論では異なる種類の負荷が生じる。各リクエストには、長いプロンプト、保存済みの会話履歴、検索された文書、ツールの結果、画像、音声が含まれる可能性がある。エージェント型システムは、複数のモデルやサービスを連携させながら、そのようなワークロードをいくつも維持できる。
その結果生じる状態は、単一のアクセラレーター内にきれいに収まらない。コンテキストが長くなるにつれてKVキャッシュが容量を消費し、モデルの重みと埋め込みも追加の需要を生む。事業者は、どの情報をHBMに残し、どれをシステムメモリーへ移し、どれをストレージに置くかを決定する必要がある。
GPUを追加すれば、接続されたHBMを増やせるが、高価なコンピュートリソースも追加される。直近の制約が演算スループットではなく容量である場合、これは非効率的だ。また、サーバー間でワークロードが変動すると、メモリーが遊休化したままになる可能性もある。
SK hynixは、その答えはディスアグリゲーションにあると主張する。これは、メモリー容量を特定のプロセッサーから切り離し、必要に応じて割り当てる手法だ。同社でメモリーシステム研究を率いるHosik Kim氏は、サミットでのプレゼンテーションでGPUメモリーを取り巻く物理的・経済的な制約を説明した。同氏のrack-level proposalは、ディスアグリゲートされたメモリーとSSDリソースを中心に構築されたシステムを提唱した。
エージェントへの移行は、この主張を強めている。従来型のチャットボットは、セッション終了後に一時的な状態の大半を破棄できる。永続的なエージェントでは、コンテキストの保持、以前の作業の再訪、専門モデルの連携、多数の同時ユーザーへの対応が必要になる場合がある。
これはメモリー再利用の価値を変える。複数の推論サーバーが1つのキャッシュ済みプロンプトや共有プレフィックスにアクセスできれば、重複コピーを減らせる。障害が発生したサーバーや過負荷のサーバーが、すべての状態をネットワーク経由で移動せずに作業を別の場所へ引き渡せれば、応答時間が改善する可能性がある。
CXLプールメモリーは、この共有をより直接的に実現するよう設計されている。すべての転送を従来のストレージまたはネットワーク操作として扱うのではなく、メモリーセマンティクスを通じてラックレベルの容量を公開できる。ゼロコピー共有は、プロセッサーが完全なコピーをもう1つ作成せずに同じデータへアクセスできるようにすることを目的とする。
このアプローチが有効かどうかは、依然としてワークロードに左右される。一部の推論処理は極めて低いレイテンシーに依存し、アクセラレーターの隣に配置されたHBMを必要とする。より大きな容量を得る、または重複を回避できるなら、より高いレイテンシーを許容できるデータもある。
このため、MARSはHBMの置き換えを提案しているわけではない。SK hynixはCXLシステムとともに、HBM4、HBM4E、サーバーDRAM、エンタープライズSSD、High Bandwidth Flashを展示した。同社の戦略は、ソフトウェアがデータの種類ごとに適切な階層へ配置するヒエラルキーである。
このタイミングは、業界全体の移行も反映している。OCPは、次の推論の波が集中型ハイパースケール拠点を越えて広がると見込む。地域データセンター、企業施設、通信拠点、産業現場では、電力と容量の制約が異なるシステムが必要になる。
こうした環境では、アクセラレーターラックを追加購入するだけでは、すべてのメモリー不足を解決できない。共有プールは、不均一なワークロード全体での利用率を改善し得る。また、特定のプロセッサー世代からより独立して容量を拡張できるようになる可能性もある。
したがってエンタープライズ購入者にとって、重要な問いは変わりつつある。選択肢は、どのアクセラレーターが最高のベンチマークスコアを出すかだけではない。購入者は、ラックがモデル状態、キャッシュの増大、データ移動、未使用メモリーをどのように管理するかも知る必要がある。
CXLプールメモリーがMARSを支える仕組み
SK hynixのMARSシステムは、CXLによってメモリーをコンポーザブルなインフラへ変え、ソフトウェアが各階層に何を置くかを決めることに依存している。
SK hynixは、CXL 3.2を基盤とする第2世代の256GB CMM-DDR5モジュールを発表した。CMMはCXL Memory Moduleを意味し、CXLインターフェースを通じてメモリーを拡張または共有するデバイスである。同社によれば、このモジュールは毎秒80GBの帯域幅に達する。
この数値はSK hynixの前世代と比べて2倍超の帯域幅に当たる。同社は、エネルギー効率が約30%向上したとも主張している。これらの数値はSK hynixによる製品比較を示すものであり、広範な第三者検証は受けていない。
このモジュールはCXLプーリングをサポートし、ホストが共通リソースから容量を引き出せるようにする。動的割り当てにより、常時その容量を固定的に割り当てることなく、負荷の高いサーバーへより多くのメモリーを提供できる。負荷の低いホストは、別のワークロードのために未使用容量を返却できる。
この仕組みは遊休化したメモリーに対処する一方で、障害と管理のモデルも変える。事業者には、分離、アクセス権限、サービス品質、テレメトリー、リカバリーのための制御が必要となる。容量が共有化されると、メモリーエラーやファブリックの輻輳がより広範なマシン群に影響する可能性がある。
MARSは、プールDRAMの下にハイブリッド階層を追加する。CXLハイブリッドメモリーはDRAMとSSD容量を組み合わせ、頻繁にアクセスされるデータを高速なメモリーに保持できる。アクセス頻度の低いデータは、システムが間もなく必要になると予測するまで、より大容量のストレージに残しておける。
SK hynixは大規模なKVキャッシュでこの挙動を示した。このデモでは、過去の会話やタスク履歴から有用なキャッシュエントリーを予測したとされる。そして、ワークロードが要求する前に、それらのエントリーをDRAMへ読み込んだ。
このプロセスはコンピューティングにおける他のキャッシュ処理に似ているが、AI推論には特殊な規模とアクセスパターンが加わる。キャッシュの判断は、最初のトークンまでの時間、持続的なトークン生成、同時に処理できるユーザー数に影響し得る。不適切な予測は、追加のデータ移動と遅延を生む可能性もある。
SK hynixに関連する研究者は、ITMEと呼ばれる2026年の論文で、この階層型アプローチを検討した。提案システムは、大規模な推論状態のために、本番グレードのCXLメモリーとPCIe Gen5 SSDを組み合わせる。著者らは評価において、従来のCPUオフロードと比較して最大35.7%高いスループットを報告した。
この数値を、一般的なMARSベンチマークとして扱うべきではない。この研究は特定のアーキテクチャ、構成、ワークロードを評価したものだ。それでも、キャッシュのフットプリントがローカルホストの容量を超える場合、階層型メモリーが推論を改善し得るという技術的証拠を示している。
コンピュテーショナルメモリーも、この仕組みの一部を担う。すべてのデータセットをCPUやGPUへ移動する代わりに、選択された処理を、そのデータを保存しているメモリーの近くで実行する。SK hynixはこのコンピュート機能を備えたモジュールをCMM-Axと呼んでいる。
サミットでは、CMM-Axが効率的な長文コンテキスト言語モデルのデモを支えた。長文コンテキストとは、モデルが1回のリクエスト内でより多くのテキストや他の入力を処理できることを指す。この能力にはより多くのメモリが必要であり、処理層と容量層の間で追加のデータ移動も発生する。
限定的な計算処理をメモリの近くに移すことで、トラフィック、消費電力、プロセッサのオーバーヘッドを削減できる可能性がある。ただし、それによってメモリモジュールがGPUの汎用的な代替品になるわけではない。有用な処理は、モジュールに搭載された専用計算リソースとプログラミングモデルに適合している必要がある。
XCENAによる独立したデモは、機会と不足している証拠の両方を示している。同社のMX1コントローラは、CXLメモリデバイス内で共有KVキャッシュとベクトル検索をサポートした。computational memory demoでは、数千個の小型RISC-Vコアを用い、大容量DRAM構成をサポートした。
しかし、XCENAはこれらのサミットデモに関するレイテンシ、スループット、サーバー構成の詳細を公開していない。この欠落により直接比較は難しくなる。また、購入者が機能デモと本番対応済みの性能主張を分けて考えるべき理由も示している。
したがって、より大きな仕組みは協調的なメモリ階層である。HBMはアクセラレータの近傍で最も帯域幅への要求が厳しいデータを扱う。共有DRAMは利用可能な容量を拡張し、コンピュテーショナルメモリは選択された処理を担い、SSDはより大規模または低頻度のデータセットを保持する。
この階層を整合的に機能させるにはソフトウェアが必要だ。重要なデータを特定し、将来のアクセスを予測し、緊急になる前に情報を移動させ、予測が外れた場合に回復できなければならない。こうした制御がなければ、メモリ階層の追加は有用な容量ではなく複雑さを生む可能性がある。
GPUファーストのラックも立ち止まってはいない
SK hynixはプロセッサファーストの設計に挑戦しているが、アクセラレータベンダーはすでにネットワーク、メモリ、ソフトウェアを1台のラックスケールコンピュータの構成要素として扱っている。
現代のAIラックは、密結合されたシステムへと進化している。NVIDIAのプラットフォームは、GPU、CPU、高速インターコネクト、ネットワーク、冷却、ソフトウェアを統合する。AMDも、アクセラレータとオープンなインフラ標準を中心にラックスケールのプラットフォームを構築している。
この統合はプロセッサベンダーに重要な優位性を与える。AIフレームワーク、モデルサービングエンジン、通信ライブラリ、オーケストレーションツールで使われるソフトウェア経路を彼らが管理しているためだ。メモリファブリックは、脆弱なカスタム統合を生まずに、それらの経路へ適合しなければならない。
SK hynixは、プロセッサを計算の中心から排除しようとしているわけではない。同社の主張は、リソースの所有権とデータ配置に関するものだ。各サーバーに従属させるのではなく、メモリ容量をラックレベルのサービスとして運用したい考えである。
この違いにより、主要な対立は企業間ではなくアーキテクチャ上のものになる。GPUファーストのラックは、密結合されたコンピュートノードとそれに接続されたメモリを追加することで拡張する。メモリ中心のラックは、複数の計算ユニットがアクセスできる独立したプールとして容量を扱う。
どちらの方式にもトレードオフがある。ローカルのアクセラレータメモリは、予測可能なレイテンシと高い帯域幅を提供する。共有メモリはより大きな容量と利用効率をもたらし得るが、アクセスは追加のリンク、スイッチ、コントローラ、ソフトウェア層を横断する。
この2つの設計は、単一のプラットフォーム内で共存できる。GPUはアクティブなテンソルと直近のキャッシュエントリをHBMに保持しつつ、古いコンテキストをプールされたDRAMに置くことができる。SSDベースの容量は、HBMレイテンシを必要としないはるかに大きな状態を保持できる。
SamsungはOCP Global Summit 2026で、動的に割り当てられるメモリを利用するエージェントワークロードを含む独自のCXLプーリングの取り組みを披露した。この並行した取り組みは、メモリプーリングが孤立したSK hynixのプロジェクトではなく、競争上の要件になりつつあることを示唆している。
競争には、コントローラ供給企業、サーバーメーカー、クラウド事業者、ソフトウェア開発者も関わる。Marvell、Liqid、XCENA、Penguin Solutions、Arcee、NAVER Cloud、AMDは、SK hynixのデモ全体に登場した。導入に必要なすべてのレイヤーを単独で管理するベンダーは存在しない。
インターフェースがオープンに保たれれば、このパートナー依存はアーキテクチャを強化し得る。一方で、ファームウェア、ドライバ、オーケストレーションソフトウェア、可観測性ツールの成熟速度が異なれば、導入を遅らせる可能性もある。トラブルシューティングが予測不能になれば、事業者は容量拡大の恩恵を受け入れないだろう。
したがって、標準化も競争の一部である。SK hynixのYoungpyo Joo氏は、ベンダー間でソフトウェアフレームワークとAPIを整合させることをテーマとするOCPパネルに参加した。この議論では、協業と競争が混在する市場で製品を接続するために必要なソフトウェアが扱われた。
CXLは共通のハードウェア基盤を提供するが、仕様があっても製品間で同一の挙動が保証されるわけではない。メモリ割り当てポリシー、トポロジー管理、セキュリティ、ワークロード配置には、なお一貫したソフトウェアが必要である。性能チューニングもCPU、GPU、スイッチ、メモリデバイスごとに異なる。
GPUファーストのアプローチは、成熟した開発者の習慣から恩恵を受ける。チームはすでにアクセラレータの利用率を分析し、GPUの可用性を基にジョブをスケジュールし、特定プラットフォーム向けにカーネルを最適化している。メモリ中心のアーキテクチャでは、新しいボトルネックを観測し、新しいリソース階層を調整することが求められる。
最も有力な導入経路は、その複雑さの多くを隠蔽するものになる可能性が高い。モデルサーバーは、安定したソフトウェアインターフェースを介して容量や共有状態を要求できるべきだ。開発者がすべての物理メモリデバイスを手動で管理する必要はない。
ハイパースケーラーにとっては、その作業を経済的に正当化できる可能性がある。メモリ利用率のわずかな改善であっても、大規模フリート全体では意味を持ち得る。小規模な企業にとっては、ベンダーが明確なサポート範囲を備えた検証済みシステムを提供するまで、統合コストが削減額を上回るかもしれない。
そのためMARSは双方に圧力をかける。アクセラレータプラットフォームベンダーは、容量拡張とキャッシュ共有に対するより良い答えを必要としている。SK hynixとそのパートナーは、顧客がすでに利用しているソフトウェア環境でコンポーザブルメモリが信頼性高く機能することを示さなければならない。
概念実証の結果は難しい疑問を残している
サミットは技術的な実現可能性を示したが、MARSがAIインフラの本番標準であることを確立したわけではない。
SK hynixは複数のデモを概念実証の検証として説明した。概念実証は、選定された条件下でアプローチが機能できることを確認する。フリート全体の信頼性、汎用的な性能、運用の簡便さ、商用提供の可否を確立するものではない。
同社は発表の中で性能改善について強い表現を用いた。しかし、プールメモリを用いたエージェントのデモについて完全な結果は提供していない。公開情報には、モデルサイズ、リクエストパターン、サーバー数、レイテンシ分布、電力測定、ベースライン構成が含まれていない。
こうした詳細が、CXLプールメモリが実運用で優位に立てるかを左右する。システムは、最も遅いリクエストを測るテールレイテンシを増加させながら、総スループットを改善する可能性がある。複製を削減する一方で、需要ピーク時にファブリック競合を引き起こすこともある。
CXLアクセスは、直接接続されたHBMよりも遅い。この差は、すべてのバイトがHBMの性能を必要とするわけではないため、プーリングを否定するものではない。ただし、頻繁にアクセスされるデータが遠隔層に長く留まりすぎないよう、慎重な配置が必要となる。
ワークロードプロファイルはハードウェアと同じくらい重要だ。共有プレフィックスや繰り返される会話は、キャッシュ再利用の機会を生む。予測不能なプロンプトや急速に変化するコンテキストは再利用を減らし、共有キャッシュの利点を弱める可能性がある。
予測にも別のリスクがある。MARSのデモでは、可能性が高いキャッシュエントリをDRAMへ事前ロードした。予測が正しければ、より低速なストレージアクセスを隠せる。不正確な予測は帯域幅を浪費し、別のワークロードが必要とするかもしれない領域を占有する。
セキュリティ境界についても精査が必要である。メモリを共有する複数のサーバーは、あるテナントのプロンプト、埋め込み、キャッシュ済み状態を別のテナントに公開してはならない。分離はハードウェア、ファームウェア、オーケストレーションソフトウェア、障害復旧をカバーする必要がある。
永続的なエージェントへの移行により、重要性はさらに高まる。KVキャッシュにはユーザーとの会話やタスク履歴が反映され得る。この状態がプールメモリやSSD層をまたいで移動する際、事業者には明確な削除、保持、暗号化、監査の挙動が必要となる。
ラックが共有ファブリックに依存すると、信頼性はより複雑になる。1つのモジュールが故障しても、無関係なホストを停止させるべきではない。コントローラには予測可能なフェイルオーバーが必要であり、監視システムは遅延の原因が計算、ローカルメモリ、プールメモリ、ストレージ、ネットワークのどこにあるかを特定しなければならない。
電力に関する主張にもシステムレベルの測定が必要だ。メモリモジュール単体ではエネルギー効率が高くても、より広いアーキテクチャではスイッチ、コントローラ、追加のデータ移動が加わる可能性がある。購入者が必要とするのは部品比較だけでなく、ラックレベルの結果である。
本番環境における経済性は依然として不明確だ。SK hynixはMARSの一般提供時期、顧客向け価格、導入規模を発表していない。また、NAVER Cloudがこのアーキテクチャを顧客向け本番サービスで運用する計画があるかどうかも明らかにしていない。
同社の第2世代CXLモジュールは、より具体的な仕様を提供している。独立した報道は、SK hynixが256GBのCXL 3.2製品と、同社が主張する効率改善を展示したことを確認した。それでも、memory portfolio summaryは主に企業提供の情報に依拠している。
最も強い証拠は、事業者が再現可能な結果を公開することで得られる。重要な測定指標には、最初のトークンまでの時間、1秒当たりのトークン数、同時セッション数、キャッシュヒット率、ラック消費電力、メモリ利用率が含まれる。結果は最大スループットだけでなく、同等のサービス品質目標を比較すべきである。
ソフトウェアの可搬性も別の試金石となる。あるコントローラやファブリック向けに最適化されたワークロードが、事業者がサーバーベンダーを変更した際に全面的な書き換えを必要としてはならない。オープンAPIと共通テレメトリは、CXLがインフラになるのか、デモの集合にとどまるのかを左右する。
したがってMARSは、初期のシステム検証を伴う信頼できるアーキテクチャ提案として理解するのが最善である。メモリ中心のラックが従来設計を置き換える証拠にはまだなっていない。この提案が注目に値するのは、現実のボトルネックを特定し、技術的に整合性のある対応策を提示しているためだ。
メモリ中心のAIラックが未来かどうかを示す3つのシグナル
次の段階は、本番環境の証拠、相互運用可能なソフトウェア、そしてラックスケールプラットフォームベンダーによる明確な対応にかかっている。
最初のシグナルは、詳細が公開された顧客導入である。SK hynixは2025年9月以降、クラウドAIワークロード向けのCXLベースのメモリソリューションでNAVER Cloudと協力してきた。OCPでは、両社はKVキャッシュ共有と埋め込み共有サービスを含む概念実証の取り組みを披露した。
本番導入の発表では、ワークロード、導入規模、測定可能な結果を明らかにすべきである。また、プールメモリがアクセラレータ購入を削減するのか、セッション容量を増やすのか、応答時間を改善するのかも示す必要がある。こうした詳細がなければ、顧客名は検証ではなく補強材料にとどまる。
NAVER Cloudによる再現可能な改善を伴う導入は、SK hynixの主張を強めるだろう。本番移行の節目を伴わない概念実証という表現が続けば、短期的な主張は弱まる。統合はハードウェアデモが示唆する以上に難しいままであることを示すことになる。
2つ目のシグナルは、ベンダー横断のソフトウェア整合性である。OCPのワーキンググループとCXL参加企業は、プールの検出、容量割り当て、性能監視、分離の強制に向けた共通フレームワークを必要としている。モデルサービングプラットフォームも、キャッシュデータをHBM、DRAM、SSDベースのメモリのどこに配置すべきかを認識しなければならない。
単発のデモコードではなく、広く使われている推論フレームワークとのサポートされた統合に注目すべきだ。安定したAPI、オーケストレーション対応、共有テレメトリは導入リスクを下げる。断片化された管理ツールは、密結合されたプロセッサ主導のラックを有利にするだろう。
第3のシグナルは、GPUおよびラックプラットフォームのベンダーからの反応だ。外部メモリ階層を採用するのか、自社のプーリングシステムを改善するのか、あるいはより多くのメモリをアクセラレータに直接接続し続けるのか。各社のプラットフォームロードマップは、コンポーザブルメモリが標準になるのか、特定ワークロード向けにとどまるのかを示すだろう。
共通のCXLプールをサポートするプロセッサベンダーが現れれば、たとえラックがコンピュート主導の設計であっても、メモリ中心という考え方を後押しすることになる。一方、独自仕様の代替案は市場を分断しかねない。予測可能なレイテンシを重視する顧客にとっては、より大容量のローカルメモリ構成がプーリングの導入を遅らせる可能性もある。
SK hynixはすでに、この議論がCXL DRAMにとどまらないことを示している。同社のポートフォリオは、HBM、従来型サーバーメモリ、コンピュテーショナルメモリ、SSD、High Bandwidth Flashを組み合わせている。HBFは、HBMを大幅に上回る容量を提供しつつ、従来のストレージよりも高い帯域幅を実現することを目指している。
同社はHBFを、多数のユーザーにサービスを提供する推論環境向けの階層として提示した。サミットでの比較は社内シミュレーションに基づくものであり、実際の性能は商用ハードウェアでなお検証される必要がある。可用性、耐久性、ソフトウェア統合、電力特性が、この階層における位置付けを左右する。
開発者にとって、このアーキテクチャは重要だ。なぜなら、より長いコンテキストや永続的なエージェントは、無料で得られるソフトウェア機能ではないからだ。製品上の判断はすべて、どこかに保持されなければならない物理的な状態を生み出す。キャッシュポリシー、検索パターン、モデルルーティングは、インフラコストと応答時間にますます影響を与えている。
エンタープライズの購入担当者にとっては、ハードウェアへの要求をより具体的にする必要がある。未活用メモリをどう測定するか、共有容量をどう管理するか、テナントをどう分離するか、ファブリック障害からどう復旧するかをベンダーに尋ねるべきだ。計画中の導入環境に近いモデルとコンテキスト長を使った結果を求める必要がある。
また、システムが有用なテレメトリを公開しているかも確認すべきだ。チームには、キャッシュヒット率、階層間の移行、CXLの混雑、ストレージ読み取り、テールレイテンシを把握する手段が必要になる。診断できないプール型リソースは、運用上の負債となる。
SK hynixのメモリ中心AIラックは、GPUファーストのサーバーを一夜にして覆すものではない。しかし、推論インフラがメモリを受動的な付属要素として扱うことはできない、という説得力のある主張を提示している。より難しい問いは、ベンダーがこの洞察を、再現性がありサポート可能なシステムへと変えられるかどうかだ。
今後数か月は、名前の明示された本番導入、共通のソフトウェアインターフェース、商用ラックプラットフォームへの直接統合に注目したい。この3つが実現すれば、MARSはサミットで示されたビジョンからインフラモデルへと近づく。
これらが実現しなければ、メモリ中心設計は新たな標準ではなく、選定されたワークロードのための有用な手法にとどまるかもしれない。いずれの結果であっても、購入者に重要なことを教えてくれる。将来のAI性能は、計算がどこで行われるかだけでなく、データがどこに存在するかに左右される。
