Samsung zHBMメモリ、AI応答速度10倍を目指すも、アーキテクチャは依然として熱という試練に直面
Samsungは、zHBMメモリアーキテクチャによって、エージェント型AIの応答速度をユーザー当たり毎秒約100トークンから1,000トークンへ引き上げられる可能性があるとしている。この10倍という目標はチップのベンチマークというより、システム全体に関する目標として捉えるのが適切だ。Samsungは、メモリとAIアクセラレータの物理的な関係を変えることを提案している。
この設計では、高帯域幅メモリをインターポーザ上でアクセラレータの横に置くのではなく、アクセラレータの直上に配置する。接続距離が短くなることで、モデルの重みや中間データが移動する距離を削減できるはずだ。一方で、プロセッサの熱がメモリ構造を通過して移動するため、難しい熱設計の問題も生じる。
この違いが本質的なポイントを形作る。Samsungは、単独でAIを10倍高速化する量産チップを発表しているわけではない。同社は、従来の横並びのHBMパッケージングでは、より高度なAIエージェントが必要とする応答速度を支えられないと主張している。SK hynixも、processing-in-memoryやその他のメモリ階層を通じて同じデータ移動のボトルネックに取り組んでおり、競合するアーキテクチャ上の解決策による競争が生まれている。
Samsungの10倍目標はチップのベンチマークではなくシステム目標
報じられた10倍の向上はAI応答速度に関するSamsungの目標を示すものであり、同社が公開したzHBMハードウェアの推定値は、より低く、かつ具体的である。
Samsungのメモリ製品企画担当エグゼクティブであるKim In-dong氏は、2026年9月16日にサンタクララで開催されたAI Infra Summitで同社の見解を示した。応答速度に関する報道によると、Kim氏は現在の対話型AIの速度をユーザー当たり毎秒約100トークンとした。Samsungはエージェント型システムで毎秒1,000トークンの達成を目指している。
トークンは、AIモデルが処理するテキストの小さな単位である。毎秒トークン数は、システムがそれらの単位をどれほど速く生成または処理できるかを測る指標だが、その値はコンピューティングスタック全体に左右される。モデル、バッチサイズ、アクセラレータ、メモリ容量、ネットワーク、ソフトウェア、提供構成のすべてが結果に影響する。
したがって、Samsungの主張は、zHBMコンポーネント1つであらゆるモデルが自動的に10倍高速化することを意味しない。これは、将来のメモリとプロセッサの統合が支えるべきだとSamsungが考えるサービス性能を示したものだ。zHBMプロトタイプを、ユーザー当たり毎秒1,000トークンで稼働する完全なエージェント型ワークロードへ結び付けた公開済みの独立ベンチマークはない。
Samsungの別の製品資料では、より限定的な比較が示されている。同社の3Dメモリ発表では、zHBMを使う次世代インターフェースはHBM5の約8倍の性能を実現すると見込まれている。また同社は、HBM5の10倍超のメモリ密度、3倍のエネルギー効率、50％超低い熱抵抗も予測している。
これらの数値は異なる特性を対象としている。性能は、システムがデータをどれだけ迅速に移動・処理できるかに関わる。密度は、ある面積またはパッケージにどれだけのメモリを収められるかに関わる。エネルギー効率は、有用な処理と消費電力の比率を比較する。熱抵抗は、構造が熱流をどの程度妨げるかを測る。
これらの数値を「10倍高速なチップ」という1つの主張にまとめると、そうした違いは失われる。Samsung自身も、インターフェース性能には約8倍、密度には10倍超という表現を用いている。1,000トークンという目標は、将来のAIサービスの応答性に関する、より広範な主張に属する。
この隔たりがあるからといって、この提案の重要性が低下するわけではない。それは、コンセプト段階のアーキテクチャとアプリケーション段階の成果の間にある距離を示している。Samsungは、実動するシリコン、検証済みパッケージ、ソフトウェア最適化、顧客導入を通じて、この2つの層を結び付ける必要がある。
このイベントは、Samsungが2026年8月のFuture of Memory and Storageで紹介したコンセプトにも詳細を加えた。同社はそこで、HBM4E、HBM5、processing-in-memory、エンタープライズストレージのロードマップとともに、zHBMおよびzNAND-Oのコンセプトモデルを展示した。9月のプレゼンテーションでは、zHBMを測定可能なユーザー体験、すなわちAIエージェントによるより高速な応答という観点で再定義した。
エージェント型AIは、単純なチャットボットのやり取りよりもメモリに大きな負荷をかける。エージェントは、回答前に手順を計画し、ツールを呼び出し、保存済みコンテキストを再参照し、複数のモデル処理を調整する場合がある。アクセラレータが繰り返しデータ待ちになることで生じる遅延は、演算速度を高めるだけでは解消できない。
Samsungは、次の大幅な性能向上には、単に次世代HBMのデータレートを引き上げるのではなく、パッケージを変える必要があると賭けている。そのため、野心的な数値が独立検証を受ける前であっても、Samsung zHBMメモリには意味がある。
メモリウォールはAIの応答時間の問題になりつつある
AIアクセラレータは、演算ユニットがモデルデータを待つと価値を失うため、メモリ移動はユーザーに見える応答時間の一部となる。
現代のアクセラレータは膨大な数の計算を実行できるが、演算ユニットに到達していない重みを利用することはできない。大規模モデルは、パラメータ、活性化値、キャッシュされたアテンションデータを、メモリと処理コアの間で継続的に移動させる。その移動が追い付かなければ、追加の演算能力は遊休状態になる。
この制約は一般にメモリウォールと呼ばれる。プロセッサ性能は、同等の速度と効率でデータを供給するシステムの能力を上回るペースで向上してきた。HBMは、DRAMダイを積層し、多数の並列データ経路で接続することで、この問題の一部に対応する。
現在のHBMシステムでは一般に、複数のメモリスタックをシリコンインターポーザ上でGPUまたは別のアクセラレータの横に配置する。この2.5D構成は、従来のメモリモジュールよりはるかに大きな帯域幅を提供する。ただし、データは依然として別々のパッケージ間でインターポーザを横断する。
Samsung zHBMメモリは、この水平方向の移動の多くをなくす。HBM構造をアクセラレータの上に置き、層間の高密度な垂直接続を利用する。ハイブリッド銅接合では銅接点を直接接合するため、多くの従来型パッケージング手法よりも小さな面積内に多くの接続を収められる。
同社は分散入出力設計についても説明している。このアーキテクチャでは、各ピンの信号速度を主に高めて帯域幅を増やすのではなく、多数の短い接続による並列性を高める。この手法により、各ビットの移動に必要なエネルギーを削減できる可能性がある。
これは、データ移動が計算に使えない電力を消費するため重要である。また、熱を発生させ、サーバーを冷却するためのインフラ需要も増やす。より効率的なリンクは、アクセラレータの基礎となる演算ユニットを変えなくても、ワット当たり性能を改善できる。
Samsungは、zHBMがプロセッサとメモリの間の層にカスタム知的財産を組み込むことを可能にすると主張している。これにより、アクセラレータ設計者は、特定のワークロードに合わせてメモリ制御、インターフェース、その他の機能を適応させられる可能性がある。同時に、この製品は、顧客が開発終盤に単純に取り付けられる標準化メモリスタックとして扱えないことも意味する。
アクセラレータとzHBMパッケージには、早い段階から共同設計作業が必要になる。電力供給、物理寸法、データ経路、熱設計、制御ロジックを統合しなければならない。Samsungのアーキテクチャ解説では、zHBMは独立したメモリ製品として完全に最適化することはできないと明示されている。
この要件は商業面の重要性を変える。従来、メモリサプライヤーは容量、帯域幅、信頼性、製造実行力で競争してきた。垂直統合型パッケージは、サプライヤーをシステムアーキテクチャのより深い領域へ引き込み、アクセラレータ設計者のロードマップに近づける。
顧客側もより高いコミットメントコストに直面する。従来のHBM世代を選ぶ場合でも、すでに認定とパッケージ計画が必要となる。zHBMを選択すればアクセラレータ設計そのものに影響し、互換性と長期的な供給関係の重要性がさらに高まる。
Samsungには、この統合モデルを推進する戦略的な理由がある。同社はメモリ、ファウンドリ製造、ロジック設計、先端パッケージングにまたがって事業を展開している。これらの能力を一体で必要とする製品は、DRAMダイ以上のものを販売する機会を生み出す。
同時に、既存のパッケージング手法にも圧力をかける。TSMCのCoWoS技術は、AIプロセッサと隣接するHBMスタックを組み合わせるうえで中心的な存在となっている。TSMCは高密度3次元統合向けのSoIC技術も別途開発しており、垂直チップ接続へのより広範な移行をSamsungが独占しているわけではない。
問題は、どの統合形態が必要な規模で信頼性の高い量産に到達するかだ。従来のHBMには既存のサプライヤー基盤、確立されたインターフェース、既知の製造慣行がある。zHBMは演算とメモリの間をより短く結ぶ一方で、顧客により強固な結合を受け入れるよう求める。
AI開発者や企業の購買担当者にとって、このパッケージング論争はモデルの挙動から遠い話に見えるかもしれない。その影響は、応答レイテンシ、サーバーが処理できる同時ユーザー数、消費エネルギー、システムに収まる最大モデルサイズとして表れるだろう。
長い停止なく複数のツール呼び出しを完了する高速なエージェントは、単により速くテキストを生成するチャットボットとは異なる印象を与える。Samsungの1,000トークン目標は、半導体アーキテクチャをその体験へ結び付けることを意図している。同社は依然として、どのワークロードが、どの条件で、どの程度のシステムコストで恩恵を受けるのかを示す必要がある。
Samsung zHBMメモリ対HBM5はアーキテクチャへの賭けである
決定的な競争はSamsungと特定のメモリベンダーの対決ではなく、プロセッサとメモリの垂直統合と、横並びスケーリングの継続との対決である。
HBM5は進化の道筋を示す。プロセッサと近接するメモリの関係を保ちながら、信号伝送、容量、電力管理、スタック構造を改善できる。この道筋により、業界は現行のパッケージングモデルの多くを再利用できる。
Samsung zHBMメモリは異なるアプローチを取る。物理的な配置を制約要因と捉え、メモリをアクセラレータの上へ移動する。より短く高密度な接続により、より広いパッケージを横断する高速信号だけに全面的に依存せず、帯域幅を高める道筋を示す。
この2つの経路は、異なるエンジニアリング上の優先事項を生み出す。
物理接続
従来のHBM5: メモリはアクセラレータの横に配置され、インターポーザを介して通信する。
Samsung zHBM: メモリはアクセラレータの上に配置され、高密度な垂直接続を使用する。
設計の柔軟性
従来のHBM5: アクセラレータとメモリの開発は、よりモジュール型のままでいられる。
Samsung zHBM: プロセッサ、メモリ、中間層、電力システム、冷却戦略には早期の調整が必要となる。
データ移動
従来のHBM5: インターフェース速度の向上とシステムの広帯域化により、帯域幅を引き続き高める。
Samsung zHBM: より短い垂直経路を増やして並列性を高め、移動距離を削減する。
製造リスク
従来のHBM5: 業界は顧客とサプライヤーがすでに理解しているプロセスを拡張する。
Samsung zHBM: ウェハ接合、アライメント、テスト、歩留まり管理、熱制御がより密接に連動する。
アップグレードモデル
従来のHBM5: 顧客は、馴染みのあるパッケージアーキテクチャ内で新しいメモリを認定できる。
Samsung zHBM: 各アクセラレータプログラムで、よりカスタマイズされた統合プロジェクトが必要になる可能性がある。
パッケージが大型化するほど、垂直ルートの魅力は明確になる。アクセラレータの周囲により多くのHBMスタックを配置すると、インターポーザ面積が増大し、配線も複雑になる。大型パッケージは、製造、電力供給、機械設計上の制約にも直面する。
メモリを上方向へ移動させれば、水平方向の設置面積を削減できる。パッケージをさらに外側へ広げずに、より多くのメモリをプロセッサの近くに配置できる可能性がある。SamsungはHBM5の10倍を超えるメモリ密度を見込むが、この数値はコンセプトアーキテクチャに付随する同社の推定にとどまる。
同じ変更はモジュール性も低下させる。ある接合層の問題が、アセンブリ全体の価値に影響する可能性がある。高価なアクセラレータを含むパッケージを廃棄するコストは大きいため、接合前後のメモリ試験が重要になる。
これは、ピーク性能と同じくらい歩留まりが重要である理由の一つだ。歩留まりは、製造された部品のうち仕様を満たす割合を示す。高速な設計であっても、接合済みパッケージの不良が多すぎたり、動作速度を下げる必要があったりすれば、商業面で苦戦しかねない。
Samsungにはアクセラレータのパートナーも必要だ。同社のカスタム中間層の提案は、プロセッサ設計者がそのインターフェースと物理構造にコミットした場合に、zHBMの有用性を高める。メモリ単体のデモだけでは、共同最適化されたシステムの利点を証明できない。
一方、SK hynixはメモリウォールに対して異なる対応策を提示している。同じAI Infra Summitで、同社はPIM（processing-in-memory）を取り上げた。PIMは、一部のデータがメインアクセラレータへ戻る必要がないよう、選択した計算機能をメモリ内部または近傍に配置する。
SK hynixはまた、モデル推論時に生成されるデータを保存するキー・バリューキャッシュを管理するための高帯域幅フラッシュとソフトウェア技術も発表した。同社のAI memory portfolioは、すべてのAIタスクを単一のメモリ種別で処理すべきではないという考えを示している。
この見方は、プロセッサとHBMの接続を支配的なボトルネックとみなす考え方とは対照的だ。PIMは計算の一部をデータ側へ移す。高帯域幅フラッシュは、より大容量で低速なメモリ階層を追加する。ソフトウェアは、コストの高い高速メモリに置くべき情報と、それ以外の場所に残せる情報を判断できる。
これらのアプローチは相互排他的ではない。将来のシステムでは、アクティブな計算に垂直統合HBM、反復的な処理にPIM、大規模なモデル重みに高帯域幅フラッシュを使うことがあり得る。ただし、要素を追加するごとに設計の複雑さは増す。
したがって競争の焦点は、誰がシステム最適化を主導するかにある。SamsungのzHBM構想は、メモリ、ロジック、パッケージングの緊密な統合を重視する。SK hynixは、より幅広いメモリおよびソフトウェアの選択肢を強調する。ファウンドリやアクセラレータ企業にも、それぞれ独自のパッケージング技術とインターフェースの選好がある。
Samsungは勢いを増してこの競争に参入するが、優位性が争われていないわけではない。TrendForceによると、Samsungは2026年第2四半期にDRAM全体の売上高の39.4％を占めた。この数値はより広いDRAM市場を反映したものであり、HBM単独での主導権を示すものではない。
同調査会社は、Samsungの全体的な伸びの一部を、HBM4の早期生産と出荷に起因するとした。同社のDRAM market dataは、次のアーキテクチャが重要な理由も示している。メモリ需要は依然としてAIインフラの拡大と密接に結び付いている。
HBMでの主導権は、顧客認定、実用的な生産量、生産規模に左右される。投入の何年も前に示されたコンセプトはロードマップに影響を与え得るが、すでに購入されている製品を置き換えることはできない。Samsungは従来型HBMを進化させ続けると同時に、顧客を説得して、その後継候補の設計に協力してもらう必要がある。
熱、歩留まり、顧客コミットメントが真の試験となる
高温のアクセラレータ上にメモリを配置すればデータ経路は短くなるが、温度と製造歩留まりが設計の中心課題となる。
AIアクセラレータは、継続的な処理中に大きな熱を発生させる。横並びのパッケージでは、熱はまずHBMスタックを通過せずに、プロセッサから冷却システムへ移動できる。垂直構造では、この熱経路が変わる。
Samsungもこの問題を認識している。同社の技術資料は、アクセラレータの熱がメモリ構造を通過しなければならないと述べている。同社は、熱抵抗を低減するため、最適化したスタック寸法、ハイブリッド銅接合、その他の構造変更を提案している。
Samsungは、zHBMがHBM5と比較して熱抵抗を半分以上削減できると推定する。この数値は同社のモデル内では有望だが、すべての運用上の疑問に答えるものではない。
データセンターに必要なのは、短時間のデモだけでなく、継続的なワークロード下での性能だ。温度は信号挙動、メモリ信頼性、アクセラレータが維持できる動作周波数に影響する。熱的限界に達したパッケージはクロック速度を下げ、理論上の優位性の一部を失う可能性がある。
冷却ハードウェアも重要だ。垂直積層パッケージには、異なるコールドプレート、熱界面材料、液冷設計が必要になるかもしれない。こうした変更はサーバーのレイアウトやデータセンターへの導入に影響するため、パッケージを単独で評価することはできない。
製造面でも別の課題が生じる。ウェハー・オン・ウェハー接合では、完成した個別ユニットに分離する前に、大きな表面同士を接合する。正確なアライメントとクリーンな銅接点が不可欠だ。いずれかのウェハーの欠陥は、利用可能な組み合わせデバイスの数を減らす可能性がある。
接合する部品の価値が異なる場合、経済性はさらに厳しくなる。メモリ層の不良だけであれば不便にとどまる。しかし先進アクセラレータを含む接合済みアセンブリの不良は、はるかに大きな処理価値を無駄にする。
メーカーは、このリスクを抑えるため、テスト戦略、known-good-dieの選別、修復機能を利用できる。ただしSamsungは、zHBMの生産歩留まり、顧客認定結果、大規模な信頼性データを公表していない。
この技術はまだ初期段階にある。SamsungはFMS 2026でzHBMをコンセプトモデルとして発表した。2029年以降に始まると報じられた製品投入時期までには、商用システムが登場する前に複数の開発サイクルが残されている。
この時間軸は、1,000トークンという目標を解釈するうえで重要だ。zHBMが量産に達するまでに、AIソフトウェアとアクセラレータは進化を続ける。将来の導入では、現在のシステムだけでなく、その時点で利用可能なハードウェアとの比較が必要になる。
基礎となるワークロード定義も同様に重要だ。毎秒トークン数は、1人のユーザーを表す場合も、大規模なバッチを表す場合もある。入力処理、出力生成、あるいはその混合を測定することもある。投機的デコーディングを使うコンパクトなモデルは、長いコンテキストを使う大規模推論モデルとは異なる挙動を示す。
エージェント型タスクでは、変数がさらに増える。モデルはデータベース、Webサービス、コードランナー、または別のモデルを待つことがある。メモリが高速化しても、アクセラレータの外部にある遅延はなくならない。
したがって、説得力のある検証では複数の結果を分けて示すべきだ。Samsungには、生のメモリ帯域幅とレイテンシ測定、完全なアクセラレータベンチマーク、継続的な熱挙動、生成トークン当たりのエネルギー、アプリケーションレベルのエージェント性能が必要となる。
同社はベースラインも明確にしなければならない。インターフェース構成、メモリ容量、ワークロード、電力枠が不明なままでは、「HBM5の8倍の性能」は評価が難しい。最適化したzHBMと制約のあるHBM5システムを比較しても、すべての導入環境を説明することにはならない。
顧客の参加も別のシグナルとなる。Samsungは、このアーキテクチャが顧客固有の知的財産をサポートすると述べるが、量産zHBMパッケージ向けのアクセラレータパートナーを公表していない。実名のパートナーが示されれば、設計が社内の技術提案を超えたことを示すだろう。
ここでは、Samsungの幅広い半導体能力が提案を後押しすると同時に、複雑にする可能性がある。メモリ、ファウンドリ、パッケージングのチームは、1つのスタックを協調して開発できる。一方で外部のアクセラレータ設計者は、緊密に統合されたサプライヤーへの依存を懸念する可能性がある。
相互運用性も未解決のままだ。HBMが成功した理由の一つは、共通規格がメモリサプライヤー、ロジック設計者、ファウンドリ、パッケージング事業者、テスト企業からなるエコシステムを支えていることにある。高度にカスタマイズされた垂直アーキテクチャは、より高い性能を実現できる一方で、互換性を低下させる可能性がある。
リスクは、zHBMがまったく動作しないことではない。より現実的なリスクは、設計が技術的には機能しても、高価なシステムの限られた一部でしか使われないことだ。低い歩留まり、特殊な冷却、長期の共同設計サイクルは、より広範な採用を遅らせる可能性がある。
したがってSamsungの主張は、完成した成果ではなく方向性として扱うべきだ。同社はメモリ移動を削減する信頼できる手段を特定した。しかし、その手段が商業的に勝てる条件はまだ確立していない。
zHBMが研究室を出られるかを示す3つのシグナル
次の段階で必要なのは、さらなる予測倍率ではなく、測定可能なシリコン、アクセラレータパートナー、そして継続的なシステムデータだ。
最初のシグナルは、詳細なプロトタイプベンチマークである。Samsungは、動作するzHBMシリコンから得たメモリ帯域幅、レイテンシ、電力、熱の結果を開示すべきだ。比較には明確なHBM5ベースラインを用い、ワークロード、パッケージ、冷却システム、測定方法を明示しなければならない。
継続的なワークロード全体で予測された4倍から8倍の性能範囲に近づけば、その結果はSamsungの主張を強めるだろう。性能向上が限定的な転送テストでしか現れなかったり、現実的でない電力枠を必要としたりすれば、主張は弱まる。
2つ目のシグナルは、実名のアクセラレータ協業だ。zHBMはプロセッサとの早期共同最適化を必要とするため、公開された開発パートナーは、単独のメモリ展示を重ねるよりも大きな意味を持つ。パートナーはクラウドプロバイダー、アクセラレータ企業、カスタムチップ開発者になり得る。
協業は、顧客が追加の設計コミットメントに見合う価値があると考えていることを示す。両社が認定のマイルストーン、サンプリング予定、想定する導入クラスを開示すれば、その意味は大きく増す。
パートナーがいないことは、zHBMに需要がないことの証明にはならない。半導体に関する契約は、しばしば機密のままである。しかし顧客を示す証拠が長期にわたり欠ければ、Samsungが提案する製品ロードマップを研究プログラムと区別することは難しくなる。
3つ目のシグナルは、継続的な熱および歩留まりの開示だ。Samsungは、メモリの信頼性を損なったり、深刻なスロットリングを招いたりせずに、熱をアクセラレータから逃がせることを示さなければならない。また、接合歩留まりが量産の経済性を支えられることも示す必要がある。
これらの指標は、垂直統合がシステム価値をもたらすかを決定する。冷却の複雑さや廃棄パッケージが節約分を相殺するなら、データ移動エネルギーの低下の重要性は下がる。安定動作と再現可能な製造は、単発のピーク結果よりもアーキテクチャを強く裏付けるだろう。
読者は見出しの数値も、適切な分類のまま理解すべきだ。1,000トークンという数値はAIサービスの目標である。8倍という数値はSamsungが予測するインターフェース性能だ。10倍超という数値はメモリ密度に関するものである。
SamsungのzHBMメモリは明確な技術提案を示している。データを物理的に計算処理へ近づけ、長距離の高速リンクを多数の短い接続に置き換えるというものだ。この仕組みは、学習、推論、AI運用コストに影響するボトルネックに直接対処する。
未解決の問題は実行だ。Samsungは有望なスタック図を、顧客が冷却、認定、製造、プログラミングできるパッケージへと変えなければならない。その間も、従来型HBM、PIM、先進パッケージング、ソフトウェア最適化は改善を続ける。
開発者にとって、高速なメモリは、より大きなアクティブコンテキスト、より多くの同時実行エージェント、負荷時の低レイテンシを支え得る。企業の購入担当者は、単一の見出し倍率ではなく、測定済みスループット、タスク当たりのエネルギー、信頼性、導入コストを重視すべきだ。
次のプロトタイプデータ、最初のアクセラレーターパートナー、そして最初の持続的な熱性能の結果に注目すべきだ。3つすべてがそろえば、Samsungの垂直メモリへの賭けは真剣に評価するに値する。そろわなければ、1,000トークンという目標は業界の野心を示す有用な表現にとどまり、zHBMがすでにそれを実現した証拠にはならない。
