Blocks FilesがMajestic LabsのPrometheusに注目、GPUメモリの限界に挑戦

Majestic Labsは、限られたHBM容量ではなく128TBの共有メモリを中心に設計したサーバー「Prometheus」により、GPUの現状に挑もうとしている。Blocks Filesのレポートは、この対立を鮮明に取り上げている。Majesticは、現在のAIインフラには高価な計算能力が過剰にあり、利用可能なメモリが不足していると考えている。

このスタートアップは、わずかに高速なGPUを約束しているわけではない。メモリ容量を計算能力から切り離し、それぞれのリソースを独立して拡張することを目指す。このアプローチは、プロセッサがモデル重み、キャッシュされたトークン、その他のデータを待つことが多い推論ワークロードを対象としている。

NvidiaとAMDは、より大容量のHBMシステム、高速なインターコネクト、密結合型ラックによって同じ課題に対応している。Majesticは反対の道を取る。1台のサーバー内で、大規模な従来型メモリプール、カスタムのインターフェースチップレット、プログラマブルなAIプロセッサを組み合わせる。

この違いにより、Prometheusは単なる新たなアクセラレータ発表にとどまらない。将来のAIシステムに必要なのは演算能力の増強なのか、それともプロセッサとメモリの関係そのものを変えることなのかを問う、直接的な試みだ。

Majesticは、野心的な容量、性能、エネルギー効率に関する主張を公表している。ただし、そのプロセッサはまだ顧客に提供されておらず、独立したベンチマーク結果も利用できない。この構想は注目を集めるに十分な信頼性を持つが、約束された優位性はなお、ハードウェア、ソフトウェア、製造における実行力に左右される。

Blocks Filesのレポートが示す、異なるGPUへの挑戦

Majestic Labsは、ワークロードが追加の計算能力を十分に活用できない場合でも、業界がメモリを得るために追加のGPUを購入してきた面があると主張している。

7月23日のメモリファーストサーバーに関する報道は、同社が標準的なGPUと高帯域幅メモリの組み合わせを退けていることを説明している。HBMは、高速な垂直積層メモリをアクセラレータの近くに配置する。その近接性は高帯域幅をもたらす一方、総容量を制約する。

Majesticによれば、大型プロセッサを取り囲む物理的なエッジは、効率的に接続できるHBMスタックの数を制限する。スタック高を増やすことも、技術面および製造面の複雑さを招く。そのため、現代のシステムでは、1台のデバイスに十分なメモリがない場合、複数のアクセラレータを組み合わせる。

この解決策はメモリを増やすが、通信オーバーヘッドを生む。データはGPUリンク、スイッチ、またはホストメモリ階層をまたいで移動しなければならない。開発者は、モデル重み、アクティベーション、キー・バリューキャッシュをどこに置くかを決める必要がある。

キー・バリューキャッシュは、モデルが会話全体を再計算しなくて済むよう、すでに処理したトークンの情報を保存する。長いコンテキストでの推論では、大量のメモリを消費する可能性がある。アクティブなリクエストごとに独自の状態を維持するため、ユーザー数の増加はこの負荷を高める。

Majesticは、従来型システムでは新たなメモリブロックごとに、別の高価なプロセッサも組み合わせていると指摘する。追加容量が必要というだけで、一部のワークロードには活用しきれない計算能力まで与えられている。

Prometheusは、この結び付きを断とうとしている。計画中のサーバーは、最大12基のカスタムAIプロセッサを1つのフラットなメモリプールに接続する。各プロセッサは一貫したアクセス特性で、同じアドレス空間を認識できるはずだと同社は述べている。

メモリ集約チップレット、すなわちMACは、基板搭載メモリコンポーネントの近くに配置される。多数のメモリチップからのトラフィックを集約し、短い銅線ケーブルを通じてそれらのチップを計算システムに接続する。Blocks Filesによれば、これらの接続はおよそ1メートルまで延長できる。

この距離が重要なのは、HBMがプロセッサパッケージの極めて近くに留まる必要があるためだ。Majesticのアプローチは、すべてのコンポーネントを中央の計算ダイの周囲に配置することなく、システム設計者にメモリ配置のための物理的な余地を与える。

同社はプロセッサをIgniteと呼び、AIU、すなわち人工知能ユニットとして説明している。このチップは、ニューラルネットワークで用いられる計算のため、プログラマブルコアと行列アクセラレーションを組み合わせる。

Prometheusは、Ignite、インターフェースチップレット、メモリモジュール、支援ソフトウェアを中心に構築された完全なサーバーだ。Majesticが公開しているPrometheusの仕様では、1システムあたり最大128TBの共有高帯域幅メモリをうたっている。

比較すると、現在のアクセラレータサーバーでは、直接接続されたメモリはラック全体でテラバイト単位であり、1台のサーバー内に数十テラバイトを搭載するものではない。この容量差が、Prometheusの中核的な約束を形作っている。

したがってBlocks Filesの記事は、アーキテクチャを巡る見解の相違を浮き彫りにしている。Nvidiaのモデルは高性能GPUから始まり、外側へと拡張する。Majesticは、AIアプリケーションが保持しなければならないワーキングセットから出発し、それを処理するのに十分な計算能力を割り当てる。

AI推論がメモリへの負荷を高めている

推論では、大規模モデル、より長いコンテキスト、多数の同時ユーザーが組み合わさるため、メモリ問題はさらに難しくなっている。

AIインフラを巡る議論では、学習が大きな注目を集める。しかし、ユーザーのために学習済みモデルを実行する推論では、メモリと計算のバランスが異なる。

モデルが出力を生成する間、そのパラメータは利用可能な状態に保たれなければならない。各生成ステップでは、モデル重みを読み込み、現在の状態を処理する。演算ユニットがメモリからデータを供給されるよりも速く処理を終える場合、計算能力を追加しても得られる利点は限られる。

この状態は一般に、メモリバウンド性能と呼ばれる。プロセッサには利用可能な計算能力があるが、実際の完了率はデータ移動によって左右される。

より長いコンテキストウィンドウは、この不均衡を深める。短いプロンプトに応答するモデルは、保持すべき会話状態が少ない。長い文書、ソフトウェアリポジトリ、研究コレクション、または長時間のエージェントセッションを扱うモデルは、はるかに多くの情報を保持しなければならない。

エージェント型システムは、さらに別の要求を加える。エージェントはツールを呼び出し、結果を確認し、計画を修正し、このプロセスを繰り返すことができる。各ステップはセッションを延長し、アクティブなメモリフットプリントを拡大する可能性がある。

Mixture-of-expertsモデルも関連する課題を生む。これらのシステムは複数の専門化されたパラメータグループを含み、トークンごとに選択されたグループを有効化する。演算作業は減らせるが、より広範なパラメータ群には依然としてアクセス可能なストレージが必要だ。

Majesticの共同創業者Sha RabiiはEE Timesに対し、計算能力はメモリ帯域幅よりも速く拡大していると語った。同氏によれば、大規模モデルの推論の大半はすでにメモリ移動によって制約されているという。詳細なメモリプーリング設計は、アクセラレータ環境あたり100TB超の標準的な低消費電力DRAMを対象としている。

低消費電力ダブルデータレートメモリ、すなわちLPDDRは、帯域幅とレイテンシの特性が異なる一方で、HBMを大幅に上回る容量を提供する。Majesticにとっての技術的課題は、その容量を高速アクセラレータメモリシステムのように機能させることだ。

同社は、一般的なサーバーバスを介して通常のメモリを接続するだけでは成功できない。それでは容量は得られても、複数のAIプロセッサにデータを供給するために必要なスループットは得られない。

その代わりMajesticは、物理インターフェース、通信プロトコル、フロー制御、信頼性メカニズム、ソフトウェアを一体で開発している。同社のチップレットは、高い帯域幅と予測可能な遅延を維持しながら、多数のメモリデバイスにリクエストを分散しなければならない。

同社はまた、プール全体にデータをストライピングする計画だ。ストライピングでは情報を複数のメモリデバイスに分割し、多数のコンポーネントが並列にリクエストを処理できるようにする。

このシステムが説明どおりに機能すれば、運用者はより大規模なモデルとキャッシュを、1つの整合性のあるドメイン内に保持できるようになる。ローカルのアクセラレータメモリ、リモートアクセラレータ、ホストメモリ間の転送を減らせるだろう。

これは、検索、文書分析、コーディングエージェント、長時間の会話を実行する企業にとって重要だ。これらのアプリケーションでは、プロセッサの理論上の演算ピークよりも、電力単位あたりの完了トークン数を重視する場合が多い。

Majesticは、その設計がサーバーあたりで大幅に多くの同時ユーザーをサポートできると述べている。この主張は独立した検証を受けていない。それでも、購入者がますます注視する経済指標を示している。

データセンターの電力、冷却、床面積、ネットワーク容量には限りがある。追加のGPUが役立つのは、そのワークロードがGPUを稼働させ続けられる場合に限られる。アイドル状態の演算ユニットは、比例した出力を生み出さないままリソースを消費し続ける。

Blocks Filesの枠組みが有用なのは、ピーク時の毎秒演算回数から注目を移すためだ。本当の競争は、システム全体が電力とメモリの制約の中で、どれだけ有用な作業を完了できるかにある。

PrometheusはGPUラックを共有メモリプールに置き換える

Prometheusではメモリがマシンの中心となり、プロセッサは共通のデータリソースを利用する側になる。

Majesticは、Ofer Shacham、Sha Rabii、Masumi Reyndersによって2023年に設立された。3人は以前、GoogleとMetaのカスタムシリコン組織で働いていた。

彼らの経歴は、プロセッサ、システム、出荷済みのコンシューマーハードウェアにまたがる。Majesticによれば、より広範なチームは120件を超える特許を保有し、数億個に及ぶカスタムチップに貢献してきた。

同社は、1億ドル超の資金調達とともに公に姿を現した。Bow Wave CapitalがSeries Aを主導し、Lux Capitalが先行するシードラウンドを主導した。その他の参加者には、SBI、Upfront、Grove Ventures、Hetz Ventures、QP Ventures、Aidenlair Global、TAL Venturesが含まれる。

この資金調達発表では、主要GPUの1,000倍のプロセッサあたりメモリを備えるシステムが紹介された。また、1台のサーバーで複数の先進的なラックに相当するメモリ容量と帯域幅を統合できるとも主張した。

これらは同社の予測であり、公表済みの独立した結果ではない。どのハードウェアを比較対象にするか、どのワークロードを実行するか、ベンチマークが有用な出力をどう測定するかに左右される。

それでも、開示された仕組みは具体的だ。Prometheusには、主要なカスタムシリコン要素が2つある。1つはIgniteプロセッサで、もう1つは計算能力とプールされたLPDDRを接続するメモリインターフェースチップレットだ。

最大12基のIgniteデバイスが、連続したメモリ空間にアクセスできる。Majesticはこの空間をフラットと説明しており、ソフトウェアは明確に異なる複数のメモリ階層を管理する必要がないはずだとしている。

このプログラミングモデルは、マルチGPU展開における重要な弱点を狙う。現在、開発者はローカルHBM、他のGPUに接続されたメモリ、CPUメモリ、ストレージを回避しながら扱っている。各階層には異なる容量、帯域幅、レイテンシがある。

フレームワークは、こうした制約に収まるようモデルをデバイス間で分割する。また、アクセラレータ間の通信も調整する。選択した分割によって転送が過剰になったり、作業が不均衡になったりすると、性能は低下する可能性がある。

Prometheusは、こうした判断の一部を不要にすることを目指す。同社によれば、すべてのIgniteプロセッサは、共有プール内のあらゆる場所に、同程度のレイテンシと帯域幅で到達できるという。

この設計では、従来型の共有メモリCPUのあらゆる挙動を再現するのではなく、緩やかなコヒーレンシを採用する。コヒーレンシとは、プロセッサが共通データを読み取ったり変更したりする際に、一貫した見え方をどのように維持するかを定義するものだ。

Majesticは、外部の関係者があらゆるトレードオフを評価できるほどの実装詳細をまだ公開していない。独自のフロー制御およびアトミック操作の仕組みが、競合や同期をどこまで適切に処理できるかを左右する。

プロセッサアーキテクチャも重要だ。Majesticは、Armの知的財産、RISC-Vの要素、独自設計を組み合わせていると報じられている。行列演算エンジンは、AIモデルで一般的な高密度計算を高速化する。

同社は、広く使われている機械学習フレームワークPyTorchと、最適化されたアクセラレータカーネル向けプログラミング言語Tritonをサポートする計画だ。Nvidiaの優位性はシリコンの領域を大きく超えているため、ソフトウェア互換性は不可欠である。

CUDAは、Nvidiaの顧客に成熟したライブラリ、コンパイラ、デバッグツール、性能ガイド、経験豊富な開発者を提供している。新しいハードウェアは魅力的な仕様を掲げられても、アプリケーションに大規模な書き換えが必要なら苦戦しかねない。

Rabiiは、サーバーの成功は開発者がどれだけ速く使い始められるか、そしてツールがどれほど信頼できるものになるかに大きく左右されると認めた。この発言は、Majesticが担う課題のもう半分を示している。

ハードウェアはデータを効率的に移動させなければならない。同時にソフトウェアは、既存アプリケーションが恩恵を受けられるほど、その移動を意識させないものにする必要がある。

NvidiaとAMDはHBMを拡張しており、捨て去ってはいない

最大手のアクセラレータベンダーがHBM中心のスケーリングモデルに多額の投資を続けるなか、Majesticはそのモデルに逆張りしている。

Nvidiaのラックスケールシステムは、NVLinkや関連するネットワーク技術を通じて多数のGPUを接続する。この手法は、各アクセラレータの近傍に極めて高速なメモリを維持しつつ、より大きなコンピュートドメインを構成する。

AMDも、InstinctアクセラレータとHeliosラック設計で同様の方向性を取っている。最近詳細が明らかになったMI455XはHBM4を採用し、GPUあたり432GBのメモリと毎秒23.3TBの帯域幅を提供する。

72基のアクセラレータで構成されるMI455X architectureは、1ラック内に31.1TBのHBMを備える。AMDによれば、Heliosはこのメモリをコヒーレントなドメインとして統合する。

これらのシステムは、Majesticが指摘するのと同じ問題を認識している。NvidiaとAMDは、メモリ容量、メモリ速度、キャッシュ帯域幅、相互接続性能、ラックレベルの協調を拡大している。

見解が分かれるのは、この戦略を経済的にどこまでスケールできるかだ。Majesticは、高性能コンピュートデバイスのすべてに高価なHBMを搭載し続けることは、容量と演算リソースの不利な比率を温存すると主張する。

既存ベンダーは、この懸念にいくつかの方法で対応できる。HBMの高密度化、パッケージングの改善、モデルデータの圧縮、キャッシュの最適化、あるいはワークロードのより効率的な分割だ。

また、より高速なネットワークを活用して、リモートメモリのコストを抑えることもできる。量子化のようなソフトウェア改善は、各パラメータに必要なビット数を減らす。投機的デコーディングは、モデルが複数の提案トークンをまとめて検証できるようにすることで出力を増やせる。

これらの方法は、GPUアーキテクチャを置き換えずに負荷を軽減する。また、顧客がすでに運用している成熟した環境の中で機能する。

Majesticにとって最大の機会は、容量が支配的なワークロードにある。非常に大規模なスパースモデル、グラフニューラルネットワーク、長時間稼働するエージェント、極端に長いコンテキストウィンドウでは、演算能力以上にメモリが必要となる場合がある。

一方、密な行列演算を十分に活用し、ローカルHBMに無理なく収まるタスクでは立場が弱い。従来型GPUは、そうしたワークロードに引き続き適している。

トレーニングはさらに厳しい競争を生む。トレーニングでは大規模な行列演算を繰り返し、多数のデバイス間で更新を同期する。膨大なメモリを使う可能性はあるが、利用可能な限り最高の演算性能と相互接続性能からも恩恵を受ける。

Majesticは、Prometheusがトレーニングをサポートできるとしている。ただし、初期段階での重点は依然として推論とエージェントのワークロードに置かれている。この焦点により、同社の目標はより限定的で検証しやすいものになる。

Qualcommは、メモリ中心の別ルートを追求している。そのnear-memory approachでは、従来のHBMパッケージングに依存するのではなく、DRAMスタックの下にアクセラレータロジックを配置する。

Qualcommは、HBM比でワット当たりの帯域幅が6倍、オンチップSRAM比で容量が200倍超になると主張している。ただし、アーキテクチャの絶対的な帯域幅は開示しておらず、重要な比較は未解決のままだ。

複数のアプローチが存在することは、Majesticの診断を補強するが、その製品主張を必ずしも裏付けるものではない。主要なチップ設計企業が、データ移動を中心的な制約と明確に見なしている。

したがって市場が選んでいるのは、メモリウォールを認識する企業と無視する企業のどちらかではない。その壁を乗り越える異なる方法の間である。

blocks filesの記事は、Majesticの最も積極的な立場を捉えている。すなわち、GPUとHBMの組み合わせは行き止まりに達したという主張だ。Nvidia、AMD、そしてそれらのメモリ供給企業は、その反証に多額の投資をしている。

未検証の主張は、アーキテクチャと同じほど重要だ

Prometheusはまだ開発段階のシステムであり、その見出し級の容量だけでは、アプリケーション性能、効率、商用上の信頼性を立証できない。

Majesticのプロセッサとメモリインターフェース・チップレットは、2026年中にテープアウトする見込みだ。テープアウトは、製造開始前にチップ設計が完了することを意味する。直ちに動作する量産シリコンが利用可能になることを意味するわけではない。

同社は、2027年にサーバーが先行顧客へ届き始めると見込んでいる。別の報道では、より広範な投入は同年半ばごろとされている。

このスケジュールには、現在のアーキテクチャと導入可能な製品の間にいくつもの段階が残されている。製造、パッケージング、ボード検証、ファームウェア、コンパイラ開発、熱試験、システム統合のそれぞれで問題が露呈しうる。

メモリインターフェースは最大の技術的疑問である。LPDDRは大容量かつ電力特性に優れるが、個々のデバイスはHBMの帯域幅には及ばない。

Majesticは、混雑を生じさせずに多数のメモリチャネルを統合しなければならない。MACチップレット、銅配線、プロトコル、ストライピングシステムは、スループットと予測可能なアクセス時間の両方を提供する必要がある。

大規模なメモリプールは、障害管理上の課題も生む。コンポーネントが増えるほど、故障の可能性も増える。量産システムは、エラーを検出し、障害を切り分け、モデル状態を破損させずに動作を継続しなければならない。

Prometheusは、ソフトウェアに対して単純なメモリモデルを提示しながら、これを実現する必要がある。利便性は、競合時に予測不能な停止や性能崩壊を引き起こす挙動を隠すことはできない。

ベンチマークの定義も懸念材料だ。Majesticは、一部のシナリオで50倍超の性能、メガワット当たりのトークン数で10倍から50倍の向上を主張している。

これらの数値には慎重な解釈が必要である。モデルアーキテクチャ、精度、バッチサイズ、コンテキスト長、出力長、レイテンシ目標、同時ユーザー数は、推論結果を大きく変えうる。

大規模バッチ向けに最適化されたシステムは、多数のトークンを生成できても、対話型サービスには遅すぎる応答しか返せない場合がある。卓越した容量を備えるシステムでも、小型で演算負荷の高いモデルでは性能が振るわない可能性がある。

比較結果は、選択するNvidiaまたはAMDのベースラインにも左右される。単一GPU、旧世代ラック、現行のラックスケールシステムでは、比率が大きく異なる。

独立した研究機関は、量産Prometheusハードウェアによるアプリケーションベンチマークをまだ公表していない。Majesticも、完全なレイテンシ、帯域幅、電力、ソフトウェア互換性の結果を開示していない。

報じられた顧客注文も、この検証上の空白を埋めるものではない。初期のコミットメントは強い需要を示す可能性があるが、顧客は新興ハードウェアの購入に技術的マイルストーンや納入条件を付すことが多い。

ソフトウェア導入にもリスクがある。PyTorchとTritonのサポートは必要な出発点だが、CUDAライブラリの範囲や成熟度を自動的に再現するものではない。

運用担当者には、最適化されたカーネル、分散実行ツール、可観測性、セキュリティ制御、デプロイ自動化、安定したアップデートが必要だ。また、選定されたデモではなく、実際のモデル全体で予測可能な挙動も求められる。

5月のEE Timesプロフィールによると、Majesticの従業員は約40人で、カリフォルニアとイスラエルに分かれている。チップ、サーバー、メモリ、コンパイラ、生産を同時に進めるには小規模なチームだ。

創業者には関連する経験があり、資金調達によってプロジェクトを開発する余地もある。それでもNvidiaとAMDは、はるかに大きなエンジニアリング組織、サプライヤーとの関係、既存の顧客基盤を持つ。

懐疑的な結論は明快だ。Majesticは実在する制約を特定し、一貫した仕組みを提案した。しかし、Prometheusが社内予測の外で主張する比率を実現できることは、まだ示されていない。

この区別は、買い手がblocks filesの報道を読む際の基準になるべきだ。アーキテクチャは注目に値するが、注目は検証ではない。

Majesticが実現できるかを示す3つのシグナル

次の段階は、動作するシリコン、再現可能なアプリケーションベンチマーク、そして既存AIソフトウェアが大規模な再構築なしに移行できる証拠にかかっている。

最初のシグナルは、シリコン検証の成功だ。Majesticは、Igniteとメモリインターフェース・チップレットの両方が2026年にテープアウトすると述べている。

テープアウトの完了はスケジュール維持につながる。期待されるクロック、電力、リンク目標を満たす動作サンプルが出れば、はるかに強い証拠となる。

遅延があれば、2027年中の顧客出荷見通しは弱まる。メモリファブリックは同社の中核的な差別化要因であるため、インターフェースの問題は特に重大だ。

2つ目のシグナルは、完全なワークロード構成を明らかにするベンチマークである。有用な結果では、モデル、数値精度、バッチサイズ、入力長、出力長、レイテンシ目標、システム電力を明示すべきだ。

テストではPrometheusを、単一アクセラレータや旧式プラットフォームではなく、現行のNvidiaおよびAMDラックと比較すべきである。また、最初のトークンまでの時間と、その後のトークン生成を分ける必要もある。

長文コンテキスト推論は、特に示唆に富む試験となる。モデルとそのキャッシュが従来のGPUメモリの実用的な容量を超える場合、Prometheusは優位性を得るはずだ。

小型で演算負荷の高いモデルは対照試験となる。Prometheusがそこで競争力のある結果を維持できれば、市場は特化型のメモリ集約的デプロイメントを超えて広がる可能性がある。

3つ目のシグナルはソフトウェア移行だ。Majesticは、実際のPyTorchモデルを限定的なコード変更でPrometheusへ移せることを示す必要がある。

デモでは、コンパイル、最適化カーネル、監視、障害復旧を含めるべきだ。また、どのCUDA依存コンポーネントに置き換えが必要かも明らかにすべきである。

先行顧客での導入は、一般的な互換性の表明よりも重要になる。信頼できる顧客であれば、ワークロード、運用目標、メモリファーストシステムを選んだ理由を説明できるはずだ。

これらのシグナルは、Majesticの中心的な判断を強めるか弱めるかのどちらかになる。シリコンの成功、透明性の高いベンチマーク、管理可能な移行が示されれば、メモリプーリングがGPUラックに挑戦できることを示すだろう。

帯域幅の弱さ、限定的なベンチマーク条件、あるいは大規模なソフトウェア書き換えは、既存ベンダーの戦略を支持する結果となる。買い手は、成熟したツールと実証済みの性能と引き換えに、限られたHBM容量を引き続き受け入れることになる。

最も重要な問いは、AIにより多くのメモリが必要かどうかではない。主要なアクセラレータのロードマップはすべて、より大きなメモリシステムによってすでにその問いに答えている。

問われているのは、メモリを各プレミアムプロセッサに紐づけたままにすべきか、それとも独立してスケール可能なシステムリソースにすべきかという点だ。Majesticは、その問いに対する後者の答えをアーキテクチャ全体に採用した。

開発者やインフラ購入担当者にとって、現実的な次のステップは、どちらの主張を受け入れる前にもワークロードのトレースを精査することだ。実際の需要下で、アクセラレータの利用率、キャッシュの増加、データ転送、レイテンシ、消費電力を測定すべきである。そのうえで、次回のblocks files更新が、また別の容量に関する主張ではなく、本番環境での測定結果をもたらすかを注視したい。