AWS SageMaker AI推論ベンチマーク：G7とG5・G6を比較

AWSは、2つの300億パラメータモデルにわたり4つのGPUインスタンスファミリーを比較するSageMaker AI推論ベンチマークを公開し、G7が価格性能比で首位に立ったと報告した。この結果は、共通のリアルタイム推論ワークフローの下で、NVIDIA Blackwellハードウェアを旧世代のG5、G6、G6eと比較するものだ。

この比較が重要なのは、最新GPUの購入が必ずしも最良のデプロイ判断になるとは限らないためである。モデルアーキテクチャ、リクエストの同時実行数、応答長、メモリ容量、レイテンシー目標によって、実効的なトークン当たりコストが最も低くなるインスタンスは変わり得る。

このAWSベンチマークは、4つのファミリーでQwen3-Coder-30BとNVIDIA Nemotron-3-Nano-30Bを検証している。両者はMixture-of-Expertsモデル、通称MoEモデルであり、すべてのパラメータを使う代わりに、各トークンに対して選択されたパラメータ群を有効化する。

AWSによれば、G7構成はリアルタイム推論においてスループットと価格性能比の測定可能な向上を実現した。ただし、重要なのは単にBlackwellが高速だということではない。こうした向上が、旧世代の容量と新世代アクセラレータの間のトレードオフをどう変えるかにある。

エンジニアリングチームにとっての判断は、運用実績が確立された使い慣れたインスタンスと、プロビジョニングした各エンドポイントからより多くの処理を引き出せることを約束するG7デプロイメントとの間にある。このベンチマークは判断の共通基準を示すが、本番ワークロードが最終的な勝者を決めることに変わりはない。

AWS SageMaker AI推論ベンチマークで実際に変わったこと

AWSはハードウェア世代の比較を、トークン、レイテンシー、エンドポイントコストに基づくデプロイ判断へと転換した。

この調査では、見出し上は同じパラメータ規模を持つ2つのモデルを評価している。Qwen3-Coder-30Bはコーディングやエージェント型ソフトウェアタスクを対象とし、Nemotron-3-Nano-30Bはより広範な推論と言語ワークロードを扱う。

共通する30Bという表記はこの組み合わせを有用なものにするが、両モデルの計算負荷が同一であることを意味しない。内部ルーティング、アテンションパターン、有効パラメータ数、精度の選択、サービング実装の違いにより、ハードウェア上での挙動は異なり得る。

AWSはG5、G6、G6e、G7インスタンス上のSageMaker AIエンドポイントにモデルをデプロイした。チームはその後、制御されたベンチマークワークフローの下でレイテンシー、スループット、価格性能比を測定した。

レイテンシーは、リクエストまたは生成トークンの完了までにかかる時間を表す。スループットは、通常は同時実行リクエスト全体で、エンドポイントが一定期間に処理する仕事量を測る。

価格性能比は、その処理量を運用コストと結び付ける。同じ支出水準でエンドポイントがどれだけ有用なトークンを提供できるかを問うものであり、どのGPUが最初に処理を終えるかを問うものではない。

この区別は継続稼働するエンドポイントにとって重要だ。利用率が低い状態が続くなら、高速なインスタンスでも経済性が低くなる可能性がある。一方、トラフィックが稼働状態を維持するなら、高価なアクセラレータも効率的になり得る。

ベンチマークは、アプリケーションが永続的なエンドポイントへリクエストを送り、即時応答を期待するリアルタイム推論にも焦点を当てている。これは、キューやより長い完了時間を許容できるオフラインのバッチ処理とは異なる。

リアルタイムワークロードには、コーディングアシスタント、サポートエージェント、検索システム、文書分析、対話型推論ツールが含まれる。各ユースケースでは、最初のトークンまでの遅延と持続的な生成速度のバランスが異なる。

AWSは、単独のGPUテストとして提示するのではなく、SageMaker AI内で評価を行っている。これにより、周辺のサービング環境、デプロイ構成、ソフトウェアスタック、エンドポイント挙動も比較に加わる。

その結果は、生のアクセラレータ仕様よりもマネージドデプロイメントにとって関連性が高い。同時に、すべての結果を別のクラウド、フレームワーク、自己管理クラスターへそのまま当てはめるべきではないことも意味する。

AWSは、テストした構成においてG7が測定可能な価格性能比の向上を示したと報告している。同社は、この優位性をNVIDIA Blackwell GPUと、その世代の推論指向の能力に帰している。

この結果は、すでにG5やG6を利用しているチームの標準的な問いを変える。もはやG7がより新しいシリコンを搭載しているかどうかではない。移行によって、定義済みのサービス目標に必要なリソースを削減できるかどうかが論点となる。

サービス目標には、最初のトークンまでの最大遅延、最低生成レート、固定数の同時セッションへの対応などがある。ハードウェアに価値があるのは、こうした成果のいずれかを改善できる場合に限られる。

したがって、このベンチマークがチームに与えるのは、普遍的な答えではなく、検討開始時の候補リストだ。G7へと調査対象を絞りつつ、ワークロード固有の検証が必要であることは維持される。

Blackwellは速度だけでなくコスト面でも旧世代GPUエンドポイントに圧力をかける

G7が旧世代エンドポイントに最も強い圧力をかけるのは、より高いスループットにより、以前はより多くの容量を必要とした処理を1つのデプロイメントで吸収できる場合だ。

G5ファミリーは、AWS GPUインフラストラクチャのより前の世代に属する。多くのチームはすでに、その運用特性、互換コンテナ、スケーリング挙動、容量パターンを理解している。

この親しみには価値がある。トラフィックが予測可能な安定したデプロイメントが、新しいアクセラレータのベンチマーク結果が優れているというだけで時代遅れになるわけではない。

G6は、新しいNVIDIA GPUと、グラフィックスおよび推論ワークロードへの重点によって比較を前進させた。G6eは、要求の高い生成AIおよび空間コンピューティングタスクを対象とする、より大規模な構成を提供する。

G7はこの流れにBlackwellを導入する。NVIDIAは、AIワークロード効率の向上を意図し、更新されたテンソル処理能力、メモリ挙動、低精度計算を備えてBlackwellを設計した。

実際の圧力はエンドポイントの経済性から生じる。G7が同じ時間内により多くのトークン生成を完了できれば、チームはより少ないプロビジョニング容量でスループット目標を満たせる。

ただし、この関係は利用率に左右される。大規模なトラフィックピークに合わせてプロビジョニングされたエンドポイントは、長時間アイドル状態になる可能性があり、理論上のスループットによる利点を減じる。

オートスケーリングは利用率を改善できるが、リアルタイムシステムが常に即座にスケールできるわけではない。モデルの読み込み、コンテナ起動、トラフィック急増は、scale-to-zero戦略に実務上の制約をもたらす。

需要が控えめな場合、リージョン内の容量を確保しやすい場合、あるいはアプリケーションが検証済みのソフトウェア構成に依存している場合、旧世代インスタンスは依然として魅力的であり得る。移行にはエンジニアリングとテストのコストも伴う。

G7の説得力が増すのは、トラフィックが高密度かつ一貫している場合だ。高い同時実行性により、アクセラレータにはスループット上の優位性を引き出すのに十分な同時処理が与えられる。

長い出力も同様の効果を生む可能性がある。生成によってエンドポイントがより長く占有されるためだ。コーディングアシスタントやリサーチエージェントは、短い分類サービスよりも長い応答を生成することが多い。

調査に含まれる2つのモデルは、この点を示す助けとなる。コーディングモデルは、リポジトリに関する質問、コード生成、長文出力を伴う反復的なデバッグセッションを処理する可能性がある。

Nemotronは、推論、統合、企業向け質問応答リクエストに対応できる。こうしたワークロードは、現時点の基準ではモデルが比較的小規模であっても、大量のコンテキストと継続的な生成を伴うことがある。

したがって、「小規模」は文脈に依存する。30B MoEモデルは多くの最上位システムより小さいが、それでも本格的なアクセラレータメモリとサービングインフラを必要とする。

MoEルーティングは、各トークンの計算にモデルの一部だけが参加するため、計算負荷の式を変える。それでも、全重みはストレージ、読み込み、メモリ計画に影響する。

G7インスタンスファミリーはBlackwellハードウェアをAWSデプロイメントにもたらす一方、確立されたG6ファミリーも依然として重要な比較対象である。このベンチマークは、仕様表だけに依存するのではなく、実用上の差を検証している。

この差は、アクセラレータが抽象的なチップとしてではなく、レンタル容量として購入されるクラウド利用者にとって重要だ。インスタンス形状、メモリ、ネットワーキング、可用性、ソフトウェアサポートはいずれも最終的なサービスコストに影響する。

AWSにとって、好意的なG7の結果は、推論ワークロードを新しいインフラストラクチャへ移す根拠を強める。NVIDIAにとっては、最大規模のフロンティアモデルのトレーニングを超えたBlackwellの位置付けを支えるものとなる。

直接的な圧力は、最新の測定を行わずに旧世代エンドポイントを維持しているチームにかかる。以前のトラフィックやモデルの前提に基づいて選ばれたデプロイメントは、サービス契約を満たし続けながらも非効率になり得る。

これは緊急の移行を必要とするものではない。ただし、長期的な容量前提を更新する前に、新しい候補に対してワークロードを再実行する根拠にはなる。

G7の優位性がエンドポイントで現れる理由

Blackwellの優位性は、サービングスタックがレイテンシー制限を破ることなくハードウェア容量をより多くの完了リクエストへ変換できる場合に有用となる。

アクセラレータだけでアプリケーションを提供することはできない。モデルサーバーは、リクエストのスケジューリング、メモリ管理、トークンのバッチ処理、key-valueキャッシュの維持、ストリーミング出力の返却を行わなければならない。

特に重要なのが継続的バッチ処理だ。この手法では、生成中のアクティブなリクエストを組み合わせ、GPUが1つのシーケンスを待つのではなく、複数ユーザーからの処理を実行できるようにする。

同時実行性を高めると、利用率とスループットを向上できる。一方で、サーバーがハードウェアが目標時間内に処理できる以上の作業を受け入れると、レイテンシーが上がる可能性もある。

正しい構成では、これらの効果のバランスを取る。通常、チームは複数の同時実行レベルをテストする必要がある。リクエストを一度に1件だけ処理した結果では、稼働中の本番エンドポイントについてほとんど分からないためだ。

プロンプト処理とトークン生成は、ハードウェアに異なる負荷をかける。入力プロンプトの読み込みは並列計算を用いる一方、後続トークンの生成は逐次的な依存関係に従う。

最初のトークンまでの時間は、出力開始までの待ち時間を捉える。トークン間レイテンシーはストリーミング開始後の速度を測定し、エンドツーエンドレイテンシーは完全な応答を含む。

ユーザーは、これらの指標の異なる組み合わせを許容できる。コーディングアシスタントはリクエストを素早く受け付けるべきだが、バックグラウンドの文書ワークフローでは初期応答が遅くても受け入れられる場合がある。

スループットは唯一の指標としてレイテンシーの代わりにはならない。エンドポイントは合計で多くのトークンを生成しても、個々のユーザーがサービスを待たされすぎる可能性がある。

同様に、単一リクエストでの低レイテンシーは、経済的なスケールを保証しない。1件のリクエストを中心に最適化された構成では、実際のトラフィック時にアクセラレータの大部分が未使用のままになる可能性がある。

Blackwellの利点は、この運用曲線を改善できるかどうかに依存する。最も強力な構成は、アプリケーションが許容できるレイテンシー水準で、より高いスループットを実現する。

精度もこの曲線に影響する。低精度フォーマットはメモリ使用量を減らし、計算効率を高めるが、デプロイメントチームは変換または量子化後のモデル品質を検証しなければならない。

量子化は、モデル重みをより少ないビットに圧縮する。より大きなモデルやキャッシュをメモリに収められるようになる一方、積極的な設定では出力品質が変化する可能性がある。

ベンチマークに含まれる2つのMoEモデルは、さらに別の層を加える。エキスパートルーティングはトークン当たりの計算量を減らせるが、不規則なメモリ移動やフレームワーク固有の最適化ニーズを生む可能性がある。

したがって、Qwen3-Coder-30BとNemotron-3-Nano-30Bが検証するのは、生の行列乗算だけではない。マネージドエンドポイントの内部で、モデルアーキテクチャ、ランタイムソフトウェア、GPU能力がどのように相互作用するかを検証している。

Alibabaの公式Qwenモデルコレクションには、拡大を続ける同社の言語モデルおよびコーディングモデル群が掲載されている。各リリースでは、コンテキスト長、精度、サービング要件が異なる。

NVIDIAのNemotronモデルカードも同様に、トークン当たりのアクティブなフットプリントを小さく抑えた30BクラスのMoEシステムを説明している。こうした特性により、高スループット推論テストとの関連性がある。

同一モデルでも、プロンプト長によって結果は変わり得る。短いチャットターン、大規模なコードコンテキスト、検索で取得した文書群では、コンピュートとメモリに対する要求がそれぞれ異なる。

応答長も重要だ。短い応答ではプロンプト処理と最初のトークンまでの遅延が重視される一方、長い応答では持続的なデコーディング性能が明らかになる。

そのため、トークン当たりコストには文脈が必要となる。単一の統合値では、短いプロンプト、長いプロンプト、高い同時実行性、あるいは有利な出力構成のどれを使ったワークロードなのかが隠れてしまう可能性がある。

AWSの結果は、G7をテストする価値があることを示す証拠として最も有用だ。ただし、すべてのエンドポイントで一定の改善率を保証するものではない。

チームは、実際に想定するリクエスト分布を再現すべきだ。入力長、出力長、同時実行性、ストリーミング、エラー率、閑散時間帯が含まれる。

成功したトークンと、中断または失敗したリクエストも分けて扱う必要がある。起動は速くても、バースト時に苦戦するシステムは、許容可能なサービスを提供できないまま容量を浪費しかねない。

したがって、G7の優位性を生む仕組みは、「新しいGPUはより高速」という単純なものではない。新しいハードウェアを、より優れたレイテンシ・スループットのフロンティアへ転換することにある。

そのフロンティアが外側へ広がれば、チームは同じレイテンシでより多くのユーザーにサービスを提供できる。あるいは、スループットを維持したままレイテンシを下げられる。

エンドポイントが十分に利用されている限り、どちらの結果も価格性能を改善し得る。ハードウェア上の優位性が事業上の優位性になるのは、ワークロードがその運用点に達してからだ。

G7 vs G5 and G6は普遍的な結論ではない

AWSのベンチマークはテスト対象のワークロードにおけるG7を支持しているが、あらゆるモデルやトラフィックパターンで恒久的な勝者を定めるものではない。

最初の制約は、情報源の立場にある。AWSはSageMaker AIを運営し、比較に含まれる各インスタンスファミリーへのアクセスを販売している。

これは測定結果を無効にするものではない。ただし購入者は、この調査をベンダーが作成した証拠として扱い、自身のワークロードでその手法を再現すべきである。

第2の制約はモデルの選定だ。2つの30B MoEモデルは意味のある範囲をカバーするが、密モデル、視覚言語システム、埋め込みモデル、あるいは大規模なデプロイメントを代表することはできない。

密モデルは推論時にパラメータセット全体を有効化する。そのコンピュートおよびメモリ挙動は、アクティブパスがより小さいMoEモデルと大きく異なり得る。

マルチモーダルモデルでは画像や動画の処理が加わる。埋め込みエンドポイントでは、長い自己回帰生成よりもリクエスト量とバッチ処理が重視されることが多い。

第3の制約はソフトウェアの成熟度だ。新しいハードウェアは、すべての推論フレームワーク、カーネル、コンテナ、監視統合が同等の安定性に達する前に提供開始される可能性がある。

後続のソフトウェアリリースにより、ハードウェアを変更せずにインスタンスの性能が改善する場合がある。反対に、未成熟なランタイムは新しいアクセラレータが期待される性能に達することを妨げる可能性がある。

そのためベンチマーク結果には、コンテナのバージョン、サービングフレームワーク、モデルリビジョン、精度設定、コンパイラオプションを含めるべきだ。これらがなければ、再現は難しくなる。

キャパシティの可用性も別の不確実性を生む。最速の構成でも、必要なリージョンで取得できなかったり、需要急増時にスケールできなかったりすれば価値は低い。

リージョン対応はデータレジデンシーとレイテンシにも影響する。機密性の高いワークロードを、好ましいアクセラレータへアクセスするためだけに自由に移転することはできない。

信頼性にも同等の注意を払うべきだ。チームは平均スループットと併せて、起動失敗、メモリ不足イベント、テールレイテンシ、スロットリング、復旧挙動を比較すべきである。

テールレイテンシは、リクエストのうち最も遅い部分を測る指標であり、多くは高パーセンタイルの結果で表される。こうしたリクエストは、トラフィックバースト時の実際のユーザー体験を左右することが多い。

平均レイテンシが健全に見えても、無視できないユーザー群が長時間待たされている可能性がある。本番導入の判断には、典型的な挙動と高パーセンタイルの挙動の両方を含めるべきだ。

コスト分析は、実行中のトークンにとどまらない。アイドル状態のエンドポイント、デプロイメントレプリカ、ログ、ネットワーク転送、ストレージ、エンジニアリング時間、移行テストが総運用コストに影響する。

この記事の価格に関する制約により時間当たりの数値は掲載できないが、判断原則は明確だ。ベンチマークにおけるトークンコストの低さが、システム全体のコスト低下を保証するわけではない。

チームは、あらゆる最適化のもとで出力品質も評価すべきだ。量子化や構成変更により再試行、修正、手動レビューが増えるなら、より高速なデコーディングの価値は失われる。

コーディングワークロードでは、生成トークンだけでなく、採用された提案や完了したタスクを測定するテストが有用だ。トークン数の増加は、生産的な作業ではなく冗長な出力を意味する場合がある。

推論システムでは、正確性と一貫性が重要である。迅速に回答しても繰り返しプロンプトを必要とするエンドポイントは、合計でより多くの容量を消費しかねない。

セキュリティとガバナンスもインスタンス選定に影響し得る。検証済みイメージ、承認済みの依存関係チェーン、確立された監視プロセスは、新しいファミリーへの移行を遅らせる可能性がある。

運用上の習熟度は、一時的な非効率を正当化し得る。ただし、それは無期限に維持される前提ではなく、証拠に裏付けられた明示的な選択であるべきだ。

ここでInference Recommenderが役立つ可能性がある。このSageMaker AI機能は、チームが望ましい選択肢をデプロイする前に、ワークロードと最適化目標に照らしてモデルサービング構成を評価する。

それでも推奨には判断が必要だ。ランキングは有望な構成を特定できるが、許容可能なユーザー体験やアプリケーション品質を定義することはできない。

適切な結論は、包括的なハードウェア推奨よりも限定的だ。G7はテストされたAWS SageMaker AI推論ベンチマークで優位に立ったが、本番検証が最終的な関門であることに変わりはない。

この慎重な読み方は、調査の価値を保つ。同時に、十分な文脈のないベンチマークチャートがアーキテクチャ上の意思決定になることを防ぐ。

チームがスループット、レイテンシ、トークン当たりコストを読む方法

勝つインスタンスとは、定義されたサービス目標を、最小の総運用負担で満たすインスタンスである。

有用な評価はGPUではなくアプリケーションから始まる。チームはリクエストパターン、期待される応答長、同時実行性の範囲、許容可能な遅延を定義すべきだ。

対話型サービスでは、通常、最初のトークンまでの時間に厳格な目標が必要となる。後続の生成が速くても、最初の待ち時間が長ければユーザーは失敗と受け取る。

その後、生成速度が応答の流暢さを決める。これはコード、長文分析、複数ステップのエージェント出力で特に重要だ。

スループットは、システムがサポートできる同時ユーザー数を定義する。ただし、ピークスループットの数値が有用なのは、レイテンシが製品の許容範囲内にある場合に限られる。

チームは複数のトラフィックレベルでテストすべきだ。軽負荷は基本的な応答性を示し、通常負荷は日常的な経済性を表し、ストレス負荷はキューイングやメモリ障害を露呈させる。

コスト計算にも同じ負荷レベルを用いるべきだ。人為的に飽和させたテストで得られたトークン数でエンドポイント費用を割ると、日常のトラフィックでは決して到達しない魅力的な数値が生まれる可能性がある。

公正なG7 vs G5 and G6の比較では、モデル、プロンプトセット、応答ポリシー、品質設定を一定に保つべきだ。変更するのは、レビュー対象のデプロイメント変数だけにする。

ウォームアップ時の挙動も一貫させなければならない。初回リクエストでは、コンパイル、キャッシュ割り当て、モデル読み込みの影響が発生し、短時間テストを歪める可能性がある。

より長時間の実行では、熱安定性、メモリ断片化、持続的なスケジューラ挙動が明らかになる。また、起動時ノイズが平均測定値へ及ぼす影響も小さくなる。

リクエストトレースは本番環境に似せるべきだ。合成プロンプトは再現性のために有用だが、入力長と出力長の実際の分布を再現する必要がある。

平均値だけでは不十分だ。チームには、中央値、高パーセンタイルのレイテンシ、エラー件数、完了リクエスト数、各同時実行性レベルでのスループットが必要となる。

評価では、スループットよりもレイテンシが急速に上昇し始める点を記録すべきだ。その曲線上の膝点が、実用上の容量上限を示すことが多い。

G7の優位性は、その膝点がより高いリクエストレートで現れるときに価値を持つ。エンドポイントは、ユーザー体験が悪化する前により多くのトラフィックを吸収できる。

低い利用率では、G5またはG6が依然として優位になり得る。エンドポイントの大半の時間が新しいインスタンスの効率的な範囲を下回るなら、移行による節約は実現しないかもしれない。

トラフィックの形状は、トラフィック量と同じくらい重要だ。安定した社内自動化はGPUを稼働させ続けられる一方、公開アシスタントは閑散時間と予測不能なバーストの間を変動する可能性がある。

マルチモデルデプロイメントでは別の選択肢も生じる。複数モデルを1つのアクセラレータに集約すれば利用率を改善できるが、干渉や複雑なスケーリング挙動を引き起こす可能性がある。

チームは生成トークンを唯一の価値単位として扱うべきではない。コーディングモデルは、解決されたタスク、採用されたコード、完了までの時間短縮に照らして評価すべきだ。

文書分析モデルであれば、完了したレコード数や検証済み回答を通じて測定できる。こうしたアプリケーション指標は、インフラ効率を有用な成果に結びつける。

このベンチマークは、オープンウェイトモデルを提供するチームにとって特に関連性が高い。ランタイムを制御し、バッチ処理、精度、コンテキスト上限、モデル配置を調整できるからだ。

その制御には責任が伴う。インフラの変更は出力挙動や数値安定性を変え得るため、あらゆる最適化で品質回帰テストが必要となる。

デプロイメントレビューでは、実験記録も保持すべきだ。構成を比較するエンジニアは、ベンチマーク終了後もプロンプト、コンテナバージョン、チャート、決定にアクセスできる必要がある。

検索可能なエンジニアリングナレッジベースは、こうした資料を後のインシデントや移行と結び付けて維持できる。ソフトウェアアップデートが過去の結論を変える場合に重要となる。

実践的なプロセスは反復的だ。現在のエンドポイントをベンチマークし、候補としてG7をテストし、レイテンシ・スループットのフロンティアを特定し、その結果をアプリケーションの成果へと変換する。

G7が目標指標を改善するなら、チームは管理された本番トライアルを実施できる。改善しない場合、ワークロードまたはソフトウェアスタックが変わるまでは、既存のデプロイメントを維持する判断にも根拠がある。

このアプローチは、反射的な移行と反射的な慎重さの両方を避ける。AWSの結果を、ローカルな証拠によって検証されるべき信頼できるシグナルとして扱う。

Blackwellの真の推論上の優位性を確認するもの

G7のベンチマーク上の優位性が、好条件の初期結果ではなく持続的な本番上の優位性になるかどうかは、3つのシグナルが決める。

第1のシグナルは、追加のモデルタイプをまたぐ独立した再現だ。密な言語モデル、視覚言語システム、埋め込みサービス、より大規模なMoEデプロイメントにより、この優位性が一般化するかが示される。

異なるアーキテクチャで繰り返し改善が見られれば、Blackwellが価格性能曲線を広く変化させるという主張は強まる。結果が混在すれば、モデル固有のテストはいっそう重要になる。

第2のシグナルは、本番同時実行性における持続的なレイテンシだ。初期ベンチマークはピークスループットを重視することが多いが、実際のサービスはバースト、変動するコンテキスト、不均一な出力長に直面する。

G7は、より多くの同時リクエストを処理しながら、許容可能な初回トークン遅延と高パーセンタイルのレイテンシを維持する必要がある。そうした挙動が実現すれば、生の処理能力は明確なユーザー向けの利点に変わる。

3つ目のシグナルは、ソフトウェアスタックの成熟に伴う運用の安定性だ。フレームワークの更新、最適化カーネル、コンテナ対応、オートスケーリングの挙動、リージョンごとの供給能力が、長期的な結果を左右する。

時間の経過とともに改善が見られれば、新しいランタイムがBlackwellのハードウェア能力をより引き出せるため、G7の導入根拠は強まる。一方、デプロイ時の摩擦が続けば、短期的な移行論は弱まる。

購入者は、この3つのシグナルをまとめて見るべきだ。安定したサービングを伴わないモデルテストの高速化だけでは、導入判断は決まらない。成熟したツール群も、ワークロードの経済性が弱ければ補えない。

AWSはすでに、有用な出発点を示している。その比較は、2つの30B MoEモデル、4つのGPUファミリー、そしてリアルタイム推論の計画を支配する3つの指標を対象としている。

報告された結果はG7に有利で、特に既存エンドポイントへの慣れよりも、スループットとトークン当たりコストを重視する場合にその傾向が強い。また、チームに従来の容量前提を見直すよう促している。

この問い直しは健全だ。昨日のモデル、トラフィック、ランタイムに合わせて選ばれたGPUは、その判断根拠が通用しなくなった後も長く使われ続けることがある。

それでも、次のステップは自動的な置き換えではなく、計測であるべきだ。本番環境に近いリクエストを用いた短いベンチマークは、幅広いハードウェア仕様より多くを明らかにできる。

まずサービス目標を定義する。そのうえで、完了リクエスト数、初回トークンまでの遅延、高パーセンタイルのレイテンシ、持続スループット、障害、有効利用率を比較する。

最後に、インフラの結果を製品上の成果につなげる。ユーザーがコーディング、リサーチ、サポート、分析の作業を、同等の品質でより早く完了できるなら、生成の高速化には意味がある。

AWS SageMaker AIの推論ベンチマークにより、この2つのモデルにおいてG7は打ち負かすべき候補となった。Blackwellがあなたのアプリケーション内でも勝てるかどうかは、今やワークロード自身が決める。