Amazon SageMaker HyperPod SDC チェック、正常ノードでは見えないエラーを標的に
AWSは11月11日、通常のハードウェア監視では見逃されうるGPUエラーを捕捉する3つのトレーニングチェックを公開した。Amazon SageMaker HyperPod SDC チェックは、ハードウェアが障害を報告せずに誤った数値を返す、サイレントデータ破損を対象とする。運用上の緊張点はここにある。トレーニングクラスターは健全に見えても、その計算がモデルを損なっている可能性がある。
このリファレンスは、アプリケーションのチェックをPyTorch DistributedDataParallel、すなわちDDPに追加する。DDPは、別々のプロセス間で同期されたモデルコピーをトレーニングする仕組みだ。さらに、疑わしい計算を特定のマシンおよびHyperPodのリカバリーに結び付ける。AWSによれば、4つのインスタンスにまたがる32基のNVIDIA H100 GPUでソフトウェア注入障害をテストし、その後3インスタンスでテストを繰り返した。
Metaは有用な歴史的参照を提供している。Llama 3のトレーニング期間中、54日間に発生した419件の予期しない中断のうち6件を、サイレントデータ破損に起因するとした。これらの数値は、トレーニング計算全体におけるエラー率ではなく、特定された中断を示す。トレーニングチームにとって当面の課題は、利用可能なハードウェアと信頼できる計算を区別することだ。
Amazon SageMaker HyperPod SDC チェック、検出をトレーニング内部に組み込む
この変更は、疑わしい算術演算の検出責任をトレーニングアプリケーションに持たせるリファレンス実装である。
AWSのトレーニング完全性チェックは、非有限の勾配、再実行された計算、モデル重みのフィンガープリントを調べる。勾配は提案されるパラメータ変更を表し、重みは学習されたパラメータそのものだ。フィンガープリントは、より大きなデータ構造を比較するためのコンパクトな表現である。
各チェックの目的は異なる。非有限値にはNaNと無限大が含まれ、無効または発散した数値結果を示す。再実行はマシン間で計算を比較する。重みの比較は、パラメータ更新後の不一致を探す。これらを組み合わせることで、疑わしい処理を停止する複数の機会が生まれる。
これはハードウェア問題に対するアプリケーションレベルの対応だ。HyperPodの既存ヘルスチェックは報告された障害を扱う一方、サイレントデータ破損では対応するハードウェアエラーが発生しない。トレーニングジョブは、インフラストラクチャが対応できる証拠を生成しなければならない。
この境界は、発表を解釈する際に重要だ。リファレンス実装は、エンジニアに具体的な統合経路を提供する。すべてのHyperPodワークロードが自動的にサイレントデータ破損から保護されることを示すものではない。デプロイ、互換性、インシデント対応は、引き続きエンジニアリング上の責任となる。
この区別は、購入時の議論も変える。マネージドトレーニングインフラストラクチャを評価するチームは、正しさのチェックがどこで実行され、誰が保守するのかを問うべきだ。自動リカバリーに関する一般的な説明だけでは、それらの問いに答えられない。
リカバリーは、システムが問題を認識した後に始まる。サイレントな算術エラーは、交換速度が意味を持つ前段階である認識ステップに課題を突き付ける。ジョブが疑わしいマシンを特定しなければ、より速い交換もほとんど役に立たない。
そのため、HyperPod GPU障害検出は、インフラストラクチャとモデルエンジニアリングにまたがる共同責任となる。プラットフォーム運用者はマシン識別と交換制御を理解している。トレーニングエンジニアは、ワークロード内部で成立すべき数値的関係を理解している。どちらの視点だけでも、完全な連鎖を提供することはできない。
他方では問題なく進行した実行の後、性能が低下したモデルを調査するチームを考えてみよう。最初の課題は、ただちにハードウェアを交換することではなく、何が起きたのかを突き止めることだ。アプリケーションの証拠がなければ、調査ではデータ変更、トレーニング変更、ソフトウェア挙動、ハードウェア障害を切り分けなければならない。
AWSのアプローチの実用的価値は、この調査をより構造化できる点にある。数値アラームは、調べるべき特定のインシデントを生む。説明のつかないモデル品質の変化よりも、チームに絞り込まれた出発点を与えられる。
したがって、このリリースを最も強く読むべきなのは手続き面だ。AWSは、疑わしいトレーニング結果を既存のリカバリーシステムに取り込む方法を説明した。その接続の品質は、各アラームに付随する証拠に依存する。
この枠組みは、発表を新しいハードウェア検出器として扱うことを避ける。また、本質的な問い、すなわち本番チームが再実行範囲を限定できるだけ早期に損なわれた処理を認識できるかという点に注意を向け続ける。
一致するモデルコピーも同じエラーを共有しうる
モデルコピー間の一致は一貫性を示すが、一貫性だけでは正しさを証明できない。
DDPは、参加プロセス間で勾配を結合する集団演算であるall-reduceを使用する。各プロセスは同期された結果を使ってローカルモデルを更新する。rankは、参加プロセスに割り当てられる識別子だ。
PyTorchの分散トレーニング設計は、勾配同期と、レプリカが一致するパラメータを維持するという前提を説明している。この関係により、不一致は有用な証拠となる。同時に、最終パラメータだけを確認することが論理的な空白を残す理由も説明する。
共有された計算に、すべての参加者が更新を適用する前の段階でエラーが含まれていると仮定しよう。その結果として得られるモデルコピーは、それでも一致しうる。その一致は、同じ更新経路に従ったことを観測者に伝えるが、更新自体を独立に検証するものではない。
これが発表の背後にある中心的な対立、すなわちインフラストラクチャの可用性と計算の正しさだ。クラスターがトレーニングプロセスを実行し続けられることは、それらのプロセスが信頼できる結果を生んでいるかどうかを決定しない。
この対立は、完了を主な運用上の達成指標とするチームに負荷をかける。実行を完了することは必要だが、その出力を受け入れるには追加の判断が必要となる。プロセスが正常終了したという事実だけでは、生成されたモデルに関するすべての問いに答えられない。
同じ区別は保存されたトレーニング状態にも当てはまる。チェックポイントは、トレーニングを再開するために使われる保存済みスナップショットだ。そのスナップショットを正常に書き込み、後から読み出せることは永続性を示す。しかし、保存された計算が正しかったことを独立に証明するものではない。
エンジニアリングマネージャーにとって、これは測定上の問題を生む。完了した実行回数は、可用性と実行の進捗を捉える。受け入れられたモデル出力を追跡することは、別の結果を捉える。完全性インシデントは、これらの測定値の隔たりを明らかにしうる。
研究者にとって、この問題は実験結果の解釈における不確実性として現れる。期待を下回る結果は、トレーニングレシピ、データ、通常の変動、または実装上の問題を反映している可能性がある。ハードウェア破損は、証拠を必要とする別の仮説を加える。
チームは、この仮説をデフォルトの説明にしてはならない。異常な損失挙動だけでは、障害を起こしているGPUを特定できない。損失はモデル誤差に関するトレーニング目的の数値尺度であり、多くの原因がそれを変化させうる。
運用上の教訓は、証拠によって切り分けられるまで競合する説明を保持することだ。障害があるマシンに追随する場合、ハードウェアという結論はより強くなる。同じコードが異なるマシン上で同じ挙動を示す場合、ソフトウェアという結論はより強くなる。
これは、すべてのインシデントが容易に分類できるという主張ではなく、分析上の基準である。一部の調査は曖昧なまま残るだろう。有用な監視システムは、不当な確実性を割り当てるのではなく、その曖昧さを保持すべきだ。
エンタープライズの購入担当者にとって、その含意は具体的だ。プロバイダーのリカバリーに関する主張が、中断された実行、数値的不一致、またはその両方を対象とするのかを尋ねるべきである。これらの機能は関連するリスクに対処するが、必要な証拠と運用要件は異なる。
Amazon SageMaker HyperPod SDC チェックが重要なのは、この区別をデプロイ可能なトレーニングワークフロー内で明らかにするからだ。その意義は、別のダッシュボード信号を追加することよりも、通常の完了指標では手つかずの前提を検証することにある。
独立した再実行は、複製だけでは得られない証拠を加える
別の場所で処理を再計算することは、同期されたコピーが一致しているかを問うこととは異なる種類の証拠を提供する。
AWSの障害注入の例では、チェックを固定されたトレーニングシーケンスに配置している。更新前に勾配を確認し、選択したステップで再実行した処理を監査し、その後に重みを比較する。
リング再実行監査では、各参加者に別の参加者の処理を再計算させる。マイクロバッチは、その計算で処理されるトレーニングデータの一部だ。この監査は、無関係なデータではなく、対応する処理から得られた結果を比較する。
この区別は不可欠だ。異なるトレーニング入力は、正当に異なる勾配を生成しうる。あらゆる差異をハードウェア問題の証拠として扱えば、予想されるトレーニング挙動と障害を混同することになる。
このリファレンスは、損失値と、決定論的実行の場合は勾配フィンガープリントを比較する。決定論的実行とは、同じ入力で同じ演算を繰り返した際に同じ結果が得られることを意味する。これにより、サポート対象のセットアップ内では厳密な比較が意味を持つ。
例では限界も示されている。勾配削減の内部で生じる有限エラーは、これらのチェックをすり抜ける。重みフィンガープリントでは、すべてのコピーに同一の誤った更新が行われた場合を検出できない。複製された重みの比較は、完全なコピーを保持せずパラメータを分割するシャーディングされた重みを直接対象にしていない。
これらの境界は、メカニズムを評価する有用な方法を示している。各チェックは、それが答える問いによって判断されるべきだ。チェックを組み合わせることで対象範囲は広がるが、部分的な証拠が普遍的な保証に変わるわけではない。
独立した再実行は、検証側に関する信頼の問題も導入する。検証するマシンに障害があれば、不一致だけでどちらの側が誤って計算したかを自動的に特定することはできない。そのため、確認には単一の衝突ペアを超える証拠が必要となる。
独立したマシンという要件は、単なるデプロイメント上の詳細ではない。監査は、参加者が疑われる障害を共有していない場合に価値を持つ。物理的な配置を考慮せずにプロセス数だけを数えると、独立性を過大評価する可能性がある。
この考え方はGPUトレーニングにとどまらない。複製されたシステムが中間結果を共有する場合、複製は正しい情報と誤った情報の両方を広げうる。独立した計算は、共有された結果に異議を唱える別の機会を提供する。
モデルチームにとって、統合の負担は再現性にある。同じ処理を再構成するには、入力と実行条件を制御する必要がある。条件が異なれば、不一致の解釈はより難しくなる。
PyTorchの再現可能な計算に関するガイダンスは、リリースやプラットフォームをまたぐ再現性は保証されないと警告している。また、決定論的演算が性能を低下させうることも説明している。固定された乱数シードだけでは、非決定性のすべての原因を排除できない。
これらの制約から、実務上のトレードオフが生じる。リプレイシステムには、比較可能な作業を明示的に定義する必要がある。その定義は、エンジニアがライブラリ、演算子、データ処理、モデルアーキテクチャを変更しても有効であり続けなければならない。
したがって、HyperPod GPU障害検出を評価する読者が問うべきことは、ワークロード固有のものとなる。チームは関連する計算を十分な信頼性で再現し、不一致を実行可能な証拠に変えられるのか。
答えは実際のワークロードをテストして得るべきである。明快な例はアプローチを検証可能にするが、本番導入の判断には、本番モデルがどの前提を維持しているかを理解する必要がある。
ノード交換にはアラームだけでなく判断が必要
アラームが、疑われるハードウェアとその後に行う判断の両方を特定できるとき、それは運用上有用になる。
数値的な症状とマシンの識別情報は、システム内の異なるレイヤーに属する。トレーニングコードが理解するのはランクと計算ステップである。インフラストラクチャの制御は、それらのプロセスをホストするマシンであるノードに対して行われる。
HyperPodのリカバリーワークフローは、これらの識別情報を結び付ける。インシデント対応者にとって、この対応関係はジョブが停止または再起動した後も理解可能であるべきだ。そうでなければ、精密なトレーニングアラームが曖昧なインフラストラクチャチケットになるおそれがある。
封じ込めと交換の違いも重要である。封じ込めは、エンジニアが証拠を評価する間にさらなる影響を抑える。交換は、疑わしいマシンをアクティブな環境から除外する。これらの行動に同じ信頼度の閾値は必ずしも必要ない。
AWSは、マネージドKubernetesプラットフォームであるAmazon Elastic Kubernetes Serviceを使用するHyperPodクラスター向けに、ノード交換の制御機能を文書化している。Kubernetesは、複数のマシンにまたがるコンテナ化ワークロードを調整する。運用担当者は、APIまたはサポート対象のノードラベルを通じて交換を実行できる。
ラベルを利用するには、自動ノードリカバリを有効にする必要がある。AWSは、ワークロード需要に応じてノードをプロビジョニングするシステムであるKarpenterに関する条件も文書化している。その交換動作は、容量を必要とする保留中のワークロードに依存する。
こうした文書化された動作は、より広範な運用上の要点を補強する。交換を要求することと、意図したトレーニング環境を復元することは別の結果である。インシデントプロセスでは、要求がリカバリ全体を完了させると想定するのではなく、結果として得られた環境を検証すべきだ。
同じ考え方はトレーニングの再開にも当てはまる。健全な交換用マシンであっても、保存済み状態にすでに取り込まれた破損を除去することはできない。したがって、リカバリには計算をどこから再開するかという判断が必要になる。
トレーニングチームにとって意味のある成果は、適切なインフラストラクチャ上で受け入れ可能な進捗が復元されることである。交換イベントは、1つのリカバリ操作が行われた証拠である。それ自体が唯一の成功指標になるべきではない。
AWSのリファレンスは、ワークロード固有の精度が確立されるまで、本番環境での交換の前に人によるレビューを推奨している。これは自動化の否定ではなく、信頼性に関する制約である。検出システムは、運用担当者が妥当な交換ポリシーを策定する間も証拠を保持できる。
曖昧なアラームは、その重要性を示している。数値異常のたびに自動的にマシンを交換すると、健全な作業が中断される可能性がある。曖昧な異常を無視すると、損なわれた計算が継続する可能性がある。有用なポリシーでは、不確実性が次の行動をどのように変えるかを定義しなければならない。
合理的な評価原則の1つは、元に戻せる封じ込めと、重大な結果を伴うリカバリ判断を区別することである。チームは自らのワークロード要件と証拠に応じて、これらの判断を評価できる。リファレンスは、その責任を取り除くものではない。
インシデント記録も、トレーニング上の判断とインフラストラクチャ上の判断を結び付けるべきだ。イベントをレビューするエンジニアは、なぜ計算が疑わしいと判断されたのか、なぜ特定のマシンが選ばれたのかを理解する必要がある。
すでに技術的なランブックを整理している組織では、検索可能なナレッジベースが、こうした判断を保存する助けになる。有用な記録は、観測された動作、ワークロード構成、調査結果、リカバリの結果を関連付ける。
成熟したHyperPodリカバリーワークフローでは、不一致を検証可能にすべきである。その目的は、根拠のある行動を支援し、その後にトレーニングが受け入れ可能な状態から再開されたことを示す証拠を得ることにある。
人為的な障害は動作を確立するが、本番環境での信頼性を確立するものではない
公開された実験は実装の評価を支持する一方で、実際のハードウェアにおける検出率は未解決のままである。
AWSは、自然に障害を起こしたGPU群を測定したのではなく、意図的に注入したソフトウェア障害をテストした。この違いは、読者が推論できる範囲を限定する。テストは選択された障害シナリオを説明するものであり、本番環境におけるサイレントな破損の発生頻度を示すものではない。
人為的なテストでは、選んだ入力が期待どおりのアラームを引き起こすかを確立できる。しかし、実際のハードウェアも同じように障害を起こすことは確立できない。また、独立した証拠なしに、本番環境で見逃されるインシデントの割合を測定することもできない。
これにより、複数の独立した評価課題が生まれる。実装は意図どおりに応答するか。ワークロードはその前提を満たしているか。自然発生する障害は観測可能なシグナルを生むか。運用担当者は過度の中断なく、それらのシグナルに基づいて行動できるか。
導入に関する主張を評価する際には、これらの問いを分けて扱うべきである。注入障害の演習を通過することは、機能面での信頼を支える。長期間にわたるワークロードの観測は、運用上の有用性について別の判断を支える。
歴史的な懸念はAWSに限らない。Googleの研究者によるサイレント計算に関する研究は、従来の検出をすり抜けるプロセッサエラーを記述している。この研究は、欠陥のある計算が常に障害として表面化するという仮定に疑問を投げかける。
この比較は、製品ランキングではなく文脈を提供する。Googleの研究はより広範なシステム上の問題を対象としており、AWSの実装を独立して検証するものではない。ただし、インフラストラクチャの信頼性を論じる際に、アプリケーションから可視化できる証拠がなぜ重要なのかを示している。
Metaは、大規模なトレーニングシステムを運用してきた経験を通じて、別の視点を提供している。同社に帰属される中断に関する数値は、この問題に具体的な参照点を与える。ただし、それらは特定のHyperPodワークロードがサイレントな破損に遭遇する頻度を購入者に示すものではない。
いずれの比較も、一方のクラウドプロバイダーが他方より安全だと断定する根拠にはならない。比較可能な判断には、比較可能なワークロード、測定手法、検出範囲が必要である。利用可能な情報源は、そのベンチマークを提供していない。
最も強い懐疑的な視点は、監査と、それが代表する作業との隔たりに関するものだ。チェックの通過は、そのチェックが何を検査したかを示す。前後すべての計算に対する認証と解釈すべきではない。
定期的な検証では、必然的に未検査の作業に関する疑問が残る。検証頻度を上げればこのリスクは変化するが、リソース使用量も変化する。チームは、トレーニングをやり直すことの結果と照らして、そのバランスを評価する必要がある。
フィンガープリント比較は、証拠と証明の間にも関連する違いを生む。コンパクトな表現によって、大規模な比較が実用的になる。その有用性は、比較の背後にある前提や、検出されない差異の可能性を消し去るものではない。
意思決定者にとって中心となる経済的な問いは、投入した労力あたりに受け入れられる出力である。追加のチェックはリソースを消費する。検出されない破損も、無効な実験や作業のやり直しを通じてリソースを浪費し得る。
このバランスは、一般的なオーバーヘッドの主張では決められない。モデル、トレーニングシステム、観測されたインシデントパターン、早期検出の価値に依存する。したがって、ワークロード固有の評価は、導入における任意の後続作業ではなく、その一部である。
Amazon SageMaker HyperPod SDCチェックは、検証可能なエンジニアリング提案として注目に値する。証拠は、このアプローチを試し測定することを支持している。監査の通過を万能の健全性証明として扱うことは支持していない。
このアプローチの汎用性を左右する3つのシグナル
次に有用な証拠は、ワークロードでの採用、検証済みインシデントの原因帰属、そして受け入れられるトレーニング進捗を復元するリカバリである。
第一に、提示された例を超えた本番ワークロードでの評価に注目すべきである。より強い証拠は、互換性要件、通常時の実行動作、チェックを有効にすることの影響を説明する。ワークロード条件を省いた結果が、別のチームに提供できる指針は限られる。
こうした評価では、再現性に特に注意を払うべきである。実装が、本番モデルでは満たせない実行上の前提に依存している場合、検出範囲は変化する。その変化を明確に報告すれば、評価への信頼は高まる。
公開された事例でも、健全な実行時の不一致と、確認済みのハードウェアインシデントを区別すべきである。アラーム件数だけでは有用性についてほとんど分からない。読者は、調査担当者がどのような結論に至り、その結論をどの証拠が支えたのかを理解する必要がある。
第二に、疑われる障害が特定のハードウェアに追随する自然発生インシデントに注目すべきである。そうした報告は、統制された実験と実運用を結び付ける助けになる。調査担当者が検討したソフトウェア上の説明も記述されていれば、さらに有益だろう。
説得力のあるインシデント報告は、その証拠を超える確実性を主張する必要はない。未解決のケースであっても、プロセスがどのように動作するかを運用担当者に教えられる。透明性のある不確実性は、他のチームが自らの証拠の強弱を判断する助けになる。
逆に、健全なマシン群をまたいでソフトウェア構成に追随するアラームが繰り返し発生するなら、交換ポリシーに疑問が生じる。それは、アプリケーションの比較前提に注意を払う必要があることを示唆する。この結果は、当初のハードウェア診断を弱めたとしても、理解を深めることになる。
第三に、リカバリに関する報告が、有用な作業への完全な復帰を測定しているかに注目すべきである。マシン交換は、そのプロセスの中の1つのイベントにすぎない。関連する成果には、適切な再開ポイントと、その後にチームが受け入れるトレーニング動作が含まれる。
このシグナルには、成功したリカバリだけでなく失敗したものも含めるべきである。同じ説明不能なアラームを繰り返し引き起こす再開は、未解決の依存関係を明らかにする。受け入れ可能なチェックポイントがないまま完了した交換では、元のトレーニング問題は未解決のままである。
これらは、今後数か月における観測の優先事項であり、AWSがリリースを約束したものではない。それぞれが提案の異なる部分を検証する。採用は互換性を、実際のインシデントは原因帰属を、リカバリの成果は運用上の価値を検証する。
現在このアプローチを検討しているチームにとって、広範な保護を主張するよりも、限定的な評価のほうが有益である。まず、定義済みのワークロードと、チェックの通過が何を確立するのかについての明示的な記述から始めるべきだ。
運用担当者がそのアラームを明確に説明できるなら、実装の価値は高まる。その説明は、モデルエンジニアとインフラストラクチャ対応者の間で引き継がれても維持されるべきである。不一致を検出しても、エスカレーションの過程でその根拠を失うシステムは、依然として運用が難しい。
Amazon SageMaker HyperPodのSDCチェックを導入する前に、トレーニングワークロードを選定し、チームが成立すると見込む前提条件を文書化してください。どのような証拠が隔離を正当化するのか、何が交換を裏付けるのか、そしてエンジニアが許容可能な再開ポイントをどう選ぶのかを明確にします。インシデント後にこれらの判断をレビューできるだけのコンテキストを残してください。復旧の成功と単なるジョブの再起動は異なる問いに答えるため、両者を比較してください。次に、通常の挙動と意図的に導入した障害の両方を含め、チームが実際に実行する作業に対してチェックを評価します。その評価の出発点として、公開済みの実装を活用してください。チームは、なぜアラームが疑わしいハードウェアを特定するのかを説明でき、再開後のトレーニング状態が信頼に値する理由を示せますか?



