top of page

Amazon SageMaker HyperPod SDC 檢查鎖定健康節點掩蓋的錯誤

6 小時前
讀畢需時 13 分鐘

AWS 於 11 月 11 日發布三項訓練檢查,用以捕捉一般硬件監控可能遺漏的 GPU 錯誤。Amazon SageMaker HyperPod SDC 檢查針對靜默資料損毀,即硬件在未報告故障的情況下回傳錯誤數值。當中的營運矛盾在於:訓練叢集表面看似健康,但其計算可能正在損害模型。

該參考實作為 PyTorch DistributedDataParallel(DDP)加入應用程式檢查;DDP 會在不同程序之間訓練同步的模型副本。其後再把可疑計算關聯至特定機器及 HyperPod 復原機制。AWS 表示,已在四個執行個體的 32 個 NVIDIA H100 GPU 上測試以軟件注入的故障,之後再以三個執行個體重複測試。

Meta 提供了一項具參考價值的歷史案例。在 Llama 3 訓練期間,該公司將 54 日內 419 次非預期中斷中的六次歸因於靜默資料損毀。這些數字描述的是已識別的中斷,而不是訓練計算中的錯誤率。對訓練團隊而言,眼前壓力在於分辨硬件可用性與計算是否可信。

Amazon SageMaker HyperPod SDC 檢查將偵測置於訓練之中

這項改動是一個參考實作,讓訓練應用程式負責偵測可疑的算術運算。

AWS 的訓練完整性檢查會檢驗非有限梯度、重播計算及模型權重指紋。梯度描述建議的參數變更;權重則是已學習的參數本身。指紋是用於比較較大型資料結構的精簡表示。

各項檢查有不同用途。非有限值包括 NaN 和無限大,代表無效或無界的數值結果。重播會比較不同機器上的計算。權重比較則會尋找參數更新後的不一致情況。這些措施共同建立多個機會,以停止可疑工作。

這是針對硬件問題的應用程式層回應。HyperPod 現有的健康檢查處理已報告的故障,而靜默損毀不會提供相應的硬件錯誤。訓練工作必須產生基礎設施可據以行動的證據。

理解這項公告時,這個界線相當重要。參考實作為工程師提供具體的整合路徑,但並不代表每個 HyperPod 工作負載現在都會自動獲得靜默損毀保護。部署、相容性及事故處理仍屬工程責任。

這個區別亦改變了採購討論。評估受管理訓練基礎設施的團隊,應問清楚正確性檢查在哪裡執行,以及由誰維護。單憑關於自動復原的概括說法,無法回答這些問題。

復原始於系統識別到問題之後。靜默算術錯誤會在辨識階段構成挑戰,亦即在更換速度變得相關之前。若工作從未識別出可疑機器,更快的更換速度幫助不大。

這令 HyperPod GPU 故障偵測成為基礎設施與模型工程之間的共同責任。平台營運人員了解機器身分及更換控制;訓練工程師則了解其工作負載內哪些數值關係應當成立。任何一方都無法單獨提供完整鏈條。

設想一個團隊在一次原本平靜的執行後,調查模型表現轉弱的原因。它的首要工作是釐清發生了甚麼事,而不是立即更換硬件。沒有應用程式證據時,調查必須區分資料變更、訓練變更、軟件行為及硬件故障。

AWS 方法的實際價值,在於令這項調查更有結構。數值警報會產生一宗可具體檢視的事故,為團隊提供比模型品質無故改變更聚焦的起點。

因此,對這次發布最有力的解讀在於其程序性。AWS 說明了可如何讓可疑訓練結果進入既有的復原系統。該連結的品質取決於每次警報所附帶的證據。

這個框架避免將公告視為新的硬件偵測器,也讓焦點留在關鍵問題:生產團隊能否及早辨識已受影響的工作,以限制必須重做的範圍。

相符的模型副本仍可能共享同一錯誤

模型副本之間的一致性可證明其一致,但一致本身無法證明正確。

DDP 使用 all-reduce,即一種將參與程序之間的梯度合併的集體操作。每個程序隨後都會使用同步結果更新其本機模型。rank 是分配予參與程序的識別碼。

PyTorch 的分散式訓練設計說明了梯度同步及副本應維持相符參數的預期。這種關係令不一致成為有用證據,亦解釋了只檢查最終參數為何會留下邏輯缺口。

假設一項共享計算在每位參與者套用更新前已包含錯誤,所得出的模型副本仍可能一致。它們的一致性只告訴觀察者,它們遵循相同更新路徑,卻沒有獨立驗證該更新。

這正是公告背後的核心衝突:基礎設施可用性與計算正確性。叢集能持續運行訓練程序,並不能確定這些程序產生可信結果。

這項衝突令以完成為主要營運里程碑的團隊承受壓力。完成一次執行固然必要,但接納其輸出仍需要額外判斷。程序成功結束,無法回答有關所產生模型的每一個問題。

相同區別亦適用於已儲存的訓練狀態。checkpoint 是用於恢復訓練的已儲存快照。成功寫入並稍後讀取該快照,證明其持久性,但並不能獨立證明已儲存的計算正確。

對工程管理人員而言,這帶來衡量問題。計算已完成的執行次數,反映可用性及執行進度;追蹤獲接納的模型輸出,則反映另一種結果。完整性事故可揭示這兩項衡量之間的差距。

對研究人員而言,問題表現為實驗詮釋上的不確定性。令人失望的結果,可能反映訓練方案、資料、一般變異或實作問題。硬件損毀加入另一個需要證據驗證的假設。

團隊不應將這個假設視為預設解釋。異常的 loss 行為本身並不能識別故障 GPU。loss 是訓練目標對模型錯誤的數值衡量,許多因素都可能改變它。

營運上的教訓是,在證據能區分各種解釋之前,保留彼此競爭的可能性。當故障隨同某部機器出現時,硬件結論應變得更有力;當行為隨相同程式碼在不同機器上出現時,軟件結論應變得更有力。

這是一項分析標準,而不是聲稱每宗事故都容易分類。有些調查仍會含糊不清。實用的監控系統應保留這種模糊性,而非賦予不當的確定性。

對企業買家而言,含意很具體。應詢問供應商的復原主張涵蓋的是中斷的執行、數值不一致,還是兩者。這些能力處理相關風險,但其證據及運作要求並不相同。

Amazon SageMaker HyperPod SDC 檢查之所以重要,是因為它將這個區別呈現在可部署的訓練工作流程之中。其意義較少在於加入另一個儀表板訊號,而是在於檢驗一般完成度量未觸及的假設。

獨立重播提供複製無法帶來的證據

在其他地方重新計算工作,所提供的證據不同於檢查同步副本是否一致。

AWS 的故障注入範例將檢查置於固定訓練順序中。它會在更新前檢查梯度、在選定步驟稽核重播工作,並於其後比較權重。

環形重播稽核會指派每位參與者重新計算另一位參與者的工作。micro-batch 是該次計算中所處理的訓練資料部分。稽核比較的是由相符工作產生的結果,而非無關資料。

這個區別至關重要。不同訓練輸入可合理地產生不同梯度。將每項差異都視為硬件問題的證據,會把預期訓練行為與故障混為一談。

該參考實作會比較 loss 值,並在確定性執行的情況下比較梯度指紋。確定性執行是指以相同輸入重複操作時,會產生相同結果。這讓在受支援設定中進行精確比較具有意義。

範例亦指出了限制。梯度歸約中的有限錯誤會逃過這些檢查。權重指紋無法揭示每個副本均出現相同錯誤的更新。複製權重比較亦不直接涵蓋分片權重,後者會分配參數,而非保留完整副本。

這些界線提出了評估機制的有用方法。每項檢查都應按其所回答的問題來判斷。組合檢查可擴大覆蓋範圍,但不會把局部證據轉變為普遍保證。

獨立重播亦提出關於驗證者的可信問題。若驗證機器本身有故障,不一致並不會自動識別哪一方計算錯誤。因此,確認需要超越單一衝突組合的證據。

對獨立機器的要求不只是部署細節。當稽核參與者不共享被懷疑的故障時,稽核才會更有價值。只計算程序數量而不考慮其實體部署位置,可能高估獨立性。

這個推理延伸至 GPU 訓練以外。每當複製系統共享中間結果時,複製既可傳播正確資訊,也可傳播錯誤資訊。獨立計算提供另一個機會,對共享結果提出質疑。

對模型團隊而言,整合負擔在於可重現性。重建相同工作需要控制輸入及執行條件。若這些條件不同,不相符的結果便更難詮釋。

PyTorch 的可重現計算指引警告,不同版本或平台之間不保證可重現性。它亦說明確定性操作可能降低效能。單靠固定隨機種子,並不能消除每一種不確定性來源。

實際取捨正源於這些限制。重播系統需要明確界定何謂可比較的工作。隨着工程師更改函式庫、運算子、資料處理方式和模型架構,該定義必須仍然有效。

因此,對正在評估 HyperPod GPU 故障偵測的讀者而言,正確問題取決於具體工作負載。團隊能否以足夠可靠的方式重現相關計算,讓差異成為可採取行動的證據?

答案應來自對實際工作負載的測試。一個清晰的範例可讓方法可供檢視,但要在生產環境中接受,則需要了解生產模型保留了哪些假設。

節點替換需要決策,而不只是警報

當警報同時識別可疑硬件及後續決策時,才具備營運價值。

數值異常與機器身分屬於系統的不同層面。訓練程式碼理解 rank 和計算步驟;基礎設施控制則作用於節點,即承載這些程序的機器。

HyperPod 復原工作流程會連結這些身分。對事故應變人員而言,即使工作停止或重新啟動後,這種連結也應保持可理解。否則,精確的訓練警報可能演變成不精確的基礎設施工單。

隔離與替換之間的區別同樣重要。隔離會在工程師評估證據時限制進一步風險;替換則會將可疑機器移出活躍環境。這些行動不一定需要相同的信心門檻。

AWS 為使用其受管 Kubernetes 平台 Amazon Elastic Kubernetes Service 的 HyperPod 叢集,記錄了節點替換控制項。Kubernetes 協調跨機器的容器化工作負載。營運人員可透過 API 或受支援的節點標籤啟動替換。

標籤方式要求已啟用自動節點復原。AWS 亦記錄了 Karpenter 的一項限制,Karpenter 是按工作負載需求配置節點的系統。其替換行為取決於是否有等待中的工作負載需要容量。

這些已記錄的行為強化了一個更廣泛的營運觀點:提出替換要求與恢復預期訓練環境,是兩種不同結果。事故流程應驗證最終形成的環境,而非假設該請求完成了整個復原程序。

同樣的推理亦適用於重新啟動訓練。健康的替換機器無法移除已納入儲存狀態的損壞。因此,復原需要決定從何處恢復計算。

對訓練團隊而言,有意義的結果是在合適的基礎設施上恢復已獲接受的進度。替換事件只是其中一項復原行動已發生的證據,不應成為唯一的成功指標。

AWS 的參考資料建議,在建立針對工作負載的精確度前,生產環境的替換應由人員審核。這是對信心水平的限制,而非否定自動化。偵測系統可在營運人員制定具理據的替換政策時保留證據。

含糊的警報說明了這一點為何重要。每次出現數值異常便自動替換機器,可能中斷健康的工作;忽略含糊的異常,則可能讓受損的計算繼續執行。一項有用的政策必須定義不確定性如何改變下一步行動。

一項合理的評估原則,是區分可逆的隔離措施與具後果的復原選擇。團隊可按自身工作負載要求和證據評估這些選擇。參考資料並未免除這項責任。

事故記錄亦應將訓練決策連結至基礎設施決策。檢視事件的工程師需要理解,為何某項計算變得可疑,以及為何選定某部特定機器。

對已在整理技術 runbook 的機構而言,可搜尋知識庫有助保留這些決策。有用的記錄會連結觀察到的行為、工作負載設定、調查結果及復原結果。

成熟的 HyperPod 復原工作流程應讓差異可供檢視。其目的在於支援有理據的行動,其後再以證據確認訓練已從可接受狀態恢復。

合成故障用於建立行為,而非證明生產可靠性

已發表的實驗支持評估實作方式,但未能釐清真實硬件的偵測率。

AWS 測試的是刻意注入的軟件故障,而非對自然故障 GPU 機群的量測。這一區別限制了讀者可作出的推論。這些測試描述的是選定的故障情境,而非生產環境中靜默損壞的普遍程度。

合成測試可確認某個指定輸入是否會觸發預期警報,卻不能確認真實硬件是否會以相同方式故障。若無獨立證據,它也無法量度生產環境中漏報事故的比率。

這帶來數個獨立的評估問題:實作是否如預期般回應?工作負載是否符合其假設?自然發生的故障會否產生可觀察訊號?營運人員能否在不造成過度干擾的情況下根據這些訊號採取行動?

審視採用相關說法時,這些問題應保持分開。通過注入故障的測試可支持功能方面的信心;長期觀察工作負載則支持對營運實用性的另一種判斷。

歷史上的憂慮不限於 AWS。Google 研究人員的靜默計算研究描述了逃過傳統偵測的處理器錯誤。他們的研究挑戰了「故障計算必然會透過失敗表現出來」的假設。

這個比較提供背景,而非產品排名。Google 的研究涉及更廣泛的系統問題,並不獨立驗證 AWS 的實作。不過,它確實說明了為何在討論基礎設施可靠性時,應納入應用程式可見的證據。

Meta 透過其運作大型訓練系統的經驗提供另一個角度。其所述的中斷數據為問題提供具體參考,但無法告訴買家某個特定 HyperPod 工作負載會有多頻繁遇到靜默損壞。

兩種比較都不支持宣稱某一家雲端服務供應商比另一家更安全。可比較的判斷需要可比較的工作負載、量測方法及偵測覆蓋範圍。現有來源未有提供這項基準。

最有力的質疑角度,涉及審核與其所代表工作之間的距離。通過檢查只描述檢查實際審視了甚麼,不應被解讀為對檢查前後所有計算的認證。

定期驗證必然會留下未經檢查工作所引起的問題。提高驗證頻率會改變這種暴露程度,但也會改變資源使用量。團隊需要根據重複訓練的後果評估當中的平衡。

指紋比對帶來另一項證據與證明之間的區別。精簡表示法令大規模比較變得實際可行,但其效用並不會抹去比較背後的假設,亦不會消除未被偵測差異的可能性。

對決策者而言,核心經濟問題是每單位投入所產生的可接受輸出。額外檢查會消耗資源;未被偵測的損壞也可能因無效實驗或重複工作而浪費資源。

這種平衡不能以泛泛的額外負擔說法來定論。它取決於模型、訓練系統、觀察到的事故模式,以及及早偵測的價值。因此,針對工作負載的評估是採用過程的一部分,而非可選的後續工作。

Amazon SageMaker HyperPod SDC 檢查值得作為可供檢視的工程方案而受到關注。現有證據支持嘗試並量度這種方法,但不支持把一次通過的審核視為普遍的健康證明。

三項訊號將決定此方法能否推廣

下一批有用證據將是工作負載採用情況、經驗證的事故歸因,以及能恢復已獲接受訓練進度的復原。

第一,留意所提供範例以外的生產工作負載評估。更有力的證據會說明相容性要求、正常執行行為,以及啟用檢查的後果。若結果省略工作負載條件,對另一個團隊的指引價值便有限。

可重現性在這些評估中尤其值得關注。若某項實作依賴生產模型無法滿足的執行假設,偵測覆蓋範圍便會改變。清楚報告這種變化可提升對評估的信心。

已發表的經驗亦應區分健康執行中的差異與已確認的硬件事故。單靠警報數量幾乎無法說明實用性。讀者需要理解調查人員的結論,以及支持該結論的證據。

第二,留意可疑故障是否會跟隨特定硬件而自然發生。這類報告有助把受控實驗連結至實際營運;若調查人員亦描述所檢視過的軟件解釋,資訊價值會更高。

具說服力的事故報告毋須作出超出證據範圍的確定性主張。未解決的個案仍可教導營運人員此流程如何運作。透明地呈現不確定性,有助其他團隊判斷自身證據是較強還是較弱。

相反,如重複警報在健康機器上跟隨軟件設定出現,便會挑戰替換政策。這可能表示應用程式的比較假設需要關注。即使削弱最初的硬件診斷,這種結果仍可增進理解。

第三,留意復原報告是否量度完整重返有用工作的過程。機器替換只是該過程中的一個事件;相關結果還包括合適的重新啟動點,以及團隊接受的後續訓練行為。

這項訊號應包括失敗的復原,以及成功的復原。若重新啟動反覆觸發相同且無法解釋的警報,即揭示仍有未解決的依賴關係。若替換完成後沒有可接受的檢查點,原本的訓練問題便仍未完成處理。

這些是未來數月的觀察重點,而非 AWS 承諾推出的功能。每項都測試方案的不同部分:採用測試相容性,真實事故測試歸因,復原結果測試營運價值。

對目前正考慮此方法的團隊而言,有限度的評估比廣泛宣稱受到保護更具資訊價值。它應從明確界定的工作負載開始,並清楚說明通過檢查究竟證明甚麼。

若營運人員能清楚解釋其警報,該實作的價值將會提升。這種解釋應能在模型工程師與基礎設施應變人員之間交接後仍然保留。能偵測差異、卻在升級處理期間遺失推理脈絡的系統,依然難以營運。

在採用 Amazon SageMaker HyperPod SDC 檢查前,先選定一個訓練工作負載,並記錄團隊預期成立的假設。訂立何種證據足以觸發隔離、何種證據支持更換硬件,以及工程師會如何選擇可接受的重新啟動點。保留足夠的背景資料,以便在事故後檢視這些決定。應比較成功復原與單純重新啟動工作,因為兩者回答的是不同問題。然後根據團隊實際執行的工作來評估這些檢查,包括正常行為和刻意引入的故障。以已發布的實作作為評估起點。團隊能否解釋為何警報能識別出可疑硬件,並證明恢復後的訓練狀態值得信賴?

 
 

為每個智能代理提供更完整的背景,提升工作表現

讓智能代理連接 remio 已整理好的知識、決策和歷史紀錄。

remio 目前支援 Windows 10+(x64) 及配備 Apple 晶片的 Mac。

你的 AI 工作夥伴
和 remio 一起高效工作

規劃、創作、交付
一站式完成

bottom of page