top of page

HyperPod 可觀察性更新針對 GPU 故障

8 小時前
讀畢需時 11 分鐘
Image from the source report. Source: aws.amazon.com.

Amazon 的 HyperPod 可觀察性更新,為兩種工作負載排程器帶來 GPU 訓練診斷功能,針對從發現速度下降到找出根源之間的缺口。AWS 於 2026 年 11 月 20 日公布這項功能。它結合基礎設施量度與工作背景資料,協助工程師調查加速器、網絡及主機之間的問題。AWS 表示此整合可加快診斷速度,但其公告未提供經獨立驗證的故障排除基準。

核心張力在於營運層面。儀表板可以顯示訓練速度變慢,卻未必能指出哪個元件值得關注。工程師仍須分辨硬件故障、通訊延遲、資料傳送問題,以及工作程序之間預期存在的差異。NVIDIA 現有的監測工具提供了有用參考:收集裝置量度資料與判斷這些量度所代表的意義,仍是兩項不同責任。

對 AI 基礎設施團隊而言,這項公布為現有監測系統帶來一個實際問題:託管診斷檢視能否減省足夠的調查工作,從而值得改變收集、儲存及事故處理流程?答案取決於新證據能否帶來更佳的營運決策。

HyperPod 可觀察性更新帶來甚麼改變

HyperPod 訓練診斷功能結合對等比較與已知基礎設施問題的規則。AWS 表示,診斷結果會識別受影響的工作、叢集、節點、加速器及 rank,即分散式訓練程序獲分配的識別碼。這些背景資料將基礎設施訊號連結至受影響的工作負載。

此功能涵蓋 Amazon EKS,即 AWS 為容器工作負載提供的託管 Kubernetes 服務,以及常用於運算叢集的排程器 Slurm。AWS 透過 EKS 附加元件或 Slurm 叢集擴充功能提供此功能。公告指出,其可用範圍涵蓋 HyperPod 營運所在的 AWS Regions。

真正有意義的改變,是將可疑量度與受其影響的訓練工作連結起來。

試想一宗示例事故:某次訓練執行開始進展得較慢。整個機群的平均數或可顯示使用率有所下降,但無法確定工程師應檢查裝置、網絡路徑,還是提供工作的應用程式。

指出相關工作程序的發現,可縮小調查範圍。工程師可以將其行為與鄰近工作程序比較,並檢視周遭證據。這比開啟不相關的儀表板,再手動重建關係,是更有用的起點。

這仍然只是調查輔助工具。被標記的工作程序是值得檢查的地方,而非對所有事態的完整解釋。營運價值來自縮短走向可辯護診斷結果的路徑。

這項區分亦將此公告與一般叢集擴充功能管理分開。安裝及更新擴充功能,關乎軟件如何部署至叢集機器。基礎設施可觀察性則關乎該軟件收集甚麼證據,以及工程師在速度下降期間如何解讀這些證據。

在評估採用與否時,這個區分相當重要。成功安裝只證明某個元件正在運行,並不代表工作關聯正確、發現結果有用,或應變團隊可以存取相關證據。

對現有叢集而言,這些問題比新增一個主控台分頁更為重要。團隊需要讓既有事故歷史與新的診斷檢視保持連續。否則,呈現方式的改善可能同時伴隨營運背景資料的暫時流失。

因此,這次更新值得透過實際調查來評估。有用的結果,應能讓工程師說明為何某個特定元件成為首要疑點。單靠吸引人的概覽,原有的故障排除負擔仍會大致維持不變。

訓練營運人員面對把訊號連結至決策的壓力

直接壓力落在平台團隊身上:他們負責將基礎設施症狀轉化為可採取行動的應對措施。

這些團隊位於希望訓練持續進行的研究人員,與在更換機器前需要證據的基礎設施擁有人之間。訓練減速可引發多種互相競爭的解釋,而每種解釋都會將調查導向不同的日誌、負責人及補救措施。

困難之處往往在於建立對事故的一致理解。研究人員描述訓練執行中有何改變;基礎設施工程師檢視機器行為;網絡專家尋找通訊問題。若欠缺共同時間線,這些觀察即使各自準確,整體仍可能無法得出結論。

工作背景資料有助令這些討論更具體。應對工作不再是討論整個叢集看來是否健康,而是可聚焦於涉及的機器及程序。這個較窄的問題更易調查,亦更易在團隊之間交接。

壓力亦延伸至批准監測工作的管理人員。他們需要分辨診斷能力的改善,與收集資訊數量的增加。更多量度只有在有人能用它們作出更佳決策時,才會產生價值。

合理的評估應檢視從注意到速度下降,到找出可信原因之間的時間間隔,亦應記錄工程師排除了多少個可疑原因。這些觀察比計算儀表板數量或已啟用的指標類別,更直接反映調查質素。

相關比較對象是組織現有的工作流程。具備成熟監測能力及妥善維護程序的團隊,起點有別於需要手動拼湊證據的團隊。因此,同一項託管功能在不同部署中可有不同的實際價值。

存取權限亦是比較的一部分。AWS 的可觀察性附加元件設定文件列明身分及權限要求,包括選用託管儀表板存取權所需的先決條件。診斷檢視的存在,不保證處理事故的工程師能夠開啟它。

這在任何效能問題之前,先帶來一個權責問題。必須有人維護收集設定、授權存取,並決定由誰回應各類發現。否則,新系統可能產生證據,卻沒有明確接收者。

事故紀錄應保存推理過程,以及最終結果。團隊可以將這些背景資料保存在可搜尋的工程知識庫中,將診斷發現與技術文件及過往調查連結。該紀錄有助日後的應變人員理解哪些訊號較為重要。

因此,這項公告對流程造成的壓力不亞於工具本身。若工程師每次事故中仍需重建權責、工作負載身分及過往決策,整合式遙測只處理了部分延誤。

平台團隊應預期獲得更好的調查起點。在應變人員於真實情況下使用前,團隊應暫緩判斷改善幅度。

對等比較可縮小搜尋範圍,但背景資料決定診斷

診斷摘要使用 CloudWatch 的 DetectGroupOutliers 介面,比較同一工作內執行訓練運算的 GPU。AWS 表示,會比較使用率、記憶體、溫度、功耗及處理時脈頻率,另有規則標記已知的硬件、網絡及散熱狀況。

對等比較可識別異常行為;工程師仍須解釋該行為為何出現。

這個機制之所以有用,是因為僅以寬泛門檻判斷時,可疑裝置可能看似正常。比較執行相關工作的工作程序,便引入另一個參考點。問題變成某個裝置的表現,是否與周圍群組不同。

這個參考點只有在比較具營運意義時才有參考價值。分散式應用程式可能向不同程序分配不同職責。使用率的差異,可能反映預期的工作分配,而非元件故障。

因此,工程師需要結合應用程式結構來解讀發現。他們應詢問,在所選時段內,被比較的工作程序是否預期有相似表現。若沒有這項檢查,合理的差異可能引發不必要的硬件調查。

相反的限制亦同樣重要。群組內的相似行為,並不代表該群組表現良好。工作程序可以共同受制於同一瓶頸。對等一致性回答的是相對問題,而應用程式進度回答的是另一個問題。

這亦是為何本次更新的主要對手是零散的調查流程,而非另一項個別監測產品。目標是縮短裝置訊號與以工作負載為依據的解釋之間的距離。相對比較只是該連結的一部分。

NVIDIA 的 GPU 診斷工具提供一項重要區分。其文件將被動健康監測,與施加測試工作負載的診斷分開,亦說明診斷不會修復故障,或判定是否符合更換硬件資格。

這個區分可避免診斷標籤承載超出證據所能支持的確定性。觀察異常行為、重現故障,以及決定補救措施,都是不同步驟。有用的應對流程應記錄實際完成了哪一個步驟。

例如,異常的溫度模式可合理地引發對散熱或工作負載配置的調查,但單憑這點,不能確定加速器需要更換。同樣地,錯誤指示亦需要在裝置及軟件背景下解讀。

這些例子說明的是調查推理,而非新 HyperPod 功能已量度的成效。AWS 的公告未能證明,該摘要毋須額外工作便可多常得出正確解釋。

因此,HyperPod 可觀察性更新應按其證據鏈的質素來評斷。應變人員應能從發現追溯至相關量度、理解比較方式,並檢驗競爭性解釋。

這比偵測偏差是更嚴格的標準,同時亦體現該功能的實際承諾:協助工程師減少尋找證據的工夫,並投入更多精力判斷證據所支持的結論。

CloudWatch 改變預設選項,但現有監測仍然重要

CloudWatch,即 AWS 的監測服務,成為已公布體驗中的預設指標儲存庫。Amazon Managed Service for Prometheus 仍是可選方案。Prometheus 是一個圍繞具標籤時間序列量度建立的監測系統,而 Grafana 則提供用於探索這些量度的儀表板。

儲存方案的決定,既影響營運連續性,也影響新主控台體驗的便利程度。

預設設定會影響新部署採用的路徑。現有團隊面對的是另一個問題:他們現有的監控選擇已支援警報、歷史比較和事故處理程序。若在未考慮這些相依關係下遷移收集機制,可能會中斷工程師賴以判斷的證據。

AWS 的 CloudWatch metric queries 文件說明支援 PromQL,即 Prometheus 查詢語言。文件亦說明可將量測數據與叢集及工作負載資源連結起來的資源屬性。這種相容性提供了重用熟悉查詢概念的方法。

相容性並不能免除驗證工作。熟悉的指標名稱並不代表查詢確實選取了預期的機器或工作負載。團隊仍須檢查標籤、時間範圍,以及所得時間序列的含義。

競爭環境亦加強了這一點。Google Cloud 的受管 Kubernetes 服務 Google Kubernetes Engine 已支援受管 NVIDIA DCGM 收集。DCGM 即 NVIDIA 的 Data Center GPU Manager,可提供加速器監控資訊。

Google 的 managed GPU metrics 文件涵蓋使用率、效能、健康狀態及工作負載標籤。文件亦警告,自行管理與受管收集機制重疊時,可能產生重複或不正確的指標。因此,GPU 遙測已是各基礎設施平台普遍具備的能力。

相關比較在於各環境將多少整合工作留給營運人員。回應事故的人員能否將量測數據連結至正確的工作負載?能否跨越不同基礎設施層級追查事故?能否保留已支援其回應流程的查詢和歷史資料?

這些問題避免作出 AWS 已超越其他供應商這類缺乏支持的聲稱。功能描述只證明可用機制的存在,並不能證明哪個平台能以更準確或更少工程投入的方式診斷特定訓練故障。

對同時使用多個環境的機構而言,一致性尤其有價值。當同一營運問題有可辨識的調查路徑時,工程師會更受益。這不要求控制台完全一致,但需要清晰定義和可靠的工作負載關聯。

受管介面可減少本地維護,同時將決策集中於供應商的模型之內。自訂堆疊提供更大控制權,但由機構自行負責其行為。兩種安排都不能免除驗證量測數據含義的需要。

HyperPod 可觀測性更新為 AWS 客戶改變了這種平衡,提供更整合的起點。其價值取決於機構能否採用這個起點,同時不失去原有可信系統所提供的有用脈絡。

遙測開銷及遷移限制了標題承諾

AWS 表示預設每 30 秒收集一次,CPU 開銷約為 1–2%,記憶體使用量為 250–300 MB。更深入的加速器、主機及網絡量測屬選用功能,並會增加遙測資料量。這些是供應商描述,而非已在所有工作負載中獨立確立的結果。

可觀測性的成本包括收集、儲存、解讀,以及改變既有設定所帶來的後果。

已公布的開銷數字有助界定評估範圍,但不能就此定論。團隊需要觀察自己的機器和工作負載。在某個環境可接受的資源佔用,在另一個營運設定中仍值得重新檢視。

收集頻率亦會塑造證據。定期量測會概括一段時間內的活動。調查短暫事件的工程師需要確認現有解析度是否足以支持其解釋。

這是一般的量測限制,並非證明宣稱的間隔並不合適。適當解析度取決於問題本身。長時間的效能退化與短暫行為,未必會在同一份資料中留下同樣清晰的痕跡。

更詳細的收集會帶來另一項取捨。額外量測有助區分彼此競爭的解釋,但亦會增加回應人員需要處理的資料。證據集規模更大,只有在其用途明確時才有價值。

遷移帶來更具體的限制。AWS 的 Slurm observability extension 文件要求持續佈建,並警告可能與既有指標收集器衝突。Exporter 即負責公開量測數據供收集的元件,不能使用已被其他程序佔用的連接埠。

文件亦指出,該擴充功能一次只會將指標傳送至一個選定的儲存庫。更改目的地不會複製先前儲存的指標。對於預期新視圖可保留不中斷歷史紀錄的團隊而言,這些細節十分重要。

實際後果是一個過渡問題。調查遷移前後行為的工程師,可能需要來自不同儲存庫的證據。若沒有記錄清晰的分界,遺失的歷史資料可能看似工作負載本身出現變化。

收集器重疊會產生另一種風險。團隊應先確定每項量測由哪個元件負責,再將差異解讀為效能變化。衝突或重複的收集機制可能削弱對調查的信心。

這些限制均不能證明採用過程特別困難。它們只表明,受管安裝仍是一項具有相依關係的基礎設施變更。公告中的可用性聲明不應被視為保證所有既有叢集均具備相同的準備程度。

另一個尚未解決的問題是診斷成效。AWS 提供產品描述和示例工作流程,但沒有獨立驗證可縮短調查時間的證據。它亦沒有理由讓人假設每個警報都能指出根本原因。

因此,審慎的評估應如同檢視成功發現般仔細檢查錯誤線索。若警報反覆將工程師引向健康的硬件,便會消耗注意力。有用的診斷系統必須透過回應人員可檢查和驗證的證據贏得信任。

三項訊號將顯示診斷是否有所改善

下一批證據應把診斷發現與營運結果連結起來,而非僅僅顯示團隊已啟用該功能。

未來數月首項值得觀察的訊號,是一宗具有已記錄結果的客戶調查。具參考價值的案例應描述原始症狀、診斷證據、已確認的原因及最終回應。它應區分找出可疑對象與解決事故兩者。

若診斷視圖消除了特定調查步驟,這類案例將加強整合的論據。例如,團隊可說明哪些手動比較已不再需要。價值來自已記錄的工作改變。

只展示儀表板的報告提供的證據則較弱。它可以證明收集機制正常運作、介面可供使用,但仍無法回答調查品質這個核心問題。

第二項訊號是遷移既有監控設定團隊的經驗。報告應說明現有收集器、權限、查詢和歷史紀錄是否能配合新安排。這些證據可使採用成本更具體。

若遷移能保留事故可見度,便可支持營運便利性的論據。若歷史資料反覆出現缺口,或收集責任不清晰,則會削弱論據。兩種結果都不應在未考慮相關叢集設定下被概括化。

這項訊號之所以重要,是因為新部署與既有機群面對不同決策。預設設定可以簡化初始設定,但既有部署仍需要審慎的過渡工作。證據應說明其所描述的是哪種情況。

第三項訊號是不同競爭平台的診斷工作流程如何發展。Google 的受管加速器監控及 NVIDIA 的診斷工具,已證明收集 GPU 資訊是熟悉的領域。更值得關注的變化將涉及解讀、工作負載關聯和回應。

若供應商令這些連結更容易檢查,買家便有更清晰的比較基礎。若開發主要只是增加圖表,平台團隊仍須承擔較多解釋事故的工作。這項分別將會透過已記錄的工作流程顯現。

這些訊號亦為 AWS 設定了公平的標準。該公司毋須消除所有訓練故障才可提供價值。它需要協助工程師以更少可避免的調查,作出有更充分證據支持的決定。

這個標準使預期與已公布的能力保持一致。可觀測性可改善回應人員可取得的證據。某宗事故會否更早結束,亦取決於存取權限、專業知識、工作負載設計及所需補救措施。

對正在評估 HyperPod 可觀測性更新的團隊而言,可先從一宗先前已理解的事故著手,比較不同的調查路徑。詢問新視圖能否識別相關工作節點、保留周邊證據,以及協助排除另一種解釋。保持工作負載、時間範圍和營運問題一致。記錄哪些決定變得更容易,以及哪些仍需使用獨立工具。將該紀錄與事故歷史一併保留,讓下一位回應人員可檢查推理過程。把收集開銷和儲存變更納入同一評估。真正有用的結果,是團隊能夠解釋並重複採用的診斷改進。在擴大採用前,請問:這些證據會改變我們上一次艱難訓練調查中的哪一部分?

 
 

為每個智能代理提供更完整的背景,提升工作表現

讓智能代理連接 remio 已整理好的知識、決策和歷史紀錄。

remio 目前支援 Windows 10+(x64) 及配備 Apple 晶片的 Mac。

你的 AI 工作夥伴
和 remio 一起高效工作

規劃、創作、交付
一站式完成

bottom of page