top of page

NVIDIA Dynamo HyperPod 支援轉為託管服務

11 分鐘前
讀畢需時 12 分鐘

AWS 於 2026 年 11 月 17 日宣布支援 NVIDIA Dynamo HyperPod,為跨多部伺服器運行的模型提供託管式協調功能。這項整合結合分散式推論,即在已連接的處理器之間執行模型,以及基礎設施健康監察與復原功能。它減少團隊須自行建立的編排工作,同時讓他們保留重要的效能決策權。

這個分野對運行自有模型的開發人員相當重要。超越單一伺服器後,運算、網絡、請求分配及復原之間會產生相依關係。即使部署擁有足夠硬件,這些環節若未能妥善配合,仍可能難以運作。

核心比較在於託管式編排,與自行組裝及營運相同服務堆疊之間的差別。Google Cloud 同樣支援以 Dynamo 為基礎的基礎設施,提供有用的競爭參考。AWS 的主張建基於與 HyperPod 的整合,而非聲稱獨家取得 NVIDIA 的軟件。

NVIDIA Dynamo HyperPod 支援帶來甚麼改變

AWS 正將模型伺服器之間更多協調工作納入其託管基礎設施層。

NVIDIA Dynamo 是一個開源框架,用於協調推論引擎,即負責執行模型請求的軟件。HyperPod 則在該框架周圍提供託管環境。兩者結合後,可處理將已連接的加速器轉化為可運作服務的實際問題。

重要改變在於受支援的營運安排。自行採用分散式服務的團隊,必須決定相關程序如何啟動、互相發現、接收流量及復原。即使初始部署成功,這些責任仍會持續存在。

AWS 的託管式 Dynamo 整合支援多節點執行、分離的提示處理與生成,以及會考慮可重用上下文的路由。HyperPod 會監察基礎設施健康狀況並替換故障節點,而編排元件則會重建受影響的工作單元。

工作單元是處理模型運算的服務單位,可能橫跨多部機器。這個定義很重要,因為工作單元不一定等同於伺服器。分散式工作單元失去其中一部分,可能影響較大的服務單位。

因此,這項整合改變了部署周圍的責任邊界。AWS 承擔更多元件整合及基礎設施管理工作。客戶仍需決定提供甚麼服務、如何分配資源,以及哪些應用程式需求決定成敗。

這個分野可避免對託管推論產生一個常見誤解。託管部署不會自動為每種流量模式選出最佳安排。它提供一個受支援的基礎,讓這些選擇得以測試。

對工程主管而言,潛在好處是減少持續性的協調工作。安裝軟件只是這項工作的開端。維持相容性、理解故障關係,以及確保營運程序保持最新,均可能在服務整個生命週期中佔用大量注意力。

隨之而來的一個有用採購問題是:究竟哪些責任真正從團隊的營運模式中消失?若一項整合移除了組織原本須反覆進行的工作,便具有實際價值。單靠較短的設定檔,並不足以證明這種價值。

這項公告亦值得作狹義解讀。它關乎服務基礎設施,而不是模型智能的改變。應用程式不會僅因其部署採用 Dynamo 而回答得更準確。

若基礎設施能更好地滿足延遲及容量要求,其回應可能會更易用。這與推理質素是不同結果。買家應分別評估兩者,不應將其中一者視為另一者的替代品。

NVIDIA Dynamo HyperPod 支援令營運基礎更容易取得。這個基礎會否改善應用程式,取決於工作負載、設定及團隊現有能力。

平台團隊面對不同的建置決策

面對壓力的團隊,是那些維護自訂編排,而受支援平台現已可提供相同能力的團隊。

對這些團隊而言,公告帶來一個具體檢討節點。他們可將現有責任與託管服務的邊界作比較。關鍵問題是,其自訂基礎設施是否仍提供足夠價值,以證明持續維護的合理性。

以一個具說明性的企業助理為例:它會閱讀技術文件並支援延伸對話。其基礎設施必須同時處理輸入上下文及持續生成的回應。當員工改變使用應用程式的方式時,這些需求可能各自獨立變化。

運行該助理的平台團隊,或許已具備可靠的部署自動化。替換它意味著遷移工作、驗證工作及營運程序上的改動。因此,託管支援應與實際現有系統競爭,包括其優勢所在。

對首次接觸分散式服務的團隊而言,情況則不同。在內部建立每一個營運元件,會帶來較廣泛的初始負擔。受支援的整合為該團隊提供起點,需要自行組裝的關係較少。

這既是組織取捨,也是技術取捨。工程師會花時間調查事故、規劃升級,並向應用程式擁有人解釋基礎設施行為。若評估只考慮處理器吞吐量,這些工作便被排除在決策之外。

擁有成本亦包括理解故障期間的責任歸屬。只有當團隊知道哪些症狀屬於基礎設施、模型執行或應用程式行為時,服務邊界才會有幫助。託管基礎設施會改變調查過程,但不會將之消除。

AWS 並非唯一將 Dynamo 與雲端基礎設施連接的供應商。Google Cloud 於 2026 年 3 月 16 日宣布,GKE Inference Gateway與 Dynamo 整合。GKE 是 Google 的託管 Kubernetes 服務,為容器化工作負載提供編排功能。

這為 AWS 的公告設定重要競爭限制。Dynamo 本身並非獨家差異化因素。雲端供應商透過周邊營運體驗、整合選擇及受支援設定競爭。

因此,實際比較應從客戶需求開始。既有雲端承諾、部署做法、安全控制及工程專長,均會影響結果。跨平台共用的功能,並不代表這些平台在營運上等同。

開源軟件亦不會消除遷移考慮。應用程式介面可以維持相似,但部署設定及基礎設施服務可能不同。團隊應同時檢視面向模型的介面,以及其下方的營運相依關係。

在評估階段,內部平台團隊面對的壓力已很直接。現有部署毋須僅因託管支援存在而遷移。不過,他們確實需要清楚說明哪些自訂能力仍然有價值。

這項說明應包括證據。維護專用編排的團隊應識別其服務的需求。建議採用託管基礎設施的團隊,則應展示哪些責任會轉移,以及如何衡量最終服務。

對開發人員而言,討論重點會由分散式服務在技術上是否可行,轉向在內部營運它是否合理。最有力的答案將反映應用程式需求及組織可用的專業能力。

分離提示處理改變瓶頸所在

技術機會來自圍繞不同類型工作分配資源,而網絡亦成為效能方程式的一部分。

Prefill,即處理輸入提示的階段,與 decode,即逐步生成輸出的階段,有不同需求。解耦式服務將這些階段置於獨立工作單元池中。聚合式服務則將它們保留在同一工作單元內。

NVIDIA 的解耦式服務文件指出,這種分離可避免冗長的提示處理阻塞持續中的生成工作。但它亦會在處理這些階段的工作單元之間引入資料傳輸。

該傳輸攜帶鍵值快取,即 KV cache;它儲存處理上下文時計算出的注意力狀態。高效移動它十分重要,因為生成工作單元需要該狀態。因此,分離是以部分通訊要求,換取較少的排程干擾。

分析上的含義很直接:分拆工作會增加另一個可能損失時間的位置。部署只有在改良後的資源安排勝過額外協調成本時才會獲益。獨立資源池的存在,並不代表這種平衡必然成立。

這在閱讀有關分散式服務的說法時很重要。一種設計可能在某種請求組合下改善容量,卻對另一種組合幾乎沒有好處。應用程式輸入上下文與輸出生成的模式,決定哪些資源會受到限制。

以文件密集型助理為例。使用者可能先提交冗長資料,再要求簡短答案。另一個應用程式則可能由簡短請求開始,並產生較長回應。

這些服務對服務系統提出不同要求。若因它們使用相同模型便視為等同,便忽略了每個請求所產生的工作。基礎設施評估應保留這些差異,而不是將其平均化。

資源分配亦影響團隊所觀察到的情況。一個資源池有閒置容量,並不代表整條請求路徑都有閒置容量。當一個階段看似使用不足時,服務仍可能在受限制的另一個階段等待。

因此,整體使用率需要詮釋。處理器活動圖表可描述硬件行為,卻未必能解釋使用者體驗。應用程式擁有人需要將該行為與等候時間及已完成回應連結起來。

路由帶來相關決策。NVIDIA 的KV 感知路由在選擇工作單元時,會考慮可重用的快取上下文及目前負載。其目標是在避免重複提示運算的同時,避免將請求集中到已繁忙的目的地。

重要分野在於,快取重用與工作單元分離處理的是不同問題。分離決定處理階段在哪裏運行。路由則決定特定請求應在可用安排中的哪裏處理。

以具說明性的程式編寫助理為例,重複指示或共用專案上下文,會構成檢視重用機會的理由。評估仍須反映應用程式實際的請求模式。有利的合成模式,不能證明其對無關流量同樣有益。

同樣的審慎原則亦適用於檢索式應用程式,這類系統會把選定文件提供為模型上下文。相近的使用者問題未必會產生相同輸入。文件選取或排序的變化,均可能改變重用的機會。

受管理編排令這些安排更容易運作,但不會消除其對工作負載的依賴性。工程工作的重點轉向量度時間和容量的去向。這項工作仍然取決於特定應用程式。

這正是公告吸引人的機制。AWS 正在封裝支援更審慎分配服務工作負載的基礎設施。好處在於令合適的安排能夠實際運行,並隨後驗證其行為。

基準測試需要完整條件

AWS 的結果支持特定部署選擇;並不能確立一個普遍適用的效能倍數。

AWS 報告指出,就 Qwen3-235B-A22B-FP8 的解耦式服務與聚合式服務而言,每個 GPU 的輸出 token 吞吐量分別為每秒 207 與 101。測試使用推論引擎 TensorRT-LLM,並在兩個 p5en.48xlarge 執行個體上的 16 個 H200 圖形處理器進行。

請求包含 4,000 個輸入 token 及 200 個輸出 token。token 是模型處理的文字單位。保留的量度結果須符合:第 90 百分位首次 token 時間低於一秒,以及每位使用者的中位數生成速度至少為每秒 50 個 token。

P90 指出有 90% 已量度請求符合的門檻。首次 token 時間量度生成開始前的等待時間。報告所述的 2.05× 吞吐量比較,分別採用並行度 80 與 32,即同時請求的數量不同。

這個差異是解讀結果的關鍵。比較結果指出,在 AWS 所述的回應速度要求下,各項安排可保留的最高吞吐量。它並不顯示在相同並行度設定下存在相同倍數。

當服務具有明確回應目標時,這是評估容量的有用方法。它回答了每項安排可在這些目標之內支援多少工作量,卻不能回答所有關於個別請求速度的問題。

因此,買方不應把吞吐量比率延伸為更廣泛的主張。它並不自動代表每個回應都能以兩倍速度完成,也不能證實另一個模型或流量模式會得到相同結果。

AWS 另行使用另一個推論引擎 vLLM,並以八個啟用中的 H200 GPU 測試 Qwen3.5-397B-A17B-FP8。其雙節點安排保留了單節點吞吐量的 99.1%,達到每個 GPU 每秒 126.4 個輸出 token。

該測試採用高前綴重用率及並行度 32。模型可容納於一個執行個體內,令這次拆分成為受控比較。這並不是證明該特定模型需要多個節點的證據。

較狹義的解讀仍然有用。結果描述了在已測試條件下跨越節點邊界的量度開銷,不應演變成所有分散式安排都具有可忽略通訊開銷的一般性主張。

這些是供應商基準測試,並非為本文進行的獨立量度。其價值在於為客戶評估提供具體假設。當客戶以自身應用程式重現相關結果時,這些假設會更具說服力。

容量與體驗之間的分別尤其值得注意。吞吐量描述一段時間內完成的輸出量。產品團隊亦需要了解人們等待多久、回應能否穩定送達,以及繁忙時段會發生甚麼情況。

某個部署可能在一項指標上看似吸引,卻在另一項上未能達標。決定取決於應用程式的優先事項,應在選擇可產生最有利圖表的配置前確立這些優先事項。

基準比較亦需要一致的成功定義。若一項測試同時改變工作負載、可接受延遲及服務安排,解讀便會變得困難。團隊應識別每項比較旨在評估哪一個變數。

因此,NVIDIA Dynamo 受管理推論應被評估為一種具有可量度效能特徵的營運方式。基準測試標題只是這項評估的切入點,其條件與比率同樣具有決策價值。

受管理支援仍有責任界線

受管理部署路徑會轉移特定基礎設施工作,而應用程式驗證仍是客戶的責任。

AWS 的 HyperPod 部署選項區分由系統生成的服務配置,以及直接提供的部署圖。部署圖描述組成服務的前端及模型工作程序。

使用 InferenceEndpointConfig(HyperPod 的端點配置資源)時,dynamoSpec 區塊會提供 Dynamo 設定。推論運算子會生成底層部署圖並管理與端點相關的功能。運算子是持續協調已部署資源與其宣告配置的軟件。

客戶亦可直接提供 DynamoGraphDeployment。儘管支援元件採用受管理安裝,該路徑仍把端點設定及擴展工作交由客戶處理。因此,兩種方式承擔不同的營運責任。

這條界線比「受管理」這個籠統詞語更重要。買方應把所選路徑對應到其團隊實際執行的工作。在其中一條部署路徑中被移除的責任,可能仍存在於另一條路徑。

同樣的紀律亦適用於復原主張。更換故障基礎設施是一項有價值的平台功能,但這本身並不能證明每個中斷的應用程式請求都會成功完成。

產品負責人應另行評估使用者在中斷期間的體驗。相關問題包括操作是否會傳回錯誤,以及重試是否可以接受。這些都是單靠基礎設施更換無法解答的應用程式決策。

一個示例性的文件摘要請求或許容易重複執行。若工作流程同時會變更另一個系統,便需要更審慎的重試設計。重複某項操作的後果,取決於應用程式在模型執行前後所做的事情。

因此,復原應在使用者實際接觸到的服務邊界上評估。正常運作的替代伺服器只是中間結果,業務真正需要的是行為可理解的已恢復應用程式。

安全責任同樣需要具體解讀部署安排。AWS 記錄了網絡政策考慮因素及運算子所使用的權限。客戶應根據自身隔離及存取慣例審閱這些要求。

這是一般部署盡職審查,而非整合存在缺陷的證據。受支援元件仍可能需要因應組織而設的控制措施。受管理安裝不會定義工作負載之間每一種可接受的關係。

更廣泛的營運問題關乎團隊預期需要處理的例外情況。當標準配置符合應用程式需求時,可以減少工作量。專門要求則可能令取捨傾向於更直接受控的部署。

這並不代表任何一種方式天生較佳,而是令責任地圖成為技術評估的必要部分。團隊既需要知道受支援的路徑,也需要了解離開該路徑的後果。

當多個團隊共同擁有系統時,文件尤其有價值。模型工程師、平台工程師及應用程式開發人員,對「復原」或「擴展」的理解可能不同。記錄這些含義,可在系統行為出乎意料時減少歧義。

正在審閱替代方案的團隊可維護一個可搜尋知識庫,記錄配置決策、基準測試條件及事故發現。這些記錄有助日後的審閱者理解為何選擇某一特定營運界線。

觀察工作負載結果、復原及版本支援

下一批證據應顯示,受管理營運能否帶來超越公告受控測試的可重複效益。

未來數月的首個訊號,是針對特定工作負載的驗證。有用的客戶報告會列明請求長度、並行度、重用模式、延遲要求及服務配置。這些細節令結果可以比較,並說明效益出現的位置。

跨不同工作負載的證據,將有助強化更廣泛採用的理據。若效益集中於特定模式,則支持較狹窄的部署策略。無論結果如何,均可幫助買方作出比脫離情境的效能主張更好的決策。

第二個訊號是從應用程式角度觀察到的復原行為。報告應區分故障偵測、基礎設施更換、工作程序就緒,以及請求處理恢復。把這些階段合併為單一復原主張,會掩蓋重要的營運差異。

中斷期間的可預測行為會強化受管理服務的理據。即使正常運作時的吞吐量仍具吸引力,長時間中斷或責任不清亦會削弱該理據。可靠性證據應補足效能結果。

第三個訊號是受支援版本的演進。隨著 Dynamo 改變,團隊應留意記錄在案的執行環境支援及整合指引如何發展。Google Cloud 的競爭性整合,為評估跨平台營運彈性提供了背景。

一致的版本指引會加強對受管理安排的信心。必要功能與受支援配置之間持續存在的缺口,會提高直接控制的價值。相關量度是客戶能否採用其應用程式所需的功能。

這些訊號保留了 NVIDIA Dynamo HyperPod 支援背後的核心問題。AWS 提供了更整合的方式來運作分散式服務。下一項判斷關乎這項安排隨時間推移能否切合真實應用程式。

在變更生產服務前,先界定使用者必須獲得的體驗,並識別目前消耗工程時間的編排工作。選取具代表性的流量,保留基準測試條件,並比較現有部署與擬議安排。檢視正常運作和中斷情況,包括請求失敗時應用程式的行為。明確記錄模型、工作負載及驗收準則,讓另一位工程師日後能解讀結果。然後審閱哪些責任確實已轉移至 AWS,以及哪些仍由團隊承擔。受管理 Dynamo 是否能在符合應用程式要求的同時,移除經常性的營運工作?利用這些證據決定整合應置於基礎設施的哪個位置。

 
 

為每個智能代理提供更完整的背景,提升工作表現

讓智能代理連接 remio 已整理好的知識、決策和歷史紀錄。

remio 目前支援 Windows 10+(x64) 及配備 Apple 晶片的 Mac。

你的 AI 工作夥伴
和 remio 一起高效工作

規劃、創作、交付
一站式完成

bottom of page