top of page

NVIDIA DSX Power:企業如何應對 AI 基礎設施的電力瓶頸

3 小時前
讀畢需時 12 分鐘

NVIDIA 於 10 月 21 日概述其 DSX 基礎設施平台獲新合作夥伴採用的情況,針對單靠升級晶片亦無法解決的電力限制。NVIDIA DSX 電力策略把電力基礎設施、冷卻及運算納入協調規劃與營運框架。其核心主張挑戰了常見的建設流程:先取得電力供應、設計建築,然後才在內部配置電腦。

公告涵蓋設備供應商及軟件公司,包括 Schneider Electric、Siemens Energy、Phaidra 及 Emerald AI。它們的工作由開發參考設計至整合營運控制不等。這些差異相當重要,因為加入平台、設備獲得認證,以及在運作中的設施記錄改善成效,代表不同層級的證據。

Eaton 與 Trane 透過協調的電力及冷卻設計,提供一個有用的比較。這些工作共同促使基礎設施買家評估完整系統,而非孤立的元件。核心問題是:協調的基礎設施可提供多少可用運算能力,以及營運商可在實際電網條件下驗證哪些效益。

NVIDIA DSX Power 超越伺服器機架

NVIDIA 正把其基礎設施策略延伸至決定已安裝電腦能否按預期容量運作的決策。

公司在其 DSX 電力更新中,描述了一個涵蓋模擬、電力靈活性及營運協調的平台。DSX Sim 支援在電網、變電站及設施層面進行建模。DSX Flex 協調設施需求、電力狀況及現場發電。DSX Exchange 則連接各個基礎設施系統的營運訊號。

這些功能針對基礎設施項目的不同階段。模擬支援施工前的決策,而營運協調則關乎已為工作負載提供服務的設備。把這些階段分開看,有助理解採用平台的意義。

據 NVIDIA 表示,Schneider Electric、AVEVA 及 ETAP 正推進參考架構及數碼孿生,即實體基礎設施的虛擬表示。Siemens Energy 正開發配套的電力基礎設施參考設計。Hitachi Energy 已把一套電池儲能系統認證為 DSX Ready。

參考設計訂明設備及系統的預期配置。認證表示符合適用要求。兩者均不能證明所有以這些元件建成的設施都能達到既定表現。

這個分別令公告對買家更有用,因為它指出各供應商在部署流程中所處的位置。獲認證的產品有助縮窄設備選擇範圍。仍在開發的參考設計有助規劃,而軟件整合則創造潛在的營運能力。

設想一個假設的設施,其電力設備可支援額外伺服器,但冷卻系統無法帶走其熱量。購買更多運算硬件並不能消除這項限制。基礎設施團隊必須先了解兩者的互動,才可把未使用的電力容量視為可用運算容量。

反過來的情況同樣重要。冷卻設備或有擴展空間,但電力接駁仍受限制。共同的規劃模型有助團隊找出哪項限制最先成為瓶頸。

因此,公告擴大了 NVIDIA 與基礎設施買家之間關係的範圍。其硬件架構成為電力、冷卻、儲能及控制決策的其中一項輸入。

對供應商而言,保持一致可開闢進入以 NVIDIA 運算系統為核心的項目的途徑。對買家而言,這帶來減少合約及工程範疇之間不相容假設的機會。

實際效益取決於這些共同假設能否經得起採購、安裝及營運的考驗。在軟件中看似協調的設計,仍需要有設備按模型所示運作。

因此,最有用的解讀方式是把架構進展與量度得出的營運成果分開。NVIDIA 已描述一個更廣泛的協調框架,並列出參與者。設施業主仍須證明該框架能在其場址帶來甚麼成果。

電力限制正在改變誰承擔交付風險

對 AI 買家而言,電力供應令基礎設施協調成為交付問題,而不再只是設施團隊關注的事項。

國際能源署更新的數據中心展望預計,電力消耗將由 2025 年的 485 太瓦時上升至 2030 年的 950 太瓦時。太瓦時量度一段時間內消耗的能源。

這些數字描述的是全球年度消耗量,並不能證明某個特定場址能否在伺服器抵達時取得電力。

這個分別解釋了,為何整體供應預測對面對特定接駁期限的項目經理只能提供有限安慰。地點、設備準備程度及營運要求,決定可用能源能否轉化為可用容量。

即時壓力落在承諾完工日期的開發商、承諾運算容量的雲端服務供應商,以及圍繞這些承諾規劃 AI 部署的企業身上。它們的時間表取決於伺服器採購協議以外的基礎設施。

買家可以談妥硬件交付,卻仍面對設施何時才能支援合約工作負載的不確定性。當協調能及早揭示這些相依關係,以便修改計劃時,便具價值。

這亦改變了團隊應如何理解已完成的建築。實體竣工並不必然代表已準備好按預期規模持續運算。電力測試、冷卻表現及工作負載效能必須互相配合。

對採購團隊而言,這表示供應商之間的交接,應獲得與個別產品規格同等的重視。誰會驗證整體行為?當設備符合自身規格但設施未達目標時,誰會解決分歧?

當項目包括自動化控制時,這些問題尤其重要。冷卻供應商或會優化溫度穩定性,而運算營運商則優先考慮完成工作負載。兩個目標都合理,但其控制決策需要協調。

壓力亦會透過容量可用性及服務可靠性傳至 AI 應用團隊。開發者毋須成為電力工程師,但需要明白基礎設施承諾會影響部署時間表。

供應商宣傳的運算容量只是答案的一部分。買家應了解該容量何時可用、適用甚麼營運條件,以及中斷如何影響其工作。

公告亦在企業內部帶來壓力。基礎設施、財務、採購及工程團隊必須評估相同假設,而非批准項目中互不相連的部分。

這項組織工作需要易於存取的技術記錄。可搜尋的工程知識庫可協助團隊在交接過程中保存規格、設計決策及驗收證據。

文件記錄無法消除電力限制,但有助避免不同部門按照不同版本的基礎設施計劃作出承諾。

更廣泛的含意很直接:交付風險會跟隨協調程度最低的相依關係。DSX 透過鼓勵供應商圍繞共同的基礎設施要求進行規劃,處理了這個問題的重要部分。

協調設計挑戰獨立系統模式

主要競爭在於協調基礎設施與分別優化電力、冷卻及運算的設計之間。

Eaton 與 Trane 透過其於 8 月 17 日公布的電力及冷卻設計,說明了這個轉變。其公布的參考架構與 NVIDIA DSX 對接,結合電力分配與熱管理。

兩家公司描述了一個有別於獨立工程流程的協調方案。它們聲稱,與傳統低壓設計相比,潛在能源效率最多可提升 15%。這是供應商就特定比較作出的聲稱,而非已在各個營運設施中獨立證實的結果。

Eaton 與 Trane 和 NVIDIA 最新更新中重點提及的公司,同屬更廣泛的基礎設施發展趨勢。它們的方法為處理類似協調問題的供應商提供了具體比較。

競爭問題不止是由哪家公司供應一個元件,而是甚麼配置能為買家提供可重複採用的設計、清晰責任及可信的營運證據。

獨立工程範疇的存在有其充分理由。電力保護、冷卻安全、運算效能及設備維護均需要不同專業知識。協調應保留這些責任,同時改善其決策如何互相影響。

共同設計流程有助在假設不一致演變成施工問題前將其揭露。例如,運算擴展計劃或假設機械設計無法支援的冷卻條件。

這種假設上的不匹配在規劃期間比在安裝後更容易處理。工程師可在項目依賴這些因素前,修改設備選擇、營運限制或擴展次序。

數碼模型在支援這些決策時才有價值。單靠視覺細節並不能證明工程實用性。模型需要反映相關設備行為、可信假設,以及與驗收要求的清晰連結。

因此,買家應詢問模型預測甚麼,以及如何檢查這些預測。用於設備選擇的模擬,與用於指導營運控制的模擬,承擔不同責任。

這亦帶來商業後果。當多個供應商共同參與協調架構時,整體成果的責任歸屬可能更難界定。

參考設計提供共同起點,但合約仍須界定整合問題的責任歸屬。否則,每個供應商都可履行個別義務,而客戶卻要承擔系統層面的缺口。

NVIDIA 的角色為參與供應商提供共同的運算參考,但並不能免除對其工程方法、支援安排及與現有設備兼容性的評估需要。

對於擴建較舊設施的營運商而言,這種兼容性尤其值得注意。實用的問題是,協調控制能否納入已安裝的基礎設施,而毋須採用只適合新設施的假設。

最有效的方法,是令工程取捨清晰可見且可供驗證。買家應能將所聲稱的改善,追溯至設備、控制行為或工作負載排程的具體改動。

這種可追溯性,正是把整合式架構轉化為可問責交付流程的關鍵。

營運控制旨在釋放設施內已有的容量

協調正在運作的設備帶來的好處有別於加快建設:可在既有用電上限內,提供更多實際可用的運算能力。

Phaidra 的設施控制整合將冷卻系統、設備量測數據及電力基建與 NVIDIA 工作流程連接。該公司形容,其軟件代理系統會選擇營運操作,旨在改善熱穩定性並釋放未被充分利用的容量。

即使不接受每一項效能聲稱,這套營運邏輯仍不難理解。運算設備會產生熱力,冷卻設備會消耗電力,兩者都在設施限制下運作。

改善系統某一部分的控制決策,可能影響另一部分。例如,減少冷卻耗電,只有在熱力條件及電力限制容許增加工作量時,才會帶來有用的運算餘裕。

NVIDIA 將在相同電力範圍內增加約 10% 運算能力,歸因於 Phaidra 的整合。電力範圍是設備必須在其中運作的用電上限。買家應將此數字視為公司所報稱、需要按個別部署提供證據支持的說法。

重要的限定在於「更多運算」的意思。硬件活動量、已完成的工作,以及有用的應用程式輸出,彼此相關,但不能互相替代。

一個設施可以讓設備維持更高使用率,卻未必改善客戶購買的成果。相反,營運改動亦可能改善工作完成情況,即使硬件的峰值活動量大致相若。

對於 AI 模型服務而言,token 是模型處理或生成的文字單位。每瓦 token 數描述輸出相對於電力的比例,但比較時需要採用一致的工作負載及量測邊界。

營運商應了解,所報稱的改善涵蓋的只是運算設備,還是整個設施。冷卻、電力損耗及其他支援系統都會影響較廣泛的結果。

基準同樣重要。把已優化系統與調校欠佳的設備比較,所得出的問題與將其同已妥善管理的設施比較不同。

這不會否定優化的價值,卻決定了買家可望重現多少已公布的改善。

營運證據亦應涵蓋工作負載和天氣變化。在穩定條件下表現良好的控制策略,當運算需求或冷卻要求改變時,仍需要接受評估。

這些是驗收問題,而非拒絕自動化控制的理由。它們有助區分一項具前景的整合,與營運商可納入容量規劃的實際效益。

對現有設施而言,其吸引力很清楚。釋放可用容量,可避免每次擴展都必須依賴更大的供電接駁。

然而,所釋放的容量必須在客戶重視的條件下持續可用。在受限時段消失的改善,與在日常服務期間持續維持的改善,營運價值並不相同。

NVIDIA DSX 的電力主張在這裏最為具體:協調各個系統可改善設施使用電力配額的方式。要確立此改善的規模及可靠性,仍需從完整營運環境取得量測數據。

電網靈活性以持續需求換取有條件的接入

靈活的用電需求帶來機會,但營運商必須計算延後、轉移或以其他資源支援的工作。

NVIDIA 表示,Emerald AI 已將其 Conductor 平台與 DSX Flex 整合。相關主張涉及透過更靈活的設施需求,利用未被充分使用的電網容量。這描述的是建模潛力,而非已交付予客戶的電力容量。

獨立研究為這一較廣泛機制提供了有用的參考。Duke University 的靈活負載研究估算,在允許每年削減 0.5% 能源消耗的情境下,可增加 98 吉瓦負載。

削減用電是指在需要時降低耗電量。研究中的年度百分比,指被削減的能源相對於最高潛在耗電量;不應將其理解為相同百分比的停運時間。

這項分別很重要,因為分散於多個時段的部分減載,與關閉整個設施並不相同。年度平均數亦無法說明某個特定地點的實際經驗。

該研究支持把靈活性作為基建資源進行研究,但並不驗證每一種商業實施方式,亦不保證個別開發項目能獲得接駁。

一項假設性的模型訓練工作,可說明營運上的取捨。訓練會利用數據更新模型,而部分工作或可容許時間安排改變。但延後工作仍會影響完成時間表和設備利用率。

互動式應用程式面對不同要求。推論,即運行已訓練模型的過程,通常服務期望及時回應的用戶。在需求激增時減少可用運算能力,可能影響服務,除非營運商另有安排。

把工作移往其他地方亦會帶來本身的限制。接收地點需要有可用的運算能力、所需數據,以及處理該等數據的許可。排程決定不會自動創造這些條件。

電池儲能提供另一種營運選項,但儲存的能源有限。其實用性取決於所需減載的持續時間及幅度,以及設施的其他可靠性需要。

現場發電則引入另一組設備及營運依賴因素。應將其視為完整基建計劃的一部分評估,而非當作自動擺脫電網限制的方法。

IEA 較早前的AI 能源分析突顯了經濟上的困難:AI 設施資本密集,減少運作的成本高昂。因此,必須相對於受影響運算工作的價值來評估靈活性。

這是廣泛容量主張的核心限制。存在未使用的電網餘裕,並不表示每項工作負載都能在經濟上適應它。

買家應詢問,靈活性承諾如何轉化為對客戶的義務。哪些工作負載會改變、適用甚麼通知安排,以及其後如何量度已完成的工作?

可信的協議會把電網要求與營運行為及服務承諾連結起來。缺乏這種連結,基建規劃便可能把應用程式擁有人從未同意提供的靈活性計算在內。

這個機會仍然足以值得研究。其價值來自把實際的工作負載容忍度與實際電網條件配對,然後驗證安排能否同時適用於雙方。

三項訊號將顯示採用是否轉化為營運證據

下一批有用證據,將把具名設施、量測結果及可強制執行的營運安排連結起來。

未來三個月,首項值得留意的訊號,是公布具識別性的部署案例,並清楚交代營運範圍。供應商參與可證明其涉足其中,而具名設施則有助讀者評估哪些內容已投入生產環境。

最有參考價值的披露,會說明哪些 DSX 功能在該地點運作、哪些設備參與,以及由哪個機構對結果負責。它應區分規劃軟件與控制現場基建的系統。

這些證據將加強平台正超越架構協調階段的論點。更多合作夥伴公告會擴大參與範圍,但提供的營運效能資訊較少。

第二項訊號,是把基建變動與已完成運算工作連結起來的量測。結果應說明基準、工作負載、觀察期及電力邊界。

例如,設施層面的比較應連同運算設備考慮支援系統。僅比較運算設備的結果亦應清楚說明,讓買家了解結果排除了甚麼。

獨立審查會令這些披露更具說服力,特別是在所聲稱的效益成為客戶擴展計劃一部分時。不同營運條件下可重複得出的結果,將比單一孤立的峰值改善提供更有力的證據。

這項訊號會加強協調能創造持久容量的論點。若結果依賴異常有利的條件,買家可預期類似效益的適用情況便會縮窄。

第三項訊號,是披露一項把靈活需求與客戶可實際使用服務連結起來的公用事業安排。關鍵證據是承諾減載與作為回報所獲電力接入之間的關係。

有用的披露會說明營運義務、驗證方法,以及設施未能如預期減少需求時會如何處理。它亦應釐清營運商如何維持對客戶的承諾。

這將把靈活性論點連接至基建交付。若持續進行建模而沒有相應的營運協議,商業機會的規模仍會較不確定。

這些訊號亦有助讀者比較供應商,而不必依賴整合式基建的廣泛主張。擁有發展中參考設計的公司,應按設計里程碑接受評估。提供營運軟件的公司,則應按營運結果接受評估。

對企業買家而言,眼前的工作是把採購問題與現有證據對齊。應詢問哪些主張描述架構、哪些描述資格認證,以及哪些描述已量測的客戶成果。

對開發商而言,相關問題是基建安排如何影響取得運算能力。容量承諾應可從可用性、排程限制及服務期望的角度理解。

NVIDIA 的公告提供了一幅有用圖景,展示供應商正集中投入的方向。它亦顯示,基建問題為何需要職責及誘因不同的機構合作解決。

NVIDIA DSX 的電力策略值得關注,因為它連結了共同決定可用 AI 容量的各項決策。以同樣具體的問題評估下一項部署公告:現時有甚麼正在運作?量測到甚麼改善?適用哪些條件?要求供應商說明電網靈活性如何影響你計劃運行的工作負載。把已完成的工作及服務可靠性,與效率主張一併比較。把設計預期與驗收證據分開,並在設施擴展時索取更新結果。這些步驟讓買家在平台發展期間,有一套實際方法評估採用情況。哪一個供應商能把其基建承諾,連結到你的團隊可依賴的運算容量?

 
 

為每個智能代理提供更完整的背景,提升工作表現

讓智能代理連接 remio 已整理好的知識、決策和歷史紀錄。

remio 目前支援 Windows 10+(x64) 及配備 Apple 晶片的 Mac。

你的 AI 工作夥伴
和 remio 一起高效工作

規劃、創作、交付
一站式完成

bottom of page