top of page

Nvidia 以自訂記憶體控制設計繞過 JEDEC HBM 標準

14 小時前
讀畢需時 12 分鐘

Nvidia 正將記憶體控制移入記憶體堆疊,挑戰 AI 處理器與其連接記憶體之間的傳統分工。「Nvidia 繞過 JEDEC HBM 標準」概括了這項轉變,但仍須作出限定:Nvidia 公布的是自訂架構,而非行業標準的消失。其 NVHBM 設計針對高頻寬記憶體(HBM),即置於 AI 處理器旁的堆疊式記憶體。

時間點亦很重要。Nvidia 於 2026 年 8 月 26 日公布 NVHBM,10 月 26 日的報道才令其對標準的影響重新受到關注。核心競爭在於 Nvidia 的協調式實作,與透過半導體標準組織 JEDEC 制訂、廣泛共享的介面之間的差異。與其將這項公布視為業界突發性斷裂,這個區別更為重要。

對加速器設計商及企業買家而言,問題相當實際:更緊密的協調能帶來甚麼收益,又會伴隨哪些依賴關係?AMD 可作為有用的競爭參照,而 Amazon 的 Annapurna Labs 則是 Nvidia 首個具名的 NVHBM 合作夥伴。不過,這兩項資訊均不足以證明整個市場已選擇同一方向。

「Nvidia 繞過 JEDEC HBM 標準」實際上是甚麼意思

已獲證實的改變,關乎記憶體控制所在位置,以及由誰界定實作方式。

記憶體控制器負責安排及管理處理器與記憶體之間的資料交換。Nvidia 的設計將其自訂控制器置於 HBM 基底晶粒內,即堆疊記憶體層下方的邏輯晶片。該公司將此描述為處理器封裝內功能分配方式的改變。

Nvidia 的 NVHBM 公布描述,這是一項供多家記憶體供應商採用的共享實作方案,並點名 Annapurna Labs 為首個合作夥伴。這為該方案帶來具體合作對象,但僅有合作關係並不能證明已具備量產準備。

公司規格與行業標準之間的差異值得審慎看待。多家製造商可以依照由單一平台擁有人控制的規格生產。因此,供應商多元化並不必然代表該介面在管治或可移植性方面,與獨立維護的標準相同。

相反,自訂化亦不代表記憶體堆疊的每個部分均放棄標準化技術。這項公布支持一個較狹窄的結論:Nvidia 正在界定另一種控制器配置及整合路徑。關於完全不相容的說法,仍需要額外文件佐證。

應在這個界線下理解 10 月的報道。這項 自訂 HBM 設計受到關注,是因為它轉移了傳統上與加速器相關的職責。標題捕捉到策略上的轉向,但未有記錄 JEDEC 的退出,亦未證明出現全行業的替代方案。

這項差異改變了新聞判斷。重要發展在於,Nvidia 嘗試讓其架構成為其他晶片設計商的整合選項。當外部公司圍繞某種記憶體設計來組織其產品時,該設計便具有策略意義。

架構方向的公布與已安裝系統的改變亦有所不同。現有加速器不會透過軟件更新獲得這種配置。其效益取決於圍繞新介面設計及驗證的硬件。

因此,讀者應區分公布日期、報道日期及任何最終產品供應日期。這些代表不同里程碑。若將它們混為一談,便會令人以為一項方案已成為正在出貨的市場標準。

若將「Nvidia 繞過 JEDEC HBM 標準」理解為一項架構及管治主張,這個說法最有用。若延伸為標準已不再重要的論斷,便會產生誤導。下一個問題是,設計商為何會接受一條更高度協調的路徑。

自訂加速器設計商面對新的整合選擇

NVHBM 為晶片設計商提供一條潛在捷徑,但亦帶來另一項需要評估的平台依賴。

建立自訂加速器不僅是選擇運算電路。設計商還必須令記憶體、封裝、電氣特性及軟件能夠協同運作。已驗證的子系統具吸引力,因為這些邊界上的失敗足以削弱原本表現良好的處理器設計。

Nvidia 將 NVHBM 定位於 NVLink Fusion 之內,這是其把自訂處理器納入 Nvidia 連接基礎設施的計劃。考慮採用該路徑的加速器設計商,必須連同更廣泛的平台關係一併評估記憶體配置。即使技術上仍屬不同範疇,這些決策仍會互相影響。

壓力首先落在自行設計晶片的機構身上。他們必須決定哪些組件能形成策略差異,哪些組件則適合借助外部專業知識。記憶體整合正處於這條界線之上。

自行擁有控制器,代表設計商須直接承擔一個重要子系統的責任。採用他人的實作方式,則可將工程資源轉向其他優先事項。兩種選擇都不會免除工作;各自改變了團隊承擔責任的位置,以及其對合作夥伴的依賴程度。

設想一個為自身推論服務開發加速器的假設性雲端營運商,推論即運行已訓練 AI 模型的過程。其團隊或會優先處理執行單元、軟件支援及部署一致性。若共享記憶體實作能減少整合工作,且不限制這些優先事項,便會具吸引力。

這仍然是一項有條件的商業論據。該營運商需要取得關於文件、驗證覆蓋範圍、供應商認證及長期支援的證據。單一標題式的頻寬數字,無法回答這項配置是否符合其開發時程。

記憶體製造商亦面對相關決定。支援自訂實作可深化客戶關係,但亦會令工程資源綁定於特定架構。商業價值取決於這些工作可被多廣泛重用,以及產品能否可靠地交付予客戶。

企業買家則在更下游的位置體驗這項選擇。他們一般選購伺服器、雲端執行個體或託管服務,而非記憶體控制器。他們承受的影響會反映於供應情況、支援的配置、遷移選項,以及成品系統的效能特性。

擁有多家記憶體供應商的平台,或能提供有用的製造彈性。但這種彈性未必延伸至將加速器設計遷移到另一種控制器架構。採購團隊應分別評估這兩種彈性。

因此,眼前壓力是一項設計決定,而非被迫進行更換週期。規劃未來硬件的機構,必須比較整合式開發路徑與保留更多子系統選擇控制權的方案。現有客戶在改變基礎設施計劃前,則需要產品特定的證據。

這亦解釋了為何具名合作夥伴比未具名的意向表達更重要。Annapurna Labs 為觀察者提供了一個尋找實作細節的切入點。決定性證據將關乎實際建成、支援及交付的內容。

Nvidia NVHBM 令晶片資源分配成為核心論點

技術論據建基於重新分配稀缺的處理器資源,而非單純連接更快的記憶體。

運算晶粒是承載處理器主要電路的矽片。分配給記憶體控制功能的空間,不能同時容納其他電路。將這些功能移往別處會改變設計商的資源分配選擇,但不會將這些功能從系統中移除。

Nvidia 表示,NVHBM 可提供高達 30% 更高記憶體頻寬、15% 更低 HBM 功耗,以及高達 25% 更多運算晶粒面積。其比較基準為標準 HBM4E,一種增強版 HBM 世代。這些是公司聲稱,並非經獨立驗證的應用結果。

每個數字均有不同分母。頻寬量度的是單位時間內傳輸的資料量。HBM 功耗涉及記憶體子系統。可用運算晶粒面積則關乎佈局機會。它們都不能直接替代為整體系統速度或設施總能源消耗。

最有力的架構論點在於,這些資源彼此互動。處理器需要足夠的資料流動,才能令其執行電路發揮效用。當記憶體存取仍是限制因素時,額外電路的價值有限;而額外頻寬在其他情況下同樣可能價值有限。

這種互動令工作負載選擇變得關鍵。受記憶體限制的工作負載,會將相當多時間花在等待資料流動而非算術運算上。這類工作負載有可能受惠於更高的可用頻寬,但其反應仍取決於完整系統。

例如,一個假設性的模型服務部署,可能在產生回應時反覆擷取模型資料。另一個部署可能將更多時間花在處理器之間通訊。同一項記憶體改善會對這些部署產生不同影響。

Nvidia 的 NVHBM 架構亦描述了更小型的自訂 PHY,即在晶片之間傳輸訊號的實體介面電路。該公司將這項重新設計與降低整合限制聯繫起來。其更廣泛的效能聲稱,仍需要按工作負載進行評估。

重新配置不會令控制器消失。它改變的是設計商在何處製造、驗證及連接控制器。分析應追蹤工作如何跨越封裝邊界,而非將騰出的處理器空間視為系統複雜度的整體移除。

騰出的空間亦代表機會,而非已完成的產品規格。設計商必須決定在其中放置甚麼,並確認由此形成的佈局是否符合其他限制。更多可用面積不會自動變成按比例增加的有效運算能力。

同樣地,較低的記憶體功耗亦不代表伺服器功耗會相應下降。其他組件仍會消耗能源。供應商亦可能將部分效率收益用於提高吞吐量,而非降低系統總消耗。

這些區別解釋了為何不應把各百分比相加為綜合效益。它們描述的是不同特性,且可能存在重疊影響。買家需要在可比較操作條件下量度的結果,而非將無關聲稱進行算術運算。

由此得出的論點很具體:Nvidia NVHBM 嘗試改善記憶體存取、處理器面積及子系統功耗之間的平衡。這種平衡能否帶來更佳的商業系統,仍是產品及工作負載的問題。

標準與自訂 HBM 並非互相排斥的未來

自訂化創造了另一條設計路徑,但並未證明廣泛共享的記憶體介面已走到終點。

Micron 在 Nvidia 宣布 NVHBM 前,已描述過針對客戶需求的基礎裸晶客製化方案。其於 2025 年 9 月發布的 HBM4E 開發資料同時討論標準產品與客製化選項,並指出 TSMC 是基礎邏輯裸晶的製造合作夥伴。

這段歷史之所以重要,是因為它將該提案置於記憶體供應商與處理器設計商加深合作的大趨勢之中。不過,這並不代表所有客製記憶體計劃都等同。所有權、介面、驗證責任及存取條件,都可能存在重大差異。

Micron 表明有意同時提供兩種路徑,也削弱了「完全取代」的簡單敘事。供應商可以一邊推進客製化,一邊繼續服務採用標準產品的客戶。兩者在商業上並存是合理的可能性,但最終規模仍未明朗。

JEDEC 的工作同樣不止於維持不變的介面。其公開資料將 SPHBM4,即 Standard Package High Bandwidth Memory,列為實現 HBM4 級頻寬的另一條路徑。因此,該組織的記憶體標準為評估「標準化已停止回應封裝限制」的說法提供了背景。

SPHBM4 與 NVHBM 不應被視為可互換的名稱。共同關注改變記憶體整合方式,並不代表它們採用相同架構或具有相同驗證要求。要直接比較,必須取得每項實作的技術文件。

AMD 提供了具體的競爭參考,但並非完美的實驗對照。其 MI350 記憶體規格列出 288GB HBM3E 記憶體,以及最高 8TB/s 的理論峰值頻寬。這些已公開規格描述的是另一款產品及另一代記憶體。

相關啟示是,加速器競爭本已結合記憶體容量、頻寬、運算設計與軟件。不能只抽取一項預期改進,便得出架構比較的結論。完整系統必須執行可比較的工作負載。

AMD 的規格也說明,買家不應將已出貨的配置與未定義的未來基準直接比較。容量與理論頻寬是有用的起點,但本身無法揭示應用程式吞吐量、利用率或營運適用性。

這正是核心張力所在。共享的業界介面有助不同路線圖的組織協調合作;由平台定義的實作則可圍繞更具體的一組假設,追求更緊密的最佳化。

這種取捨不代表任何一條路徑必然更優。需求特殊的晶片設計商可能重視直接控制;另一家則可能偏好成熟的整合套件,讓團隊能專注於其他範疇。

對企業而言,只要評估保持嚴謹,實作方式的多樣性可以帶來價值。買家可比較每種設計的後果,而非取決於規格是否冠上標準組織的名稱。更困難的問題是:在系統的有效使用壽命內,哪些依賴關係仍屬可接受範圍。

因此,標準討論應納入更廣泛的產品成熟度與架構控制權評估之中。在可比較的系統出現前便宣布勝方,等於以品牌競賽取代技術分析。

效能聲稱留下重要未解問題

現有證據對設計方向的支持,比對普遍效能或供應鏈結果的支持更為有力。

「最高可達」一詞表示特定條件下的上限,並不代表每位買家都應預期得到相同結果。若沒有配對的基準及工作負載說明,將該上限套用至現有部署只能算是推測。

經檢視的公告未能為所有商業情境建立可獨立重現的比較。即使其機制聽來合理,這項限制仍應清楚呈現。合理性與已證實的效益,屬於不同的證據階段。

一項有用的基準測試應明確列出處理器配置、記憶體配置、軟件環境及工作負載,也應說明比較是否維持容量、功耗限制及運作條件不變。否則,讀者無法分離表面效能提升的來源。

延遲,即回應或操作完成前的等待時間,與吞吐量同樣重要。整體可處理更多工作的系統,仍可能無法滿足互動式服務的回應要求。在影響採購決定之處,效能報告應同時披露兩者。

同一原則亦適用於功耗。買家需要清楚的測量邊界,以及對工作負載實際完成內容的說明。若其他環節的額外活動抵銷了減幅,單一元件耗電較低的意義便有限。

整合方面也存在未解問題。包含自訂控制器的記憶體堆疊,需要設計、製造、組裝及驗證責任方之間協調。商業安排必須令故障處理及支援責任可管理。

這些是值得調查的問題,並非架構存在缺陷的證據。公開公告往往早於詳細實作資料發布。恰當的回應是指出缺失的證據,而不是把每項未披露參數都視為預設問題。

供應商參與同樣需要精確理解。建立多個供應來源的意向,與多家供應商完成驗證不同;驗證又與可可靠供應大量產品不同。每個里程碑減少的是不同類型的不確定性。

存取條件同樣重要。若客戶無法取得所需文件或支援,技術上吸引的子系統所帶來的策略彈性便有限。相反,清晰的支援承諾,可能令協調一致的平台比自行獨立整合每個元件更具實際可行性。

因此,商業集中度應透過具體依賴關係評估:哪個組織控制修訂?誰驗證替代品?元件變更時會如何處理?這些問題比籠統地把架構描述為開放或封閉,能揭示更多內容。

「Nvidia 繞過 JEDEC HBM 標準」這種表述並未回答上述問題。它指出方向上的轉變,但後果取決於實作細節。若把標題視為已定論的市場裁決,便會抹去最重要的不確定性。

審慎立場很直接:Nvidia 已提出可信的最佳化策略,但買家仍需要可比較的產品及營運證據。這是驗證標準,而非對失敗的預測。

甚麼會令 NVHBM 成為已證實的平台優勢

下一批證據應將架構與具名產品、已驗證供應及可重現的工作負載結果連結起來。

未來數月首個值得關注的訊號,是 Annapurna Labs 或其他具名合作夥伴披露產品層面的細節。一項有用的披露應指出實作方案、其開發階段及相關部署計劃。若只是另一則未包含這些細節的合作聲明,能新增的證據便較少。

這種披露將加強以下論點:外部晶片設計商看見此安排的實際價值,亦顯示整合路徑可支援特定產品。若持續沒有消息,公告的商業涵蓋範圍便仍然未明。

第二個訊號是供應商驗證與供應量資料。觀察者應留意具名的記憶體供應商、清楚說明的驗證里程碑,以及對同一目標實作的支援。這些細節會令 Nvidia 的多供應商目標更易評估。

單有供應商名稱並不足夠。客戶需要知道替代方案是否符合產品要求,以及轉換是否需要進一步驗證。可行替代方案的證據會加強韌性論點;未解決的驗證問題則會限制它。

第三個訊號是可重現的系統測試。最有用的結果,會在已披露配置及運作限制下比較相關工作負載,並以清楚邊界報告已完成的有效工作量、回應表現及功耗測量。

強勁結果將把架構推理連結至客戶成果;結果參差則有助找出設計適用的場景。若結果顯示在相關工作負載下效益有限,即使個別元件指標有所改善,也會削弱任何廣泛優勢的主張。

這些訊號應按此順序評估,因為它們逐步回答更困難的問題。產品確立實作目標;驗證確立實際採購能力;工作負載測試則確立完成的系統是否提供客戶所需效益。

這些都不需要宣稱 JEDEC 已無關重要。業界可以同時支援通用標準及專門實作,讓不同買家選擇不同取捨。證據將顯示每條路徑的需求規模。

對開發者而言,有用的問題是可取得的平台是否改善他們實際執行的工作負載。對企業買家而言,則是這些改善能否經得起採購、部署、支援及遷移要求。架構之所以重要,是因為它塑造了這些結果。

在改變硬件路線圖前,應圍繞這些問題建立證據檔案。記錄確切基準、工作負載、測量邊界,以及每項供應商承諾的成熟度。將供應商預測與獨立重現的結果分開處理。比較公告與技術文件的團隊,可使用可搜尋知識庫,在採購討論期間保留這些背景。產品規格、驗證更新或獨立測量結果出現時,再重訪評估。Nvidia 偏離傳統 HBM 整合方式值得關注,但採購決定需要比架構標題更嚴謹的標準。哪項已發布結果能證明你的工作負載有實質改善?哪項尚未解決的依賴關係會阻礙部署?

 
 

為每個智能代理提供更完整的背景,提升工作表現

讓智能代理連接 remio 已整理好的知識、決策和歷史紀錄。

remio 目前支援 Windows 10+(x64) 及配備 Apple 晶片的 Mac。

你的 AI 工作夥伴
和 remio 一起高效工作

規劃、創作、交付
一站式完成

bottom of page