OCI 上的 Nvidia Vera 讓獨立 CPU 躋身 Xeon 的競爭行列
OCI 上的 Nvidia Vera 為 Oracle 客戶提供獨立 CPU 選項，而另一項測試報告顯示，其記憶體頻寬超過雙 Xeon 伺服器的兩倍。Nvidia 和 Oracle 於 10 月 27 日宣布正式推出，同時公布把其 AI 基礎設施擴展至多吉瓦規模的計劃。當中的區別十分重要：處理器現已可獨立使用，而擴展仍屬計劃。
該基準測試來自 Tom’s Hardware，測試的是獨立 Vera 伺服器，而非 Oracle Cloud Infrastructure（OCI）。它為處理器能力提供證據，但並未證實 Oracle 執行個體的實際表現。本文分析已發表的證據；並不提供原創硬件測試。
競爭焦點在於 AI 模型回應之間執行的工作。Intel Xeon 和 AMD EPYC 處理器已在企業基礎設施中處理這些服務。Oracle 的決定為 Nvidia 提供另一條進入該市場的途徑，令記憶體資料傳輸和應用程式執行，與處理器相容性一同成為採購準則。
OCI 上的 Nvidia Vera 將 CPU 容量與 GPU 採購分開
Oracle 將 Vera 作為可獨立部署的運算容量提供，讓該處理器的角色不止於託管 Nvidia 加速器。
CPU，即中央處理器，會執行應用程式指令並管理一般運算工作。GPU，即圖形處理器，會執行常用於訓練及運行 AI 模型的平行工作負載。即使客戶一併採購，這些資源仍支援 AI 應用程式的不同階段。
雙方在其 獨立 CPU 部署公告中明確表示，客戶可獨立擴展 CPU 和 GPU 資源。這為需要更多應用程式處理能力、卻毋須相應增加模型容量的機構帶來實際選擇。
Vera Rubin NVL72 是與 CPU 一同公布的較大型機架配置。它透過 Nvidia 用於處理器間通訊的互連技術 NVLink，連接 72 顆 GPU。獨立 Vera 服務則針對另一項採購決策：在何處運行圍繞這些模型的軟件。
以一個示例性的編程助理為例。模型提出修改建議，執行服務進行測試，而應用程式會傳回結果，供模型作出下一次回應。即使模型本身在其他地方運行，測試服務仍會消耗 CPU 資源。
客戶在繁忙時段可能需要額外執行容量，而其模型服務仍有餘裕。分開採購這些資源，便有機會讓基礎設施更貼近需求。是否能提升效率，仍取決於應用程式的實際資源使用情況。
Oracle 的供應公告亦應與計劃中的實體擴展分開理解。多吉瓦規模描述的是預期基礎設施建設，而非目前正在運行的獨立 Vera 容量測量。這並不能證明客戶可即時預留多少設備。
這項區別改變了買家應如何解讀消息。正式推出代表商業產品已可供使用，而部署規模涉及供應、建設和客戶採用情況。兩者本身都不能證實應用程式效能。
獨立產品亦改變了 Nvidia 與潛在客戶的關係。團隊可評估其 CPU 是否適合某項服務，而毋須先決定部署完整 Rubin 系統。處理器之後必須憑服務自身需求證明價值。
這形成了比加速器附加決策更嚴格的比較。買家可以問：Vera 是否比現有基礎設施更適合處理其應用程式，包括從不直接與 Rubin GPU 通訊的工作負載。
最終競爭聚焦於一個熟悉的企業問題：哪一種伺服器配置可用可接受的營運投入完成所需工作？Nvidia 的 AI 定位吸引目光，但一般應用程式的行為將決定該處理器適合在哪裡部署。
壓力落在模型呼叫之間的服務
獨立 Vera 對決定 AI 應用程式能多快繼續運作的 CPU 服務帶來競爭壓力。
AI agent 是利用模型輸出選擇並執行動作的軟件。其應用程式可檢索資訊、運行程式、檢查結果，以及要求模型再次回應。每項動作都會引入單靠更快模型無法消除的依賴關係。
假設助理在回答技術問題前，必須搜尋內部文件。其回應取決於檢索完成、權限獲得核實，以及結果傳送至模型。增加模型容量，對檢索服務內部的延遲幫助不大。
相同推理亦適用於程式碼執行。模型可迅速產生測試，但應用程式可能等待繁忙的執行環境。當執行延遲佔整體任務相當比例時，改善該環境便會更有價值。
Oracle 在其預期的 agentic CPU 工作負載中識別出這些周邊服務。例子包括工具執行、檢索、分析和營運應用程式。這些是建議的工作負載適用情境，並非保證每次部署都能受惠。
即時壓力落在為這些服務選擇下一個平台的基礎設施團隊。他們需要確定應用程式的時間花在運算、移動記憶體資料、存取儲存空間，還是等待另一個系統。每種瓶頸都指向不同投資方向。
Intel 和 AMD 仍然相關，因為買家已擁有圍繞其處理器建立的軟件、部署流程和營運經驗。這些既有投資具備實際價值。競爭處理器需要帶來足夠好處，才值得引入另一個受支援環境。
因此，比較不止於基準測試排行榜。一項需要大量修改應用程式的較快服務，與一項只需極少調整便可運行現有軟件的服務，面對的是不同採用決策。
Oracle 亦有誘因清晰區分這些服務。客戶需要能支援其工作負載組合的基礎設施，而非把單一處理器建議套用於所有應用程式。更廣泛的產品目錄帶來更多選擇，也增加更多評估工作。
對開發人員而言，這改變了優化討論的起點。在選擇硬件前，團隊需要證據顯示應用程式哪個部分延誤產生有用結果。否則，一顆看似有前景的 CPU，便會成為對未被識別問題的答案。
對企業買家而言，後果相近。AI 基礎設施方案應同時考慮模型服務以外的應用程式執行。若只評估模型，可能忽略決定用戶能否及時獲得完整結果的系統。
當這些周邊服務已在高併發下承受壓力時，相關壓力最為明顯；亦即大量任務同時運行。此時，處理器在持續負載下的行為，比孤立示範更值得關注。
Vera CPU 記憶體頻寬針對特定瓶頸
Vera 的架構論點始於確保 CPU 核心獲得足夠資料供應，而非把核心數量視為足以證明效能的依據。
記憶體頻寬衡量系統在一段時間內可從記憶體傳輸多少資料。反覆處理大型資料集的應用程式，可能在耗盡其算術運算能力前已觸及這項限制。若資料傳送沒有改善，增加處理資源的幫助便有限。
Nvidia 對其 Vera 記憶體架構的說明指出，系統配備 88 核心、176 線程，以及最高每秒 1.2 TB 的記憶體頻寬。線程是執行路徑，讓軟件可把工作分配到可用的處理資源。
該晶片採用 LPDDR5X，一種低功耗記憶體技術。Nvidia 亦描述第二代一致性互連架構，即維持處理器內共享資料一致性的內部互連。其標示的二分頻寬為每秒 3.4 TB。
這些頻寬數字描述系統不同部分。外部記憶體流量和內部通訊的功能相關，但其評級不能互相替代。兩項規格均不會直接說明應用程式完成速度。
當有用工作取決於反覆存取處理器小型高速快取以外的資料時，Vera CPU 記憶體頻寬便變得重要。快取會把常用資訊放在接近執行資源的位置，減少從主記憶體擷取資料的需要。
一項示例性的分析服務可能在回應併發請求時，反覆掃描工作資料集。若這些掃描令記憶體傳輸飽和，增加頻寬便可能帶來更高吞吐量。吞吐量衡量在一段時間內完成的工作量。
另一個應用程式可能大部分時間都在等待遠端儲存空間。同一項記憶體改善只會處理其延遲中較小的部分。這正是工作負載特性比軟件分類標籤更重要的原因。
Arm 相容性亦屬評估的一環。Arm 是 Vera 支援的處理器指令架構，定義軟件可以執行的指令。現有應用程式及其依賴項目必須有相容的建置版本，其效能才可作有意義比較。
以可攜式語言編寫的服務，仍可能依賴特定架構元件。資料庫擴充功能、安全軟件和已編譯函式庫都值得留意。應用程式成功啟動，並不代表每項依賴均會走上相同的最佳化路徑。
這正是 Nvidia 機會背後的核心機制：提供一款資料傳送和執行特性適合高價值服務的處理器。這比取代所有企業 CPU 是更具體的主張。
架構論據為測試 Vera 提供理由，但並未決定採購結果，因為軟件行為、部署配置和持續使用率，決定了有多少能力真正惠及用戶。
Vera 與 Xeon 基準測試確立領先優勢，但界線清晰
Tom’s Hardware 的結果支持 Vera 在其測試配置中具有記憶體頻寬優勢，但 OCI 應用程式效能仍未經量度。
該刊物的伺服器記憶體基準測試比較 Vera 與雙 Intel Xeon 6980P 系統。報告指 Vera 在 STREAM triad 的頻寬超過兩倍；STREAM triad 是利用陣列操作量度持續記憶體傳輸的基準測試。
經測試的 Vera 系統採用 LPDDR5X-9600 記憶體。Xeon 的比較系統採用 MRDIMM，這種記憶體模組專為更高傳輸速率而設計，運行速度為每秒 8,800 百萬次傳輸。這些配置細節有助界定結果的適用範圍。
Tom’s Hardware 亦報道，執行緒配置對 Vera 的頻寬有顯著影響。它採用了 OpenMP spread 政策，即將平行執行緒分配至不同處理資源的設定。該刊物表示，將於即將發布的評測中提供更完整的測試配置細節。
這些發現之所以重要，是因為它們顯示出超越製造商規格的實測優勢。然而，這項測量回答的問題，比 Vera 是否能讓整個應用程式快一倍更為狹窄。
一項服務可同時涉及記憶體處理、儲存存取、網絡通訊及序列執行。序列執行是指必須按順序完成的工作。改善其中一個組件，並不會消除其餘組件的限制。
這一分別對 agents 尤其相關。一個工作流程可能短暫執行記憶體密集型操作，然後花更長時間等待外部工具。無論處理器在基準測試中的排名如何，其總完成時間都會反映這兩個階段。
Vera 與 Xeon 的比較亦涉及完整配置。實測結果反映處理器、記憶體、軟件及調校共同發揮的效果。買家不應將全部差異歸因於單一架構特性。
執行緒配置亦提供另一個檢視環境的理由。實驗室中有利的配置政策，可能需要在生產環境中明確設定。虛擬機器把實體伺服器劃分為相互隔離的軟件環境，亦增加了另一層需要評估的部署因素。
公平的比較應容許各平台作出合理調校。若讓競爭對手採用不合適的設定，量度到的便會是配置選擇連同硬件差異。相反，若要靠不尋常的維護工作才能維持結果，便會引入值得記錄的營運負擔。
已發布的基準測試並未確立能源效率排名。這需要在系統進行可比工作時量度耗電量。單憑頻寬結果，無法揭示一項已完成的應用程式工作會消耗多少能源。
它亦未能在資料庫、編譯或應用程式伺服器等領域確立普遍贏家。即使採用相同的語言或部署框架，不同工作負載仍會對不同資源施加壓力。
因此，Vera CPU 記憶體頻寬值得視為在所報告配置下已獲展示的優勢。下一步所需的證據，是將這項優勢轉化為買家實際可部署服務上的可重複應用程式結果。
Oracle 的推出為 Intel 留有空間，亦要求檢查部署條件
Oracle 正在加入 Vera，同時為 Rubin 系統保留基於 Intel 的路徑，令按工作負載作選擇的說法，比全面取代的敘事更可信。
計劃中的 HGX Rubin NVL8 配置結合八枚 Rubin GPUs、兩枚 64 核心 Intel Xeon 6 處理器，以及 4TB DDR5 記憶體。DDR5 是廣泛使用的一代伺服器記憶體技術。這項計劃中的方案，讓 Vera 以外仍保留 x86 應用程式路徑。
X86 是本文討論的 Intel 與 AMD 伺服器處理器所採用的指令架構。即使另一款處理器在部分測試中表現更佳，保留此選項仍對有既定軟件要求的應用程式十分重要。
Oracle 更廣泛的 基礎設施路線圖亦提到會繼續與 AMD 和 Intel 合作。當中列出計劃推出的 AMD EPYC E7 實例，以及基於 Intel Diamond Rapids 的 X14 方案。這些仍屬路線圖項目，並非本公告已證實交付的替代方案。
因此，競爭環境比 Nvidia 進場、現有 CPU 退出更複雜。Oracle 正在擴展可用的處理器與加速器組合。買家可將應用程式相容性與模型服務硬件的選擇分開考慮。
供應情況本身亦需要審慎解讀。Oracle 詳細的 Vera instance specifications同時描述裸機及 Flex 虛擬機器方案。裸機讓客戶直接使用一台實體伺服器，而非其虛擬化的一部分。
所描述的雙處理器配置提供 176 個核心、352 條執行緒及 1TB 系統記憶體。這些實例細節必須與單一處理器的規格區分開來。
Oracle 的 CPU 文章宣布正式全面推出，但亦表示這些實例將於本季度進駐部分地區。這種措辭留下了一個實際問題：特定客戶何時才能在所需地點獲得足夠容量。
對有數據駐留要求的機構而言，地區承諾相當重要。其他地區可取得的處理器，無法解決部署受限於特定司法管轄區的問題。容量亦必須足以支援目標服務，而不只是可供評估。
Oracle 另外表示，初步會在其各地區提供 150,000 枚 CPU。該公告未有提供逐區分配資料，也未有證據表明每一個列出的單位已在運行客戶工作負載。
其效能聲稱亦需要作出相同區分。Oracle 引述 Nvidia 關於 agentic CPU 效能最高快 80% 的說法，同時指出該結果屬平台基準測試，並非 OCI 實例層級的量度。
這項披露限制了買家可將該說法轉化為服務預測的信心程度。適當的做法是一起測試目標實例、應用程式建置版本及營運設定。
遷移工作亦屬此評估的一部分。團隊在遷移重要服務前，需要具備相容的相依項目、部署映像、監控及復原程序。這些要求並非否定硬件，而是界定可靠使用它所需的工作。
最有力的採用理由，是應用程式增益配合可管理的營運變更。能通過這些檢查的處理器優勢，比只在客戶無法重現的條件下可見的優勢更具份量。
三項訊號將顯示獨立 Vera 是否值得更廣泛採用
下一批證據應確認可取得的容量、可重複的應用程式效能，以及超越早期評估階段的持續使用。
第一項訊號是更清晰的地區供應情況。未來數月，買家應尋找其應用程式所需地點中有文件記錄的實例存取方式。支援可重複部署的推出，將加強 Vera 作為實際基礎設施選項的理據。
容量資訊應說明客戶實際可取得的資源，而非僅僅 Oracle 的部署意向。預留存取、服務限制及配置文件，有助將發布公告連結到營運決策。
第二項訊號是可由獨立方重複的 OCI 應用程式測試。這些測試應比較以相容軟件建置版本及清晰記錄設定，執行等效工作的服務。最有用的結果會展示在持續並發下的已完成工作量與回應時間。
接近飽和時的回應時間尤其值得注意。伺服器可以報告吸引人的平均吞吐量，但少數請求可能要等待明顯更長時間。這些延遲會影響依賴每次工具呼叫完成的用戶工作流程。
對 Vera 與 Xeon 的問題而言，等效工作比相同的市場推廣分類更重要。測試應說明記憶體配置、軟件調校及資源分配。否則，讀者無法判斷結果是否適用於受測配置以外的場景。
若證據顯示所報告的頻寬優勢能改善記憶體密集型服務，將加強架構方面的論據。若結果主要受無關瓶頸支配，則會縮窄該論據適用的應用程式範圍。
第三項訊號是持續的生產採用，並披露工作負載結果。客戶參與固然有用，但僅有一個具名部署，對效能或營運投入所提供的證據有限。應用程式及其量度行為的描述會更具資訊價值。
有用的案例應說明服務為何遷移、部署後有何改變，以及仍有哪些限制。它們亦應將處理器的影響，與軟件、儲存或應用程式設計的同步變更區分開來。
在合適服務中更廣泛的採用，將支持 Nvidia 在雲端基礎設施中建立獨立 CPU 業務的主張。若集中在一小部分專門部署中，則意味其角色較為狹窄。兩種結果都可以與強勁的記憶體基準測試成績並存。
對開發者而言，當前行動是量度應用程式中已存在、依賴 CPU 的階段。找出執行停滯的位置，保留具代表性的工作負載，並記錄環境。這可在評估另一款處理器前建立有用的基準線。
團隊可在 可搜尋知識庫中整理這些發現，讓配置備註與應用程式結果保持連結。目的在於當日後比較得出不同結果時，保留所需的脈絡。
當記憶體流量或 CPU 執行已限制有用工作時，Nvidia Vera on OCI 值得評估。應由瓶頸已獲量度的服務開始，然後在具代表性的負載下比較完整部署。應清楚列明應用程式版本、調校選擇及資源分配。要問的是：在繁忙時段，任何增益是否仍能維持，而團隊能否可靠地營運服務？在將供應視為已確定前，應要求提供地區容量的證據。應把製造商聲稱與獨立量度區分開來，並保留每項結果的限制。有用的採購問題很具體：在你的團隊可以重現的條件下，這款處理器是否能改善應用程式實際執行的工作？
