NVIDIA Vera CPU 效能主張瞄準速度與規模之間的取捨

NVIDIA 正挑戰更快 AI 代理與更高密度伺服器之間的取捨，聲稱 Vera 能在同一處理器中同時提供兩項優勢。其 11 月 5 日的更新將 NVIDIA Vera CPU 效能置於一個實際基建問題的核心：在不減慢速度的情況下，可以運行多少個代理？

該公司表示，與最快的 x86 處理器相比，Vera 每瓦可支援多 1.6 倍代理；與能源效率最高的 x86 處理器相比，其代理速度則可達兩倍。這些是 NVIDIA 的研究結果，而不是針對所有競爭伺服器配置所獨立確立的排名。

核心競爭關乎反應靈敏的代理與高密度基建。AMD EPYC 和 Intel Xeon 提供競爭參考點，但單憑處理器名稱不足以說明問題。伺服器可迅速完成單一任務，卻仍可能在相鄰代理開始編譯程式碼、搜尋檔案或啟動工具時陷入困境。Vera 的賣點正是針對這種擠迫的運行狀況。

NVIDIA Vera CPU 效能主張結合速度與容量

NVIDIA 要求基建採購者一併評估反應速度和容量，而非將其視為兩項分開的採購決定。

該公司的 代理效能比較描述了一個 100 兆瓦數據中心情境。它將 Vera 與不同的 x86 效能及效率目標比較。這個框架很重要，因為電力預算限制營運商可持續運行的設備數量。

不過，這項比較不應被視為來自已全面部署設施的量度。文章呈現 NVIDIA 的比較及結論，卻未在文章本身提供足夠細節，以重現設施層面結果背後的每項假設。

當中的根本分別很直接。延遲是完成任務所需的時間；吞吐量則是隨時間完成的工作量。服務營運商需要足夠吞吐量應付需求，同時將延遲維持在可接受範圍內。

這些目標互相影響。將額外工作塞進伺服器，可提升輸出，直至共享資源出現擠塞。超過那個臨界點後，每個代理要花更多時間等候。營運商於是要在接受較慢服務與保留額外可用容量之間作出選擇。

NVIDIA 的論點是，Vera 改善了這個運行臨界點。該公司希望供應商可支援更多代理，同時保留每個代理所需的執行速度。這比單純宣稱處理器在基準測試中表現出色更具體。

這亦改變了「最快」的含義。代理不會將處理器效能體驗為單一數字；其體驗取決於前方待處理的工作、可用資源，以及相鄰任務的行為。

因此，對買家而言，相關比較需要一個服務條件：當伺服器處理預期的生產負載時，任務可多快完成？缺少該條件的結果，可能掩蓋 NVIDIA 所稱正要解決的取捨。

11 月的更新將這項論點濃縮成簡潔的商業訊息。它並未證明每種工作負載都能同等受益；相反，它為買家提供理由，審視現有基建是否會隨需求上升而失去反應速度。

這個區分將一項基建發展與普遍性的效能裁決分開。Vera 正為那些實用執行速度必須在擁擠環境中維持的工作負載而競爭。要確立該優勢，量度必須同時保留主張的兩面。

工作負載碰撞時，代理平台面對壓力

直接壓力落在那些承諾提供反應靈敏代理、同時在不可預測的工作負載之間共享伺服器容量的供應商身上。

AI 代理是一種利用模型選擇及執行行動的軟件，會不斷在決策與執行之間切換。處理器需求會隨這些階段而改變。生成答案與運行軟件測試屬於不同操作。

GPU 是適合平行運算的處理器，通常負責模型推理，即產生模型回應的運算。CPU 是通用處理器，負責大量周邊執行工作。單獨任何一種元件的基準測試，都無法描述完整服務。

試想一個編程助手被要求修復失敗的應用程式。它會檢查檔案、提出修改建議、運行測試，並核對結果。部分步驟依賴較早的輸出；加快無關工作並不能消除這些依賴關係。

現在，把該助手放在其他正執行不同工作的工作階段旁邊。它們的需求不會同步升跌。當代理安裝依賴項、檢查儲存庫或驗證生成的程式碼時，原本平靜的環境可突然變得繁忙。

NVIDIA 的 代理群分析描述了這種順序工作與短暫平行突發工作混合的情況。其技術論點傾向於在負載下維持執行速度，而不是只按核心數量選擇處理器。

這個論點對雲端排程器構成壓力；排程器是將工作分配至可用機器的軟件。排程決定會影響代理能否即時取得資源，還是要在競爭任務後等候。更佳硬件改變了這些限制，但排程仍決定容量如何到達用戶手中。

供應商亦需要決定保留多少備用容量。寬裕的儲備可吸收意外需求，但會令設備在平靜時段的使用率較低。積極塞入工作可提高利用率，卻增加面對爭用的風險，即對共享資源的競爭。

由此產生的商業張力很具體。供應商希望設備保持生產力，同時不讓客戶感受到相鄰工作負載的每次波動。Vera 的主張正面針對這種張力。

企業買家在評估代理服務時也面對相關問題。閒置機器上的示範看來可以反應靈敏，但未必能揭示繁忙工作日中的行為。平均完成時間亦可能掩蓋異常緩慢的工作階段。

這對委派工作而非只要求文字的人尤其重要。延遲的測試結果可拖慢代理的下一次決策；停滯的檢索步驟可令整項任務等候，即使模型仍然可用。

因此，對知識工作者而言，更佳執行基建應以完成的工作來判斷。更快硬件並不代表更佳推理、更可靠引文或更強權限管理；它處理的是執行操作可用的時間與容量。

與 AI 知識庫的關聯同樣實際。檢索相關材料與生成答案同屬一個工作流程，但其瓶頸不同。改善其中一個階段值得關注，但不應假定整體體驗會按比例改善。

Vera 的架構瞄準高負載下的持續進展

Vera 的技術主張聚焦於在大量任務共享處理器時，讓活躍執行路徑持續推進。

NVIDIA 的 Olympus 核心架構描述了 88 個自訂 Arm 相容核心及 176 條硬件執行緒。Arm 相容性指處理器的指令架構，即已編譯軟件所使用的指令。

這些數字描述執行資源，但不足以決定效能。核心的實用性取決於它處理指令及存取數據的效率。共享記憶體及內部通訊亦會影響整個處理器繁忙時的表現。

NVIDIA 描述了更寬的指令處理能力、預測程式分支的方法，以及減少依賴操作延遲的機制。它亦描述了硬件執行緒之間的資源分割。其表明的目標，是在相鄰執行路徑互相競爭時提供更可預測的進展。

該公司指定記憶體頻寬最高可達每秒 1.2 TB。記憶體頻寬量度數據可在記憶體與處理器之間隨時間傳輸的數量；這與記憶體容量不同，後者描述系統可容納多少數據。

這個分別在擁擠的代理環境中很重要。機器即使有足夠記憶體容納工作負載，仍可能難以快速供應其數據。增加容量並不會自動解決這個流量問題。

這個架構論點合理，但規格本身無法指出是哪項功能帶來基準優勢。多種機制都可影響同一任務。較強結果可能反映執行資源、記憶體行為、軟件配置，或它們之間的互動。

因此，買家不應將所有優勢歸因於一項標題規格。架構說明設計打算改善甚麼；受控測試才可確立這些意圖是否為特定工作負載帶來實用收益。

速度與規模之爭亦取決於工作負載形態。有些操作花大量時間執行指令；另一些則等候儲存、遠端服務或外部回應。處理器改進無法消除源自其他地方的延遲。

同樣地，平行工作只有在任務能夠獨立推進時才有幫助。代理無法在作出程式碼修改前驗證它。只有當工作流程提供可供執行的工作時，額外執行資源才會發揮效用。

這就是為何 NVIDIA Vera CPU 效能值得在真實並行環境下評估，即多項任務在重疊時段內同時推進的狀況。單獨速度與擁擠環境下的行為，回答的是不同問題。

同樣的推理亦限制了對處理器架構的廣泛主張。Arm 相容性不保證代理效能更佳，正如 x86 相容性不代表存在劣勢。相關產品結合了架構、實作、記憶體、軟件及運行條件。

Vera 的設計為 NVIDIA 的定位提供技術基礎。採購理據仍取決於應用程式在啟用生產依賴項、安全控制及資源限制時，能否保留其效能優勢。

Modal 在伺服器繁忙時看到優勢

Modal 的說法支持高負載行為的重要性，但未有確立代理平台的普遍結果。

在其 10 月 19 日的 沙盒吞吐量基準測試中，Modal 報告指，相比同等的 x86 Granite Rapids 機器，Vera 的任務吞吐量最高可達兩倍。沙盒是讓軟件在受控存取權限下執行的隔離環境。

Modal 的測試使用了 50 個 Terminal-Bench 參考解決方案及驗證程序。Terminal-Bench 是為透過終端機運作的代理而設的一組任務。Modal 移除了網絡呼叫，並使用預先準備的容器，以聚焦本地執行。

該供應商描述了閒置與繁忙測試之間一項具啟發性的分別。在未有負載的機器上，Vera 個別任務的優勢並不平均；在並行負載下，Modal 報告了更強的吞吐量優勢。

這項觀察正好觸及 NVIDIA 的核心主張。處理器的價值，可來自其抵禦資源爭用的能力，而非在單一孤立任務中取勝得多麼顯著。對共享服務而言，這個分別會影響可用容量。

Modal 亦承認，支援 Arm 需要改動基礎設施及映像檔建構流程。這項限定應與效能結果一併考量。潛在的改善，必須足以證明讓它可用所需的工程投入是合理的。

這是正面的客戶觀點，而非對每種處理器選項的中立調查。測試刻意收窄工作負載範圍。移除網絡呼叫有助隔離本地行為，但同時亦排除了真實 agent 會遇到的延遲。

預先準備好的容器形成另一個界線。容器會封裝應用程式及其相依項目，以供執行。測試已備妥的環境，回答的是另一個問題，與量度取得及啟動陌生軟件的完整流程不同。

這兩項選擇均不會令結果失效。兩者都界定了結果的意義。有用的基準測試會移除變異來源，讓特定行為變得可見，然後說明哪些因素已被排除於量度之外。

Modal 的發現對決定如何緊密配置活躍環境的平台團隊尤其相關。若主機能在額外需求下保持回應能力，供應商便有更多空間安排工作。這項好處取決於在實際工作負載組合中維持可接受的行為。

這項發現不應被視為承諾每項客戶任務都會快兩倍完成。整體吞吐量與個別完成時間仍是不同的指標。改善幅度亦可能因編譯、檔案操作、直譯及其他活動而有所不同。

部署 agents 的企業應把這份說明視為要求具代表性試用的理由。現有任務追蹤資料可顯示服務是否類似該基準測試。最有力的證據，會保留應用程式正常的相依項目及營運限制。

Modal 的報告令討論超越處理器供應商的斷言。它提供客戶對擁擠情況為何重要的解釋。它亦把遷移工作納入故事之中，而這正是基礎設施採購決策實際發生的地方。

驗證區分每核心增益與整體機群效率

現有驗證所支持的，是比「在 agent 速度與能源效率上全面領先」這項廣泛主張更狹窄的執行優勢。

Signal65 在 9 月的 agentic CPU 驗證中報告，針對 AMD EPYC 9755 的 69 項配對任務，Vera 的每核心優勢為 1.64 倍。每個實體核心均運行一個 sandbox，使兩款處理器都處於負載之下。

披露內容與結果同樣重要。NVIDIA 在其實驗室產生配對量度數據。Signal65 審閱了方法及任務數據、接觸 Vera 系統，並自行運行該測試套件。

Signal65 明確表示，研究不包括模型推論，亦沒有量度整部伺服器的吞吐量或功耗。它亦指出核心數目不同：Vera 為 88 個，EPYC 處理器則為 128 個。

這些界線避免了由每核心執行表現直接跳到設施效率的推論。每核心結果描述在指定條件下，分配予單一處理資源的工作。整部伺服器的產出，亦取決於資源數目及軟件運用資源的效率。

能源效率還涉及另一項量度。每瓦有用工作量的主張，需要與被計算工作相對應的功耗數據。處理器規格不能取代相關系統的實測耗電量。

因此，這項研究提供有意義的支持證據，但未有驗證 NVIDIA 最新論述的每個部分。它強化了高負載 CPU 執行的論據，卻仍未解決完整系統、功耗預算及處理器家族之間更廣泛的比較。

AMD 則透過自己的 agentic 工作負載分析提出競爭觀點。其測試把 agent 基礎設施分為不同階段，包括檢索、企業工具及上下文準備。AMD 主張評估整個系統。

這是實質的方法論差異。終端任務測試套件強調環境內的軟件執行；面向管線的測試套件則涵蓋更廣泛的服務行為。兩者的摘要未必產生相同排名，因為它們量度的是不同工作。

由供應商自行開發的比較同樣需要持續審視。買家應檢視所選處理器、軟件版本、配置細節及匯總方法。有利的平均值可以掩蓋行為不同的工作負載。

對使用「最快」或「最高效」等說法的主張而言，驗證缺口尤其重要。這些標籤需要明確界定的比較範圍。處理器可以在選定測試中領先，卻未必在每種工作負載或每項具商業意義的配置中領先。

遷移帶來另一項不確定性。依賴特定處理器架構的軟件，需要相容的建置版本及相依項目。評估必須包括這些工作，而不能把移植視為行政細節。

安全性及隔離亦應納入比較之中。為改善基準測試而移除控制措施，會改變正在評估的產品。對會執行生成程式碼的 agent 系統而言，營運限制是工作負載的一部分。

公平的解讀既不是否定，也不是無條件接受。NVIDIA Vera CPU 效能在特定高負載執行測試中有支持證據。更廣泛的機群效率主張，則需要保留完整服務及其耗電量的量度。

留意可重現性、部署及競爭性重新測試

下一項有用證據，應把處理器層面的結果連結至可重複的生產環境成果。

首個值得留意的訊號，是可重現的完整系統測試：在成功完成任務的同時量度功耗。若 Vera 能在可比的服務條件下保持優勢，這將強化 NVIDIA 的效率主張。若加入系統額外開銷後優勢消失，該主張便會收窄。

量度應區分獲接受的工作與嘗試進行的工作。若 agent 很快返回結果卻未能通過驗證，便沒有交付相同成果。只計算完成的任務而不檢查品質，可能會獎勵那些只是更快處理失敗嘗試的基礎設施。

尾端延遲，即完成時間分佈中最慢的一端，也值得關注。共享服務可以產生可接受的平均值，卻令部分用戶等待更久。當最慢的工作階段仍可管理時，吞吐量優勢才更具價值。

第二個訊號，是已超越評估階段的客戶所披露的營運部署細節。有用的披露會說明工作負載選擇、相容性改動、排程行為及服務效能。持續增益的證據，將強化基準測試優勢能在正常營運中存續的論據。

單憑部署公告提供的資訊有限。客戶可以為選定工作負載採用某款處理器，而不取代其現有機群。具意義的問題是哪些工作會遷移、為何遷移，以及哪些可量度成果得到改善。

在這個轉換過程中，相容性尤其值得注意。供應商必須支援應用程式映像檔、相依項目、監控及復原程序。若這些改動耗用大量工程工作，買家便需要了解整個生命週期中的採用理據。

第三個訊號，是在共用方法論下進行競爭性重新測試。涵蓋相關 AMD、Intel 及 Arm 架構替代方案的比較，可釐清 Vera 的優勢反映持久的設計實力，還是特定配置。等效工作負載會令相互矛盾的供應商敘事更容易評估。

競爭測試應保留相同的成功標準及服務限制。否則，頭條比例在實際上可能描述的是不同產品。針對終端工作負載優化的機器，不能自動宣稱在以檢索為主的企業應用程式中同樣領先。

未來數月，這些訊號會比另一項孤立規格更重要。可重現的量度確立範圍；客戶披露確立營運實用性；競爭性重新測試則確立在替代方案獲得可比關注時，優勢是否仍具說服力。

影響不止於伺服器採購。agent 開發者在選擇基礎設施前，需要了解任務時間花在哪裡。企業買家需要證據證明，在共享需求下回應能力仍能維持。用戶需要的是已完成而可靠的工作，而非更快的中間活動。

針對你的機構實際需要完成的工作負載，評估 NVIDIA Vera CPU 效能。要求供應商加入真實併發量、經驗證的輸出、系統功耗，以及你所需的營運控制措施。把模型回應時間與工具執行時間分開，再檢視它們如何在完整工作階段中結合。把相容性工作納入決策，尤其在現有應用程式依賴 x86 軟件時。留意下一輪客戶披露是否顯示持續行為，而非重複頭條比例。Vera 的機會很具體：在共享基礎設施愈趨繁忙時維持有用速度。哪一家供應商能在你的 agents 必須運作的條件下，記錄並證明這個成果？