Modal 在報告沙盒吞吐量提升 2 倍後採用 Nvidia Vera CPU

Modal 在內部測試顯示負載下吞吐量最高可提升一倍後採用 Nvidia Vera CPU，對其倚賴 Intel 和 AMD 處理器的現況構成挑戰。吞吐量是指每單位時間內完成的工作量。這項結果關乎共享運算容量，並非承諾每項 AI 工作都能以兩倍速度完成。

這項區別突顯了競爭壓力。Nvidia 正進軍 AI 模型周邊的一般軟件執行工作，而 Intel 和 AMD 現時正為 Modal 供應處理器。CPU，即中央處理器，負責執行一般軟件指令。對 AI 服務而言，這包括執行生成的程式碼，以及處理模型回應之間的工作。

Modal 的發現支持一個具體的採購理據：應按繁忙伺服器所完成的有效工作量評估處理器。然而，採用 Vera 也需要修改軟件，而 Modal 計劃保留現有供應商。眼前的故事是新增一個與工作負載相當契合的硬件選項，而不是已完成整個機群的替換。

Modal 為計劃中的沙盒部署採用 Nvidia Vera CPU

Modal 在 10 月 19 日的工程文章中表示，公司在此前一星期於三藩市收到首部 Vera 伺服器。公司稱，在早期的並發測試中，相比同級 Intel Granite Rapids 機器，吞吐量最高可達兩倍。其 沙盒吞吐量發現說明計劃推出 Vera 支援，而非已完成全機群部署。

已獲驗證的改變，是一項由客戶測試支持、計劃中的架構擴展；要投入生產仍須完成工程工作。

沙盒是一個執行程式碼的隔離環境，並將其與其他活動分開。對 AI 編程代理而言，這個環境正是建議的變更面對可執行現實的地方。模型可以提出修正建議，但軟件仍須完成建置、執行及回傳結果。

這與為單一應用程式選擇處理器，是不同的硬件決策。雲端供應商必須考慮彼此無關的客戶工作如何共同運作。理想伺服器須在不令個別工作變得難以接受地緩慢的情況下，支援不同租戶的高效活動。

因此，Modal 的測試作為潛在營運商的證據具有意義。Nvidia 有動機以有利方式展示 Vera，但 Modal 同樣須承受引入另一種架構的後果。在任何效能優勢惠及客戶前，支援新硬件已會增加工作量。

這並不代表 Modal 是獨立測試實驗室。其結果仍屬公司測量，受其所選工作負載和營運優先次序影響。儘管如此，決定進行相容性工作，使這些發現比單獨的供應商示範更具商業相關性。

採用相關措辭值得審慎看待。收到伺服器、完成評估、公布支援計劃，以及承載一般客戶流量，分別代表不同里程碑。不應將它們混為一項聲稱 Vera 已為 Modal 整項服務提供動力的說法。

同樣地，吞吐量優勢不代表每位客戶都會獲得完全相同的改善。有些工作負載幾乎不消耗處理器時間；另一些則有相當長時間在等待外部服務。硬件增益能否惠及用戶，取決於其工作中哪些部分實際依賴處理器。

因此，有用的問題比 Nvidia 是否突然成為最快 CPU 供應商更狹窄：在可接受回應時間下，Vera 能否為 Modal 提供足夠的額外容量，從而值得擴展其軟件與硬件支援。

這個問題構成文章的主要競爭主線：Nvidia 的新選項，對比 Modal 已建立的 Intel 和 AMD 基礎設施。基準測試開啟了這場競爭，而部署經驗將決定其營運價值。

AI 代理令模型呼叫之間的處理器承受壓力

AI 代理擴大了 CPU 採購決策的範圍，因為模型產生下一項指令後，有效工作仍會繼續。

AI 代理是使用模型選擇並執行步驟以達成目標的軟件。其進度同時取決於模型的決策，以及執行這些決策的系統。只有改善限制完成進度的工作，改善任何一方才會帶來幫助。

設想一項示例性的編程工作。代理提出一項變更、執行測試、讀取失敗結果，並修訂其處理方法。生成的答案只是中間步驟。直至周邊軟件提供代理可用的回饋，工作仍未完成。

這使處理器效能變得相關，但並不削弱 GPU，即圖像處理器的角色；GPU 可加速高度平行的運算。這些硬件類別支援流程中不同部分。更快的模型運算無法消除等待必要軟件執行所花的時間。

Nvidia 在 7 月發表的 代理工作負載分析指出，負載下持續的 CPU 效能會影響 AI 服務的進度。這屬供應商論點，而非對 Modal 結果的獨立確認。其相關性在於背後機制：連續依賴關係可令 CPU 延遲造成超出 CPU 本身的顯著影響。

對 Intel 和 AMD 的壓力，來自買家如何界定比較方式。若採購準則著重於繁忙伺服器上已完成的代理工作，熟悉的處理器規格便成為輔助證據，無法單憑自身作出決定。

例如，核心數反映可用的執行資源，卻不會自動揭示混合的相互依賴工作集合能多快完成。買家仍須觀察實際應用程式及周邊平台的表現。

同樣道理適用於醒目的基準測試勝出結果。當結果能對應客戶認可的服務限制時，才會具商業說服力。額外容量最有價值的情況，是在不造成另一個瓶頸或損害服務品質下能加以運用。

對 Modal 而言，潛在好處涉及客戶代理背後的基礎設施。對開發者來說，相關結果是其他用戶活躍時，其工作能否可靠地完成。對企業買家而言，問題則是隨使用量增長，服務容量能否保持可預測。

這些利益有所重疊，但並不完全相同。營運商可獲得更多空間應付需求，而毋須立即改變個別客戶的體驗。客戶也可能感受到更佳的回應速度，卻不知道是哪款處理器帶來改善。

這種區分可避免輕易誇大。Nvidia 獲得更多 CPU 採購考慮，並不代表每個 AI 應用程式都需要 Vera。它顯示，代理執行讓雲端營運商有另一個理由重新審視此前已符合要求的硬件。

由此產生的競爭需求相當具體。既有供應商須在具代表性、已被佔用的系統上維持吸引力。Nvidia 則須證明其優勢能在從特定評估過渡至可靠服務時持續存在。

Nvidia Vera 基準測試檢驗資源競爭下的有效工作

Modal 公開的 Agentless Agent Bench提供了一個重要方法細節，而這在簡單的「快 2 倍」標題中並不存在。它使用 50 項已選定、附有參考解決方案的 Terminal-Bench 任務，排除模型回應時間與網絡活動。只有在驗證器通過時，執行才算完成。

Nvidia Vera 基準測試檢驗的是既定執行工作負載，而非自主代理的完整智能或速度。

參考解決方案為完成任務提供已知指令。移除模型決策過程，有助隔離執行這些指令的機器。驗證則檢查執行是否產生可接受結果，而不只是迅速終止。

該儲存庫描述了串行及並發測試。串行測試逐項執行任務；並發測試則容許多項任務競爭機器資源。這些方法回答不同問題，因此結果不應視為可互換。

串行結果有助描述沒有其他基準測試工作干擾下的執行情況。並發結果則檢視資源必須共享時會發生甚麼。處理器在第一種情況下可能表現平平，卻會在第二種情況下變得吸引。

這正是資源競爭進入討論的地方。當活躍任務競逐共享資源，例如記憶體存取或執行容量時，便會出現資源競爭。即使每項任務單獨執行時表現合理，它仍可能限制整體進度。

因此，Vera 與 x86 的比較須附帶運行條件。在此，x86 指所討論 Intel 和 AMD 系統使用的指令集家族。有意義的說法關乎受測工作負載在負載下的表現，而非對指令集家族作普遍排名。

伺服器營運商也須分辨吞吐量與延遲，即完成任務所需的經過時間。較高吞吐量固然有用，但若容許無限延誤，該測量便會在商業上產生誤導。容量須附帶回應能力的標準。

想像一項共享服務整體完成更多工作，但部分客戶等待時間大幅增加。總體吞吐量雖然改善，服務卻可能變得較不適合互動工作。買家需要足夠細節，才能辨識這種可能性。

基準測試的驗證要求回應了另一項疑慮：未完成或錯誤的執行不應推高結果。然而，通過這些指定檢查，並不能證明更廣泛的模型準確度。參考解決方案移除了原本決定代理推理品質的決策過程。

預先建置的環境同樣界定了範圍。在測量前準備軟件，可減少設定干擾，並有助隔離執行部分。它不會測量客戶在啟動全新環境或取得依賴項目時遇到的每一項延遲。

這些選擇對針對性的硬件實驗而言可以成立。只有在結果被表述為所有代理行為的端到端衡量時，才會成為問題。有針對性的基準測試，應支持有針對性的結論。

Nvidia Vera 基準測試為進一步評估提供具價值的理由，因為測試設計可供檢視。以已披露的硬件和設定重現結果，將可加強其說服力。將實驗延伸至實際服務流量，則可回答另一個同樣必要的問題。

Vera 與 x86 的比較包括支援另一種架構的成本

Vera 使用 Arm，這是一種與 Modal 現有機群背後 x86 軟件目標不同的指令架構。Nvidia 的 Vera CPU 架構將該處理器定位為適用於獨立伺服器，以及配合加速器的系統。因此，它是一般執行基礎設施的直接候選方案，而不僅是購買 GPU 時的附屬配件。

有利的處理器測試結果，必須足以抵銷支援另一個軟件目標所需的工程與營運工作。

相容性首先取決於所需軟件能否正確執行。原始碼可攜性固然有幫助，但應用程式亦依賴其程式庫、建置工具及已封裝組件。成功遷移必須顧及整個運作環境。

容器封裝不會消除這項差異。容器會將軟件及其相依項目打包，但當中的可執行組件仍須支援底層架構。因此，在不同機器之間移動同一套件，或會需要重建或替換部分組件。

所需工作不僅是令示範能夠運行。營運人員需要可重複的建置流程、清晰的故障診斷，以及對更新能維持預期行為的信心。每增加一個受支援平台，工程師便要理解更多組合。

因此，保留 Intel 與 AMD 有其實際邏輯。現有工作負載可繼續使用熟悉的目標平台，而相容的工作負載則可成為 Vera 的候選項目。這種做法讓採用取決於已證實的適用性，而非要求全面轉換。

這亦令排程更複雜，即把工作分配至可用機器的過程。混合機群需要將每項工作送往能夠執行它的硬件。存在於不相容機器上的容量，無法自動滿足正在等候的工作。

當需求改變時，這項限制尤其重要。額外的 Vera 伺服器或可擴展某一類工作負載的容量，卻令另一類工作負載仍然受限。因此，評估機群不能只把所有可用處理器加總。

競爭比較應承認這種不對稱性。Intel 與 AMD 的優勢在於已經支援 Modal 現有的軟件環境。Nvidia 必須提供足夠價值，以證明支援 Vera 所需的工作是合理的，而現有選項毋須進行這些工作。

同時，相容性並非對另一種架構的永久否定。當持續營運效益超過其長期負擔時，工程投資便可能值得。門檻取決於工作負載量、軟件可攜性，以及營運方維持支援的能力。

這正是 Vera 與 x86 應維持為採購分析，而非架構忠誠度之爭的原因。指令集家族並不決定每個結果。處理器設計、記憶體配置、軟件及部署條件都會影響結果。

即使出現另一個以 Arm 為基礎的選項，也不會單憑此複製 Vera 的行為。共用指令集架構只建立相容性關係，並不代表效能相同。買家仍需要從他們實際打算運行的系統取得量度結果。

對於記錄遷移決策的開發人員而言，一個可搜尋知識庫可保存測試條件及相容性發現。這些紀錄有助區分已觀察到的硬件效益，與部署規劃期間引入的假設。

Modal 的舉動為 Nvidia 創造了機會，因為該公司願意檢視這些取捨。它亦讓 Intel 與 AMD 繼續扮演角色，因為合適的硬件除了要達到效能目標，還必須滿足軟件要求。

2 倍結果仍留下重要採購問題

Tom’s Hardware 的處理器採用報道指出，Modal 將保留 AMD 與 Intel CPU。報道亦提到配置細節及能源比較方面存在缺口。當把內部測試轉化為更廣泛的採購建議時，這些限制相當重要。

現有證據支持針對特定工作負載的機會，但尚未確立普遍的效能或效率排名。

次標題將 Intel 與 AMD 並列，但 Modal 最明確的數字說法，是在並行負載下與 Intel 作出的比較。讀者不應默默把這項結果轉化為對每款 AMD 處理器都有相同優勢。

「等效」亦未能解釋整項比較。買家需要知道等效的意思：可比較的處理器資源、相近的系統容量，還是另一項選定限制。不同定義可令同一量度結果產生不同解讀。

記憶體值得特別關注。記憶體頻寬量度的是資料隨時間可穿過記憶體系統的數量。如工作負載反覆等候資料，單純增加執行能力未必能解決其限制因素。

這項觀察提出了一個合理的評估問題，而非 Vera 精確優勢的證明。要把結果歸因於記憶體，需要能將記憶體行為與其他系統差異分隔開來的證據。單靠吞吐量圖表，無法確立完整的因果解釋。

能源效率需要獨立量度。完成更多工作的機器亦可能消耗更多電力。相反，它也可能以較少的整體能源完成有用工作。若沒有相應的功耗數據及明確量度時段，吞吐量本身不會自動導出任何一項結論。

商業效率的範圍更廣。營運人員除了電力外，還必須考慮採購、部署、支援及利用率。沒有任何已披露結果證明客戶將獲得相應的服務費減幅。

可靠性亦屬比較的一部分。受控運行期間較快完成，並不能反映維護行為、故障復原，或在更大規模部署中的一致性。這些因素可影響多少已量度容量會成為可靠的客戶容量。

移除網絡及模型延遲方面存在方法論上的張力。這樣做令處理器比較更純粹，但亦限制了結果對預測代理程式整體完成時間的直接程度。

由遠端回應主導的應用程式，CPU 改善可節省的時間較少。由本地執行主導的應用程式，則有更充分理由研究這項結果。因此，同一項硬件發現對不同客戶可有不同意義。

這並不會使基準測試失效。隔離組件是理解其貢獻的正常方法。錯誤在於未有量度應用程式本身，便把組件的已量度增益套用至整個應用程式。

競爭世代帶來另一個持續變動的目標。部署決策應比較可按相關交付時間表取得的系統。與一台已安裝機器相比的結果，並不能決定同一供應商日後產品的結果。

審慎的結論很具體：Modal 已提供一個可信理由，讓人為並行執行測試 Vera，但公開證據尚未解決每項採購準則。這已足以令採用消息具意義，而毋須把它視為全市場的裁決。

留意部署、獨立複現及競爭對手回應

下一批證據應把所報告的執行增益，連繫到可用容量、可複現的量度，以及目前可採購的替代方案。

首先，留意 Modal 是否有明確的推出計劃。支援公告應說明哪些工作負載可使用 Vera、容量將在哪些地方提供，以及適用哪些相容性要求。這些細節將顯示評估如何成為客戶服務。

最強的採用訊號，將是一般工作負載能透過客戶已依賴的相同營運流程成功運行。範圍較窄的預覽仍代表進展，但只支持關於就緒程度及規模的較窄結論。

單靠可用性不足以證明吞吐量優勢持續存在。有用的後續證據應描述在具代表性需求下的行為，包括完成時間及失敗執行次數。這將把硬件發現連繫到客戶可辨識的結果。

其次，留意具清晰配置的獨立複現。另一名評估者應披露所用機器、軟件設定、工作負載選擇及完成規則。若沒有這些條件便重複頭條數字，雖可增加可見度，卻對驗證幫助不大。

若優勢能在測試條件合理改變後持續存在，複現將加強論點。即使增益較小，仍具參考價值。它可協助買家辨識原有結果可適用的範圍，以及它在哪些地方依賴特定設定。

生產環境量度將增加另一層資訊。基準測試會移除干擾以隔離問題；服務則必須在這些干擾存在下運作。兩種證據都重要，但應保留各自的用途。

第三，留意 Intel 與 AMD 如何回應採購問題。相關回應是使用買家實際可取得的系統，在可比較的代理程式執行工作負載上的效能。另一項基準測試勝利可提供背景，但不會直接解決 Modal 的發現。

競爭測試亦應保留個別工作與繁忙主機之間的區別。較快的獨立執行可能很有價值，但不會自動解答容量問題。同樣地，較高的總體容量需要可接受的回應時間表現。

未來數月，這些訊號將擴大或縮小 Modal 決策的重要性。明確推出及獨立確認將加強 Nvidia 的論點。持續的相容性限制或只適用於特定工作負載的結果，將限制其影響範圍，但不會抹殺最初的發現。

對正在評估 AI 基礎設施的讀者而言，應從工作流程中最耗時的部分開始。要求供應商區分模型延遲、軟件執行及等候共享容量。每項效能聲稱旁都應保留已測試的工作負載及硬件配置。當 Modal 採用 Nvidia Vera CPU 時，可行動的問題是這項選擇如何影響你所使用服務上的有用工作。追蹤推出情況、檢視可複現結果，並比較現行替代方案，才把吞吐量比率視為一般採購規則。對你的應用程式而言，甚麼更重要：更快的個別執行、更多並行工作，還是平台繁忙時更一致的完成表現？