Arm AGI CPU 基準測試令 AMD 承壓，但 1.99 倍領先屬模型推算

Arm 表示，其新處理器在七項指定工作負載中，每個機架完成的工作量接近 AMD EPYC 9755 的兩倍。Arm AGI CPU 基準測試報告指出，在以伺服器電力假設擴展實測晶片結果後，Arm 平均領先 1.99 倍。

這個標題看來像是 AMD 的決定性敗仗，但底層結果呈現出更具保留的故事。Arm 每枚晶片平均領先 1.20 倍，而其大得多的機架優勢，主要來自在固定電力預算內可容納更多伺服器。

Signal65 透過 Arm 委託的分析審閱測試。然而，它並未在另一套硬件上獨立重跑整個比較。該基準測試亦評估 AI 代理周邊的 CPU 工作，而非模型智能或加速器推理能力。

因此，結果之所以重要，原因很具體。Arm 正要求基礎設施買家按每個機架完成的工作量評估代理式 AI CPU，而非把插槽效能視為最終答案。

Arm AGI CPU 基準測試將戰場轉移至機架

Arm 的核心主張並非每枚 AGI CPU 都在插槽層面以近兩倍效能擊敗每枚 AMD 處理器。

這項機架規模分析比較 Arm 的處理器與 AMD 第五代 EPYC 9755，涵蓋七項與工具執行、檢索、網頁服務、軟件工程及模型服務支援相關的工作負載。

Signal65 報告稱，Arm 的模型推算機架效能比率平均為 1.99 倍。個別機架結果視乎工作負載而定，介乎 1.43 倍至 3.19 倍。

七項測試分別為 MySQL、NGINX、Milvus、Terminal-Bench 2、SWE-bench 重播、fastText 及 vLLM CPU 開銷。它們代表 AI 模型周邊軟件路徑的不同部分。

MySQL 衡量交易資料庫吞吐量。NGINX 涵蓋網頁及 API 請求處理，而 Milvus 則代表代理記憶與搜尋所需的向量檢索。

Terminal-Bench 2 檢視在沙箱命令列環境中完成的工作。測試採用 72 種任務類型，並同時執行 128 份工作副本。

SWE-bench 重播涵蓋 259 項軟件工程任務。基準測試並非要求模型在每次執行時選擇不同操作，而是重播固定工作流程。

這種重播方式相當重要，因為 AI 代理具有非決定性。即使要求完成的任務完全相同，兩次執行也可能涉及不同指令、遙距服務延遲或模型生成的計劃。

fastText 衡量 CPU 詞彙表徵訓練。vLLM 測試則衡量模型服務周邊的處理器開銷，同時略過模型的主要運算工作。

最後這項區分可避免一種常見誤讀。vLLM 結果並不顯示 AGI CPU 相對 GPU 執行大型語言模型推理的速度。

Arm 的晶片在七項逐晶片比較中勝出五項。它在 Terminal-Bench 領先 AMD 9%、在 SWE-bench 重播領先 13%，並在 fastText 領先 97%。

AMD 在兩項成熟基礎設施工作負載中保持領先。在實測晶片層面，EPYC 9755 在 MySQL 快 12%，在 Milvus 快 5%。

NGINX 為 Arm 產生 1.20 倍比率。vLLM CPU 開銷工作負載則為 Arm 帶來 1.16 倍結果。

綜合所有七項標準化比率，Arm 平均具備 1.20 倍逐晶片優勢。此結果具意義，但遠小於機架層面主張所附帶的 1.99 倍數字。

機架模型透過計入額定伺服器功耗，改變了比較結果。模型假設雙插槽 Arm 伺服器視乎 AGI CPU 配置，功耗介乎 950 至 1,050 瓦。

AMD 系統則獲分配 1,700 瓦的額定功耗估算。兩項計算均包括記憶體及其他伺服器元件，而不只是處理器熱設計功耗。

在為網絡及配電預留約 8% 的 24 千瓦機架預算後，模型可容納 21 或 23 台 Arm 伺服器，並在相同預算內容納 13 台 AMD 伺服器。

這令每個模型推算機架擁有介乎 5,712 至 5,888 個實體 Arm 核心。AMD 機架則有 3,328 個實體核心。

由此產生的密度倍數，令每項 Arm 工作負載在機架層面均超越 AMD。即使是逐晶片層面偏向 AMD 的 MySQL，在每個機架比較中亦變成 Arm 的 1.43 倍模型推算結果。

Milvus 從每枚晶片的 0.95 倍升至每個機架的 1.54 倍。在機架模型下，SWE-bench 重播由 1.13 倍升至剛好 2.00 倍。

fastText 產生最大比率。其實測晶片結果為 1.97 倍，並變成模型推算機架結果的 3.19 倍。

這些數字支持 Arm 的論點：受電力限制的資料中心應評估總體有用工作量。它們並未顯示兩個實際運作機架在直接量度的牆上插座功耗下完成這些工作負載。

為何代理式 AI 令 CPU 工作更顯眼

AI 代理將大量工作轉移至加速器以外，使 CPU 容量成為用戶可見體驗的一部分。

傳統生成式 AI 請求看來可能以模型推理為中心。生產環境中的代理則會執行較長的序列，包括規劃、檢索、工具呼叫、驗證及狀態管理。

GPU 或其他加速器仍會執行密集的神經網絡運算。CPU 則協調大部分周邊執行路徑，並運行代理所選用的眾多工具。

編程代理是一個實際例子。它可能檢查程式庫、啟動沙箱、安裝相依套件、編譯程式碼、執行測試及分析失敗原因。

每次模型呼叫都可觸發另一輪 CPU 工作。同時運行數千個代理，會倍增容器、資料庫、API、儲存及排程系統所承受的需求。

企業代理呈現另一種特徵。它們可以查詢記錄、呼叫內部服務、套用存取政策、序列化回應、更新工作流程狀態及寫入稽核日誌。

檢索增加索引及向量搜尋操作。模型服務則在加速器周邊增加詞元化、請求排程、批次處理、串流及快取中繼資料管理。

Arm 的評估框架將這些工作分為代理框架功能及特定使用情境工具，也把元件基準測試與端到端任務量度分開。

元件測試有助隔離處理器行為。端到端測試則顯示，更快的元件是否能帶來更快或更可靠的已完成任務。

單靠任何一種方法都不足夠。處理器可在資料庫基準測試中領先，卻未必能縮短代理的整體工作流程，尤其當模型延遲佔主導時。

端到端結果亦可掩蓋效能差距的原因。不同模型、網絡、工具或代理決策，均可能壓過底層處理器的差異。

Arm 提出可重播代理軌跡，作為連接兩種方法的一種方式。軌跡會記錄代理工作階段產生的操作，並在每個系統上執行相同序列。

這項技術減少由模型決策造成的變異，也令比較更具可重複性，因為兩枚處理器都會收到等效的工作串流。

不過，重播會移除即時系統的一部分。它衡量的是基礎設施執行預定路徑的速度，而非完整代理堆疊是否能找到更佳路徑。

這個界線解釋了為何「推理與規劃」的標籤需要審慎看待。相關測試衡量的是這些工作流程的 CPU 支援，而非機器推理的質素。

同樣的審慎態度亦適用於併發處理。如果伺服器在持續使用下回應時間崩潰，能啟動更多代理環境並不自動代表它更好。

Arm 的方法學強調在保持回應能力下完成有用工作。這種框架將吞吐量與資料中心面對的實體限制連結起來。

供電能力已成為其中一項限制。散熱容量及機架空間亦限制營運商可部署的處理器數量，無論晶片供應是否充足。

在這些情況下，逐插槽領先未必總能帶來最佳設施層面結果。如果其配套伺服器耗電多得多，即使處理器速度稍快，亦可能在機架規模下落敗。

相反，即使在指定晶片層面測試中落後，較高效率的伺服器仍可創造更大的總容量。Arm 的 MySQL 及 Milvus 結果，便在其模型中說明了這種可能性。

Arm 在 Fujitsu、Meta 及 OpenAI 支援下開發這套方法學。他們的支援顯示市場有興趣進行更具代表性的 CPU 量度，但不代表該框架已成為業界標準。

Meta 表示，生產環境代理需要更深入了解工作負載如何運用其下方的基礎設施。OpenAI 強調，編排及工具執行是需要具代表性基準測試的範疇。

Fujitsu 則將這項工作與其開發高效能 Arm 架構處理器相連結。三方觀點均支持更佳量度方式，儘管各組織同時也對 Arm 架構基礎設施抱有利益。

框架本身承認它尚未是一套完成的基準測試組合。它界定工作負載類別及量度邊界，但評分方式及更廣泛共識仍未解決。

這項區分至關重要。Arm 提出一套組織討論的方式，然後利用與該提案一致的測試，發布有利的結果。

1.99 倍結果來自密度，而非晶片勝出兩倍

Arm AGI CPU 的效能故事，更依賴模型推算部署密度，而非壓倒性的插槽層面效能。

由於每項工作負載均無法取得相同硬件，Arm 測試了兩種 AGI CPU 配置。Terminal-Bench 2 及 SWE-bench 使用一枚以 2.8 GHz 運行、配備 DDR5-7200 記憶體的 128 核心晶片。

其餘五項工作負載則使用一枚以 3.2 GHz 運行、配備 DDR5-8000 的 136 核心 AGI CPU。AMD 的比較系統使用一個配備 DDR5-6400 的 128 核心 EPYC 9755 插槽。

兩個平台均運行相同基準測試腳本，但並非運行完全相同的軟件環境。

大部分 Arm 測試使用 Ubuntu 24.04 及自訂 Linux 7.1.3 建置版本。SWE-bench 測試則使用 Ubuntu 26.04。

AMD 的主要記錄配置使用 Ubuntu 24.04 及 Linux 6.8。部分設定亦按測試而異。

軟件差異可影響編譯器行為、排程、驅動程式及應用程式效能，令把每項差距完全歸因於處理器架構變得更困難。

伺服器功耗模型帶來另一項重要區分。Signal65 及 Arm 使用額定數字，而非量度完整生產機架在負載下的表現。

額定功耗對容量規劃仍然有用。即使典型耗電量較低，營運商亦不能安裝超出機架電力及散熱設計的設備。

不過，額定功耗可與特定工作負載的耗電量有差異。系統可能在某個應用程式下遠低於額定最高值，而在另一個應用程式下接近該水平。

實際功耗亦取決於記憶體配置、儲存、網絡、散熱、電源供應器、韌體及系統管理政策。當伺服器數量決定標題數字時，這些變數便變得重要。

記憶體假設改變了報告中的優勢。Arm 的主要模型為每個硬件執行緒分配 4 GB。

AMD 的同步多執行緒為每個實體核心提供兩個硬件執行緒。Arm 的受測設計每個核心使用一個執行緒。

這項選擇令模型推算 AMD 伺服器配備約 2 TB 記憶體，而 Arm 伺服器約配備 1 TB。模型為 AMD 記憶體分配 336 瓦，為 Arm 記憶體分配 192 瓦。

Signal65 亦計算了一個按每個實體核心配置記憶體的情境。在該替代方案下，AMD 所需的記憶體功耗較低，而 Arm 的平均機架優勢則由 1.99 倍降至約 1.81 倍。

Arm 在模型中仍保有顯著領先。這一下降顯示，一項合理的容量規劃選擇可實質改變最終數字。

記憶體容量不只是基準測試的細節。部分代理部署會維持大型索引、快取、狀態儲存，或並行執行環境。

記憶體較多的伺服器，可支援較高密度但容量較低的配置無法有效承載的工作負載。因此，買家必須比較可用的系統容量，而非只看標準化吞吐量。

AMD 的 EPYC 9755 支援 128 個實體核心及 256 個執行緒。它亦屬於一個廣泛用於通用運算、資料庫、虛擬化及 AI 託管工作負載的伺服器平台。

Arm 的 AGI CPU 則針對更具體的定位。它結合高密度 Arm 核心，以及為 AI 基礎設施而設的大量記憶體頻寬和 I/O。

這種專門化並不代表任何一種架構在所有情況下都更優勝。它改變的是哪些限制條件決定較佳選擇。

面對固定功耗上限的雲端營運商，可能會優先考慮每個機架可完成的工作數量。資料庫買家則可能著重每個插槽的效能、軟件成熟度、記憶體容量或授權模式。

AI 叢集營運商可能更關心如何讓昂貴的加速器持續運作。較快的 CPU 端準備及協調可減少加速器閒置時間，但這些測試並未衡量完整的加速器支援工作流程。

因此，Arm AGI CPU 與 AMD 的比較比標題所暗示的範圍更狹窄。它比較的是經挑選、CPU 可見的工作，以及一個經模型推算的部署情境。

這並非總成本研究。已發布的結果並未提供採購成本、軟件遷移、營運支援、網絡或設施變更的完整比較。

它們亦沒有將 Arm 與每款相關的 x86 處理器比較。AMD 還有其他 EPYC 配置，而 Intel 則以 Xeon 平台參與企業及雲端部署市場競爭。

Nvidia 的 Vera 處理器提供了第二條基於 Arm 的路線。另一項 Vera 工作負載研究 顯示，在類代理工作中，Vera 相對 EPYC 9755 具備強勁的每核心表現。

該研究未有衡量功耗或整台伺服器的吞吐量。這項較窄的結果進一步說明，必須區分每核心、每插槽、每機架及端到端的說法。

AMD 亦正推廣 CPU 作為代理式 AI 系統的關鍵組成部分。其自身的 代理式 CPU 案例 強調協調、資料處理、安全及加速器支援。

真正的分歧並非 CPU 是否重要，而是買家應如何界定工作負載、將系統標準化，以及把元件測量結果轉化為部署決策。

Arm AGI CPU 效能主張未能證明甚麼

Signal65 驗證了 Arm 的紀錄及計算，但該過程並不等同於由獨立實驗室重新執行測試。

Signal65 透過遠端觀察 Arm 的測試運行。它檢視了原始日誌、結果檔案、腳本及配置紀錄。

一個獨立審核團隊以其自行編寫的程式重建計算。根據分析，該團隊在 0.5% 範圍內重現了全部七項結果。

這項工作比未經審核的供應商圖表提供更多檢視。它會核對報告中的比率是否可由擷取結果及機架模型推導得出。

不過，分析由 Arm 委託，測試系統亦由 Arm 提供。Signal65 並未採購同等硬件，並在自己的實驗室獨立重複整個實驗。

審核亦面對配置資料缺口。Signal65 只可獨立確認一套用於獨立沙盒比較的 EPYC 9965 系統之 BIOS 及記憶體設定。

它無法獨立驗證 AGI CPU 及 EPYC 9755 系統的每項 BIOS 和記憶體設定。這限制了對較小效能差異來源的確定性。

這項分別在結果接近時最為重要。97% 的 fastText 領先優勢不太可能因細微設定變更而消失，但 5% 或 9% 的差距值得更仔細審視。

算術平均值亦帶來另一限制。平均標準化比率會令每個工作負載擁有相同影響力，無論真實部署執行該操作的頻率如何。

一家公司可能持續執行資料庫交易，卻甚少訓練 fastText 模型。另一家公司則可能運行數以千計的編碼沙盒，而交易基礎設施很少。

因此，已發布的 1.99 倍平均值並不能預測每位買家的容量增益。每個營運商都需要按自身執行模式加權的工作負載結果。

測試套件亦混合了成熟應用程式與新興代理替代指標。MySQL 和 NGINX 歷史悠久，而以重播為基礎的代理基準測試仍相對較新。

這種組合有用，因為代理會呼叫熟悉的基礎設施。但它亦可受質疑，因為所選組合決定了哪些項目獲賦予相同權重。

原始報道指出，結果並未確立代理式 AI 的整體領先地位。處理器、工作負載、配置及 Arm 制定的方法學，共同界定其範圍。

vLLM 結果未包括完整的 GPU 推理。推理及規劃類別亦未測試模型是否能更準確地推理。

機架計算未包括直接測量的 24 千瓦部署。它是在為機架基礎設施預留容量後，根據額定系統功耗推算伺服器數量。

價格並非公開比較的一部分。應用程式授權、遷移工作、人員培訓或與既有部署工具的相容性亦不在其中。

這些遺漏不會令基準測試失效。它們界定了結果能支持甚麼結論。

Arm 可以合理地表示，在有文件記錄的假設下，其受測系統產生了較高的模型化機架吞吐量。但它不能將這項說法轉化為代理式 AI 的普遍領先地位。

AMD 可以合理地指出兩項每晶片勝出結果，以及記憶體假設的影響。這些觀點不會抹去 Arm 在已發布模型中的密度優勢。

最具建設性的解讀介乎這兩種立場之間。Arm 提出了一項可信的假設，值得在生產硬件上進行更廣泛、獨立的測試。

該假設是，機架功耗及持續代理工具吞吐量，應比傳統插槽比較佔有更大比重。1.99 倍的結果是支持此論點的早期個案研究。

對買家而言，該方法的重要性可能與目前勝方相若。一套共同而透明的測試套件，可讓營運商在相同界線下比較 Arm、AMD、Intel 及 Nvidia。

這類測試套件需要測量系統功耗、相等的軟件、已記錄的韌體、工作負載層級的權重，以及可重複的端到端驗證。

它亦應報告多個角度，而非把所有結果壓縮為一個比率。每核心、每插槽、每瓦、每機架及每美元的結果，回答的是不同營運問題。

任務成功率及延遲應與基礎設施吞吐量分開處理。若模型或網絡延遲佔主導，即使系統完成較多重播操作，亦未必能帶來更佳的代理成果。

三個訊號將決定 Arm 的機架主張能否成立

生產硬件、更廣泛的競爭對手測試及客戶部署，將決定 Arm 的模型化優勢能否成為營運優勢。

第一個訊號，是在最終量產 AGI CPU 系統上進行的獨立測試。Signal65 表示，目前結果反映早期系統，並計劃進行更廣泛的後續工作。

令人信服的後續測試，應在每項工作負載期間測量完整伺服器功耗。它應採用可比較的作業系統、編譯器設定、記憶體容量、韌體及散熱條件。

最有力的測試會部署多台伺服器，並以實驗方式驗證機架計算。這將顯示密度、網絡、散熱及持續使用率是否如模型所示般運作。

若量產測試維持接近 1.99 倍平均值，Arm 的立場將大幅增強。若顯著下跌，則顯示額定功耗模型高估了可部署容量。

第二個訊號，是與更廣泛處理器陣容的比較。AMD EPYC 9755 很重要，但一款 x86 處理器不能代表整個市場。

AMD 較新及核心數較高的選項，可能改變密度計算。Intel 在網頁服務、資料庫、檢索及工具執行方面亦可能有不同表現。

Nvidia Vera 亦值得直接比較，因為它使用 Arm 相容核心，卻透過不同系統設計瞄準 AI 基礎設施。其加速器連接能力提供另一條部署路徑。

更廣泛的測試應使用相同工作負載及透明評分。供應商特定的基準測試選擇，只會令買家比較互不相容的主張。

如果 Arm 在多個競爭對手之間仍保有機架優勢，其方法學在一對有利比較以外將更具可信度。若領先地位大幅波動，工作負載選擇將成為更重要的故事。

第三個訊號，是附有披露營運數據的真實客戶採用案例。Arm 已將 AGI CPU 定位給超大規模雲端服務商及其他大型 AI 基礎設施營運商。

公開部署應報告遷移前後的已完成工作、延遲、功耗及使用率。它亦應說明為配合 Arm 架構而需要作出的任何軟件變更。

營運證據可揭示基準測試未能發現的問題，包括依賴項相容性、可觀察性、容器映像可用性、工作負載配置、故障復原及管理員工作量。

當客戶結果涵蓋持續的生產流量時，其重要性最高。短暫示範無法重現數以千計持續運行代理的需求模式。

2026 年 10 月的 Arm 基準測試公告清楚說明了在機架規模評估基礎設施的理由。它亦表示，隨着代理架構改變，方法學必須演進。

這項承認是恰當的。代理式軟件仍在快速變動，今天具代表性的工具序列，明天可能成為過時的替代指標。

基礎設施團隊應把 Arm AGI CPU 基準測試視為檢視自身瓶頸的理由，而非普遍適用的採購裁決。

首先追蹤代理將時間花在哪裏。把模型推理與檢索、沙盒啟動、工具執行、資料庫存取、協調及驗證分開。

然後將這些階段對應至實際限制。叢集可能面對功耗上限、記憶體容量限制、加速器閒置，或無法接受的任務延遲。

這個過程可將廣泛的供應商主張轉化為可驗證的本地問題。它亦避免以單一基準平均值取代針對工作負載的容量規劃。

評估代理基礎設施的工程團隊，可將基準測試筆記、配置紀錄及部署發現保存在可搜尋知識庫中。當軟件或硬件變更令先前比較失效時，這些紀錄將變得寶貴。

Arm 已確立開場立場：其處理器在七項選定工作負載中，平均每晶片達 1.20 倍、每個模型化機架達 1.99 倍。AMD 仍贏得兩項晶片層級測試，而多項假設塑造了較大的比率。

下一個決定將交由獨立測試人員及基建採購方作出。實測的生產機架能否重現 Arm 的密度優勢，還是實際工作負載會縮窄差距？