Apple M5 Ultra 基準測試顯示:軟件為何改變 DGX Spark 的比較結果
Apple M5 Ultra 基準測試顯示,其與 Nvidia DGX Spark 平台之間的結果有所分歧:勝方會隨模型及所用軟件而改變。Tom’s Hardware 以一部 256GB Mac Studio,分別對比一套規格相近的 Nvidia 系統及一套雙機配置。其結果挑戰了僅憑記憶體容量或晶片規格,便能判定本地 AI 比較結果的看法。
核心競爭在於 Apple 的硬件餘裕,以及 Nvidia 可用的軟件路徑。本地推論即在自己的電腦上運行已訓練模型,兩者同樣重要。工作站可能容得下模型,卻缺乏足以高效提供服務的軟件配置。
對開發者及小型團隊而言,這項分別改變了採購問題。真正有用的比較,是針對目前可供其工作負載使用的完整配置。Apple 較大的記憶體選項帶來機會,而 Nvidia 的競爭方案則令 Apple 的模型支援及執行軟件面對更大壓力。
Apple M5 Ultra 基準測試在不同工作負載下得出不同勝方
Tom’s Hardware 的本地 AI 基準測試將較小模型的代理工作負載,與較大型模型實驗分開比較。在前者中,兩個平台均透過 llama.cpp——一套執行語言模型的軟件——運行 Qwen 3.8 27B。兩者均啟用多 token 預測,藉提出額外輸出 token 加快生成速度。
根據該刊物報道,Mac 完成該工作負載所需時間不足與一套可媲美 DGX Spark 的 Dell GB10 系統相比的一半,並且任務耗能約少 16%。
較大型模型的比較則涉及雙機 Nvidia 配置。DeepSeek V4.1 Flash 1017 較適合 Nvidia 叢集的服務配置。至於 GLM 5.3 Flash,將 Mac 改為使用 TensorFold 配置後,其效能大幅提升。
報道的結果顯示,這是一項取決於工作負載的比較,而軟件會影響哪個平台領先。 Tom’s Hardware 並未提供這些較大型模型已完成的代理測試,因此難以就整體任務效能作出結論。這些數據均為該刊物的測量結果;我們並未進行獨立硬件測試。
這項分別很重要,因為工作站基準測試往往將多個問題包裝成單一分數。機器能否載入所要求的模型?處理輸入需時多久?生成答案有多快?每一項問題都描述了用戶體驗的不同部分。
一套能迅速回答短提示的系統,在接收大量文件集合時仍可能令人失望。反過來說,初始處理較慢的系統,在長篇輸出期間也可能感覺反應靈敏。宣稱存在整體勝方的標題,會抹去這些差異。
這項分別也改變了讀者應如何理解 Nvidia 的比較。單機與雙機配置代表不同的採購及營運選擇。若將兩者結果視作可互換,便會掩蓋額外設備及管理工作。
同樣的審慎態度亦適用於 Apple 的配置。來自受測 Mac 的結果,不能自動代表所有採用同一晶片家族的 Mac Studio。可用記憶體及軟件環境,仍屬受測產品的一部分。
重要的發展,是從最初的硬件印象,轉向針對工作負載的證據。買家現在有更明確理由,在選擇桌面電腦前先研究執行軟件。這令維護模型支援、部署配方及基準測試披露的人員承受更大壓力。
服務配方是指運行某項工作負載所需的模型檔案、軟件及設定之文件化組合。對買家而言,其可用性是產品實際能力的一部分。缺乏配方時,亮眼規格只會將更多實作工作留給擁有人。
記憶體餘裕令 Apple 具競爭力,亦提高軟件的重要性
Apple 列出的 M5 Ultra 配置配備 36 核心中央處理器,負責一般運算工作;同時搭配 80 核心圖像處理器,負責平行運算。公司標示其記憶體頻寬為 1.2TB/s,即資料可在記憶體系統中傳輸的速率。
其Mac Studio 規格亦列出,該配置可選配 256GB 及 512GB 統一記憶體。統一記憶體是供系統處理器共用的記憶體池。這些規格描述容量及硬件設計,並不代表應用程式效能。
Apple 的記憶體選項擴闊了買家可考慮的配置範圍,亦令可用的模型支援變得更重要。 實際問題在於,受支援的執行路徑能否將這些容量轉化為可接受的回應時間。
設想一個正在評估私有文件助理的工程團隊。其工作負載包括技術規格、事故報告及原始碼。團隊需要足夠空間容納所選模型,以及處理請求期間所需的工作資料。
在這種情況下,記憶體容量是入場門檻。若某個配置無法容納預定工作負載,在速度尚未成為討論前便已失敗。然而,一旦工作負載能夠放入系統,採購決定便會轉向回應能力、答案品質及可靠性。
這項分別為 Apple 周邊的開發者生態系統帶來壓力。更多記憶體讓買家有理由嘗試要求更高的工作負載。這些嘗試會暴露缺失的支援及低效的執行路徑,而較小型的示範可能永遠不會遇到這些問題。
這亦涉及期望落差。買家看到大容量記憶體選項,自然會期望可有效運用。可用容量與可靠應用程式之間的距離,便成為整合責任。
該責任可能由買家、應用程式供應商或開源維護者承擔。每種安排都有不同影響。愛好者或許歡迎實驗,但部署共用助理的辦公室則需要可預測的運作方式,以及清晰的復原路徑。
記憶體餘裕的價值,也不只在於選擇最大可用模型。團隊可能為較長輸入、額外應用程式元件或同步工作預留記憶體。合適分配取決於實際正在建立的系統。
因此,填滿可用記憶體並非完整的基準測試目標。滿載的機器可證明可行性,卻不代表實用性。讀者需要知道該配置能完成甚麼任務,以及能否持續穩定地完成。
對 Apple 而言,競爭機會相當具體。具備充裕記憶體的桌面電腦,可吸引工作負載超出較小配置能力的開發者。要留住這些開發者,便需要為他們實際選用的模型提供可靠執行路徑。
對買家而言,含義同樣具體。容量應以具明確用途的要求,納入候選清單。當有證據顯示目標應用程式可在該配置上運作時,它才具說服力。
Mac Studio 與 DGX Spark 的關鍵在於完整服務配置
Nvidia 的DGX Spark 硬件文件列出 128GB 統一系統記憶體及 273GB/s 記憶體頻寬。文件描述其整合式 Grace Blackwell 設計,旨在用於桌面 AI 開發。這些公開規格建立的是硬件基線,而非通用效能排名。
因此,在任何軟件運行前,這項比較已涉及不同硬件選擇。Apple 提供更大容量的記憶體配置,而 Nvidia 系統則帶有自身的執行環境。雙機 Nvidia 配置增加了另一項架構選擇,值得獨立評估。
將 Mac Studio 與 DGX Spark 視為可運作部署方案的比較,最具參考價值。 買家需要了解每套完整配置在相同實際限制下能提供甚麼。
在不同平台上比較相同軟件,有合理理由。固定執行引擎可減少一項變數,並有助揭示同一應用程式在不同硬件上的表現。
同樣地,比較每個平台上可用的最佳配置亦有合理理由。該方法回答另一個問題:擁有人使用目前可得的軟件,究竟能取得甚麼?當各平台支援不同的最佳化路徑時,這更貼近實際採購情況。
兩種方法都不應掩飾其目的。共用引擎的比較,不能確立每個平台可達到的最高效能;最佳可用配置的比較,則不能隔離硬件本身的貢獻。
對維護既有應用程式的開發者而言,軟件延續性可能是決定性因素。在保留應用程式的同時更換機器,可能比改變整個執行環境更容易。若採用更快的替代方案需要大量應用程式工作,其吸引力便會下降。
對新項目而言,這項限制可能較弱。團隊可更自由地同時選擇平台與服務軟件。其評估應反映這種自由,而非沿用無關應用程式的假設。
Mac Studio 與 DGX Spark 的討論,也需要區分個人工作站與共用服務。獨自工作的人可能較重視互動回應性及簡易操作;團隊則需要檢視服務不可用時的資源爭用、請求處理及復原問題。
即使雙機配置的效能吸引,亦會帶來營運問題。擁有人必須考慮配置一致性及兩部機器之間的關係。這些工作應與吞吐量一併納入部署評估。
Apple 的方案也有自身問題。依賴特定執行路徑的買家,需要確信更新不會破壞功能。當另一位用戶毋須經歷大量疑難排解便能重現成果,成功示範便更有價值。
這令軟件支援成為實際的競爭資產。它減少了從收到硬件到取得可用應用程式之間的不確定性。買家應透過實際範例、已記錄版本及可重複行為,評估這種不確定性的降低程度。
競爭壓力雙向存在。Apple 需要能讓其硬件選項在更多工作負載中發揮作用的軟件。Nvidia 則需要完整部署方案,以證明其營運複雜度對目標客戶而言值得。
更快的生成速度並不能判定整體任務效能
Apple M5 Ultra 基準測試亦揭示一個反覆出現的量測問題:讀者經常只看到輸出速度數字,卻看不到處理前後的等待時間。當應用程式花費大量時間處理輸入資料時,這種遺漏尤其重要。
Prefill 是處理模型輸入的階段。Decoding 是生成模型輸出的階段。Token 即模型處理的文字單位,為量度這兩個階段提供共同方式。
部署的評價應以產出有用結果所需的時間為準。 生成速度會影響這個結果,但使用者體驗到的是其前後的一切。
設想一名工程助理收到有關陌生故障的問題。應用程式收集相關文件並傳送給模型。使用者之後等待處理、答案,以及工具傳回額外資訊後可能提出的另一個請求。
較快的輸出串流有助於回答期間的體驗。對於大部分時間都花在串流開始前的請求,幫助則較少。這種平衡會隨輸入、輸出及周邊應用程式行為而改變。
這個區別對代理工作負載尤其相關,因為軟件會執行一連串模型請求及外部操作。針對獨立回應的基準測試無法完整描述這個流程。評估需要一個貼近實際應用程式的工作負載。
AgentPerf-Local benchmark 提供了一個框架,用於衡量本機服務在代理工作負載下的效能。它的價值在於將工作負載明確化。讀者仍需區分服務效能與代理是否作出正確決策。
一個系統可以快速執行既定的請求序列,卻在另一個實際應用程式中產生不合適的答案。同樣地,即使模型能力出色,若服務環境帶來過多等待時間,仍會讓人感到效率低落。品質和執行速度各自需要證據支持。
對買家而言,有意義的單位往往是一項已完成的操作。助理有否找出相關事故?有否產出可用的程式碼變更?其答案能否經得起根據底層文件進行的審核?
這些問題並不會消除較底層的測量指標,而是賦予它們目的。輸入處理時間有助解釋延遲,而生成速度有助解釋答案輸出的節奏。
兩者之間的關係亦會影響應用程式設計。重複傳送未變更的材料,與每次處理全新輸入,是不同的工作負載。基準測試應披露它代表的是哪種情況。
併發量,即同時運行的請求數目,帶來另一個區別。個別使用者感到舒適的體驗,並不代表可為團隊提供可接受的服務。共用部署需要在預期需求下提供證據。
這正是目前比較對硬件愛好者以外的人士具價值之處。它鼓勵應用程式擁有人追問:其工作負載中,究竟是哪一部分造成等待。答案決定哪項基準結果值得關注。
它亦可防止從孤立圖表得出誤導性推論。生成吞吐量領先可以支持有關該項測量的說法。要將其延伸至完整代理效能,則需要額外測試。
量化與缺失支援令結論仍須附帶條件
最明顯的不確定性,在於每個受測配置是否提供可比較的實用性。量化會以較少位元儲存模型數值,改變執行時採用的表示方式。其後果需要連同任何記憶體節省一併評估。
能放得下且回應迅速的模型,仍需要產出可接受的答案。 當輸出仍適合預定工作時,效能測量才會成為採購證據。
當平台使用不同的模型檔案或執行路徑時,這便構成艱難的比較。這些差異在實際部署中完全可能合理,同時亦令結果更難歸因於底層晶片。
因此,買家應區分可行性與等效性。可行性問的是某個配置能否運行;等效性問的是受比較的配置是否滿足足夠相似的要求,從而支持採購結論。
對文件助理而言,這些要求包括準確引用及忠實處理來源材料。對編程應用程式而言,則包括可用的變更及圍繞工具的恰當行為。單憑流暢的答案,並不能判定任何一種情況。
同樣的審視亦適用於加速功能。llama.cpp 文件描述了推測解碼,即預測未來 token,並透過主模型加以檢查。可用實作各有不同,因此確切配置與任何量得的效益都有關。
這個機制說明了為何軟件可用性會影響硬件價值。一個配置上的實用加速路徑,不能假定在另一個配置上同樣可用。採購比較關乎的是針對預定工作負載而存在的實作。
記憶體使用量亦不止於儲存的模型。保留中間注意力資料的鍵值快取,是執行的另一部分。輸入及軟件設定會影響圍繞它的工作配置。
MLX-LM 文件 說明了快取大小、提示重用及輸入處理步驟的控制方式。MLX 是 Apple silicon 的陣列運算框架。其文件清楚指出,這些控制涉及記憶體、速度及品質方面的考量。
這些能力提供了有用的背景,而非對某個特定基準配置的證明。買家仍需確認所選引擎使用哪些功能。不同專案採用相似術語,並不保證行為完全相同。
維護方面亦存在進一步不確定性。經最佳化的配置可能依賴某個特定軟件版本。擁有人須先驗證後續更新,才能假定其行為仍然合適。
對業餘使用者而言,管理這種不確定性或許可以接受。對企業而言,這會成為服務擁有權的一部分。必須有人負責維持可正常運作的配置,並調查效能退化。
知識工作者面對相關界線。本機模型執行本身並不能說明應用程式如何收集、儲存或分享資訊。周邊工作流程需要另行審查。
計劃建立文件助理的團隊,可把可搜尋知識庫作為獨立工作流程參考。這篇文章不應被解讀為有關 remio 與任一受測配置相容性的證據。
附帶條件的結論正是由這些區別而來。硬件可提供容量及運算資源,而應用程式仍取決於受支援的執行方式及可接受的輸出。在把基準領先視為部署優勢前,買家需要整條鏈路上的證據。
下一輪比較需要更廣泛支援及可重複的應用程式
Apple M5 Ultra 基準測試建立了一個有用起點,同時為未來數月留下具體證據缺口。接下來值得關注的發展包括模型支援、部署可重現性及完整應用程式行為。
最有力的後續證據,會把已記錄的配置連結至可重複且有用的工作負載。 另一項孤立速度結果可以增加資訊,但仍無法解答多個採購問題。
首先,留意可運作的 Apple 執行路徑,是否擴大了具備文件化效能的大型模型範圍。有意義的訊號是包含可識別模型檔案及軟件版本的可重現配置。相較於一個支援公告,可運作的例子更具資訊價值。
若這些配置提供可接受的品質及回應速度,將可加強 Apple 的定位。它們會顯示買家能運用更多可用的硬件餘裕。若持續存在缺口,則會保留那些依賴特定模型客戶的不確定性。
這個訊號亦需要廣度。一個成功配置能針對該模型及工作負載證明有價值的事。來自更多應用程式的證據,才能支持對平台作出更廣泛的結論。
其次,留意可重現的 Nvidia 叢集部署,是否清楚說明營運要求。有用的證據包括完整設備安排、軟件環境,以及重複使用期間的行為。買家需要知道自己實際要維護甚麼。
若這些部署更易重現,Nvidia 的方案將在經驗豐富的實驗者以外,獲得更大的實際吸引力。若它們仍難以維護,原始速度對小型團隊的重要性便會降低。管理是產品體驗的一部分。
這個訊號應包括更新及故障的後果。在示範期間表現良好的部署,仍需要清晰易懂的復原程序。在日常運作中具備可重複性,會加強採購理由。
第三,留意同時保留效能與輸出要求的完整應用程式比較。可信的評估應說明工作內容、成功準則及周邊應用程式配置,並清楚表明哪些差異是刻意設計。
這類證據會檢驗目前的服務結果,是否轉化為有用的已完成工作。視乎應用程式而定,它可加強任何一個平台的定位。它亦會揭示硬件速度對最終結果影響很小的情況。
目前,可辯護的結論是明確的。Apple 擁有值得考慮、適合高要求本機工作負載的硬件選項。目前的證據亦顯示,評估這些選項與 Nvidia 替代方案時,軟件準備程度是不可或缺的一環。
在根據 Apple M5 Ultra 基準測試採取行動前,請先寫下你需要運行的應用程式,以及甚麼結果才算成功。識別模型、預期輸入、可接受等待時間及輸出要求。要求以符合這些需要的已記錄配置進行示範。除了觀看答案串流外,亦應包括重複請求及周邊應用程式步驟。若供多人共用,請納入團隊在正常工作期間預期的需求。把配置與結果一併保存,讓另一人可檢視比較。然後評估系統今天是否符合要求。哪個可用設定能夠反覆完成你的工作,提供你可信的答案,並具備你能承擔的營運負擔?



