top of page

Apple M5 Ultra 基准测试显示:软件为何改变 DGX Spark 对比结论

4天前
讀畢需時 12 分鐘

Apple M5 Ultra 基准测试显示,其与 Nvidia DGX Spark 平台的较量呈现分化结果:胜者会随模型及其软件而变化。Tom’s Hardware 测试了一台配备 256GB 内存的 Mac Studio,并将其与一台可比的 Nvidia 单机系统及一套双机配置进行了对比。其发现挑战了这样一种观点:内存容量或芯片规格能够决定本地 AI 对比的结果。

核心较量在于 Apple 的硬件余量与 Nvidia 可用的软件路径。本地推理,即在自己的设备上运行已训练模型的过程,依赖两者。一台工作站或许能容纳某个模型,却可能缺少高效提供服务所需的软件配置。

对开发者和小型团队而言,这一区别改变了采购问题。真正有价值的比较,是围绕当下可用于其工作负载的完整配置展开。Apple 更大的内存选项创造了机会,而 Nvidia 的竞争路径则让 Apple 在模型支持和执行软件方面面临压力。

Apple M5 Ultra 基准测试在不同工作负载中得出不同胜者

Tom’s Hardware 的本地 AI 基准测试将较小模型的代理工作负载与较大模型实验区分开来。在前者中,两个平台均通过 llama.cpp——一种执行语言模型的软件——运行 Qwen 3.8 27B。两者都启用了多 token 预测,该功能会通过预先提出额外输出 token 来加速生成。

据该媒体报道,Mac 完成这一工作负载的时间不到一台与 DGX Spark 相当的 Dell GB10 系统的一半。其任务能耗也低约 16%。

较大模型的对比涉及一套双机 Nvidia 配置。DeepSeek V4.1 Flash 1017 更适合 Nvidia 集群的服务配置。对于 GLM 5.3 Flash,将 Mac 切换至 TensorFold 配置后,其性能显著提升。

报道中的结果表明,这是一项依工作负载而定的比较,软件会影响哪个平台领先。 Tom’s Hardware 没有提供这些较大模型已完成的代理测试,因此难以就整体任务性能得出结论。这些数据来自该媒体的测量;我们没有进行独立硬件测试。

这一差别很重要,因为一项工作站基准测试包含了多个被单一分数掩盖的问题。设备能否加载所需模型?处理输入需要多久?生成答案有多快?每个问题都描述了用户体验的不同部分。

一套能快速回答简短提示词的系统,在接收大量文档集合时仍可能令人失望。反过来,初始处理较慢的系统,在长篇输出期间可能依然感觉响应迅速。一则宣布总体胜者的标题会抹去这些差异。

这一区别也改变了读者理解 Nvidia 对比结果的方式。单机系统和双机配置代表不同的采购和运维选择。若将它们的结果视为可以互换,就会掩盖额外设备和管理工作。

同样的谨慎也适用于 Apple 的配置。测试中 Mac 的结果不能自动代表所有搭载同一芯片系列的 Mac Studio。可用内存和软件环境仍是被测产品的一部分。

重要的事件,是从最初的硬件印象转向以工作负载为依据的证据。买家现在有了更明确的理由,在选择桌面设备前考察执行软件。这会将压力转向维护模型支持、部署方案和基准测试披露的人员。

服务方案是运行某一工作负载所需模型文件、软件和设置的书面组合。对买家而言,其可用性是产品实际能力的一部分。没有它,再亮眼的规格也会将更多实施工作留给设备所有者。

内存余量让 Apple 具备竞争力,也提高了软件要求

Apple 列出了一种配备 36 核中央处理器的 M5 Ultra 配置,用于处理通用计算工作。其搭配 80 核图形处理器,用于处理并行计算。该公司标称内存带宽为 1.2TB/s,即数据在内存系统中移动的速率。

其Mac Studio 规格还列出了该配置的 256GB 和 512GB 统一内存选项。统一内存是可供系统处理器共享使用的内存池。这些规格描述的是容量和硬件设计;它们并不能证明应用性能。

Apple 的内存选项扩大了买家可考虑的配置范围,也提高了可用模型支持的重要性。 实际问题变成:受支持的执行路径能否将这些容量转化为可接受的响应时间。

设想一个正在评估私有文档助手的工程团队。其工作负载包含技术规格、事故报告和源代码。团队需要足够空间容纳所选模型及请求处理期间所需的工作数据。

在这种情况下,内存容量是准入条件。无法容纳目标工作负载的配置,在速度成为讨论重点之前就已失败。然而,一旦工作负载能够装入,采购决策就会转向响应速度、答案质量和可靠性。

这种区别给 Apple 周边的开发者生态带来压力。更多内存让买家有理由尝试要求更高的工作负载。这些尝试会暴露缺失的支持和低效的执行路径,而较小规模的演示可能永远不会遇到这些问题。

其中还存在预期问题。买家看到大容量内存选项,自然会希望高效地使用它。可用容量与可靠应用之间的距离,成为一项集成责任。

这项责任可能落在采购方、应用供应商或开源维护者身上。每种安排都有不同影响。爱好者可能欢迎试验,而部署共享助手的办公室则需要可预测的运行方式和明确的恢复路径。

内存余量的价值也不止于选择可用的最大模型。团队可能会将其预留给更长的输入、额外应用组件或并行工作。适当的分配取决于实际构建的系统。

这也是为什么填满可用内存并不是完整的基准测试目标。一台被完全占用的设备可以证明可行性,却不能证明实用性。读者需要知道该配置能够完成什么任务,以及它完成任务的一致性如何。

对 Apple 而言,竞争机会十分具体。拥有充足内存的桌面设备能够吸引工作负载超出较小配置能力的开发者。要留住这些开发者,就需要为他们实际选择的模型提供可靠的执行路径。

对买家而言,含义同样具体。容量应当作为带有明确目的的需求进入候选名单。当有证据表明目标应用能在该配置中正常运行时,它才更具说服力。

Mac Studio 与 DGX Spark 的胜负取决于完整的服务配置

Nvidia 的DGX Spark 硬件文档标明,其配备 128GB 统一系统内存和 273GB/s 内存带宽。文档描述了一种面向桌面 AI 开发的集成式 Grace Blackwell 设计。这些公开规格确立的是硬件基线,而非通用性能排名。

因此,在任何软件运行之前,这一比较就已经涉及不同的硬件选择。Apple 提供更大的内存配置,而 Nvidia 系统拥有自己的执行环境。双机 Nvidia 配置则增加了另一项值得单独评估的架构选择。

将 Mac Studio 与 DGX Spark 视为可用部署方案的比较,最具参考价值。 买家需要了解每套完整配置在相同实际约束下能提供什么。

在不同平台上比较相同软件有合理理由。固定执行引擎可减少一种变量来源,并有助于揭示同一应用在不同硬件上的表现。

同样,也有合理理由比较每个平台上的最佳可用配置。这种方法回答的是另一个问题:使用当前可用的软件,设备所有者能获得什么?当平台支持不同优化路径时,它更能反映采购现实。

两种方法都不应掩盖自己的目的。共享引擎的比较无法证明各平台所能达到的最高性能。最佳可用配置的比较则无法孤立硬件本身的贡献。

对于维护现有应用的开发者来说,软件连续性可能至关重要。在保留应用的同时更换设备,可能比更换整个执行环境更容易。如果采用更快的替代方案需要大量应用改造,其吸引力就会降低。

对于新项目,这一约束可能较弱。团队能更自由地同时选择平台和服务软件。其评估应反映这种自由,而非继承无关应用的假设。

Mac Studio 与 DGX Spark 的讨论还需要区分个人工作站和共享服务。独自工作的人可能优先考虑交互响应速度和操作简便性。团队则需要考察服务不可用时的资源争用、请求处理和恢复能力。

即使双机配置的性能很吸引人,它也会带来运维问题。所有者必须考虑配置一致性以及设备之间的关系。这项工作应与吞吐量一起纳入部署评估。

Apple 的方案也存在自身问题。依赖特定执行路径的买家,需要确信更新不会破坏功能。当其他用户无需大量排障即可复现时,一次成功演示会更有价值。

这使软件支持成为实际的竞争资产。它降低了从收到硬件到获得可用应用之间的不确定性。买家应通过可运行示例、记录在案的版本和可重复的行为来评估这种降低程度。

竞争压力双向存在。Apple 需要软件让其硬件选项能够在更多工作负载中发挥作用。Nvidia 则需要完整部署方案,以证明其运维复杂性对目标客户是合理的。

更快的生成速度无法决定整体任务性能

Apple M5 Ultra 基准测试还暴露了一个反复出现的测量问题:读者常常只看到输出速度数字,却看不到处理前后等待时间。当应用花费大量时间处理输入材料时,这一遗漏十分重要。

Prefill 是处理模型输入的阶段。Decoding 是生成模型输出的阶段。Token,即模型处理的文本单位,为衡量这两个阶段提供了通用方式。

部署应以产出有用结果所需的时间来衡量。生成速度有助于改善这一结果,但用户会感受到生成前后发生的一切。

设想一位工程助手收到有关陌生故障的问题。应用程序收集相关文档并将其发送给模型。随后,用户需要等待处理、获得回答,以及在工具返回额外信息后可能发起的下一次请求。

在回答过程中,更快的输出流会有所帮助。但如果一次请求的大部分时间消耗在输出流开始之前,这种帮助就有限。随着输入、输出和周边应用行为的不同,二者的权重也会变化。

这一差异对于智能体工作负载尤为相关,因为软件会执行一连串模型请求和外部操作。对单次孤立响应的基准测试无法完整描述这一过程。评估需要采用接近实际应用的工作负载。

AgentPerf-Local benchmark 为衡量本地服务在智能体工作负载下的性能提供了框架。它的价值在于将工作负载明确化。读者仍需区分服务性能与智能体是否做出正确决策。

一个系统可以迅速执行预设的请求序列,却在另一款实际应用中给出不合适的答案。同样,能力出色的模型若因服务环境引入过多等待,也可能让人感觉效率低下。质量与执行速度需要各自独立的证据。

对买家而言,有意义的单位往往是一次完成的操作。助手是否识别出相关事件?是否产出了可用的代码修改?其回答是否经得起依据原始文档的审查?

这些问题并不会否定底层指标的价值,而是赋予这些指标明确的用途。输入处理时间有助于解释延迟,而生成速度有助于解释回答输出的节奏。

它们之间的关系也会影响应用设计。反复发送未变化的内容,与每次处理全新输入,构成不同的工作负载。基准测试应披露其代表的是哪种情形。

并发性,即同时运行的请求数量,又带来了另一层差异。单个用户感到舒适的体验,并不意味着对团队而言服务水平可以接受。共享部署需要在预期需求下提供证据。

这正是当前比较的价值超出硬件爱好者圈层的地方。它促使应用所有者追问,究竟是工作负载的哪个部分造成了等待。答案决定了哪项基准结果值得关注。

它也避免了从孤立图表中得出误导性推论。生成吞吐量领先可以支撑关于该指标的主张;要将其延伸为完整的智能体性能,则需要额外测试。

量化与支持缺失使结论仍具条件性

最突出的不确定性在于:每个受测配置是否提供了可比较的实用价值。量化通过使用更少的比特存储模型数值,会改变执行期间使用的表示方式。除节省内存外,其后果也需要评估。

能够装入内存并快速响应的模型,仍必须产出可接受的答案。只有当输出仍适用于目标工作时,性能测量才能成为采购依据。

当平台采用不同的模型文件或执行路径时,比较会变得困难。这些差异在实际部署中完全可能合理,但也使得结果更难归因于底层芯片。

因此,买家应将可行性与等效性分开看待。可行性关注某个配置能否运行;等效性关注被比较的配置是否满足足够相似的要求,从而支持采购结论。

对于文档助手,这些要求包括准确引用和忠实处理源材料。对于编程应用,它们包括可用的修改,以及围绕工具的恰当行为。仅有流畅的回答无法证明任一情况。

同样的审视也适用于加速功能。llama.cpp 文档介绍了推测式解码,该方法先预测未来 token,再通过主模型进行验证。可用实现各不相同,因此具体配置与任何测得的收益都密切相关。

这一机制说明,软件可用性为何会影响硬件价值。一种配置上的有效加速路径,不能被假定在另一种配置上同样可用。采购比较针对的是为目标工作负载实际存在的实现。

内存使用也不止于已存储的模型。保留中间注意力数据的键值缓存也是执行过程的一部分。输入和软件设置会影响其周边的实际工作配置。

MLX-LM documentation 介绍了控制缓存大小、提示词复用和输入处理步骤的选项。MLX 是面向 Apple silicon 的数组计算框架。其文档明确表明,这些控制项涉及内存、速度和质量方面的考量。

这些能力提供了有用背景,而非对某一特定基准配置的证明。买家仍需要确认所选引擎使用了哪些功能。不同项目中的相似术语并不保证行为完全一致。

维护方面还存在进一步的不确定性。经过优化的配置可能依赖特定的软件版本。后续更新需要验证,所有者才能认为其行为仍然适用。

对业余爱好者来说,管理这种不确定性或许可以接受;对企业来说,它则成为服务所有权的一部分。必须有人负责维持可用配置,并调查性能回退问题。

知识工作者也面临相关边界。本地模型执行本身并不能说明应用如何收集、存储或共享信息。周边工作流程需要单独审查。

计划构建文档助手的团队,可以将可搜索知识库作为独立的工作流程参考。该阅读材料不应被理解为 remio 与任一受测配置兼容性的证据。

这种带条件的结论正是由上述差异得出的。硬件可以提供容量和计算资源,而应用仍依赖受支持的执行方式和可接受的输出。在将基准领先视为部署优势之前,买家需要获得贯穿整条链路的证据。

下一轮比较需要更广泛的支持与可复现的应用

Apple M5 Ultra 基准测试提供了一个有用起点,同时也留下了未来数月需要补足的具体证据空白。下一步值得关注的发展包括模型支持、部署可复现性和完整应用行为。

最有力的后续证据,将把文档化配置与可复现且有用的工作负载联系起来。又一项孤立的速度结果可以增加信息,但仍无法解决若干采购问题。

首先,关注可用的 Apple 执行路径,它们是否能扩展具备文档化性能的大型模型范围。有意义的信号是可复现的配置,且模型文件和软件版本可明确识别。与可运行示例相比,支持公告提供的信息较少。

如果这些配置能够提供可接受的质量和响应速度,它们将增强 Apple 的竞争地位。这将表明买家可以利用更多可用的硬件余量。如果缺口持续存在,对于已确定使用特定模型的客户而言,不确定性仍会保留。

这一信号也需要具备广度。成功的配置能够说明该模型和工作负载的有价值信息;来自更多应用的证据,才能支撑关于该平台更广泛的结论。

其次,关注可复现的 Nvidia 集群部署,并确认其运行要求是否清晰。有效证据包括完整的设备布局、软件环境,以及重复使用时的行为。买家需要知道自己实际需要维护什么。

如果这些部署变得更易于复现,Nvidia 的方案将在资深实验者之外获得更强的实际吸引力。如果它们仍难以维护,原始速度对小型团队的重要性就会降低。运维管理本身就是产品体验的一部分。

这一信号还应包括更新和故障的后果。在演示期间表现良好的部署,仍需要具备容易理解的恢复流程。日常运行中的可重复性将加强其采购论证。

第三,关注同时保留性能和输出要求的完整应用比较。可信的评估应明确说明工作内容、成功标准和周边应用配置,并清楚指出哪些差异是有意设置的。

这类证据将检验当前服务结果是否能转化为有用的已完成任务。根据应用不同,它可能增强任一平台的竞争地位。它也会揭示硬件速度对最终结果影响甚微的情形。

目前,站得住脚的结论是具体的。Apple 拥有值得为高要求本地工作负载考虑的硬件选项。现有证据也表明,在评估这些选项与 Nvidia 替代方案的差异时,软件成熟度是不可或缺的一环。

在根据 Apple M5 Ultra 基准测试采取行动之前,请写下你需要运行的应用,以及什么结果才算成功。明确模型、预期输入、可接受的等待时间和输出要求。要求使用与这些需求匹配的文档化配置进行演示。应纳入重复请求和周边应用步骤,而不只观看答案输出流。对于共享使用,还应纳入团队在正常工作中预期的需求量。将配置与结果放在一起保存,以便他人审查比较。然后判断系统今天是否满足要求。哪一种可用方案能够持续完成你的工作,提供你可信赖的答案,并具备你能够承担的运维负担?

 
 

免费开始使用

一款本地优先的AI助手

为了获得更好的人工智能体验,

remio 目前仅支持Windows 10+ (x64)和M-Chip Mac 。

你的 AI 工作伙伴

和 remio 一起高效工作

规划、创作、交付

一站式完成

bottom of page