tandem.cpp 更新新增 AMD 支持并提升 SSD 性能
tandem.cpp 更新报告称,DeepSeek-V4.1-Flash 在一台配备 64 GB 内存和 16 GB 显卡的 PC 上可达到每秒 14.2 个 token。其作者列出,在相同配置下,原生 llama.cpp 的速度为每秒 7.4 个 token。这一说法涉及更快的推理,即运行已有模型,而模型的大部分数据仍位于显存之外。
关键在于这些数据存放的位置。据作者称,测试模型的专家权重占用 139 GiB,超过了机器的系统内存容量。专家是针对特定输入而选择的专用模型组件。该补丁将高频使用的专家保留在显卡上,并在处理器、内存和存储之间协调其余工作。
这让 tandem.cpp 面临一个实际限制:当用户偏好的模型超过可用内存时,用户愿意容忍多久的等待。在重点展示的机器上,它相较 llama.cpp 的报告优势十分显著。与另一款推理引擎 Strata 的比较则显示,竞争差距更小,情况也更复杂。这些都是作者报告的测量结果,并非独立复现实验。
tandem.cpp 更新实际改变了什么
该更新面向无法将大型模型完全保存在最快内存中的计算机。 它还新增了 AMD 执行路径,扩大了可探索该方案的硬件用户范围。
在作者的 DeepSeek 卸载基准测试中,核心配置为 RTX 5070 Ti、64 GB RAM 和 i5-14600KF。RAM 是计算机的工作内存。显卡拥有 16 GB VRAM,即用于图形和计算的专用内存。
作者报告称,在该机器上,tandem.cpp 为每秒 14.2 个 token,llama.cpp 为 7.4,Strata 为 10.4。Token 是模型处理和生成的文本单位。这些数字衡量的是解码速度,即引擎在处理提示词后生成输出的速率。
该基准测试使用 DeepSeek-V4.1-Flash IQ2_XS。最后这一标签指代量化格式,即以降低的数值精度存储模型权重。作者表示,每个引擎使用的都是同一量化模型,因此这是执行方式之间的比较,而非不同压缩模型之间的比较。
所述测试条件同样重要。测试涉及一名用户、GSM8K 数学题以及贪婪解码,即每次选择得分最高的下一个 token。作者称,被比较的引擎均未跳过已选定的专家。这些控制条件缩小了比较范围,但并未独立验证其实现方式。
第二台机器搭配了相同显卡和内存容量,但使用 i5-12400F 以及一块没有独立板载 DRAM 的入门级 SSD。报告结果为 tandem.cpp 每秒 10.4 个 token,Strata 为 5.7。该帖子未提供这一行的 llama.cpp 结果。
这一缺失条目应保持缺失。它并不能证明故障、无法加载模型,或某个特定的性能差距。它只是阻止了在该配置下对所有引擎进行完整比较。
更大的配置由拥有 32 GB 显存的 RTX 5090、128 GB RAM 和 i5-14600KF 组成。作者在此报告 tandem.cpp 为每秒 33.1 个 token,llama.cpp 为 11.5,Strata 为 28.0。
综合这些数据行,可以支持一个值得测试的具体主张:协调内存与存储,可以提升超大模型的生成速度。它们并不能证明任何搭载 16 GB 显卡的计算机都能达到重点展示的结果。
这同样是一次推理引擎更新,而非 DeepSeek 模型发布。该补丁改变的是已有模型的运行方式。它不会训练新模型,也不能证明压缩版本与原始模型具有相同质量。
压力落在内存管理上,而不只是显卡
关键比较是在相同内存限制下的执行策略。 仅凭更快的显卡,无法解释相同硬件上不同引擎之间报告的差异。
设想一位已经拥有重点展示这类台式机的读者。他们最直接的问题是:不更换机器,软件能否让超大模型变得可用?作者的数据为这一问题提供了具体的实验起点。
这些数据也将关注点转向整台计算机。一旦工作负载依赖存储,处理器、可用 RAM 和硬盘行为都应纳入性能讨论。将显存视为唯一有意义的规格,会忽略这里描述的配置。
这并不意味着内存容量不再重要。核心限制在设置中依然清晰可见:专家数据超过了可用 RAM。软件必须围绕这一不足管理数据移动和计算。报告中的改进降低了这一不足带来的时间成本;它并未消除这一不足。
对于选择引擎的开发者而言,这会带来压力,需要在匹配条件下比较同一个模型。在内存充裕时测得的结果,回答的问题不同于反复访问存储时测得的结果。
作者对 Qwen 的比较进一步强调了这一区别。报告称,在一台配备 16 GB RTX 5070 Ti 的 32 GB PC 上,标为 78 GiB 的 Qwen3.8-Flash-Next IQ3_S 可达到每秒 34.3 个 token。对应数值为 llama.cpp 的 14.9 和 Strata 的 30.3。
该测试包含 MTP,即多 token 预测,这是一种提出多个未来 token 供验证的方法。它属于所述的 Qwen 配置。读者不应将其结果迁移至 DeepSeek 配置,或假设相同加速效果具有普遍适用性。
不同应用的实际利害关系不同。尝试本地助手的用户,可能接受明显的启动延迟,随后获得稳定输出。运行重复短请求的开发者,可能更在意每次响应开始前的延迟。
后台任务引入了另一种标准。其所有者可能接受较慢的交互,只要任务能可靠完成,同时为其他应用保留足够资源。占用一台原本空闲计算机的基准测试,并不必然代表这种体验。
这些是评估场景,而非 tandem.cpp 已有文档记录的部署案例。其目的是说明,单一生成速度指标无法决定引擎选择。
对于考虑本地文档工作流的团队而言,模型也只是一个组件。检索、源内容访问和答案核查仍是独立问题。一个 可搜索知识库 解决的是与推理引擎内存策略不同的层面。
因此,对引擎开发者施加的合理要求是明确的:公布能够揭示内存协调何时有帮助、何时不再有效,以及用户体验中哪些其他部分仍然缓慢的测量结果。
为什么移动更少专家可能比容纳全部模型更重要
该机制依赖于选择性计算和数据放置,同时保留测试模型所需的计算工作。 它不要求整个模型都驻留在显卡上。
混合专家模型通常简称为 MoE,会针对每个输入选择部分专用组件。因而,其总存储参数可以超过单次计算中实际使用的参数子集。这一区别为不同的内存安排创造了空间。
作者将 tandem.cpp 描述为:将高频使用的专家保留在显卡上,同时让处理器协助处理其他专家。当模型超过系统内存时,存储也会参与其中。工程问题随之变为:哪些数据应保留在近处,以及如何处理其余数据。
缓存是用于保留数据以便重复使用的更快存储区域。在这一场景中,有用的已缓存专家可以避免重复传输。缓存未命中发生在所需数据缺失、必须从其他位置获取时。
分析上的含义很直接:即使算术计算量不变,避免一次慢速传输也可能十分重要。这正是内存管理补丁值得与数值计算改进一同关注的原因。
这种推理存在限制。数据放置策略受益于专家实际使用模式。不同提示词和模型可能产生不同模式。数学题上的有利结果,并不能证明其在代码生成或长文档分析中也具有同样优势。
基线同样应得到准确对待。通过 llama.cpp 进行的 本地模型推理 提供了 tandem.cpp 打补丁所依赖的底层引擎。这是在既有软件基础内的比较,而非证明该基础已经无关紧要的证据。
这种关系对维护很重要。读者应同时评估可测得的收益,以及使用修改版引擎带来的后果。其与模型、应用程序和未来软件更新的兼容性,都应纳入决策。
该项目 11 月 16 日的仓库更新增加了另一项相关进展。其 expert-cache 变更 描述了更大的提示词处理批次,以及将缓存内存临时用于处理缓冲区。作者报告称提示词延迟有所改善,同时显示 Strata 在一些比较中仍然更快。
这些较新的材料很重要,因为提示词处理和文本生成是不同阶段。Prefill 是对输入 token 的初始处理。Decode 是随后生成输出 token 的过程。改进任何一个阶段,都不会自动改进另一个阶段。
对于提交长文档的用户而言,更快的输出流之前仍可能存在相当长的初始等待。这类用户体验的是整个交互过程,而不仅是解码基准测试突出展示的部分。
因此,tandem.cpp 更新应被视为对内存受限执行管线的工作。它的吸引力来自改善既有资源的协作方式。现有证据并不支持将其描述为使模型大小变得无关紧要的方法。
同样,避免跳过专家并不能证明它与未压缩模型等价。所选量化方式仍是实验的一部分。保留选定计算与保留原始数值精度是不同主张,需要不同证据。
AMD 支持扩大了可用范围,但未证明速度领先
AMD 兼容性是一项有意义的新增能力,但报告中的 AMD 结果并未让 tandem.cpp 领先于每一种替代方案。 作者自己的比较清楚表明了这一限制。
该补丁现在可通过 HIP 构建,HIP 是 AMD 面向 GPU 计算的 C++ 运行时和编程接口。AMD 将 HIP 编程 描述为 ROCm 的一部分;ROCm 是其用于处理器与图形硬件异构计算的软件平台。
这一区别有助于解读该公告。支持一种编程接口打开了执行路径。它并不能证明在所有受支持的显卡、处理器、操作系统或软件配置上都具有相同性能。
作者报告测试了 RX 7900 XTX、i7-8700、64 GB DDR4 内存以及 PCIe 3.0 连接。PCIe 是将显卡等组件连接到计算机的接口。该工作负载使用 Qwen3.8 IQ3_S 和 MTP。
在该配置下,据称 tandem.cpp 达到每秒 68.6 个 token。原版 Strata 达到 69.7,而面向 RDNA3 的 Strata 分支达到 80.1。RDNA3 指的是所测试 AMD 显卡所采用的图形架构。
这些数据支持一个克制的结论:在作者的测试中,tandem.cpp 的表现可与原版 Strata 竞争,而该专用分支更快。它们不足以支持将 tandem.cpp 称为最快的 ROCm 引擎。
该帖子还列出了 Avalon 的每秒 83.6 个 token。不过,该条目使用了其自有的 IQ3_KS 量化方案。由于存储的模型表示不同,这一数值不应被视为严格控制变量下、仅比较引擎的结果。
这正是基准测试的呈现方式可能在不知不觉间产生误导的地方。将结果放在同一份列表中便于浏览,但并不会消除模型文件之间的差异。有效的比较应在给出排名前解释这些差异。
作者还表示目前不支持 Vulkan。Vulkan 是另一种图形与计算 API。依赖该方案的读者不应将 HIP 公告视为其现有软件路径已获支持的证据。
RDNA4 仍是另一项不确定因素。作者在讨论中表示,受限于现有硬件,无法测试该架构。代码“应当能运行”的预期,远不如成功构建、完成工作负载以及可复现的测量结果有力。
因此,对于 AMD 用户而言,眼下的价值在于多了一个可评估的选项。该公告扩展了可尝试的实验范围,但并未确定哪种引擎最适合每一种 Radeon 配置。
它也说明了主线叙事的边界。协调内存或许有帮助,但这种协调的效果仍取决于执行平台。共享代码并不能让硬件特定的限制凭空消失。
恰当的做法是在目标机器上进行同类对比。架构名称和兼容性标签能提供背景信息;它们不能替代对读者实际打算运行的应用进行测量。
基准测试尚未解决的问题
最大的验证缺口,在于作者的受控对比与另一位用户完整工作负载之间的距离。 公开可得的说法让调查成为可能,但并不构成独立复现。
作者表示,DeepSeek 对比采用相同的量化、贪婪解码且不跳过专家。这些都是有用的控制条件。它们减少了引擎间最明显的不一致来源,但仍留下了其他问题。
核心未解问题是可复现性。另一位评估者需要足够的信息,以匹配模型文件、软件版本、配置和测量流程。这些细节上的一致,会让重复得到的结果比一张大致相似的截图更具参考价值。
存储条件尤其值得关注。冷启动时,内存中尚未保留同样的有用数据;热启动则可以复用此前访问过的数据。比较不同的起始条件,可能会把内存状态带来的优势归因于引擎本身。
桌面上的其他活动也会影响实际评估。应用程序会争夺工作内存和处理时间。在隔离测试中表现良好的配置,仍值得在机主的正常使用条件下重新检验。
这是评估层面的考量,并非 tandem.cpp 存在缺陷的证据。现有基准测试无法回答机器在日常工作中如何表现的所有问题。
测试工作负载也构成另一道边界。GSM8K 包含数学文字题。使用其中的问题测量生成速度,并不能自动证明数学准确性、编程能力、事实可靠性或工具调用的成功率。
模型可以很快生成错误答案。反过来,较慢的配置对于主要要求仔细验证的任务而言,仍可能足够。吞吐量和实用性需要各自独立的测量。
同样的谨慎也适用于“精确”一词。在这项对比中,作者用它来区分不跳过专家的计算。它不应被延伸为关于不同硬件上输出完全一致,或与原始模型等价的笼统说法。
量化本身也带来了问题。报告中的 DeepSeek 配置使用了压缩表示。要评估该表示的回答质量,需要本文讨论的引擎速度数据之外的证据。
能耗、存储活动、响应性和稳定性同样不在标题结果的范围内。读者不应仅因输出更快到达,就推断这些方面也有所改善。不同用户会赋予它们不同的重要性。
引用材料中没有独立的企业采用证据。因此,这些结果支持技术能力较强的用户开展调查,而非宣称组织已经验证该方法可用于生产环境。
作者自己对 Strata 的让步有助于让讨论保持务实。在 Reddit 讨论串中,他们承认当可用内存充足时,Strata 可能更好。这与一种取决于工作负载的优势相符,而非存在普适的赢家。
谨慎解读并不会让这次更新失去趣味。它指出了真正值得检验的命题:该补丁是否能在某台特定的受限机器上改善某个特定的大型模型。
这个命题既有价值,也可测试。将其扩大为关于每一种模型、每张 AMD 显卡或每种本地 AI 工作流的说法,都会超出证据范围。
三个信号将显示这些增益能否迁移
接下来最有价值的证据,应依次检验可复现性、AMD 覆盖范围和完整响应时间。 这些信号能弥补最大的缺口,而不会把这次更新变成对整个 AI 市场的预测。
首先,关注受内存限制的 DeepSeek 结果能否被独立复现。最有力的报告将明确列出精确的模型文件、引擎版本、硬件、设置和初始内存条件,并报告多次运行之间的变化。
相符的结果将加强这样一种说法:这种增益能在作者环境之外保持。若增益较小,只要能够将差异联系到存储、处理器行为或配置,它仍然具有参考价值。
结果反转也同样重要。如果另一种引擎在匹配条件下获胜,tandem.cpp 优势的边界就会更清晰。这将帮助用户选择软件,而不是只是在排行榜上增加一个数字。
其次,关注超出已报告 RX 7900 XTX 配置之外的 AMD 测试。RDNA4 结果将直接回应作者所述的硬件缺口。报告应区分成功编译、正确执行和持续的应用性能。
更广泛的 AMD 覆盖将加强兼容性叙事。它不会抹去现有 Strata 分支的结果,也无法确立永久排名。不同架构需要各自的证据,尤其是在主机处理器也参与推理时。
第三,关注真实提示词下的完整交互时长。这意味着要一并测量初始等待、输出生成和成功完成。11 月 16 日的提示词处理工作,使其成为尤为相关的下一步。
长文档请求和连续多轮对话考验的需求不同于简短数学提示词。独立评估者应说明工作负载,而不是将孤立的吞吐量数值作为完整用户体验评分。
这些信号值得在未来数月持续关注,但它们并非承诺的里程碑。无论源帖还是代码库,都未为独立验证、更广泛的硬件测试或应用层级比较设定期限。
目前,tandem.cpp 更新提供了一个可信的实操评估对象,既有作者详尽的说法支持,也坦率说明了竞争上的限制。其报告中最有力的案例,是一台不得不将专家数据移出可用内存之外的机器。实际的下一步,是将该案例与你自己的工作负载进行比较。从相同的模型文件和清晰记录的基线开始。像测量输出速率一样仔细测量输出前的等待时间。在将速度视为进步之前,先检查答案。如果增益能在这些条件下持续存在,它就会成为适用于你机器的证据,而不是借来的标题。对你的本地工作负载而言,什么最重要:稳定生成、更短的初始等待,还是保持桌面响应流畅?



