top of page

据称 DeepSeek V4.1 Flash 可运行于 12 张 V100

3小时前
讀畢需時 12 分鐘
Image from the source report. Source: www.tomshardware.com.

据律师兼服务器构建者 Nick Mermiges 称,DeepSeek V4.1 Flash 现可在十二张二手 Nvidia V100 显卡上运行全部路由专家。他在 2026 年 11 月 20 日发布的说明称,代码生成速度达到每秒 184 个 token。这一说法将老旧服务器硬件与已公布的 DGX Spark 结果进行比较,但双方使用的软件和模型表示方式不同。

此次升级扩展了他此前的八卡机器。核心变化在于内存容量:所有专家均可留在显卡内存中,无需进一步压缩专家,也无需从系统内存传输。对于反复查询长文档的用户而言,这改变了等待时间、硬件复杂度与将工作保留在办公室内部之间的平衡。

这些数据仍由构建者自行发布,所审阅的来源中尚未显示有独立复现。它们描述的竞争范围也比通用 AI 性能更窄。一台能快速响应单个用户的机器,并不自动意味着它能高效服务团队、生成更好的答案,或带来更低的运营成本。

DeepSeek V4.1 Flash 跨过内存门槛

关键升级在于:以选定的四位表示方式,将每个路由专家完整装入显存。

Mermiges 表示,十二张 V100-SXM2 显卡分布在三块板卡上,每块板卡四张。每张卡拥有 32 GB 内存。他此前的八卡配置没有足够的可用容量,以 Nvidia 所选格式容纳完整专家集合。

专家是模型在处理过程中选择的一组专用参数。让所有专家保持可用,并不意味着每个 token 都会激活所有专家,而是意味着服务器避免了将部分专家存放在其他位置或进一步压缩它们这一特定折中方案。

根据构建者的十二卡架构,全部 15,360 个路由专家均占用显存。该专家集合在选定表示方式下需要 278.9 GiB。GiB 使用二进制单位衡量内存,因此读者不应将其直接与采用不同标注的容量数据相比较。

这一区别使该案例不只是又一位爱好者增加显卡。新增的板卡跨越了容量边界。即使软件调优能提升现有内存的利用效率,也无法凭空创造缺失的存储空间。

这一说法还需要为“全部”一词划定明确边界。Mermiges 表示,所有路由专家均采用 NVFP4,即 Nvidia 的紧凑四位浮点表示。他的文档为模型其他组件标注了不同的表示方式。若将整个模型描述为统一以四位精度存储或计算,会夸大这一说法。

对于评估私有 AI 的读者而言,重要的问题是内存变化从工作路径中移除了什么。如果请求需要调用存储在显存外的专家,搬运这些数据就会引入另一项依赖。进一步压缩则会带来另一种折中,需要单独评估质量。

这两种折中都不会自动令系统不适用。其重要性取决于应用场景、可接受延迟,以及有关输出质量的证据。Mermiges 选择增加硬件,是因为他希望所选专家表示方式常驻显卡。

这一选择明确了本文贯穿始终的主要对比:为个人工作负载优化的定制系统,与满足更广泛需求的紧凑系统之间的比较。它并不证明增加硬件始终是最佳答案。

因此,这次升级应被视为一种独立配置。此前八卡机器的结果并不能自动描述这台十二卡版本。反过来,在软件和运行设置也发生变化的情况下,改进也不能全部归因于容量。

对独立评估者而言,这是第一条有用的分界线。在解读速度数据之前,应先验证哪些内容驻留在内存中。否则,两种看似相近的模型部署可能代表了实质不同的折中。

实际收益是减少文档等待时间

对于文档工作而言,答案开始生成前的延迟,可能比最快的生成速度标题更重要。

Mermiges 将其主要测量结果发布为 11 月 19 日的测试:关闭思考模式,并请求生成 1,024 个输出 token。Token 是模型处理和生成的文本单位。所报数据取两次运行的平均值,因此它们属于初步测量集,而非广泛的统计研究。

他的文档延迟测量显示,对于一个 128K 的代码提示词,答案大约在 28.1 秒后开始生成。若该文档已被缓存,所报等待时间降至约 0.4 秒。缓存会保留系统已读取材料中可复用的处理状态。

这些数据描述的是不同情境。较短的等待时间并不意味着机器几乎能即时读取新文档,而是意味着后续请求可以复用已有工作,前提是缓存仍可用且请求匹配可复用的内容。

这一差异在 Mermiges 描述的工作流中尤为重要:对其自身案件文件进行私有的初步分析。专业人士往往会带着连续的问题反复查阅同一批材料。即使最终答案能很快出现,若每次都要承担完整的文档处理延迟,也会打断这种交互。

设想一个涉及大量合同文件的假设流程。第一个请求询问义务,第二个询问例外情况,另一个要求提供支持性段落。若每个请求都能复用文档状态,用户体验将不同于每次都从头开始的工具。

这是对工作流的解读,并非经过测量的法律生产力结果。已公布的计时数据并不能证明系统节省了多少专业工作时间。阅读答案、核验引用和纠正错误仍是工作的一部分。

初始处理与答案生成之间的区别,也避免了常见的基准测试误解。Prefill 是对输入提示词进行的初始处理;解码则是随后生成输出 token 的过程。一个系统可以在任一阶段表现出色,而未必同时领先。

Tom’s Hardware 的服务器升级报道将首个 token 等待时间缩短视为相对早期构建的一项核心改进。报道指出,256K 代码提示词的耗时从 108.4 秒降至约 58 秒。该比较同时伴随功耗设置和软件方面的变化,因此难以作出简单解释。

对于构建文档应用的开发者而言,教训是应审视完整交互过程。简短演示可能掩盖初始文档加载时间,而冷启动测试则可能忽略针对未变材料反复工作的优势。

因此,对竞争系统的要求是明确的。买家需要与真实会话相似的延迟测量,包括全新文档和后续提问。单一的最高生成速率无法解释太多用户体验问题。

老旧 V100 节省的是内存传输,而非四位计算

尽管这些显卡缺乏原生四位计算硬件,该构建所报告的速度仍依赖于软件和数据移动。

V100 不会因为模型采用 NVFP4 存储而获得新的算术能力。Mermiges 解释称,存储的专家数值会先解包为 FP16,即十六位浮点格式,再进行相关计算。紧凑表示减少了读取的字节数;它并未实现原生 FP4 执行。

Nvidia 的NVFP4 模型文档为所选专家包提供了参考。这使研究人员能够审查一个可识别的模型工件,但并不能独立验证该服务器的实现、性能或应用质量。

这一机制有助于解释,为何旧款加速器仍可用于较新的模型格式。存储与算术是两项独立决策。即使软件必须在计算前转换数据,处理器仍可因读取更少数据而受益。

相应地,这种推论也存在边界。减少内存传输并不能消除转换开销、通信开销或能效差异。同样的技术可以形成有用的部署,却不会令旧架构等同于新硬件。

物理布局又增加了一层因素。Mermiges 将模型划分为三个流水线阶段,即连续的层组分别在不同显卡组上运行。在每个组内,张量并行会将计算分摊到四张卡上。两种技术都会分配工作,但也会引入通信与调度要求。

NVLink 是 Nvidia 在兼容加速器之间的连接方式,它连接每块板卡内的显卡。不同板卡之间的传输则通过主机的扩展基础设施走不同路径。因此,拓扑结构是结果的一部分,而非隐藏在显卡数量之下的偶然细节。

因此,对于评估可复现性的人来说,“十二张 V100”并不是完整规格。布局、推理引擎改动、内存分配和运行设置都属于该配置。另一台拥有相同显卡数量的机器未必会产生相同的计时结果。

软件投入也改变了“可负担性”的含义。二手组件的购置成本可能颇具吸引力,但也可能需要大量集成工作。这项工作是否值得,取决于拥有者的技能、可投入时间和对维护的容忍度。

这是对部署选择的分析,而非对工程工时的测量比较。已公布的证据并未为该构建给出完整的人力成本。读者不应将设备总价视为完整的采购预算。

对于更广泛的私有 AI 市场而言,有趣的挑战在于实践层面。当开发者针对实际瓶颈进行优化时,旧硬件可在特定任务上保持竞争力。新系统供应商仍需说明,买家能在效率、支持、可靠性和更广工作负载覆盖方面获得什么。

DeepSeek V4.1 Flash 提供了这个案例中的工作负载。更大的工程原则是:在假定最新加速器决定最佳体验之前,先识别某一部署受限于哪种资源。

与 DGX Spark 的比较范围有限

所报告的优势涉及特定的单请求解码结果,而不是对完整 AI 系统的受控排名。

Mermiges 的单请求比较将其机器与已公布的三台和四台 DGX Spark 配置并列。他明确指出,这些系统使用各自的推理引擎和权重。这个限定应与相关说法一并呈现,因为软件和模型表示方式会影响结果。

据报道,他的十二卡机器在 1K 至 128K 上下文范围内,代码生成速度为每秒 157 至 184 个 token。法律文本为每秒 92 至 102 个 token,普通散文为每秒 83 至 95 个 token。不同内容类别之间的差异已经表明,最高数值需要结合上下文理解。

构建者的对比也承认,Spark 在某些提示处理测试中表现更强,并且随着服务负载并发度提高具备优势。这些让步显著收窄了这一叙事。它们描述的是不同系统的长处,而非一个普遍意义上的赢家。

等待单个回答的人,与服务重叠请求的组织,目标并不相同。个人看重当前任务能多快完成。组织还必须考虑队列、用户之间的公平性、持续吞吐量,以及需求高峰期间的表现。

批处理会合并多个请求的工作,以提升资源利用率。其收益取决于服务引擎是否专为利用此类负载而设计。针对特定顺序交互优化的机器,并不会自动成为高容量共享服务。

因此,只有先明确任务,“V100 vs DGX Spark”才是一个有用的问题。比较的是开始生成回答、完成生成回答,还是处理同时在线的用户?涉及的是新文档还是缓存文档?输出质量要求是否等同?

这些问题同样适用于 AI agents,即在模型响应与动作或工具调用之间交替进行的应用。有些交互存在顺序依赖,无法简单地对每一步进行批处理。另一些应用则会产生足够多的独立工作,使共享服务器持续保持繁忙。

所审阅的证据并未衡量每一种这类应用。将该基准应用于 agent 工作流仍是一项需要直接测试的假设。仅凭代码生成结果,无法证明整个开发任务能更快完成。

恰当的 V100 vs DGX Spark 对比,应尽可能保持提示词、模型工件、生成设置和测量边界一致。若配置必须不同,评估者应说明原因。否则,测试比较的是组装完成的软件系统,而没有隔离硬件本身的贡献。

这并不意味着已发布的数据毫无意义。它们指出了一种值得研究的实现方式,并为其他构建者提供了具体目标。它们也挑战了“产品年代本身就能预测响应速度”这一过于简单的假设。

然而,现有结果并不能证明哪一方在采购上更具优势。选择系统的买家需要覆盖其实际工作负载的证据。对 Spark 配置真正相关的考验,是在匹配条件下展示其优势,而不是用另一个不匹配的标题回应一个标题。

功耗、隐私与质量仍需分别测试

本地快速生成只能回答专业买家需要解决问题的一部分。

这台机器的运行要求相当高。Mermiges 表示,在其设定的每卡 175 瓦限制下,这些卡的总功耗最高可达 2,100 瓦,不包括其他系统组件。他还提到噪音,以及需要将机器安置在远离有人工作空间的位置。

这带来了明显的实际限制。一台服务器可能适合私密工作,却不适合放在办公桌旁。空间、散热、电力容量和持续维护,应与响应速度一起纳入评估。

他的购置成本论点也需要谨慎解读。标题中的计算反映的是他长期购买二手组件所支付的成本。他还单独给出了按当前价格购置硬件的更高估算。历史采购并不能证明另一位买家也能复现同样的成本。

任何一个总价都不足以确定拥有成本的经济性。对比需要一致地纳入配套设备、安装、能源、维护和停机时间。所审阅的材料并未证明,在涵盖所有这些因素的情况下存在标准化的拥有成本优势。

隐私同样需要精确的边界。Mermiges 表示,在使用本地服务器时,他的案件文件始终留在办公室内。这是运营者对其配置的陈述,并不是独立证据,无法证明每一套类似配置都会将每一类数据保留在本地。

组织仍需审查周边应用的行为。即使模型推理在本地运行,日志、集成、备份和管理访问也可能产生影响。这些是评估问题,而非对这台特定机器的指控。

当熟悉的界面连接到不同后端时,这一区别尤其重要。更换模型端点本身,并不能记录每项周边服务的行为。所审阅的证据并未对这一更广泛的环境提供完整审计。

回答质量是另一个独立问题。以选定精度保留专家模型,减少的是一种特定的压缩妥协。这并不能证明生成的答案正确、具备足够依据,或适合专业使用。

同样,与另一种配置进行数值核对,也无法替代对真实任务的评估。系统可以保留预期的计算行为,却仍可能给出错误解读。如果验证一个快速答案所需的工作量超过完成原始任务,速度带来的价值就微乎其微。

对于文档用户而言,信息组织也仍与模型速度不同。一个可搜索的知识库解决的是材料如何可供检索的问题。它本身并不能验证底层模型,也不能证明该服务器的隐私属性。

因此,这些证据支持分别作出决策。应分别评估响应速度、运行适配性、数据处理和任务质量。将它们合并为单一的“私有 AI”标签,会掩盖最重要的问题。

三类结果将使这一主张更有价值

独立复现、真实服务测试和任务质量证据,应决定这一结果能在多大程度上超越单一办公室。

第一个值得关注的信号,是独立复现所报告的延迟和生成速度区间。另一位运营者应识别确切的模型工件、引擎版本、硬件拓扑和运行限制。匹配这些细节会使一致结果更具意义。

新文档与缓存文档的测试应保持分开。报告两者可以厘清复现确认的是初始处理、后续响应速度,还是两者兼有。结果还应区分代码、法律材料和普通散文,而不是将最快类别视为代表。

成功复现将增强人们对该配置能为其所述工作负载带来可重复优势的信心。结果若存在显著差异,并不自动否定构建者。它们会指出当前公开说明尚未完全隔离的依赖因素。

复现还需要关注哪些内容可公开获取。该仓库描述了引擎变更和测量方式,同时指出部分组件并未作为完整、可直接启动的软件包提供。这限制了另一位运营者复现完全相同环境的难易程度。

第二个信号是真实的并发服务对比。有价值的测试应跟踪请求从到达至完成的全过程,包括等待时间。仅汇总生成速率,可能会遗漏生成开始前引入的延迟。

一项匹配测试应包含单独工作的专业人士,以及共享服务器的小型团队。它应保持等同的文档和输出要求。这将揭示定制配置在哪些情况下仍具备响应性,以及何时不同的服务方法会更合适。

如果较新的批处理工作能在不损害单请求延迟的前提下改善共享使用,该构建的实际适用范围将扩大。如果并发带来大量等待,原先面向个人用户的定位仍将是更站得住脚的解释。

第三个信号是与代表性文档相关联的任务质量证据。速度测量应与答案正确性、支撑证据和遗漏情况的评估并列。这些评估需要明确说明标准,而不是凭模型“感觉上”与另一个产品相近的印象。

对于私密法律工作,一项有用的评估会测试答案是否准确呈现所提供的材料,并识别相关段落。类似原则也适用于工程记录或内部研究。具体任务应反映目标用户,而非为了演示方便而选择。

强有力的质量结果将支持更广泛的采用讨论。即便每项计时都得到复现,薄弱的结果仍会限制速度优势的价值。硬件性能与专业实用性存在重叠,但不能互相替代。

因此,十二张 V100 上运行 DeepSeek V4.1 Flash 是一个值得测试的具体报告结果。它表明,当内存容量和单用户响应速度主导工作负载时,经过精心配置的旧硬件仍可能保持相关性。它并未决定定制服务器与紧凑型 AI 系统之间更广泛的竞争。

在将这台机器视为采购模板之前,应要求查看与自身需求相似的工作负载。检查冷文档等待时间、重复提问、输出质量,以及其他人开始工作时的表现。将维护负担与保持该工作流本地运行的价值进行比较。然后审查每项所宣称优势背后的证据,包括另一位运营者实际能够复现的部分。下一个有价值的问题,不只是十二张旧卡能否运行该模型,而是独立复现的配置能否为你需要完成的工作提供可靠答案、可接受的运行要求和稳定的响应速度。

 
 

免费开始使用

一款本地优先的AI助手

为了获得更好的人工智能体验,

remio 目前仅支持Windows 10+ (x64)和M-Chip Mac 。

你的 AI 工作伙伴

和 remio 一起高效工作

规划、创作、交付

一站式完成

bottom of page