DeepSeek V100 服务器以速度换取精度
一名律师的 DeepSeek V100 服务器在模型中经常使用的部分采用了更高的数值精度,但也牺牲了一部分生成速度。这台机器仍使用八块 Nvidia V100 图形处理器,不过其搭建者称,已让大部分被测得的专家路由活动更接近 NVFP4 参考结果。NVFP4 是 Nvidia 的四位浮点格式,可通过共享缩放信息紧凑存储模型数值。不过,这一限定很重要:大部分路由活动并不意味着大部分模型组件都已转用该格式。
该项目属于 Nick Mermiges,他将本地 AI 用于法律案件文件的初步处理。这次升级针对的是一个实际矛盾:既要尽可能保留模型的数值行为,又要让工作组件留在有限的显存内。早期版本偏向激进压缩和更快输出;新配置则为经常被选中的组件分配了更多内存,以较慢的生成速度换取更接近参考结果的表现。
这项实验介于几种熟悉的选择之间:Claude 等托管式助手、较新的本地硬件,以及在旧设备上运行的高度压缩模型。它并不能证明一台临时组装的服务器可媲美托管式法律 AI 服务。但它提供了一个有记录可查的案例:所有者选择数值保真度,而不是宣传意义上的速度。关键问题在于,究竟改善了什么、哪些测量结果应结合起来看,以及这些变化能否经受一个完整工作日的检验。
DeepSeek V100 服务器有哪些变化
此次升级改变的是机器如何分配有限的显存,而不是更换其八块主处理器。
Tom's Hardware 于 2026 年 11 月 14 日报道了这次更新。其报道称,系统内存从 256 GB 增至 1 TB,机器还加入了一块 RTX 3090。报道还称,代码生成速度从此前的每秒 160–215 个 token 降至 150–180 个。Token 是模型处理和生成的文本片段。这些数字描述的是已报告的编程工作负载,而非服务器处理的所有任务。该媒体的服务器升级报道追溯了搭建者公开账号中披露的变化。
该服务器运行配备法律工作框架的 DeepSeek V4.1 Flash;这里的工作框架,是指组织模型工作的外围流程与检查机制。这一区分将模型与 Mermiges 实际使用的应用分开。模型负责生成回答;外围系统则决定输入哪些材料、接下来执行何种任务,以及哪些内容需要审查。改变底层数值表示方式,只会影响这一更大流程的一部分。
硬件新增项也需要分别看待。更多系统内存不会自动转化为更多显存。新增的 RTX 3090 也不会自动参与每一项已公布的速度结果。若将整份硬件清单当作性能解释,就会忽略实际的配置与软件决策。
对于关注该项目的读者而言,实质性进展是优先级的改变。此前的方案对参与路由的模型组件进行了足够激进的压缩,以便让它们能留在显卡上。更新后的方案则在维持这种可用性的同时,为选定组件以更高精度分配额外空间。
这与最大化每秒 token 数并不是同一个目标。快速回答只有在内容能够支撑任务时才有价值。反过来,如果系统变得过慢或不可靠而无法使用,更接近的数值匹配也只有有限的实际价值。
因此,这次更新应被放在工作负载设计的讨论中,而非处理器代际之间的竞赛中。它的相关性来自模型、内存预算、软件和法律工作这一特定组合。买家不应将这一组合转化为普遍的购买规则。
可见的新增硬件让机器更加复杂。较不显眼的变化——决定哪些组件值得占用稀缺内存——才解释了此次更新为何重要。
大多数专家流量不等于模型的大部分
标题中的百分比衡量的是流经选定模型组件的活动,而不是以完整精度运行的整个模型比例。
DeepSeek 采用混合专家架构,将计算引导至称为专家的选定模型组件。在生成后续 token 的 decode 阶段,不同专家会接收不同规模的流量。一个被频繁选中的组件,其活动量可能远高于它在全部组件数量中所占的比例。
根据搭建者的专家路由更新,此前的默认配置将 15,360 个被路由专家中的 5,949 个提升至 NVFP4。测得的单槽位覆盖率约占 decode 路由的 80–86%。双槽位默认配置所称的 78–85% 覆盖率是预测值,而非直接测量结果。该帖子还称,专家选择使用了公开提示词集合以及私有法律流量。
这些说法支持的结论比“80% 的 DeepSeek 以完整精度运行”更为有限。它们描述的是依赖工作负载的活动分布,并不能证明同样的占比适用于陌生用户的文件、语言或请求。
不妨考虑其背后的分配问题。若某些专家接收频繁流量,保留其参考权重可能影响许多路由决策。对每位专家一视同仁,则会以不同方式消耗内存。该项目的做法则优先考虑其测量结果认定有用的组件。
这使 DeepSeek mixed precision 成为一种工作负载专业化形式。在这里,混合精度意味着以不同数值表示方式存储不同模型组件。其收益部分取决于未来请求是否与用于选择这些组件的流量相似。
在评估法律工作负载时,这一区别尤为重要。合同审阅、事实时间线梳理、通信文件起草和来源对比,可能需要不同的行为。围绕某种请求组合进行调优的选择方案,需要经过测试,才能将其测得的覆盖率延伸为对另一种工作负载的主张。
Nvidia 的NVFP4 格式说明也有助于区分存储精度与硬件加速。该格式将四位数值与共享缩放相结合,以限制表示误差。Nvidia 随 Blackwell 推出了该格式的原生加速。在旧处理器上保留参考格式权重,并不会让它获得 Blackwell 的执行硬件。
因此,“近似 NVFP4”需要明确的参考对象和定义清晰的测量方式。它不应被当作未压缩运算、正确性保证或新硬件性能的同义词。
有意思的结果在于这种分配策略。该机器试图在经常经过的计算路径上保留更高保真度,同时在其他部分维持压缩覆盖。它能否在已测流量之外继续有效,仍有待进一步测试。
与参考结果更一致,并不等于法律答案更好
更接近的数值行为是有关实现方式的证据,而法律实用性需要单独评估。
该项目公开的模型卡显示,其与 NVFP4 参考结果的下一个 token 一致率为 95.1%,高于早期压缩版本的 92.2%。这一指标衡量的是,在对比条件下,两种实现是否选择相同的下一个文本片段。它并不意味着任何一个系统会以这些比例正确回答法律问题。
文档中还包含后续配置修正。11 月 13 日的一次更新在增加预留内存后,将双槽位默认配置中的 NVFP4 专家数量从 5,949 个降至 5,936 个。同一混合精度软件包区分了早期一致性测试与后续服务选项,后者的质量尚未得到确认。文档中记载的上下文限制为 524,288 个 token,即一次请求在其配置下允许的最大输入和输出容量。
这些细节避免了几种颇具诱惑力的简化推论。与参考结果一致,并不等于与底层文件一致。参考模型可能出现事实错误,而更忠实的实现也可能复现该错误。
同样,不一致也不必然导致更差的回答。不同措辞可能保留相同含义;很小的数值差异也可能改变一个关键限定。后果取决于任务和输出,而不仅仅是匹配 token 的数量。
因此,对于 DeepSeek legal workflow,评估应从已完成的工作成果开始。输出是否保留了指控与既定事实之间的区别?是否将结论对应到正确的文件?在证据仍不完整时,是否保留了不确定性?
这些是相关问题的示例,并非对该服务器独立评估得出的结论。它们说明了为何数值比较不能替代任务审查。
较长的配置上下文也需要谨慎解读。容量只说明系统在其设置下能接受多少材料,并不能证明每一项相关细节都会在整个回答过程中保持可访问性或被正确关联。
设想一份由案件文件整理出的初步时间线。真正有价值的结果,是一条可用且附带可追溯支持材料的时间序列。服务器可以成功处理文件,却遗漏重要事件;也可能生成流畅文本,但仍需要大量修正。
实际压力落在维护该工作流程的人身上。更高的数值保真度提供了重新测试应用的理由,而不是取消审查的理由。最有价值的后续工作,是用相同文件和评估标准比较升级前后的输出。
这样的比较才能将工程变化与这台机器存在的原因联系起来。在此之前,现有证据支持的是在公开测试中更接近参考结果的行为,而非法律准确性得到量化提升。
速度取决于测量的是哪种构建版本和工作负载
公开结果描述了多种配置,因此把各自最佳数字拼在一起,会得到一台从未真正测试过的服务器。
该项目后续的代码库记录了一个于 11 月 13 日完成收尾的构建版本,其代码输出约为每秒 143–175 个 token。该版本列出三项并发请求下的综合速度为每秒 176.2 个 token,低于此前报告的 192.3。其后续测试还实现了在 256K 提示词后 86.7 秒生成第一个 token,而早期运行中为 108.4 秒。
基准测试配置详情披露了这些测试之间不同的功耗设置。它们还警告称,并非每种槽位配置文件都已确认质量。槽位是为请求状态预留的服务容量。这些仍是开发者自行报告的数据,而非经独立复现的基准测试。
这一披露改变了对该升级的表述方式。此前的头条数据仍可作为特定日期的结果参考,但不应被视为之后每个版本的永久规格。
汇总吞吐量同样需要明确分母。它统计的是测量时段内所有请求的总输出量。它并不意味着单个用户自己的回答会以这一合并速率送达。
对于办公室而言,这一区别很实际。多个后台任务或许能受益于更高的合并输出量。等待某一特定答复的律师,则更关心该请求的完成时间。一种配置可能提升共享资源利用率,同时让每个活跃会话变得更慢。
提示词处理带来了另一层区别。Prefill 是生成开始前处理输入的初始阶段。即便后续输出很快,长文档也可能在首个可见回复出现前造成明显等待。
这对交互式工作很重要。用户或许能够接受等待更久以完成全面的文档分析,却难以接受简短追问也要长时间等待。将两者混合为单一速度数字的评估,会掩盖这种差异。
与 Claude 或其他托管助手的比较,也需要同样的严谨性。Mermiges 描述了自己如何将工作从基于 Claude 的测试框架迁移至本地系统。这一说法证明的是他的动机与经验,而不是对不同服务进行的受控比较。
公平的评估应保持任务、源材料、预期输出和审查标准一致,还应纳入等待时间和修正工作。否则,这种比较可能只是在同一标签下衡量不同的工作流程。
因此,DeepSeek V100 服务器较慢的生成速度确实是一项权衡,但需要放在恰当的框架中理解。核心问题是,更高的保真度是否能减少足够多的修正工作,从而证明额外的等待和维护是值得的。
已公布的输出速率无法单独回答这个问题。它们有助于界定可行实现与其完整价值仍需衡量的应用之间的边界。
可靠性与本地控制也有其自身的工作负担
构建者取得的稳定性改善令人鼓舞,但所怀疑的硬件原因仍是一项诊断,而非已被证实的结论。
Mermiges 报告称,在调整供电后,崩溃现象停止了。他描述了此后九次成功的长对话,并将一台可能存在故障的电源确定为疑似原因。此前的错误曾让他将注意力转向 PCIe,即连接硬件组件的互连系统。应当清楚地区分这些观察结果与已确认的根本原因。
同一说法还称,RTX 3090 已完成物理安装,但将较小的草稿模型迁移至其上的工作仍未完成。草稿模型会提出候选文本,再由另一模型进行检查,这种方法被称为推测解码。其计划中的部署属于未来的软件变更,而非对现有结果的既定解释。
这些细节共同说明,能够运行的本地系统并不只是把模型权重装进内存那么简单。即使生成速度看似足够,硬件诊断、配置管理和软件集成仍会消耗精力。
一系列成功会话支持“观察到的行为有所改善”这一表述,但并不能锁定发生故障的组件。在相近时期作出的多项改动,可能会使归因变得复杂。
这种不确定性在持续演进的个人项目中很常见。但当有人将该项目视为可靠办公室基础设施的模板时,它就会变得更为重要。另一位构建者需要足够的文档,才能区分可迁移的修复方案与机器特有的改进。
本地控制带来了相关的另一项区别。Mermiges 表示,他的案件文件保留在办公室内。这描述的是他预期的操作方式和所报告的实践,而不是对该系统数据处理方式的独立审计。
评估类似方案的组织仍需了解文档、日志、备份和管理访问权限分别存放在哪里。这些属于部署问题,而非这台特定机器存在缺陷的证据。现有说法并未给出完整答案。
因此,与托管服务的比较既关乎地点,也关乎责任。在本地运行硬件,使其所有者能够直接控制许多决策;同时,也把更多维护与故障排查工作交给了该所有者。
托管服务则以不同方式分配这些责任。两种安排都不会自动证明更好的输出质量、更合适的访问控制,或更低的总体投入。此类判断需要关于实际系统及其使用方式的证据。
无论哪种部署方式胜出,周边的知识工作流仍然重要。可搜索的知识库可以解决为检索而组织源材料这一相关任务。它无法取代模型评估,也无法验证另一套独立部署的隐私主张。
对于 DeepSeek 法律工作流而言,严峻的问题在于,本地控制是否能带来对有用工作的可靠访问。这要求在优化工作之外,还要有可重复的运营流程。成功的演示与可维护的日常服务彼此相关,但需要不同的证据。
三项后续进展将决定这一方案能走多远
下一次有价值的更新,应将工程改进与可复现的行为联系起来,而不是再增加一个孤立的头条速度数字。
首先,应关注对当前服务配置进行的统一评估。更有力的证据应在同一构建版本上结合测得的路由覆盖率、参考一致性、延迟和已完成任务的质量。这样能减少协调不同设置下收集的数据的需要。
如果当前默认设置在代表性使用中保留了更接近参考结果的行为,这一信号将强化该项目的核心主张。若在陌生流量或增加请求时保真度大幅下降,则会削弱该主张的实际适用范围。无论结果如何,都会比又一个最大输出速率更有信息价值。
最有价值的任务比较应保留输入文档和评分标准。公开示例可以在不暴露私人案件文件的前提下支持可复现性,也能让其他用户检视所选测试是否与其自身工作相似。
其次,应关注完成 RTX 3090 草稿模型迁移后的受控前后对比测量。安装一颗处理器只能证明其可用性。要证明它的贡献,则需要展示运行中的系统发生了哪些改变。
一项有用的结果应说明,该迁移是否释放了内存、改变了等待时间、影响了并发请求,或引入了新的不稳定性。比较需要采用相同的工作负载,并明确标识配置。缺少这些控制条件时,某项改善可能来自另一处软件修订。
如果新增处理器在保持输出行为的同时创造了可用余量,这一信号将强化资源分配策略。若集成开销抵消了收益,则会削弱预期效益。这个结果很重要,因为拟议中的角色仍是该项目尚未完成的工作之一。
第三,应关注长期运行情况,以及在构建者本人机器之外的复现。独立尝试能够检验已记录的配置是否可迁移至另一套部署环境。更长时间的运行也将为稳定性改善提供更有力的证据。
复现不必精确匹配每一个数字才有价值。硬件和设置上的差异可以解释部分变化。关键问题在于,另一位操作者能否理解这些差异并取得可靠结果。
如果这些说明能在无需大量未记录干预的情况下产生可比的行为,这一信号将强化更广泛采用的理由。如果成功仍依赖于机器特有的知识,则会缩小其适用范围。它仍将是有价值的实验,但会是可迁移性较低的办公室解决方案。
更深层的问题是,谁能够承担运行这种方案所需的关注与投入。开发者获得了一个具体的优化案例。企业采购方获得了关于评估与维护应提出的问题。知识工作者则得到提醒:本地执行、数值保真度和有用答案,分别需要独立的证据。
DeepSeek V100 服务器值得关注,是因为其构建者记录了一项经过深思熟虑的取舍,并在过程中展现了若干限制。它给读者带来的不只是“旧硬件能够运行大型模型”的说法。它展示了,选择不同工作负载会如何改变可容纳的内容、运行速度,以及仍然存在的不确定性。
在将此构建视为自己工作的范本之前,请检查与你实际会使用的配置相关的测量数据。区分参考一致性与任务准确性、合并吞吐量与个人等待时间,以及计划中的升级与已完成的变更。索取附有可追溯源材料和清晰审查要求的示例。将整个工作流与你当前的流程进行比较,包括用于修正和维护的投入。下一个有用的问题,并不只是这台服务器能否在本地生成文本,而是:什么证据能够证明其更高精度有助于你完成可靠的工作?



