NVIDIA Nemotron 3.5 将开放式智能体从数据中心带到桌面

NVIDIA 于 10 月 15 日发布了三款 Nemotron 3.5 模型，覆盖 1200 亿参数规模、桌面硬件和边缘设备。NVIDIA Nemotron 3.5 的扩展挑战了一种常见假设：有能力、可持续运行的智能体必须依赖封闭的云服务。

Nemotron 3.5 Super VL 在单一开放权重模型中处理推理、工具使用、代码、图像、文档和视频。Nemotron 3.5 Bolt 则将更小型的智能体系统带到配备 24GB 或 4GB 内存的硬件上。NVIDIA 表示，这一产品组合为组织提供了适配每个部署层级的模型，从数据中心到本地设备皆是如此。

当前的核心竞争已转向开放、可控的基础设施与封闭前沿 API 之间的较量。NVIDIA 并未声称每个本地模型都能在所有任务上匹敌最佳托管服务。它的观点是，专用智能体可凭借定制能力、更低的推理开销、数据控制能力，以及与企业系统更紧密的集成而胜出。

这一观点有可信的支持证据，但也存在局限。一项独立分析测试发现，该模型速度出色，且能胜任常规分析工作。同一测试也暴露了它在隐藏模式、缺失数据和统计陷阱方面的失误。

NVIDIA Nemotron 3.5 覆盖三个部署层级

NVIDIA 已将 Nemotron 从一组模型发展为面向持续运行智能体的部署阶梯。

Nemotron 发布公告推出了 Super VL 以及两个 Bolt 变体。Super VL 和 Bolt 74B-A9B 已立即开放使用。NVIDIA 计划于 10 月 23 日推出 Bolt E4B。

Super VL 是一款拥有 1200 亿参数的混合专家模型。混合专家架构会针对每个 token 仅激活大型网络中的部分组件。Super VL 每个 token 激活 120 亿参数，在保留更大模型容量的同时减少计算量。

该模型将文本生成与视觉理解、推理、指令遵循、编程和工具使用结合起来。它可以检查网页、PDF、表格、图表、图像和视频，无需将每项输入传送到单独的视觉系统。

这种组合对于长期运行的智能体至关重要。例如，理赔处理智能体可能需要阅读扫描文件，将其中字段与保单规则比对，再调用内部工具。在不同模型之间切换会增加延迟，并使上下文管理更加复杂。

Super VL 则将这些步骤保留在单一多模态模型中。NVIDIA 将其定位于金融文件分析、软件工程、网络安全分诊、网页研究和视频审查等工作流。

该模型在预训练和持续预训练阶段共使用约 26 万亿个 token 进行训练。随后，NVIDIA 使用约 380 万个后训练样本，并在数十种环境中开展强化学习。

该公司还发布了检查点、数据集、训练配方、评估材料和强化学习环境。这套资源为开发者提供的不只是可下载的模型权重，还包括改变模型在专用工作流中行为方式所需的要素。

Bolt 74B-A9B 面向另一种运行场景。它总计拥有 740 亿参数，每个 token 激活 90 亿参数。原生 2 位量化将其压缩至可装入 24GB 内存。

量化以更低的数值精度存储模型值，从而降低内存与计算需求。其代价是，除非训练过程对此进行补偿，激进压缩可能会损害准确性。

NVIDIA 将 Bolt 74B-A9B 设计为可在受支持的 RTX 系统上与其他应用并行运行。该公司列出的预期本地智能体任务包括网页研究、写作和代码调试。

Bolt E4B 进一步将这一理念压缩至 4GB 占用空间。它面向运行在 GeForce RTX、Jetson、DGX Spark 或相关系统上的对话式和实体智能体。建议用途包括语音助手、交互式角色和嵌入式界面。

最终形成的产品线并不要求单一检查点服务所有工作负载。Super VL 面向复杂多模态任务，Bolt 74B-A9B 面向日常本地智能体，Bolt E4B 面向受限的边缘环境。

这种细分构成了本文的核心张力。NVIDIA 正押注于部署适配性的重要程度可能不亚于单一排行榜分数。封闭 API 提供商则需要以更强的经济性、更便捷的定制能力或更明确的可靠性优势作出回应。

为什么 NVIDIA Nemotron 3.5 是一场效率布局

此次发布的重点并非缩小聊天机器人，而是提高单位基础设施所完成的工作量。

智能体性能不能只通过 token 速度来判断。智能体或许能快速生成文本，却可能浪费调用次数、读取不必要的上下文，或选择错误的工具。真正有用的效率还包括准确性、响应时间、内存使用、工具调用次数，以及完成任务所需的步骤数量。

NVIDIA 表示，在单块 GPU 上，Super VL 的吞吐量最高可达同类开放模型的五倍。其技术分析称，在评估条件下，通过托管端点每秒可输出超过 600 个 token。

这些数据取决于 NVIDIA 所选用的硬件、服务栈、工作负载和对比对象，不应被视为普适的性能保证。但它们展示了该公司希望买方如何评估该模型。

Super VL 结合了多种效率机制。其混合专家设计会为每个 token 激活 1200 亿参数中的 120 亿，从而在减少活跃计算量的同时，不会将总知识容量限制在一个 120 亿参数网络中。

多 token 预测允许内部起草器在一次前向传播中提出多个 token 供验证。接受多个候选 token 可减少生成过程中的重复计算。

NVIDIA 还开发了 LiLiCorr，这是一种评估候选 token 之间关系的推测解码方法。推测解码会先通过更小型或更轻量的过程起草文本，再由主模型验证。

该公司表示，在 DGX Spark 上，LiLiCorr 可使 token 生成速度比非推测解码最高提升 2.3 倍。再次强调，这一测量描述的是特定 NVIDIA 配置，而非所有部署环境。

Super VL 还采用了专为 NVIDIA Blackwell 硬件设计的 4 位数值格式 NVFP4。量化感知蒸馏会训练压缩模型模仿其更高精度的对应模型。NVIDIA 报告称，在 36 项已评估基准中，准确率中位数恢复达到 99.62%。

已发布的模型卡显示，压缩不会以相同方式影响每项基准。部分 NVFP4 结果略高于 BF16 检查点，其他结果则有所下降。这种差异使针对具体工作负载的测试不可或缺。

效率还取决于服务软件。NVIDIA 表示，其 Dynamo 配置可支持最多八倍的用户数量，同时将首 token 延迟降低 85%。该测量假设每位用户的交互目标为每秒 50 个 token。

这些优化将模型直接连接到 NVIDIA 更广泛的硬件与软件业务。开放权重吸引开发者，而最快、经过验证的路径则指向 NVIDIA GPU、NIM 微服务、NeMo 工具和 Dynamo 服务。

这种协同并不会降低模型的开放程度。开发者可以下载并调整其权重。不过，此次发布展示了开放模型如何仍可强化垂直整合的平台。

对于企业买方而言，这种关系有两面性。经过预先测试的软硬件组合可以缩短部署工作，但也可能加深对单一供应商优化栈的依赖。

Bolt 使这一考量更加突出。将具备能力的智能体模型装入 24GB 内存，使其可在更广泛的硬件基础上本地运行。然而，原生 2 位量化也对编程、浏览、规划和长对话中的准确性提出了更棘手的问题。

NVIDIA 称，Bolt 在其 PinchBench 类别中是领先的开放模型，并在 BrowseComp 的开放模型中位居第二。这些结果提供了有用的起点，但不能替代使用真实工具和数据进行的部署测试。

真正实用的衡量标准是完成且正确的工作。一个能发现缺失记录的较慢模型，可能比一个自信处理错误数据的快速模型更有价值。

开放式智能体向封闭云 API 施压

NVIDIA 最有力的挑战并非原始智能水平，而是让组织掌控智能体运行的位置及其变化方式。

封闭前沿服务提供强大的通用性能和简单的 API 接入。提供商负责管理容量、模型更新、安全补丁及大量服务基础设施。对于不想自行运营模型的团队而言，这种便利性依然具有吸引力。

然而，持续运行的智能体带来的担忧不同于普通聊天使用。它们会反复访问内部文件、执行工具、保留上下文，并在延展的工作流中作出决策。每增加一个系统边界，就多了一个权限、延迟或上下文可能失效的位置。

开放权重模型允许组织将敏感工作负载保留在获批准的基础设施内。它们还可以针对内部术语、工具、政策和流程对模型进行后训练。

NVIDIA 将金融服务、保险、医疗保健、安全和工程列为早期目标领域。这些领域将敏感数据与专业规则相结合。通用模型或许能理解相关语言，却仍可能错误处理组织的实际流程。

Scale AI 曾在 Skydance 为供应商信贷处理对 Super VL 进行后训练。NVIDIA 表示，该部署预计可将推理成本降低 40 倍，并将延迟降低五倍。

Ramp 正在调整该模型，以将收据图像转换为结构化交易记录。NVIDIA 表示，Ramp 预计该工作流的吞吐量最高可提升 50%，延迟可降低十倍。

AI21 和 Alice 使用后训练进行威胁情报和漏洞分析。NVIDIA 报告称，在这一专用场景中，准确率提升了 41%。

这些是公司及合作伙伴的主张。并非所有结果都已在等效生产系统中得到独立复现。它们的价值在于展示专业化能够瞄准什么，而非证明普适性的提升。

更广泛的合作伙伴名单包括 Atlassian、CrowdStrike、Dassault Systèmes、Perplexity、Salesforce 和 Synopsys。它们的用例涵盖企业搜索、防御性安全、工程仿真、政府工作流和半导体验证。

封闭 API 的竞争在此变得具体。托管前沿模型整体上可能依然更强，却可能在定义明确的狭窄工作流中落败。后训练、工具设计、数据访问和服务速度，可能比通用基准领先地位更重要。

开放模型还提供了更多版本控制能力。公司可以测试一个检查点、将其固定，并自行决定何时采用更新。封闭服务则可能通过由提供商管理的模型修订改变行为。

控制权并不能消除运营责任。团队仍必须评估安全性、监控输出、修补服务组件、保护模型端点，并维护训练数据。可下载的权重并不会自动造就可靠的企业智能体。

NVIDIA 试图通过其封装式推理微服务 NIM 弥合这一差距。NIM 提供经过验证的配置和企业支持，并且每两周安排一次安全与性能更新。

这形成了一种混合式供给。权重、数据集和训练方案保持开放，而 NVIDIA 则销售用于运行它们的优化路径。企业可以选择更高的独立性，或选择由 NVIDIA 支持的部署方案。

这种选择迫使闭源提供商解释，客户为何要以更少的控制权换取其服务。答案可能包括更高的准确性、更简便的运维、更广泛的安全测试，以及使用更大模型的能力。

NVIDIA 必须证明，定制化不会演变成昂贵的工程项目。只有当团队能够产出训练数据、评估体系和可靠的工具集成时，专用模型才可能胜过通用服务。

对于知识密集型智能体，这些评估应反映员工实际使用的信息环境。构建可搜索知识库的团队，需要针对真实文档、权限、修订版本和相互矛盾证据进行测试。

结果并非开放模型或闭源模型的简单胜利。NVIDIA 通过连接模型效率、部署工具和硬件覆盖范围，使开放路线更具可信度。当买方优先考虑便利性与广泛能力时，闭源服务依然具备优势。

独立测试发现速度优势与盲点

Super VL 在贴近实际的分析任务中表现很快，但这种速度有时来自于审查较少的证据。

NVIDIA 的说法需要独立评估，因为厂商基准测试往往反映对其有利的硬件和任务定义。来自 Plotly 的第三方测试既带来了佐证，也提供了有价值的警示。

Plotly 使用合成风能数据集，在一项私有数据分析考试中评估了 Super VL。该模型答对了 43 道题中的 30 道，总体得分为 70%。它回答一道典型问题平均只需 12 秒，是 28 个受测模型中最快的结果。

这项分析基准测试涵盖常规分析、不可能完成的请求、模糊问题、统计陷阱、数据质量问题和隐藏模式。将考试保持私有，可降低答案已出现在训练数据中的可能性。

Super VL 正确回答了 20 道常规分析题中的 19 道。它能够处理多步骤 SQL 操作、基于时间的连接和合并区间，且首次尝试的表现强劲。

它还拒绝了全部五项不可能完成的请求。这种行为很重要，因为有用的企业智能体必须识别现有数据何时不足以支持某个答案。

该模型解决了五个模糊问题中的四个。在一个例子中，它在比较不同季节的风机表现之前，先界定了哪些月份被计为冬季。这一回应显示出其对表述不充分请求的合理处理方式。

失败案例更具启示性。Super VL 没有发现三项人为设置的数据质量问题中的任何一项。它也没有找到五种需要探索性调查的隐藏模式中的任何一种。

在一项任务中，该模型未能发现数据集缺少某个月的最后一天。它在汇总一个季度的设备温度时，也遗漏了一整周缺失的读数。

该模型仅答对了五道包含统计陷阱的问题中的两道。它有时会接受一种整体关系，却未检查是否存在另一个变量同时解释两个观察到的效应。

这些遗漏挑战了“更快完成任务必然意味着更好的智能体”这一观点。Plotly 发现，Super VL 每题大约进行了四次模型调用，并读取了约 15 万个 token。

Nemotron 3 Ultra 使用了更多调用，并检查了明显更多的上下文。Super VL 的轻量化方法改善了响应时间，但也减少了发现隐藏问题的机会。

这是围绕 NVIDIA Nemotron 3.5 战略的主要不确定性。效率可以改善持续运行智能体的经济性，也可能促使系统在掌握足够证据之前停止搜索。

当用户自己都不知道该问什么时，这个问题尤其严重。模型可以正确回答具体查询，却未能识别会改变决策的缺失记录或可疑模式。

NVIDIA 自身的评估呈现出更有利的结果。该公司报告称，Super VL 在 Hermes Bench 上得分为 63.44%，在 LangChain 评估中得分为 87.05%。在所报告的设置下，Nemotron 3 Ultra 的相应得分为 56.33% 和 84.3%。

NVIDIA 还报告称，其在图表推理基准 CharXiv 上取得了 80.8% 的成绩。使用 Python 代码解释后，该结果提升至 84%。该公司表示，该模型在开放模型 OCRBench v2 排行榜上位居前列。

这些结果与 Plotly 的发现可以同时成立。不同基准测试隔离的是不同能力、智能体框架、工具策略和停止行为。一个智能体可以擅长图表解读，却未能检查数据集是否完整。

因此，部署团队应测试整个工作流，而非仅测试检查点。他们需要针对数据检索、工具选择、错误恢复、来源覆盖和最终答案验证进行评估。

高风险智能体可能需要明确的检查步骤。财务工作流可以强制系统在得出结论前检查记录数量、缺失区间、重复行和相互冲突的数值。

同样的规则也适用于研究型智能体。如果智能体跳过一手文档，或未能呈现相互矛盾的证据，那么再快的回答也价值有限。评估必须奖励完整调查，而不只是流畅完成。

Super VL 开放的训练与评估材料，使这类测试更易于审查。开放并不保证可靠性，但它让技术团队拥有更多空间来研究和修改失效行为。

Nemotron 3.5 Bolt 将竞争带到本地硬件

Bolt 检验有用的智能体自主能力能否与日常应用并存，而不是只能运行在云端集群中。

24GB 的 Bolt 模型之所以重要，是因为这一内存级别不仅限于数据中心。NVIDIA 表示，它可运行在 GeForce RTX PC、DGX Spark、DGX Station、RTX PRO 工作站以及即将推出的 RTX Spark 笔记本电脑上。

本地运行改变了智能体与其数据之间的关系。文档、代码、图像和应用状态可以保留在设备上，而不必转移至托管模型端点。

这种设置可以减少网络延迟并支持离线使用。它还可以简化部分数据驻留要求，尽管本地运行并不能免除安全或合规义务。

本地编码智能体可以检查私有代码库、运行开发工具并提出修改建议，而无需将代码库传输给外部模型提供商。研究智能体则可以整理存储在工作站上的文档。

Bolt E4B 将这一理念扩展至嵌入式界面。其 4GB 目标适用于 24GB 模型不切实际的设备。NVIDIA 将语音助手、交互式角色和实体智能体列为预期工作负载。

更小的体积也带来了预期中的能力边界。不能假定一个 4GB 对话模型在复杂规划方面能够匹敌一个拥有 1200 亿参数的多模态系统。

NVIDIA 的产品阵容将这种差异视为路由决策。边缘模型负责即时对话或简单操作；Super VL 则负责更重的推理、视觉分析和多步骤工作。

这种架构可以让常见交互保持在本地，同时将困难工作升级至更大的基础设施。它也引入了权限、上下文传递和跨模型行为一致性方面的协调挑战。

开发者必须决定每项请求应由哪个模型处理。糟糕的路由可能将私密工作发送至云端、让更大的模型过载，或将复杂任务分配给能力不足的边缘模型。

硬件兼容性同样值得审视。Super VL 可运行于 NVIDIA 的数据中心和本地系统上，但其最激进的优化路径更偏向较新的 NVIDIA 架构。在较旧 GPU 或非 NVIDIA 设备上的性能可能不同。

来自 llama.cpp、Ollama、LM Studio、Unsloth 和 vLLM 的支持，扩大了 Bolt 74B-A9B 的可访问性。这些集成让本地实验更容易，并降低了对单一服务接口的依赖。

不过，实际运维体验将比兼容性列表更重要。开发者将评估启动时间、内存稳定性、持续生成速度、工具调用、上下文处理，以及压缩后的准确性。

NVIDIA 的桌面战略也有利于其硬件路线图。一个有吸引力的 24GB 智能体，为客户购买大内存 RTX 系统提供了又一个理由。本地 AI 成为能够带动硬件需求的应用类别。

这一动机并不意味着软件本身无效。但它解释了 NVIDIA 为何同时投资于模型权重、推理库、开发者工具和设备。

最重要的测试是：在真实应用占用部分可用内存后，本地智能体是否仍然有用。Bolt 应该与其他软件并行运行，而不是独占一台原本空闲的基准测试机器。

开发者还应检查散热、功耗和长时间会话的稳定性。常开模型与短暂演示有不同的要求。持续使用后降频的系统，可能会抹去其早期的速度优势。

隐私主张同样需要谨慎对待。本地推理会减少数据传输，但智能体仍可能通过日志、插件、网络工具或权限范围不当而暴露信息。

本地运行将责任转移给设备所有者。团队必须保护模型文件、工具凭据、存储的上下文和生成的产物，也需要可靠的更新流程。

如果 Bolt 能够妥善应对这些条件，它将扩大私有智能体的市场。如果它只在狭窄的基准测试中表现出色，本地用户仍会依赖云服务来处理严肃工作。

三个信号将决定 NVIDIA 的押注是否奏效

下一阶段取决于独立可靠性、持续的本地性能，以及可见的生产环境采用情况。

第一个信号是，在独立智能体基准上对 Super VL 和 Bolt 进行更广泛的测试。结果应涵盖完整任务完成情况，而不仅仅是 token 生成或孤立的问题回答。

最有力的证据将来自使用不同智能体框架、硬件配置和工具策略的重复评估。一致的结果将强化 NVIDIA 的效率论点。大幅的性能波动则会表明，服务方案对结果的贡献与模型本身一样大。

测试还应衡量调查深度。Plotly 的发现表明，缺失数据检测和探索性行为应与速度和准确性一同纳入考量。即使智能体能快速完成更多任务，如果忽视证据，仍可能带来风险。

第二个信号是，Bolt 在 10 月发布后于真实 24GB 系统上的表现。开发者应关注内存使用、持续速度、与应用共存的能力，以及在已发布 2-bit 配置下的质量。

强劲的本地结果将验证 NVIDIA 的说法：日常智能体工作不再需要远程集群。工具使用能力薄弱或长时间会话不稳定，则会将 Bolt 的角色限制为轻量级辅助。

Bolt E4B 将提供另一项有用的边界测试。其价值取决于 4GB 模型能否在调用工具并在边缘设备上快速响应的同时，维持连贯的多轮行为。

第三个信号是来自具名合作伙伴的生产环境证据。NVIDIA 已确认许多组织正在测试或定制 Super VL。下一步是获得超越已宣布实验、可衡量的部署成果。

有用的证据包括已完成工作负载量、经验证的准确率变化、运营延迟、升级处理率以及人工审核要求。案例研究应在相近条件下，将专用模型与其所替代的系统进行比较。

合作伙伴的采用情况也将揭示实践中后训练的难度。NVIDIA 提供模型、数据集、NeMo 工具和评估方案。企业仍须提供领域数据、政策、集成能力和治理机制。

闭源模型提供商不会坐以待毙。他们可以降低延迟、增加私有部署选项、改进模型路由，并为企业数据提供更强的控制能力。

他们的应对将决定开放智能体会成为一个独立的采购类别，还是继续仅作为技术能力较强团队的选项。NVIDIA 缩小了便利性差距，但尚未消除它。

NVIDIA Nemotron 3.5 的发布构建了一个可信的产品谱系，覆盖多模态数据中心智能体到紧凑型本地助手。其最有力的证据在于效率和可部署性，而非毫无疑问的优越性。

开发者和采购方现在应端到端测试一个具有代表性的工作流。衡量该智能体是否能发现缺失证据、使用正确工具，并在持续负载下产出正确结果。这项评估将回答模型排名无法回答的问题：开放的专用智能体，是否比便捷的闭源 API 更可靠地完成你的工作？