Nvidia AI 数据中心效率正从芯片转向软件
尽管多年来业界一直关注更快的芯片、先进冷却技术和新型供电方案，Nvidia AI 数据中心效率已成为一个软件问题。研究人员现在认为，超大规模云服务商可以通过改变 AI 工作负载在既有硬件上的运行方式，释放可观的容量。
这一时机至关重要。国际能源署称，到 2030 年，全球数据中心用电量可能达到 945 太瓦时。这略高于日本目前的用电量。然而，行业一项主要的设施效率指标已连续六年几乎没有改善。
因此，新出现的竞争并非 Nvidia 与另一家芯片制造商之间的较量，而是软件优化与“AI 增长必然需要同步扩张硬件和电力”这一假设之间的竞争。更好的 GPU 仍不可或缺，但软件决定了可用电力最终是转化为有效工作，还是造成可避免的计算。
研究人员将 AI 数据中心软件效率置于核心位置
最新研究将无效计算重新定义为基础设施问题，而不只是软件工程细节。
眼前的变化首先体现在理念上。研究人员和基础设施专家正要求运营商衡量每瓦电所产生的有效工作，而不再只关注设施开销。
这一差异很重要，因为电能使用效率（PUE）比较的是设施总能耗与输送给计算设备的能耗。接近 1.0 的 PUE 表明，用于冷却、照明和电力转换的电量相对较少。
然而，PUE 无法判断服务器是否正在运行过大的模型、处理不必要的 token，或处于部分闲置状态。一座设施即使报告了优异的 PUE，其应用程序也可能浪费了输送至机架的大量电力。
Uptime Institute 的这项 2025 data center survey 发现，平均 PUE 已连续第六年变化不大。其报告将这一停滞部分归因于老旧设施和区域性的冷却限制。
该调查的加权平均 PUE 为 1.54。这说明设施开销依然显著，但也表明，进一步改善冷却只能解决问题的一部分。
国际能源署估计，服务器约占现代数据中心用电需求的 60%。存储和网络所占比例较小。高效的超大规模站点中，冷却约占 7%；而效率较低的企业级设施中，这一比例可能超过 30%。
这些数据表明，大部分机会存在于计算栈内部。软件决定模型、数值精度、批处理大小、响应长度、处理器设置、工作负载位置和执行时间。
与 ML.Energy 倡议相关的密歇根大学研究员 Jae-Won Chung 向 Tom’s Hardware 表示，软件和算法能够带来实质性影响。他的观点将计算系统视为多个相互连接的层级。
硬件位于底层，系统软件、算法和应用程序位于其上。更换芯片需要经历制造、采购、安装和测试，而代码与调度策略的改变可以快得多。
这一主张并非认为软件能消除对新基础设施的需求。相反，软件成为控制层，决定运营商如何高效利用昂贵的加速器和有限的电网容量。
这一框架扩展了 Nvidia AI 数据中心效率的含义。每瓦性能不再止于处理器规格，而是延伸至将工作发送给处理器的每一个决策。
在电力受限时，这一区别尤其重要。如果一座设施无法获得更多电力，其实际容量取决于每块已部署 GPU 能在该限制下交付多少有效产出。
因此，软件改进可以类似于容量扩张。它可以为更多请求腾出空间、减少延迟，或让更多加速器运行，而无需增加设施的最大电力负载。
这也是为什么近期讨论不只是又一项可持续发展倡议。它将能源优化直接与收入、部署速度以及超大规模云服务商能够销售的 AI 服务量联系起来。
945 TWh 预测让每一瓦电都成为容量
电力已经从运营成本变成制约 AI 扩张的硬性限制。
国际能源署估计，数据中心在 2024 年消耗约 415 TWh 电力，约占全球总用电量的 1.5%。此前五年，其用电量年均增长率为 12%。
其基准情景预测，到 2030 年，这一用电量将翻一倍以上，达到约 945 TWh。届时，数据中心将占全球用电量的略低于 3%。
这一全球占比听起来似乎可以应对。但本地影响更难消化，因为数据中心将巨大的负载集中在相对较少的地区。
一座新设施可在两三年内投入运营。输电线路、变电站、发电项目和电网升级则往往需要更长的规划和建设周期。
预计到 2030 年，美国和中国将占据数据中心需求增长的大部分。国际能源署预计，相比 2024 年水平，美国将增加约 240 TWh，中国将增加 175 TWh。
加速服务器，即通常用于 AI 训练和推理的系统，是新增需求的最大来源。在国际能源署的基准情景中，其用电量预计将以每年 30% 的速度增长。
这些服务器占全球数据中心用电量净增部分的近一半。传统服务器约贡献五分之一，冷却等基础设施则贡献另外五分之一。
这份 IEA energy forecast 还描述了一种高效率情景。到 2035 年，软件、硬件和基础设施的更强改进将以减少超过 15% 电力的方式，提供相同的数字服务。
这一情景说明了其中的经济利害关系。在迅速扩大的全球负载中实现 15% 的效率提升，并非环境报告中的脚注。这代表着可在不需要等量新增发电能力的情况下支持额外服务的电力。
包括 Amazon、Google、Meta、Microsoft 以及主要 AI 提供商在内的超大规模云服务商，正直接面临这种压力。他们订购处理器的速度可以快于公用事业公司建设所需供电基础设施的速度。
它们已通过长期购电合同、可再生能源项目、核电协议、现场发电和定制芯片作出回应。它们也在开发密度更高的系统，这需要新的冷却和供电设计。
每种应对方式都有局限。新增发电能力需要时间，定制芯片需要漫长的开发周期，高密度机架则可能迫使设施进行昂贵改造。
软件运行在另一条时间线上。运营商无需等待新的制造工艺或电网接入，即可调整推理路由、模型选择、调度和电力策略。
当服务提供商拥有可用 GPU，却没有足够电力同时运行全部 GPU 时，这一机会最为明显。更好的软件可以提高固定电力上限下完成的有效计算量。
它也可能影响公司部署新工作负载的地点。一家在某个地区拥有闲置容量的超大规模云服务商，可以在延迟和数据治理约束允许的前提下，将合适任务从负荷过重的电网转移出去。
这种压力同样影响企业 AI 买家。服务提供商的能源成本、利用率和电力可用性，会影响服务容量、响应时间和对先进模型的访问。
开发者或许不会为每次推理请求收到单独的电费账单，但仍会通过配额、延迟、模型可用性以及减少不必要 token 使用的压力，感受到其后果。
因此，行业的电力问题也是软件需求问题。每一项不必要的计算都会占据原本可服务另一请求的容量。
Nvidia AI 数据中心效率如今也包括工作负载控制
Nvidia 自身的控制机制表明，芯片效率与软件效率之间的界线已变得模糊。
Nvidia 的 Blackwell 平台包含可配置的功耗配置文件。这些配置文件可针对特定工作负载调整 GPU 计算频率、内存频率、功耗限制、缓存行为和 NVLink 状态。
该公司称，其控制机制可在保持至少 97% 整体性能的同时，将能耗最多降低 15%。Nvidia 还表示，受电力限制的设施可将吞吐量提高多达 13%。
这些属于厂商主张，且取决于工作负载特性。但它们仍揭示了市场正在发生的变化。处理器效率不再被视为制造时确定的一项固定数值。
软件可以选择系统在性能曲线上的运行位置。最高可能时钟频率带来的性能增益或许很小，却会消耗不成比例的更多电力。
略微降低该速度，可以在保留大部分产出的同时，为另一块 GPU 释放电力。在机架规模上，汇总收益可以超过每台设备性能的小幅下降。
同样的原理也适用于硬件控制层之上。ML.Energy 研究人员使用不同数值格式测试了 Alibaba 的 Qwen3-235B-A22B-Thinking 模型。
FP8 是一种八位浮点格式，其数值表示精度低于 bfloat16。研究人员发现，在所测试的问题求解任务中，FP8 推理的能耗约低三分之一。
低精度并不适用于所有工作负载。它可能带来准确性变化，结果也会因模型、硬件和实现方式而异。不过，这说明开发者无需更换底层加速器，也能作出能耗与性能方面的决策。
训练也提供了另一个目标。大型任务将工作分配至众多处理器，但这些处理器并不总能以相同速度推进。
某些组件会提前完成，并在同步点等待，同时持续消耗电力。其他组件则成为决定下一阶段何时开始的拖后腿者。
Chung 的 Perseus 优化器会识别工作量较少的训练组件，并降低其速度，使其与更繁忙的组件同时完成。已发表的 Perseus research 报告称，在不降低吞吐量的情况下，能耗最多可减少 30%。
其重要机制是感知同步的功耗控制。Perseus 并非简单地降低整个训练任务的速度，而是针对因其他组件控制完成时间而存在性能余量的工作。
这一差异让节省具有商业价值。如果训练耗电更低，却按比例耗费更长时间并占用昂贵基础设施，超大规模云服务商获益甚微。
软件还可以在请求到达 GPU 前降低推理需求。提供商可以缓存重复的提示词和响应，避免为完全相同或高度相似的请求进行计算。
它们可以将常规请求路由至较小模型，并将较大模型留给需要更强能力的任务。这种模型路由方法将计算视为根据难度选择的资源。
提示压缩可以减少输入 token 的数量。输出限制可以避免模型生成超出用户需求的内容。更好的批处理可以合并请求，使加速器减少闲置时间。
编译器可以优化模型图、融合操作，并减少不必要的数据移动。这些收益很重要，因为在内存与处理器之间传输数据，除算术运算外同样会消耗能源。
基础设施团队还可以合理配置云实例规格。过度配置的实例可能利用率很低，却仍消耗大量基础功率，尤其是在大规模集群中。
遗留应用程序会造成另一种形式的浪费。旧软件可能让低效设备继续运行，因为迁移工作看起来不如面向客户的开发紧迫。
SHI 数据中心基础设施专家 Chetan Visrolia 向 Tom’s Hardware 表示，遗留机架是容易实现节省的目标。这类设备可能占用空间、制冷和电力，却几乎不提供有用的工作产出。
这些技术并不代表某一种产品或某一项突破。它们的共同机制，是消除那些无法改善结果的工作。
这正是 Nvidia AI 数据中心效率背后的核心转变。更快的硬件依然有价值，但软件决定了这些速度是转化为有用产出，还是带来额外需求。
工作负载迁移可在不削减所有 AI 使用的情况下帮助电网
软件的下一项机遇，不只是减少用电量，而是决定何时、何地用电。
AI 工作负载在紧迫性上各不相同。交互式助手需要快速响应，而模型评估、数据处理和部分训练任务则可以容忍延迟。
调度器可以将灵活工作负载从本地电力需求最高的时段移开。当电网存在富余容量或可再生能源供应充足时，再恢复执行。
这种方法被称为时间维度工作负载迁移。地理工作负载迁移则是将合适的任务发送至具备可用算力和电力容量的其他数据中心。
ETH Zurich 的博士研究员 Sophie Hall 研究过 Google 全球数据中心集群中的工作负载迁移。她的研究将日前规划与实时调度结合，同时保持性能保障。
这一思路改变了优化目标。总耗电量仍然重要，但用电的时间和地点会决定由此带来的成本、排放及对电网的压力。
在可再生能源过剩期间消耗的一兆瓦时电力，与在受限的晚间高峰时段消耗同样电量，会产生不同的系统影响。软件的响应速度可以快于实体基础设施。
National Grid、Nvidia、Emerald AI 和 Electric Power Research Institute 于 2026 年开展的一项试验提供了灵活需求的案例。测试显示，AI 数据中心可以在收到请求后迅速降低耗电量。
报告结果显示，一家运营商在不到一分钟内将需求降至约 66%。另一项测试则以 10% 的容量运行了 10 小时。
这些演示并不能证明每一种商业工作负载都能如此大幅削减。它们表明，至少部分 AI 计算可以比传统工业需求更快地响应电网状况。
这种灵活性可能影响电网接入。若运营商同意在压力时段降低需求，公用事业公司或许会更早接入该设施。
对数据中心而言，代价是暂时降低可用计算能力。对公用事业公司而言，收益是获得一项可控负载，而不必始终为该设施的理论最大需求配备足够发电能力。
发表于 Nature Reviews Clean Technology 的研究也考察了电网一体化运营。这篇 AI 可持续性综述估计，在高可再生能源渗透率的电网中，让工作负载与电网状况保持一致，可将全生命周期排放减少约 10%。
该综述还警告，能源、碳排放和用水目标之间可能存在冲突。在某些运行条件下，降低用水量的策略可能会增加排放。
这种复杂性更适合由能够优化多个变量的软件处理，而非遵循单一静态效率目标。调度器可以考虑电力供应、碳强度、水资源压力、延迟以及数据位置规则。
Google 多年来一直根据无碳电力的可用性迁移计算任务。其他超大规模云服务商也拥有进行类似调度所需的全球基础设施，尽管其具体方法和结果各不相同。
这一发展带来了新的竞争维度。拥有更多区域、更好的工作负载可见性和成熟调度系统的服务商，可以从受限基础设施中提取更多服务能力。
较小的运营商同样可通过云编排和工作负载控制获益。他们可能没有全球集群，但可以推迟批处理任务、减少闲置资源，并选择合适的模型。
开发者也会影响这一层面。能够清晰定义延迟要求的应用程序，会为基础设施软件提供更多自由度，以高效调度灵活任务。
将本可等待的任务标记为紧急，会迫使系统保留即时容量。因此，更好的工作负载元数据也可以成为一种能效工具。
这正是 AI 工作流在应用层面发挥作用的地方。经过审慎界定的请求和可复用的上下文，可以在基础设施调度器开始优化执行前减少重复工作。
软件节能面临数据、准确性与反弹效应的限制
软件优化可以缓解电力紧张，但无法消除 AI 增长背后的物理限制。
第一项限制是测量。PUE 被广泛采用，因为运营商可以在设施边界计算它。跨不同应用衡量有用计算则更加困难。
一次训练运行会产生检查点、评估结果和模型能力，这些产出难以进行简单比较。推理服务处理的请求在长度、延迟要求和商业价值上各不相同。
运营商可以降低每个 token 的瓦时消耗，同时生成更多不必要的 token。它也可以通过处理原本根本不会运行的低价值请求，提高 GPU 利用率。
这产生了对工作负载级指标的需求。当不同模型需要不同 token 数量才能达到可接受结果时，每项已完成任务的能耗比每个 token 的能耗更具参考价值。
质量也必须保留在分母中。一种消耗更少能源的低精度模型，如果其错误迫使用户重复任务，便没有任何益处。
同样的谨慎也适用于小型模型路由。紧凑型模型可以高效处理许多常规请求，但不准确的路由决策可能导致重试，或在之后升级处理该任务。
缓存带来了隐私与时效性问题。缓存响应可以节省计算量，但当答案依赖实时数据或机密上下文时，它可能并不适用。
工作负载迁移也面临硬性边界。即使另一地区拥有更清洁或更充足的电力，数据主权规则仍可能阻止信息跨越国界。
迁移大型数据集会消耗时间、网络容量和能源。这种传输也可能增加运营风险，或违反有关客户信息处理地点的承诺。
交互式工作负载的调度灵活性有限。用户不会接受一个因为预计稍后才会有可再生电力而暂停数小时的助手。
训练任务可以更具灵活性，但中断可能增加失败风险。运营商需要检查点和恢复系统，以便在电力可用性变化时保留进度。
最大的未知因素是杰文斯悖论。效率可以降低一种资源的有效成本，从而鼓励更多消费，并抹去部分绝对节省。
一家服务商如果将每次推理的能耗节省 15%，可能会把释放出的容量用于处理更多请求。其单次请求能耗有所改善，而设施仍继续使用全部获配电力。
这一结果在经济上并不非理性。服务商只是将同样的电力转化为更多服务。然而，这意味着软件效率并不会自动降低总需求或排放。
这种区别对公共政策很重要。如果每节省一瓦都被用于支持额外的 AI 生成，单靠效率标准可能无法保护本地电网。
硬件改进也曾带来类似反弹。更快的处理器降低了单次操作所需的能耗，同时也扩大了软件需求和数据中心规模。
软件路径还可能使低效应用看上去具有可持续性。消除明显浪费，无法回答每一项 AI 工作负载是否创造了足以证明其能源消耗合理的价值。
优化也无法替代对输电、发电和制冷的投资。IEA 的预测假设整个系统将持续改进，而不是仅依靠软件解决方案。
因此，应从两个方面评估 Nvidia AI 数据中心效率。运营商必须同时追踪每瓦产生的有用工作量，以及设施的绝对耗电量。
第一项指标显示工程是否取得改进。第二项指标显示这些收益是否缓解了电网压力，还是仅仅支持了更多需求。
透明度仍然有限。超大规模云服务商披露了一些可持续性和效率数据，但工作负载级的能源数据很少能在不同服务商之间比较。
如果没有一致的报告，客户就很难判断某一种模型或服务是否以更少的电力完成了等效工作。供应商的说法可能依赖于有利的工作负载或内部基准。
独立基准测试或许会有所帮助。它们需要同时衡量任务质量、延迟、硬件利用率和能耗。
忽略准确性的基准测试会奖励降质输出。忽略延迟的测试则可能奖励不适合真实应用的配置。
这种怀疑并不是忽视软件优化的理由，而是应将其视为基础设施工程而非环境营销来评估的理由。
三个信号将显示软件策略是否奏效
检验标准是，软件节省是否转化为可衡量的运营容量，同时不掩盖质量下降或总需求上升。
第一个信号是 Nvidia 和超大规模云服务商发布工作负载级报告。设施 PUE 应与将电力消耗联系到已完成 AI 工作的指标配套披露。
有用的披露将比较不同模型规模、精度格式和功耗设置下的匹配任务，并应在能耗之外纳入准确性和延迟。
如果供应商发布可复现的结果，软件效率的论点将更具可信度。如果他们只提供宽泛的集群平均值，客户将难以区分真正的优化与工作负载组合的变化。
第二个信号是灵活电网接入的更广泛部署。试验已表明，部分 AI 负载可以快速响应，但商业采用需要公用事业公司、监管机构和运营商之间达成协议。
关注数据中心是否接受可中断服务或自动需求响应义务。这些安排将表明，工作负载迁移已超越研究和受控演示阶段。
它们也会揭示经济层面的取舍。设施可能在接受一段时期内计算能力下降的同时，更早获得电力接入。
如果运营商拒绝此类协议，并继续要求不间断的最大功率，地理和时间维度调度仍将只是有限的工具。
第三个信号是供应商如何利用效率提升。若能降低每项任务的能耗，并由此推迟新建基础设施或减少峰值需求，软件方案的价值就更为明显。
如果所有收益都会立刻转化为更多 token 生成，而绝对用电量仍以原有速度上升，那么这一结论就会减弱。
这并不意味着工程优化毫无价值。在固定电力条件下获得更多产出依然很重要。它只是意味着，这项技术在缓解容量稀缺方面比在降低总体能源需求方面更有效。
企业应要求供应商提供任务级证据，而非依赖有关高效基础设施的笼统说法。开发者应测试更小的模型、更短的提示词、缓存和受限输出，是否仍能保留所需结果。
基础设施团队应识别可灵活调度的工作，并明确其服务要求。这能让调度器有空间选择负载压力更低的时段、地区或处理器设置。
行业也应保留一个重要区分：技术上可行的计算，不等于有实际价值的计算。优化一项不必要的任务，仍然无法改变它本身不必要的事实。
软件之所以具有吸引力，是因为它的变化速度可以快于芯片、变电站和发电厂。它能够在应用、算法、系统和硬件控制层面产生复合式收益。
但其成功不会由某一项实验室百分比来衡量。它将体现为每瓦完成更多工作、部署受阻更少、电网运行更灵活，以及透明、经质量调整的基准测试。
如今，实际问题已经很明确：超大规模云服务商会将 Nvidia AI 数据中心效率视为一门全栈学科，还是继续主要通过更快的硅芯片来衡量进步？开发者和企业采购方可以通过要求其所使用的 AI 服务提供可比较的能耗、质量和延迟数据，推动市场走向前一种选择。
