top of page

NVIDIA cudaMemcpy 优化称在 B300 上实现 5 倍提升

13分钟前
讀畢需時 12 分鐘
Illustrative photograph. Photo: Godfrey Atima / Pexels.

Henry Zhu 报告称,其针对 B300 GPU 的 NVIDIA cudaMemcpy 优化实现了约五倍提升,重点在于数据移动而非处理器的算术运算。他在 2026 年 11 月 15 日的文章中介绍了从可分页内存进行更快传输的情况;可分页内存即由操作系统管理其物理页面的普通 CPU 内存。这一说法针对的是 CPU 与 GPU 之间的特定瓶颈,并不意味着 AI 应用整体性能提升五倍。

Zhu 的可分页传输基准测试显示,大规模 CPU 到 GPU 拷贝的速度约为 52 GB/s,而调优前约为 10 GB/s。在该对比中,传输期间保持固定物理位置的固定内存,速度约为 56 GB/s。这些均为作者报告的测量结果,并非本刊独立复现的结果。

这一对比重新审视了一项既有工程选择:接受普通内存传输,还是围绕固定缓冲区重构应用。Zhu 的项目提出了另一种方案:在保留应用既有内存选择的同时,改善中间拷贝工作。这一方案是否重要,取决于实际应用花多少时间等待这些传输。

NVIDIA cudaMemcpy 优化实际声称了什么

报告中的提升针对特定传输路径,而非所有带有 cudaMemcpy 名称的操作。

CUDA 是 NVIDIA 的 GPU 编程平台,而 cudaMemcpy 是其内存拷贝接口。应用可使用相关接口在 CPU 内存与 GPU 内存之间移动信息。传输基准测试衡量的是这种移动;它并不直接衡量文本生成、图像生成或完成的训练工作。

Zhu 的 cudamemcpy-tuner 调整 CPU 线程和暂存缓冲区,即在不同内存系统之间移动数据时使用的临时内存区域。该项目的 tuner repository介绍了对应用透明的调优。其核心主张是改善现有工作负载底层的机制,而不是要求开发者重写数据处理方式。

这一区别赋予了该说法实际意义。改变应用的内存策略可能涉及多个库、所有权规则以及数据何时可用的假设。在这一边界之下进行优化,提供了不同的采用路径。不过,保留源代码并不意味着与每种执行模式或部署环境都兼容。

标题还需要明确比较基准。五倍提升意味着,在报告所述条件下,经调优的操作比选定基线运行得更快。这并不意味着 GPU 比其公布规格快五倍,也不能证明每次传输一开始都具有同样可回收的开销。

固定内存的对比使结果比孤立的前后对比数字更具信息量。它为同一报告设置下的另一条内存路径提供了参考。经调优的结果接近这一参考值,而非暗示软件消除了连接的物理限制。

因此,对于评估这一说法的读者而言,重要变化的定义相当明确。作者报告称,恢复了默认可分页路径未能利用的带宽。与将结果视为 NVIDIA 硬件的普遍加速相比,这种解读既更有用,也更站得住脚。

这一区别还将优化机会与产品公告区分开来。这是一项独立开发的工具及基准报告,并不是 NVIDIA 宣布 cudaMemcpy 获得了通用性能升级,也不构成官方性能保证。

这里仍存在一个有意义的工程问题。如果某台特定机器上的常见默认路径留下了大量未利用带宽,应用开发者就需要理解原因。仅凭硬件能力无法回答其软件是否真正达到了这一能力。

更快的拷贝让应用瓶颈受到审视

压力首先落在 GPU 等待数据的团队身上,而不是那些工作负载已让计算保持繁忙的团队。

应用的关键路径是决定有用工作何时完成的一系列操作。当一次更快的拷贝位于关键路径上时,它最具意义。如果由另一项操作决定完成时间,提高传输带宽可能几乎不会影响用户体验到的结果。

以一项 AI 服务为例:它加载模型后,会在较长时间内响应请求。更快的加载会改善就绪时间,但加载阶段与请求处理阶段是不同的测量指标。前者的变化并不会自动改变后者。

另一项服务可能会反复在 CPU 与 GPU 内存之间移动模型组件。卸载,即将部分工作数据存储在 GPU 内存之外,会使传输行为成为持续执行的一部分。在这种假设部署中,数据移动更值得关注,因为应用会在进行有用工作时反复涉及它。

训练则带来另一种区别。检查点会保存恢复任务所需的状态,而准备该状态可能涉及将数据移出 GPU 内存。缩短准备暂停时间很有价值,但这仍不同于加速两个检查点之间的每一次计算。

这些例子说明,仅凭工作负载标签并不足够。两个应用都可能进行模型加载,但它们的时间分配可能不同。文件访问、数据准备、内存分配和 GPU 传输,对总延迟的贡献比例也可能不同。

NVIDIA 的性能评估指南建议在优化前先定位应用中耗时的部分。该指南还讨论了阿姆达尔定律,即未改变的工作会限制加速单个组件所带来的收益。这为评估这一说法提供了恰当的分析框架。

其含义很直接:局部大幅提升可以带来整体较小的改进,而两种测量都未必有误。它们回答的是不同的问题:一个问题是数据移动有多快,另一个问题是应用完成任务有多快。

因此,基础设施采购方应区分硬件对比与软件路径对比。一台服务器可以配备性能强劲的加速器,但周边应用却未能高效地提供数据。购买另一块加速器与修复该传输路径,解决的是不同的延迟原因。

对于框架维护者而言,这份报告带来了一个更聚焦的挑战。他们需要确定具代表性的应用是否会遇到可避免的暂存开销。他们还需要将可能的补救措施与既有的固定内存工作流进行比较,而不是假定默认的可分页基线代表最佳可用实现。

对于 AI 产品用户,相关结果仍然很具体:模型是否更快就绪?训练任务是否更少暂停?在正常负载下,请求是否更快完成?带宽图表是有关某个组件的证据,并不能替代这些结果。

CPU 暂存是该说法背后的机制

所提出的改进来自于在数据到达 GPU 前,更有效地组织 CPU 端拷贝。

可分页传输可能包含经由固定内存的中间步骤。随后,直接内存访问,即由硬件管理的内存与设备之间的数据移动,会处理设备传输。额外的暂存步骤意味着,可见操作涉及的不只是物理连接的速度。

NVIDIA 的拷贝同步规则明确描述了可分页内存的暂存行为。其也解释了同步取决于操作及其参数。标记为异步的接口,并不保证每次调用都会立即返回而无需等待。

这很重要,因为应用开发者通常通过高层框架接触这种传输。一条简短的表达式可能隐藏了分配、暂存、提交和等待。只测量可见表达式,并不能揭示哪个隐藏组件对耗时贡献最大。

在这一背景下,Zhu 提出的机制是合理的。更有效的 CPU 暂存可以更持续地为设备连接提供数据。这种解释无需改变 GPU 的计算单元、模型架构或数值精度。

不过,合理性与验证仍是两回事。官方文档支持暂存和同步行为的存在,但并未独立验证该工具报告的加速幅度、其实现选择,或其在另一台机器上的表现。

这一区别也避免了一种常见的解读错误。增加 CPU 工作线程并不会创造无限的传输带宽。它改变的是既有资源的使用方式,而这些资源最终可能在系统的其他位置受到限制。

更多工作线程可能与应用工作争夺处理器时间。额外缓冲区会消耗内存,并需要管理。关键问题在于,在具有代表性的工作负载下,这些成本是否小于其消除的延迟。

因此,安静的传输基准测试与繁忙的应用可能偏好不同设置。基准测试可能为暂存工作线程提供充足的 CPU 容量;而生产进程可能需要同一容量来准备请求、解码输入或协调其他操作。

缓冲区复用还带来另一项考量。服务于重复传输的缓冲区,与为单次操作创建的缓冲区,经济性不同。设置工作可以分摊到重复使用中,而一次性操作必须直接承担其准备成本。

这使得 NVIDIA cudaMemcpy 优化不仅是带宽故事,也是调度和资源分配故事。其价值取决于是否能有效协调 CPU 与传输机制。最有价值的评估应在应用内部衡量这种协调,包括竞争性工作。

这也解释了为何一种调优配置不应成为通用建议。当周边工作负载变化时,最佳设置未必仍是最佳。可信的结果应识别优化有所帮助的条件,以及其额外机制不再划算的条件。

可分页内存与固定内存仍是实际选择

改善可分页传输并不会消除开发者有意使用固定内存的理由。

固定内存改变了传输的起始条件。应用无需通过中间路径准备普通内存,而是可以预先安排可传输数据存在于合适的缓冲区中。这将部分优化工作转移到了应用设计中。

PyTorch 的固定内存指南说明了为何该对比需要谨慎。它指出,在传输之前立即手动固定一个张量,可能比直接传输更慢。当工作负载确实承担这些准备成本时,测量中就应纳入这些成本。

同一说明还指出,要让复制操作与 GPU 计算重叠,需要满足特定条件,包括适当的硬件资源、锁页源内存,以及彼此独立的执行流——也就是有序的 GPU 工作队列。更快的复制与重叠复制是相关目标,但并不相同。

这一差异带来了两种合理的比较方案。一种是优化应用程序已经产生的普通内存的数据传输路径。另一种则改变应用程序准备和调度数据的方式,使传输更好地匹配其执行模式。

任何一种方法都不会仅仅因为其单独的复制结果更好就必然胜出。公平的比较应包括准备工作、内存使用、同步以及应用程序的完成时间。同时还应保持相同的有效输出,而不是通过改变工作负载来偏向某一种方案。

例如,可复用的输入管线或许值得维护专用传输缓冲区;偶发性的导入路径则可能让这种额外复杂度显得不那么划算。这些是架构层面的示例,并非证明某种方法在特定模型上胜出的测量结果。

实际操作中的问题是谁负责准备工作。由应用程序管理的锁页内存会将这项工作明确放入程序或框架中。调优器则尝试改善传输路径内部的工作。两种方法都会在某处消耗资源。

计时边界决定了这些资源是否会出现在基准测试中。缓冲区准备完成后才开始计时,测量的是与准备前开始计时不同的操作。两种边界本身都没有错,但由此得出的数值不应被视为可互换。

这也是原始说法中锁页内存参考值重要的原因。它为读者提供了另一个比较点,但并不能证明由应用程序管理的锁页内存已经过时。接近锁页传输带宽之所以有趣,恰恰在于应用程序起始于不同的内存布局。

PyTorch 等框架与 CUDA 等 GPU 平台处于这一问题的不同层级。比较它们的行为,需要追踪应用程序实际请求了什么,以及底层运行时做了什么。把它们当成可互换的竞争产品,会掩盖其中的机制。

真正有价值的竞争,是在相同工作负载下比较不同传输策略。问题在于,透明的暂存优化能否带来足以证明其资源成本合理的收益。这种比较能让分析聚焦于应用程序结果,而不是品牌之间的竞赛。

该基准测试未回答部署层面的问题

验证缺口涉及可复现性、资源成本和规模,而不只是所提出的机制听起来是否合理。

Zhu 报告使用的是一套 B300 SXM6 系统,配备双 Xeon 6787P 处理器、16 个虚拟 CPU,以及 595.91.07 驱动程序。他还表示,自己未在单张 B300 或由八张 B300 组成的节点上测试大型模型。在解读有关部署规模的说法时,这些限制非常重要。

他的文章报告了共享租用环境中的 CPU 干扰,且未测试 AMD 硬件和 CPU 到 GPU 的 NVLink-C2C 系统。NVLink-C2C 是配对 NVIDIA CPU 与 GPU 组件之间的直接连接。一种传输配置的结果不应自动套用于另一种配置。

这些披露界定了若干尚未回答的问题:重复运行时结果有多稳定?调优需要多少 CPU 容量?当其他进程争夺内存带宽和处理器时间时,应用程序能否保留这项收益?

独立复现应区分“重现标题数字”和“解释其原因”。达到类似的带宽数字可以支持这一观察;展示时间究竟消失在何处,则能为机制及其限制提供更有力的证据。

反过来也同样重要。未能匹配原始结果,并不能立即确定原因。在得出更广泛的结论前,需要调查 CPU 访问方式、内存放置、驱动行为或工作负载准备方面的差异。

传输方向也应分别对待。将数据传往 GPU 与将数据传回,是具有不同完成要求的两类操作。针对一个方向报告的结果,在另一个方向获得独立测量前,应始终明确标注其适用方向。

复制大小构成另一条边界。一次大的连续传输会让固定开销所占比重低于多次较小操作。即使总传输字节数与较大的基准测试相同,传输碎片化数据的应用程序也可能表现不同。

正确性应与速度一并考量。只有当应用程序使用目标数据时,目标端已包含预期数据,传输才有价值。在必要工作完成前就结束计时,可能会让操作看起来更快,却并未改善已完成的工作。

应用程序就绪状态同样需要谨慎定义。一个进程存在时,模型未必已经准备就绪;一次传输被提交时,其目标端也未必已经可用。比较应测量用户或下游组件实际依赖的事件。

作者关于全机群节省的讨论是一个假设性推演,而非客户部署结果。它无法证明对于具有不同重载模式、工作负载或资源约束的组织能够实现实际节省。可辩护的商业主张,止于一个值得测量的机会。

因此,对于企业读者而言,NVIDIA cudaMemcpy 优化应作为具有明确适用范围的假设进入评估。它既不是忽视传输调优的理由,也不是假定基础设施需求会按比例下降的依据。

公开的配置和可复现的工作负载将使该主张更易评估。持续的应用程序改进证据,比又一个孤立峰值更重要。在真实资源竞争下收益微乎其微的证据,也会缩小适用场景,而不会抹去最初的观察。

三个信号将表明这一结果能否推广

独立复现、真实规模,以及默认软件路径的改进,是接下来值得关注的信号。

首先,应关注同时披露机器配置和计时边界的独立测量。最有参考价值的复现,会在等效条件下比较默认可分页传输、调优后的可分页传输以及锁页传输。它还应报告波动情况,而非只展示一次有利的运行结果。

如果同样的模式能在作者的环境之外成立,这将加强该主张。若改进依赖于异常受限的 CPU 访问条件或狭窄的传输大小选择范围,则会削弱其广泛解读。无论哪种结果,都会帮助开发者识别哪些场景值得评估。

强有力的复现还应包含应用程序层面的结果。传输图表解释了组件,应用程序结果则解释了其后果。让两项测量都保持可见,可以防止一次成功的局部优化获得关于整体 AI 性能却缺乏依据的主张。

其次,应关注在更大模型和多 GPU 环境下的真实工作负载。多 GPU 配置使周边 CPU 和内存资源尤为重要,因为多个设备可能同时请求服务。单设备上的改进无法回答这些需求将如何相互影响。

重要信号是,在考虑共享资源后,是否能够持续完成有用工作。更快的传输若导致 CPU 侧应用程序任务资源不足,其权衡便不同于几乎没有附带成本的更快传输。收益与资源负担都需要测量。

这一阶段还应区分启动、恢复和稳态运行。部署可能从其中之一受益,却不会改善其他环节。清晰的区分能让买家将证据与自身服务行为对应,而不是把每项结果都转化为泛化的吞吐量主张。

第三,应关注运行时或框架默认设置的变化。如果维护者复现了瓶颈并改进标准路径,更多应用程序便可能无需采用单独的调优工作流就能获得收益。这将加强一个更广泛的观察:传输软件值得重新受到关注。

相反的结果也同样具有信息价值。如果维护者发现该优化需要应用程序特定的知识,自动采用就会更加困难。该结果仍然相关,但其自然归宿或许是有针对性的工作负载配置,而非通用默认设置。

开发者应保留支撑这些区分的证据。机器细节、工作负载版本、计时边界和未成功的运行结果,都会让后续比较更具可解释性。维护可搜索知识库的团队可以让这些记录与其所支持的决策保持关联。

目前,实际可行的做法是审视数据移动在应用程序关键路径中的位置。将模型就绪与请求处理分开,并在执行相同有效任务的前提下比较传输策略。当应用程序需要承担准备和等待成本时,也应将其纳入考量。应将 NVIDIA cudaMemcpy 优化视为一个已报告的、可能回收被浪费时间的机会,而这一机会的大小仍取决于具体工作负载。在调整基础设施计划前,应先确定哪项测量结果能够证明这种改变合理。应用程序是否正在等待可分页传输?而减少这种等待,是否会改善其用户实际需要的结果?

 
 

免费开始使用

一款本地优先的AI助手

为了获得更好的人工智能体验,

remio 目前仅支持Windows 10+ (x64)和M-Chip Mac 。

你的 AI 工作伙伴

和 remio 一起高效工作

规划、创作、交付

一站式完成

bottom of page