Meta Engineering 表示，随着广告模型规模扩大，GEM 的训练效率翻倍

Meta 工程团队在一项新的技术披露中表示，在将每次训练的模型计算量扩大四倍的同时，GEM 的端到端训练效率已提升一倍。如今，GEM 在数千颗当前一代 GPU 上实现了 20% 至 25% 的模型 FLOPs 利用率。

这一结果之所以重要，是因为增加加速器通常会带来新的瓶颈：通信量扩大，故障的破坏性更强，不均衡的工作负载则会让昂贵的硬件处于等待状态。Meta 表示，GEM 在训练工作负载大幅增长的同时提升了效率。

因此，这场较量并非 Meta 与另一家广告公司的竞争，而是系统工程与粗放式 GPU 扩容之间的对决。该公司的 GEM 训练介绍将效率提升归因于模型架构、数据传输、并行化、内核和可靠性等方面的协同成果。

GEM 是 Generative Ads Recommendation Model 的缩写，是支撑 Facebook 和 Instagram 各类广告推荐场景的基础模型。它学习共享模式，供规模更小的生产模型在严格的延迟限制下进行广告排序时使用。

该模型在规模上类似大型语言模型，但工作负载并不相同。语言模型处理的 token 序列相对规整。广告系统则结合了不规则的行为历史、庞大的嵌入表、多样的目标，以及持续变化的数据。

Meta 尚未公布足够的信息，供外部人士复现这一最新结果。该公司没有披露 GEM 的确切 GPU 数量、训练时长、能耗或绝对成本。因此，所报告的 20% 至 25% MFU 虽然有参考价值，但并非完整的效率审计。

不过，这项披露揭示了推荐工程中的一个重要转变。Meta 正将广告排序视为基础模型问题，并围绕这一决策重构训练系统。

Meta Engineering 将 GEM 带入新的训练等级

核心变化并不只是 GPU 集群变得更大。Meta 表示，GEM 现在执行的模型计算量增加了四倍，同时对所分配硬件的利用效率约提升了一倍。

模型 FLOPs 利用率（MFU）衡量的是，加速器理论吞吐能力中有多少份额用于模型定义的数学运算。25% 的 MFU 并不意味着 GPU 有 75% 的时间处于空闲状态。部分能力用于通信、内存传输、数据准备、同步及其他必要工作。

这一差异在 GEM 的规模下尤为重要。Meta 描述的模型包含数万亿稀疏参数和数十亿稠密参数。稀疏参数包括大型嵌入结构，每个样本中仅有相关的一个子集参与计算；稠密参数则参与得更为稳定。

因此，单凭参数数量几乎无法判断训练成本。总参数量相近的两个模型，其实际参与计算的规模、内存流量和通信模式可能截然不同。GEM 训练 FLOPs 增加四倍，更能说明 Meta 扩大了一次训练中完成的工作量。

Meta 表示，当前系统在数千颗最新一代 GPU 上训练。这使 GEM 的分布式训练问题更接近前沿语言模型基础设施，而非运行在较小集群上的传统推荐任务。

该公司过去数年一直在朝这一方向发展。传统深度学习推荐模型高度依赖人工设计的特征和压缩表示。Meta 早期的序列学习研究则将重点转向完整的行为事件流。

这种方法保留了用户在一次互动前后所做行为的更多信息。它能够捕捉事件的顺序、时间和上下文，而不是将行为视为一组固定的汇总统计数据。

然而，更长、更多样的序列会加大计算压力。不同用户生成的历史记录长度不同。有些样本所需的处理量远高于其他样本，从而在批次内部和不同 GPU 之间造成不均衡。

GEM 还会跨多个场景和目标进行学习。一次 Instagram 视频互动可以携带有助于改善 Facebook Feed 预测的信息。广告主目标则可能包括品牌认知、点击、消息、购买或其他转化。

这种共享学习是基础模型战略的核心。Meta 并非把每个排序系统都训练成彼此孤立的智能体，而是利用 GEM 发展可复用的表示和预测能力。更小的价值模型随后可以吸收这些知识，用于特定的生产任务。

Meta 此前表示，相较早期排序模型，GEM 的架构在相同数据和计算投入下带来了四倍的广告效果提升。那是关于模型质量的主张，并非最新披露中训练计算量增加四倍的说法。

将这两组数字区分开来至关重要。一组描述的是每单位训练输入所声称实现的效果；另一组描述的是更新后的训练运行执行了多少数学计算。

这项新的效率结果意味着，Meta 表示自己在扩展 GEM 的同时，没有让基础设施开销吞噬新增能力。这才是事件真正的技术意义。

为什么更多 GPU 往往会让效率变差

分布式训练在算力耗尽之前，就会先成为一个协调问题。每增加一颗 GPU，都会带来更多等待、不均衡和故障的机会。

一次训练步骤要求加速器处理数据、交换中间结果、汇总梯度并更新模型状态。如果某个工作节点落后，其他节点可能到达同步点后只能等待。

对于不规则的推荐数据，这一问题会更加严重。用户历史长度各不相同，稀疏特征访问也因样本而异。相同数量的样本并不保证相同数量的工作。

稠密 Transformer 已经需要谨慎设计并行化方案。推荐模型还加入了巨大的稀疏组件，其通信行为与稠密层不同。单一策略无法高效分配两者。

Meta 对稠密模型组件采用混合分片数据并行（Hybrid Sharded Data Parallelism）。HSDP 在 GPU 组内划分模型状态，同时在不同组之间复制选定状态。其目标是在不让每次通信操作都跨越整个集群的前提下控制内存消耗。

GEM 的稀疏组件则需要另一种安排。Meta 曾描述过一种由数据并行和模型并行构成的二维组合，其设计围绕同步成本和内存局部性展开。

数据并行让工作节点处理不同样本，同时维护模型副本或分片。模型并行则将模型本身拆分到多个设备上。将两者结合，能让系统在容纳大型嵌入结构的同时保留足够的并行工作。

这一设计带来了艰难的权衡。更多分片可降低每个加速器的内存压力，但也会增加通信；更多复制可减少部分通信，却会消耗稀缺的高带宽内存。

这正是粗放式扩容失效的地方。将集群规模扩大一倍，并不会自动让有效计算量翻倍。更大的任务可能会花费更多时间交换数据、等待拖后腿的节点，或在故障后重建丢失状态。

Google 在其 PaLM 研究中展示了这一问题的另一面。拥有 5400 亿参数的 PaLM 系统，在 6,144 颗 TPU v4 芯片上报告了 46.2% 的 MFU，采用的是稠密语言模型架构和高度优化的软件栈。

这一数字并不能证明 PaLM 的系统优于 GEM。两者的架构、硬件、数据和 MFU 计算方式均不相同。GEM 的稀疏推荐工作负载具有使直接比较失去意义的通信和内存访问模式。

不过，这一比较仍为读者提供了有用的参照坐标。MFU 结果只有放在产生它的工作负载背景中才有意义。稠密 Transformer 基准不能成为稀疏广告模型的通用目标。

当 Meta 所称的端到端效率提升一倍与 20% 至 25% 的范围结合来看时，后者就更具参考价值。关键结果在于，GEM 的训练计算量扩大四倍时，其相对于此前基线的提升。

端到端效率也不止于内核速度。即使矩阵乘法很快，如果输入管线停滞、检查点保存让集群暂停，或工作节点反复重启，也无济于事。

Meta 此前曾表示，GEM 需要彻底重构训练配方。其早期一代在使用 16 倍 GPU 的同时，将有效训练 FLOPs 提高了 23 倍，MFU 也提升了 1.43 倍。

2026 年 8 月的结果代表了这一扩展计划的又一阶段。这表明，在增加硬件和采用基础并行化所带来的较容易收益已被获取后，该公司可能又找到了额外的提升空间。

这给每家大型推荐业务中的基础设施团队都带来了压力。获得 GPU 仍然重要，但仅有 GPU 并不能将理论吞吐能力转化为模型进展。

效率提升来自模型与系统的协同设计

Meta 并未指出某一项单独优化让 GEM 的效率翻倍。这一提升来自让模型和训练栈作为一个系统协同运行。

推荐模型产生的工作负载，并不总能被标准语言模型内核高效处理。行为历史的长度各不相同，通常被称为锯齿序列。将每个序列填充至相同的最大长度，会在空白位置上浪费计算。

Meta 为这些不规则输入开发了定制 GPU 内核。内核融合将多项操作合并，使数据减少在加速器内存和独立处理阶段之间移动的时间。

这一做法符合大模型训练的一条普遍经验：峰值硬件规格描述的是理想算术吞吐能力，但实际任务常常受限于内存带宽、启动开销或通信。

GEM 的注意力机制也不同于常见的 Transformer 方案。广义点积注意力采用适用于不同特征交互任务的替代激活函数，取代标准 softmax 操作。

公开的注意力内核设计介绍了对 GEM 内部所用 InterFormer 和 Kunlun 架构的支持。它解释了为何推荐系统需要比标准语言模型注意力内核更高的灵活性。

InterFormer 在序列学习与跨特征交互之间交替进行。这种结构让 GEM 能够保留细致的行为序列，同时将其与广告主、用户、展示位置和创意属性联系起来。

Kunlun 扩展了对非序列特征的交互建模。这些特征可以包括无法自然构成时间顺序流的用户或广告属性。

支持这些架构使用通用内核会带来额外开销。为每个变体使用彼此无关的定制代码又会造成维护问题。通用化内核试图在两者之间取得平衡：在保留灵活性的同时，采用经过优化的执行模式。

Meta 还介绍了 GPU 通信方面的变化。作为 NVIDIA 集体通信库扩展的 NCCLX，可以在不占用流式多处理器资源的情况下执行部分通信。

流式多处理器（Streaming Multiprocessors，简称 SM）执行大多数 GPU 计算任务。如果通信操作竞争相同资源，计算与网络通信就难以有效重叠。

消除这种争用后，模型的部分计算可以在其他数据于设备间传输时同步进行。当一项任务跨越数千个加速器、且每一步都要在多个节点交换信息时，收益会更加显著。

数据加载是另一项潜在瓶颈。GEM 必须持续摄取不断变化的交互数据，速度要足以让训练集群始终保持忙碌。GPU 越快，只会越放大上游延迟。

检查点也成为首要问题。检查点会保存训练状态，以便任务在中断后恢复。更大的模型会产生更大的状态快照，而更大的集群也意味着硬件或网络故障的总体机会更多。

频繁创建检查点可减少损失的工作量，但会消耗更多时间和存储带宽。不频繁创建检查点可提升稳定运行时的吞吐量，却会增加故障后需要重复的训练量。

完整的效率方案必须兼顾这两种结果。它不能只优化最快的不间断运行区间，而忽略启动、验证、检查点创建或恢复。

Meta 此前报告称，在优化训练器初始化、数据读取器、检查点和 PyTorch 编译后，GEM 的任务启动时间缩短至原来的五分之一。这些工作并不属于最受关注的模型架构范畴，却决定了昂贵算力能多快开始产生实际价值。

这也解释了为何新说法采用端到端效率。该表述意味着，测量覆盖的训练流程范围比单独的内核基准测试更广。

结果还表明，Meta 的基础模型战略与基础设施战略密不可分。共享模型能够证明更大工程投入的合理性，因为其表征可惠及多个广告展示场景。

面向单一展示位的小型排序模型，或许不足以支撑定制通信库和专用内核的投入。影响 Facebook 和 Instagram 的中心模型，则能让每一项基础设施改进产生更高回报。

这一反馈循环有利于在极大规模下运营的公司。更多交互支持更广泛的训练，而更广泛的模型又让效率投资可在更多产品中发挥作用。

同样的循环也会带来风险。将学习过程集中化，可能使模型错误或数据偏见扩散到不同场景。Meta 必须保留面向领域的特定目标，确保共享表征不会抹去产品之间有意义的差异。

其架构通过多领域学习和专用下游模型来应对这一挑战。基础模型负责共享知识，而生产系统则保留各场景层面的约束与目标。

这并不是一个模型直接实时挑选每一条广告。GEM 向更广泛的排序与投放技术栈提供学习到的信息，再由对延迟敏感的系统做出生产决策。

GEM 对蛮力扩展路线图施加压力

这一结果削弱了这样一种假设：竞争优势主要来自购买更多加速器。在这一规模下，协同质量决定硬件能产生多少价值。

Meta 有能力负担超大规模 GPU 集群，但该公司也有充分理由高效利用它们。广告支撑着其大部分业务，即使是小幅改进，也可能影响海量排序决策的结果。

GEM 的作用将基础设施支出与这一收入引擎联系起来。更好的共享表征可以改进预测互动、转化及其他广告主结果的小型模型。

基础模型方法也改变了模型团队的工作方式。一组彼此孤立的模型可能重复进行学习和基础设施建设。GEM 提供了一个表征的中央来源，下游团队可在此基础上进行适配。

Meta 将这些专用系统称为价值模型。它们在大型基础模型无法直接满足的生产约束下运行，包括严格的响应时间要求，以及不同场景下不同的目标。

知识蒸馏将更大教师模型的行为迁移到更小的学生模型中。Meta 表示，其较新的迁移框架效率是标准蒸馏的两倍，不过外部人士无法根据已披露材料验证这一比较。

参数共享提供了另一条迁移路径。下游模型可以复用选定组件，而无需复制整个基础模型。这在保留专用执行能力的同时减少了冗余。

这种架构与更碎片化的路径形成竞争，后者是由团队持续改进各展示位或目标的独立排序器。碎片化能提供更强的控制力和更容易的调试，但会限制共享学习。

中心化方法可以利用一个场景的证据来改进另一个场景。它也可以跨越稀疏目标进行学习，而单个模型在这类目标上看到的有意义结果可能太少。

其他大型平台也面临同样的战略问题。Google 将大规模推荐研究与广告系统相结合，而 TikTok 的产品高度依赖基于序列的推荐。它们的内部测量结果无法与 Meta 披露的 GEM 数据进行公开比较。

因此，相关压力并不局限于单一基准。Meta 正在展示，LLM 规模的基础设施方法可以进入对收入至关重要的推荐训练领域。

其自适应排序系统解决了相应的服务问题。如果生产系统无法在广告延迟和成本限制内应用大型模型所学到的知识，训练更大模型的价值就有限。

Meta 的技术栈对挑战进行了拆分。GEM 在训练期间执行昂贵的共享学习；专用排序模型和优化运行时则将这些智能带入实时投放。

Andromeda 占据了流水线中的另一环。它会先从更大的广告池中检索出较小的候选广告集合，之后的排序阶段再对这些候选项进行更细致的评估。

随着生成式工具增加可用广告变体的数量，这一区分变得更加重要。更多创意选项扩大了候选空间，也提高了有效检索和排序的价值。

GEM 并不能免除广告主创作相关优惠和可信信息的需求。更好的模型可以在现有选项中做出选择，但无法保证需求，也无法修复薄弱的经济基础。

系统也可能变得更难解释。当中心模型学习跨场景模式并将其传递给下游模型时，很难将某一次投放结果追溯到单一因素。

广告主可能会经历效果变化，却得不到相应解释。Meta 可以在内部衡量整体收益，而单个买家看到的结果则受预算、受众、创意、竞争和归因等因素共同影响。

这一信息鸿沟应当抑制对广告活动影响的宽泛主张。训练效率是一项基础设施成就，但它并不能保证每位广告主的转化率都获得一致提升。

Meta 的 20% 至 25% MFU 未能说明什么

Meta 的核心指标确立了方向性的进展，但并未揭示训练 GEM 的全部经济成本或环境成本。

MFU 关注模型计算相对于理论峰值吞吐量的表现。它不会自动纳入硬件执行的每一项操作，也不会计入任务启动前的集群可用性。

即使 MFU 提升，如果模型显著变大，系统的总能耗仍可能增加。GEM 的训练 FLOPs 增加了四倍，因此单次运行所执行的绝对工作量大得多。

这种扩展仍可能在经济上合理。更大的模型可以提供更好的预测，而利用率提升可以减少完成特定计算量所需的硬件。

不过，Meta 尚未披露每次运行的绝对能耗。它没有提供每训练 FLOP 的成本、加速器总小时数，或在相同硬件条件下的比较。

“最新一代 GPU”这一说法也留下了重要细节。加速器型号、数值精度、网络拓扑和功耗限制，都会对理论峰值性能和测得的 MFU 产生实质影响。

MFU 分母的变化同样重要。较新的 GPU 提供更多理论 FLOPs，但应用程序并不总能同等程度地利用这些能力。跨代比较百分比需要谨慎归一化。

系统变化的同时，模型本身也发生了变化。训练 FLOPs 增至四倍，可能改变操作规模、批处理行为，以及计算与通信之间的平衡。

较大的矩阵运算有时能更高效地使用 GPU。因此，MFU 收益的一部分可能来自工作负载形态，而非一种可普遍复用的软件改进。

Meta 的端到端表述有所帮助，但公开说明仍来自运营该系统的公司。没有独立第三方复现 GEM 或审计其报告的效率。

这种局限并不意味着这些数字毫无参考价值。内部生产系统通常包含专有数据和架构。完全复现将带来隐私、安全和竞争方面的担忧。

但这意味着，读者应将“两倍”视为 Meta 报告的、相对于其早期 GEM 技术栈的比较。这并不证明 GEM 比所有竞争性推荐模型都高效两倍。

模型质量主张同样需要谨慎对待。Meta 此前表示，在固定的数据和计算量下，GEM 产生广告效果提升的效率提高了四倍。该公司尚未发布涵盖竞争平台的公开基准。

生产广告结果也会随时间变化。竞价条件、创意供给、用户行为、隐私规则和测量方法，都可能影响观察到的收益。

中心化也带来了运营风险。跨多个产品使用的基础模型会成为重要依赖。训练延迟或有缺陷的更新可能影响的团队，比单一孤立模型内部出现问题时更多。

Meta 通过检查点、验证、专用价值模型和受控的知识迁移来缓解这一风险。不过，新规模仍提高了出错的代价。

隐私仍是另一条边界。GEM 从 Meta 各应用中的广告和自然互动信号进行学习。即使系统围绕内部控制设计，更广泛的序列建模仍可能从行为中提取更丰富的模式。

技术披露并未提供新的隐私政策分析。读者不应推断，更高的训练效率改变了 Meta 收集哪些数据，或其使用受到哪些保护措施的约束。

对工程师而言，启示更为狭窄而具体。MFU 应是多个诊断指标之一，还应包括任务完成率、恢复时间、数据吞吐量、能源使用和模型质量提升。

团队在记录复杂系统时，可以在可搜索的工程知识库中保留这些差异。这种做法有助于防止某一个看似亮眼的指标取代完整的运营图景。

三个信号将检验 Meta Engineering 的叙事

接下来的考验在于，GEM 的基础设施增益能否在不按比例增加训练成本或运营风险的情况下，转化为可重复实现的模型改进。

第一个信号是 Meta 下一次披露单位算力对应的模型质量。训练 FLOPs 增加四倍体现了规模扩张，而更高的 MFU 则表明利用率得到改善。两者单独来看，都无法说明更大规模训练带来的广告边际价值。

未来的对比应区分新增数据、架构调整、训练时长和硬件改进分别带来的收益。如果 Meta 在受控的算力预算下报告更好的结果，基础模型的商业逻辑将更具说服力。

如果质量提升趋于平缓，而计算量仍在持续攀升，那么这一效率成果看起来将更偏向防御性质。Meta 会更有效地使用硬件，但每增加一个训练单位所带来的商业价值可能更低。

第二个信号是，源自 GEM 的学习成果是否会在 Facebook 和 Instagram 的各类产品界面中得到更广泛部署。Meta 将 GEM 定位为一个向生产系统迁移知识的核心模型，而不是直接取代这些系统。

成功的扩展应表现为更多下游模型采用共享组件或改进的迁移方法。同时，它还应保留不同广告位和广告主目标所需的专门行为。

关注基础模型扩展时，部署是否依然稳定的证据。当团队无法足够迅速地验证、蒸馏或提供结果服务时，更快的训练就会失去价值。

第三个信号是 Meta 下一步选择披露的基础设施瓶颈。两倍的效率提升很少能终结扩展问题，通常只是将限制因素转移到别处。

这种约束可能出现在网络通信、检查点存储、数据摄取、编译、可靠性或生产推理环节。Meta 早期的工作已经覆盖了其中大多数层面。

新的瓶颈不会否定当前成就。它反而会表明，GEM 仍是一个持续重构中的系统，而非已经完成的平台。

最有力的验证将同时具备三项结果：更高的广告质量、稳定的下游部署，以及每项有效改进的成本增长放缓。缺少其中任何一项，都会削弱这一更广泛的主张。

开发者还应关注 Meta 是否会向 PyTorch 或相关开源基础设施贡献更多底层工作。通用化注意力内核便是内部需求转化为可复用工程能力的一个例子。

可复用组件之所以重要，是因为大多数组织无法复制 GEM 的集群。它们仍可从更好地处理不规则序列、通信重叠、融合操作或分布式检查点中获益。

对广告主而言，相关问题有所不同。关注广告活动在不同广告位和目标下的表现是否变得更加一致，尤其是在账户提供的历史数据有限时。

对基础设施负责人而言，GEM 提出了一个更直接的挑战：衡量已分配的加速器容量中有多少真正推动了模型进步，然后追踪整个训练生命周期中的每一项剩余损耗。

Meta Engineering 给出了一个引人注目的数字：在端到端效率翻倍后，MFU 达到 20% 至 25%。更深层的信息是，加速器数量已成为衡量 AI 能力的不完整指标。

下一项优势将来自于把更多已购入的计算资源转化为可靠的学习能力。GEM 展示了如今完成这种转化需要多少工程投入。哪项指标最能揭示你自身训练系统中的最大损耗？你的团队能否在购买下一个集群之前测量出来？