Meta AI 推理容量将闲置算力转化为广告优势

Meta 已将两项新的弹性机制投入生产，在无需新增容量的情况下，把闲置算力转化为额外的广告排序工作。Meta AI 推理容量系统会在处理器可用时扩展，并在容量消失时移除可选工作负载。其矛盾很直接：Meta 希望利用波动性资源提升预测效果，但其基础广告服务不能因此变慢或降低可靠性。

这一系统改变了闲置基础设施为公司广告业务创造价值的方式。闲置处理器不再需要长期固定的工作负载才能产生价值。Meta 可以暂时评估更多广告候选项，或将部分请求路由至能力更强的模型。这两种路径都旨在改善推荐效果，但它们对 CPU 和 AI 加速器提出了不同要求。

这不只是一个常规的资源利用率项目。Google 的 Borg cluster manager 展示了共享基础设施如何通过调度、超额分配和工作负载隔离来提高利用率。Meta 正将这一广泛原则应用于对延迟敏感的推荐推理场景，其中每一次临时容量变化都可能影响实时广告决策。

Meta AI 推理容量成为广告排序资源

Meta 已将零散、临时的算力余量转化为实时广告推荐的共享资源。

推理集群必须预留足够容量，以便在满足延迟和可靠性目标的同时应对需求高峰。实际需求会随时间、季节、地区和硬件配置而变化。即使整个集群仍受容量限制，这也会留下局部的闲置算力。

Meta 指出了这种不匹配的几项原因。为峰值流量预置的容量在非高峰时段利用不足。硬件可能在其目标模型准备就绪前就已到位。某个地区可能拥有空闲加速器，却缺少足够的配套 CPU 容量。

硬件多样性又增加了一层复杂性。Meta 同时运行来自不同代际和供应商的加速器，以及自研专用芯片。为某种配置设计的工作负载无法自动使用所有可用设备。因此，容量可能会在过载服务旁边长期闲置。

Meta 的 capacity system 将可用的零散资源汇聚为一个机会性资源池。“机会性”意味着这些资源不具备持久性保证，且可被其原始所有者收回。Meta 不将这一资源池视为可靠的基线容量。

相反，公司会将其分配给能够在不改变基础服务承诺的前提下扩展或收缩的工作负载。广告排序符合这一要求，因为系统本就会通过多个阶段从数百万候选项中逐步筛选。更多算力可以加深这一搜索，较少算力则可让流程回归正常运行水平。

该资源池还必须能在广泛的容量范围内持续带来收益。一项很快达到质量上限的工作负载，会浪费更大规模的可用算力突发。Meta 表示，当系统评估更多候选项或有选择地应用更强模型时，广告推荐仍能持续受益。

Meta 尚未披露该资源池的规模、平均利用率，或其所对应的财务价值。因此，这项公告确立的是架构，而非完整的经济成果。除非公司公布受控测量结果，否则有关广告主价值的说法仍仅代表 Meta 自身。

不过，运营层面的变化是明确的。闲置容量如今拥有一条进入营收相关推理工作的既定路径。这使临时算力余量成为广告系统决策过程的一部分，而不再只是工程师试图压缩的基础设施指标。

两项机制匹配不同类型的闲置算力

Meta 的核心设计选择并非只是消耗闲置容量，而是让每种资源组合匹配合适的可选工作负载。

第一项机制是 Rank More Ads，即 RMA。当存在足够容量时，它会增加排序阶段评估的候选项数量。更多候选项为系统提供了更多机会，以找到更契合用户及当前情境的广告。

Meta 的推荐漏斗从数百万潜在广告开始，并逐步收窄。早期阶段会检索和处理广泛的候选集合。后期阶段则在系统决定展示内容前，对较小的候选群体应用计算要求更高的模型。

RMA 会拓宽这一漏斗的部分环节。新增候选项会在检索、特征处理和模型推理中带来额外工作。这意味着 RMA 通常需要同时具备闲置 CPU 资源和闲置加速器容量。

这一要求限制了 RMA 可运行的范围。若某个地区加速器未被充分利用、但 CPU 已饱和，就无法安全地扩展完整排序路径。在那里增加候选项数量会将瓶颈前移，并威胁延迟表现。

第二项机制是 Serve Better Models，即 SBM，它解决的是另一类资源问题。它保持候选项数量稳定，但会将一部分符合条件的请求路由至计算能力更强的模型。这让 Meta 可以消耗加速器余量，而不会产生相当规模的额外 CPU 工作。

SBM 不会不加区分地升级每一个请求。模型路由器会使用请求价值信号，决定哪些请求最有望从更强模型中受益。Meta 将请求分组，衡量更强模型带来的增量效果，并通过探索与利用来调整资源分配。

探索很重要，因为价值最高的请求未必是从额外建模中获益最大的请求。基础模型可能已能很好地处理某个高价值细分群体。另一个初始互动较低的群体，在由更强模型评估时，反而可能呈现更大的提升。

Meta 会在各细分群体中保留部分探索流量，以防路由器固化在过时的决策上。随着区域流量构成变化，校准循环还会使实际流量保持接近控制器预期的覆盖范围。

这一方法延续了 Meta Adaptive Ranking Model 中已展现的思路。该系统会在计算需求不同的模型之间路由请求，而不是统一应用一个模型。机会性系统则将波动性容量作为另一项路由约束。

两项机制具有互补性，因为闲置资源很少以均衡组合的形式出现。RMA 可消耗 CPU 和加速器的联合余量。SBM 则能吸收 RMA 无法安全利用的仅加速器余量。

Meta 会定期比较两种路径的测量价值和资源需求。下一个可用算力单位可以用于拓宽候选项搜索，也可以用于更好的预测模型。这一决策取决于流量、模型覆盖率和当前资源组合。

这正是 Meta 广告推荐系统背后的核心机制。闲置算力不会被分配给某一项固定任务。平台维持多种形式的可选工作负载，再扩展最适合可用资源和预期回报的一种。

真正的挑战是归还容量

只有在机会性工作负载损害容量所属服务之前被移除，系统才算成功。

闲置容量从定义上说就是临时的。区域流量增长、计划中的发布或模型部署，都可能让此前空闲的处理器重新变得必要。Meta 必须归还这些资源，同时不能让额外排序工作侵占基础资源分配。

SBM 通过物理隔离来保护基线流量。基础模型和更强模型使用不同的路由目标。专用副本维持适合常规请求的规模，而机会性副本则处理被选中的更强模型路径。

当闲置加速器消失时，控制器会降低更强模型的覆盖范围。被移出该路径的请求会回到基础模型。这些请求原本就已计入 Meta 对专用基线副本的容量预置。

RMA 则更依赖逻辑隔离。其副本可以接收基础工作和额外候选项排序工作的混合流量。全局预算会将增量工作限制在机会性容量副本所能支持的范围内。

随着资源池收缩，RMA 会降低其目标候选项数量。系统会移除更广泛的搜索，而不是将这些工作转移到专用基线容量上。用户仍会收到广告选择结果，但排序过程会评估更少的可选候选项。

两项机制都通过反馈循环运行。RMA 使用中央比例-积分-微分控制器，通常称为 PID 控制器。该控制器通过比较观测到的性能与目标值，并对当前和累积误差作出响应来调整输出。

Meta 的 RMA 控制器会监控尾部延迟，并计算可持续的候选项目标值。客户端将这一目标应用于新请求。当延迟低于阈值时，候选项数量可以增加；当延迟升高时，控制器会降低该数量。

SBM 为更强模型的覆盖范围采用了类似的控制路径。其控制器选择目标占比，而客户端路由决定哪些符合条件的请求进入该路径。校准机制会修正目标流量与实际流量之间的差异。

仅依靠中央控制无法快速应对突发抢占。Meta 表示，这些循环以分钟为量级运行，而容量可能会在更新后的目标到达每个客户端之前消失。这一延迟构成了基线服务最危险的时期。

因此，平台增加了服务端和客户端的负载丢弃机制。负载丢弃是指系统接近过载时主动舍弃可选工作。Meta 会应用价值信号，使价值最低的增量工作优先消失。

服务器会在接近瓶颈的位置作出反应。对于 RMA，它们可在单个请求中处理更少的额外候选项。SBM 服务器则会对被送往更强模型的请求实施等效策略。

客户端也会观察服务器健康状况，而非只依赖最新的中央目标。服务端过载会促使 RMA 客户端请求更少的新增候选项。SBM 客户端则会减少从基础模型分流出去的请求。

Meta 表示，这些本地防御措施可在数毫秒内作出反应。它们填补了中央控制器计算新目标并将其分发至整个集群前的较长间隔。

这种分层响应至关重要，因为分布式系统很少共享一个完全实时一致的视图。中央控制器可以进行全局优化，但响应较慢。本地服务器能立即感知压力，却无法协调整个集群。Meta 同时采用了这两个时间尺度，而非期待单一机制解决所有故障模式。

这一模式还建立在 Meta 早期 tail-utilization work 的基础上。Meta 表示，该项目在未增加额外资源的情况下将工作输出提高了 35%。它还将超时错误减少了三分之二，并将 p99 延迟降低了一半。

更新后的设计改变了目标。尾部利用率优化旨在让现有资源的输出更可预测。机会型推理则有意引入波动的供给，并约束由此产生的可选需求。

更好的广告依赖于更充分的排序，而不只是更多计算

只有当 Meta 将额外计算分配给能实质改善广告推荐的决策时，它才能创造价值。

RMA 建立在一个熟悉的搜索原则之上：如果早期阶段已经剔除了某个有价值的候选项，排序系统便无法选中它。评估更广泛的候选集合，会提高后续模型看到相关广告的可能性，尤其是在初始检索评分并不完美时。

不过，更多候选项并不保证带来成比例的更好结果。随着漏斗扩大，新增项目的潜力会逐渐降低。每一次扩展也会在加速器推理开始前，消耗用于检索和特征处理的 CPU 时间。

因此，Meta 必须找到一个动态平衡点：新增一个候选项的预期收益要超过其资源成本。这个平衡点会随用户、可用广告、区域基础设施以及当前部署的模型而变化。

SBM 面临着类似问题。更强的模型会消耗更多加速器容量，但其增量收益会因请求而异。若将每个请求都送入该模型，就会把可选容量变成永久需求。

因此，路由器试图将昂贵的推理保留给那些会改变预测结果的情形。这使得 Meta 的模型选择策略与更大模型本身同样重要。糟糕的路由可能会将稀缺的加速器资源花在基线决策本不会改变的请求上。

Meta 已在其 Andromeda 检索引擎中应用了类似的弹性机制。该公司表示，模型弹性结合分层神经网络，使推理效率提升了十倍。它还表示，端到端推理吞吐量提高了三倍以上。

这些数据描述的是 Andromeda，而不是新近宣布的机会型资源池。它们不应被视为 RMA 或 SBM 的性能指标。Meta 尚未公布新系统的可比提升幅度。

这一缺失很重要，因为计算利用率与广告价值是不同的衡量指标。处理器可以完成更多工作，却未必产生更好的推荐。推荐可以提升离线评分，却未必提高广告主成效或用户满意度。

该系统的价值感知分配试图连接这些层面。RMA 会判断更广泛的搜索是否找到了更优的候选项；SBM 则判断额外的模型复杂度是否能改善特定细分群体的预测。随后，分配过程会比较二者的增量回报。

这带来了超越基础设施健康状况的反馈问题。Meta 需要稳定的实验来估计：如果没有这部分额外工作，结果原本会如何。流量构成、竞价条件、广告活动变化和季节性行为，都会影响观察到的结果。

探索有助于让这些估计保持最新。通过保留各细分群体的流量，系统会持续测试更强模型在哪些场景中有效。没有探索，早期路由选择可能会使某些细分群体失去数据，并形成自我强化。

同样的逻辑最终也应指导 RMA 与 SBM 之间的选择。Meta 表示，它正在开发一个优化系统，可在各类弹性杠杆之间自动分配容量。目标是在区域、硬件和容量持续性约束之内，最大化用户与广告主的收益。

未来的控制器将把机会型资源池变成推理的内部市场。不同工作负载将依据可衡量的边际价值，竞争下一个可用资源单元。难点在于比较通过不同机制和时间尺度产生的收益。

更广泛的候选搜索可以立即改善发现效果。更好的模型可能提升转化预估或竞价决策。预先计算的特征则可能在之后、在实时请求路径之外创造价值。单一评分必须让这些回报具备可比性，同时不能掩盖运营风险。

Meta 的说法仍未展示什么

Meta 解释了如何保护基础服务，但尚未提供足够数据来判断该系统对业务的总体影响。

公告称其创造了“显著的广告主价值”，但没有公布百分比、实验时长或置信区间。它也未披露所捕获闲置容量的平均规模。读者无法根据已公开的信息计算系统的利用率提升或回报。

Meta 没有说明哪些平台、区域或广告主细分群体获得了扩展后的排序路径。该公司也未披露机会型容量被回收的频率，或本地负载削减机制被触发的频率。

这些缺失细节并不会否定这一架构。工程公告通常更关注机制，而不是商业报告。但它们确实限制了与其他推荐系统的比较，也妨碍了对 Meta 价值主张的独立验证。

对基础服务保护的解读也应保持谨慎。Meta 表示，物理隔离和逻辑隔离可避免可选工作损害常规的延迟与可靠性。该设计具有可信度，但文章并未公布此次部署前后的延迟分布。

毫秒级的本地响应并不能消除所有过渡风险。区域流量激增可能以不同方式影响 CPU、加速器、网络和依赖服务。一种资源可能受限，而另一种资源仍然可用，控制器因此需要识别真正的瓶颈。

逻辑隔离尤其依赖于核算准确性。RMA 会在部分副本上混合基础工作和可选工作。其全局预算必须反映，在不断变化的流量条件下，机会型副本实际上能够支持多少增量工作。

价值感知削减带来了另一个问题：请求价值信号决定哪些可选工作能在压力下保留下来。Meta 描述了自适应过程，但没有披露与该信号相关的特征、公平性测试或防护机制。

围绕预测互动进行优化的系统，可能会偏向于那些反应容易衡量的请求。这并不自动意味着用户会看到更有用的广告。互动、转化、广告主回报和长期用户体验彼此相关，但属于不同目标。

公告中对更强模型本身的说明也仍然十分有限。Meta 没有提供其规模、计算成本或相较基线模型的改进幅度。读者无法判断 SBM 在路由变得值得之前需要多少加速器余量。

竞争又增加了一层压力。大型广告平台正在投资检索、排序、自动化创意和专有推理基础设施。Meta 的优势将取决于它能多快地将这些组件连接起来，而不只是拥有多少闲置加速器。

Google 在工作负载自动扩缩容方面的经验展示了更广泛的机会。其 Autopilot 研究显示，自动管理作业的资源冗余为 23%，而手动管理作业为 46%。它还将严重内存不足问题的影响降低了十倍。

Autopilot 解决的是跨作业的资源配置，而 Meta 的系统控制的是推荐路径中的可选工作。不过，这一比较仍显示了自动化弹性为何重要。大型资源集群可以回收大量容量，但前提是安全机制能让生产团队信任自动化。

Meta 的系统也必须在内部赢得同样的信任。广告团队需要相信，借用的容量会平稳地消失。基础设施所有者则需要相信，共享闲置资源不会在需求峰值时削弱其自身服务。

该公告提供的是建立这种信任的架构，而非最终证明。其隔离、反馈和负载削减层定义了系统应如何运行。生产测量结果必须展示，这些防御机制能否在不同硬件、区域和流量周期中持续有效。

三个信号将显示该战略能否扩展

下一阶段不只是寻找更多闲置算力；而是证明 Meta 能够自动且盈利地分配波动容量。

第一个信号是量化的生产结果。Meta 应披露回收的容量比例、抢占发生频率，以及广告主成效的实测提升。受控实验结果将加强这样一种论据：Meta 的 AI 推理容量带来的不只是更高的处理器利用率。

有价值的披露应将 RMA 与 SBM 分开。这一区分可以显示，究竟是更广泛的候选评估，还是更强模型的路由，创造了更好的边际回报。它也会揭示资源集群在 CPU 和加速器余量之间实现平衡的频率。

第二个信号是更广泛的工作负载弹性。Meta 表示，计划提高候选量、使用能力更强的模型，并开发预计算弹性。预计算会在实时请求之前完成工作，从而降低对流量到达地点和时间的依赖。

预计算可以吸收那些对于同步排序而言过于遥远或不稳定的容量。但它也会带来新的正确性问题，因为存储结果可能变得陈旧。Meta 将需要制定过期规则和价值估计，并考虑预计算输出实际被使用的时间。

模型可移植性将构成同一信号的一部分。当兼容模型无法在闲置硬件上运行时，这些硬件几乎没有价值。Meta 正在跨区域和加速器类型开展工作，以便让更多碎片资源进入可用资源池。

更广泛的硬件范围将证明，该平台能够将异构性转化为灵活性。若无法扩展这一范围，理论资源池中的大部分容量将受困于模型格式、内存限制或缺少支持资源。

第三个信号是 Meta 所称正在构建的自动分配器。目前，该公司会根据实测性能和资源需求，定期在 RMA 与 SBM 之间调整容量。生产级优化器将能够在更多杠杆之间持续作出这一选择。

该优化器必须考虑预期收益、硬件兼容性、区域约束和可用容量的持续性。短暂的资源窗口可能适合即时扩大候选范围；较长窗口则可能足以加载更大模型或执行预先计算。

可信的分配器还应明确其失败边界。工程师需要知道系统何时回退、如何处理不确定的价值估计，以及如何防止某个高分工作负载垄断所有闲置加速器。

成功将为 Meta 的其他推理产品提供可复用模式。推荐信息流、内容完整性系统和生成式功能同样包含具有不同延迟要求的可选工作。该公司尚未宣布这些部署，因此它们仍是可能性，而非当前能力。

战略层面的启示已经显现。AI 基础设施竞争不仅是获取更多芯片的竞赛，也是从已经部署的硬件中提取更多有用决策的竞赛。

Meta 的方法将容量规划变成了实时产品变量。排序深度和模型强度如今会随资源集群的可用资源而变化。基础服务仍是固定承诺，而推荐质量则在这一底线之上具备弹性。

下一个问题是可衡量的：Meta 是否会公布证据，证明这些暂时性的改进能为广告主和用户带来持久价值？值得关注的是单独的 RMA 和 SBM 结果、更广泛的硬件支持，以及能够为每一个借用的计算单元提供合理依据的生产级分配器。