top of page

Salesforce 跨区域推理采用 SageMaker AI

5小时前
讀畢需時 12 分鐘
Image from the source report. Source: aws.amazon.com.

Salesforce 在两个 AWS Region 之间测试了跨区域推理路由,在保持受驻留限制的请求留在本地的同时连接现有模型容量。当本地服务资源变得不健康时,Salesforce 跨区域推理会使用 Amazon SageMaker AI 重定向符合条件的请求。这项变更解决了一个实际问题:除非请求能够安全地到达其他位置,否则其他地方的闲置容量无法保护过载服务。

AWS 于 2026 年 11 月 18 日发布了这篇关于 Salesforce 的案例,同时宣布支持的商业实时端点 Region 正式可用。推理,即在输入上运行训练后模型的过程,依赖的不只是可用计算硬件。对 Salesforce 而言,挑战还包括决定哪些请求可以转移、授权其目标位置,以及解释每一项路由决策。

主要对比对象是 Salesforce 先前的做法:在自身网关内维护区域切换逻辑,该服务负责转发应用请求。Microsoft 的全球模型部署则为跨地点分配推理提供了另一项行业参考。Salesforce 的案例涉及在其已经运营的端点之间进行路由,应用策略仍决定允许哪些目标位置。

Salesforce 跨区域推理连接现有容量

这项变更为 Salesforce 在现有部署之间提供了托管路由层,而非自动建立更大的模型服务集群。

根据已发布的跨区域推理案例,Salesforce 测试了俄勒冈州和俄亥俄州的目标位置,其中包括由另一个账户拥有的端点。端点是接收模型请求的已部署服务。该路由器提供了跨这些目标位置的调用路径,减少了应用选择替代方案所需的逻辑。

在解读这项公告时,这一区别很重要。Salesforce 描述的是使用既有资源的新方式。它并未表示路由器会部署模型、复制模型文件,或在事故期间提供额外计算容量。

AWS 的推理路由器 API描述了路由目标,即能够为特定模型提供服务的已命名目标组。这些目标可属于同一 AWS 分区内的不同账户和 Region;分区是一种具有独立服务边界的基础设施分组。应用选择逻辑目标,而路由器选择符合条件的目的地。

对于工程组织而言,这改变了运营责任的归属。应用团队仍需维持一致的模型服务契约,但不再需要独立实现每一项区域切换决策。共享路由服务负责评估目标健康状况,并选择符合条件的请求去向。

潜在收益是更容易协调独立管理的资源。某个在另一账户中拥有容量的团队,可以公开一个获准目标位置,而无需转移该基础设施的所有权。使用该资源的应用获得了额外的服务选项,同时目标所有者仍保有访问控制权。

然而,某个目标位置出现在配置中,并不足以证明它能够接收生产流量。AWS 记录了对目标状态和权限的检查。这在声明路由计划与确认该计划实际可行之间,形成了有用的区分。

这正是 Salesforce 案例值得关注的原因,不仅仅在于更改应用调用的技术细节。区域容量碎片化一部分是资源分配问题,另一部分则是运营协调问题。托管路由解决了后一个问题,同时更好地利用可用于解决前一个问题的资源。

该公告还需要谨慎的时间表述。11 月 18 日是报告中的可用日期和发布日期。它并不能证明 Salesforce 在当天完成了全球部署,也不能证明每项工作负载都已使用该路由器。

因此,眼前的变化是具体但有限的。Salesforce 已测试了既有目标位置之间的托管路径。更广泛的意义取决于这一路径在更多工作负载、更长时间的事故以及更大范围符合条件 Region 中的表现。

区域容量给平台团队带来压力

压力落在那些必须在遵守每位客户获准处理地点限制的同时,保持模型服务可用的团队身上。

一款应用可能在整个服务集群中拥有足够容量,却仍会在某个特定地点面临困难。当请求仍绑定于饱和的区域服务时,其他地方的资源几乎无法提供保护。总体来看,服务集群似乎足够充裕,但客户仍可能遭遇延迟或错误。

这使容量规划变得比计算已部署实例——即运行模型的计算资源——的数量更加复杂。团队必须考虑需求从何处到达、哪些目标位置能够服务等效请求,以及哪些客户允许在其他地方处理。每项限制都会减少实际可用的容量。

Salesforce 先前的网关方案将区域切换责任放在更接近应用基础设施的位置。将这项责任移交给托管路由器,改变了维护负担。同时,它也为平台所有者提出了一个更清晰的问题:哪些决策应继续作为公司策略,哪些应成为服务行为?

该公司的答案是在其网关中保留驻留决策。数据驻留描述了规范信息存储或处理地点的要求。具有区域限制的请求仍保留在本地,而符合条件的请求则可使用更广泛的目标集合。

这意味着不同工作负载获得的收益会有所不同。灵活的工作负载可在本地服务遇到问题时调用获准的远程资源。绑定于单个 Region 的工作负载,仍依赖于该边界内可用的容量和可靠性。

这两种结果都不意味着策略不一致。系统正在对不同请求执行不同要求。运营挑战在于,确保产品团队在承诺统一的性能或可用性之前理解这些差异。

对于企业采购方而言,这改变了评估模型基础设施时值得提出的问题。供应商的总体地理覆盖范围并不能说明哪些资源可以服务某个特定客户。相关范围是该客户实际请求获准使用的地点集合。

对于开发者而言,这一问题还延伸至服务降级期间的应用行为。最终成功的请求仍可能超过用户愿意等待的时间。转移路由责任并不能消除定义可接受响应时间的必要性。

对于平台管理者而言,机会在于减少重复的基础设施工作。在多个应用之间维护独立切换规则,会增加运营行为出现分歧的位置。集中化这类行为能够带来一致性,前提是团队理解路由器的触发条件和限制。

相比运营理由,经济层面的理由仍不够明确。共享符合条件的容量意味着可能减少闲置资源,但报告没有量化经验证的节省。额外部署、远程处理和运营保障措施仍需要资源。

更有用的判断范围更窄:Salesforce 正以托管能力替代一部分自定义路由工作。这是否能改善服务集群经济性,取决于实际需求模式、符合条件的流量,以及接收目标位置维持的闲置容量。

驻留规则界定路由边界

核心权衡在于获得更多服务容量,与每项请求必须遵守的处理边界之间。

Salesforce 的架构将资格判断置于跨区域路由之前。这一顺序很重要,因为可用性逻辑应在获准目标集合内运行。它不应在发生故障后判定原先被禁止的地点已变得可以接受。

因此,受限于本地处理的请求会获得与不受限制请求不同的路由范围。路由器可以改善该范围内的目标选择。它不能仅仅因为本地服务变得繁忙,就正当地扩大这一范围。

这种区分也澄清了“全球”在此语境中的含义。Salesforce 跨区域推理并不意味着每项请求都能前往任何地方。它描述了一种服务安排:符合条件的请求可以跨越区域和账户边界,抵达获准资源。

跨账户授权增加了另一重边界。账户所有者必须允许访问其端点,而不能仅依赖调用方的路由配置。这在组织层面很重要,因为共享可用性不应抹去基础设施所有权。

目标所有者的许可与应用的数据驻留策略回答的是不同问题。许可决定调用方能否调用某项资源。驻留策略决定某项特定请求是否应在那里处理。部署需要这两项决策保持一致。

Microsoft 的模型部署类型提供了有用的对比。其文档区分了全球处理、在指定数据区域内处理,以及在选定 Azure 地理区域内处理。这些选择同样将容量访问与允许的处理范围联系起来。

这些产品不应被视为可以互换。Microsoft 记录的部署类型适用于其无服务器模型产品,而 Salesforce 的案例则在其现有 SageMaker AI 目标位置之间路由。两者共有的行业问题,是在分配需求之前定义推理可以发生的位置。

Microsoft 还区分了跨地点处理与应用层面的区域恢复。其部署韧性指南指出,获准的路由范围不能替代在区域资源端点之间切换所需的逻辑。这强化了一项更广泛的提醒:分布式处理不会自动保护应用的每一层。

对 Salesforce 而言,将驻留检查保留在网关中,保留了一个明确的控制点。该设计仍依赖准确的请求分类和正确的目标配置。托管路由器无法独立确认某个组织是否已正确解释每一项客户承诺。

这一限制应塑造围绕治理所使用的表述。该架构提供了执行边界的机制。这些机制是否满足某项特定承诺,取决于完整部署、其配置以及正在执行的策略。

最强的实际意义在于,路由灵活性成为一种工作负载属性。企业可以评估哪些服务可从获批准的远程容量中受益,以及哪些服务需要更强的本地资源配置。相比把全球基础设施视为一项不受限制的统一资源,这能形成更现实的可用性方案。

响应缓慢不会自动触发切换

报告中的测试表明,错误恢复与可接受的用户延迟是不同的目标。

在 Salesforce 的测试中,团队在通过路由器探测请求时,使其本地端点达到饱和。据报道,响应时间中位数从约 0.2 秒上升至 45 至 58 秒之间。中位数,即 p50,意味着测得响应中一半更快,另一半更慢。

尽管出现这种变慢,流量起初仍留在本地。报告称,延迟本身不会触发区域切换。缓慢的模型响应可能反映了合理的处理工作,包括较长的输入或输出,而非目标端点不健康。

路由器转而响应不成功的结果,包括错误、限流和超时。限流是指服务因达到限制而拒绝请求。这一行为避免文章的核心机制被误解为对最快可用端点的普遍搜索。

Salesforce 报告称,错误出现后,首批远程请求约在两分钟后抵达。大约再过一分钟,约 78% 的探测流量已由远程端提供服务。切换后,据报道中位延迟恢复至约 0.2 秒。

该公司还报告称,跨区域路径的中位额外开销低于 100 毫秒。流量约在 10 分钟内返回已恢复的本地目标端点。这些是所述测试中的观察结果,而非有保证的时序或性能承诺。

这一差异对交互式产品至关重要。使用 AI 功能的人,可能会在底层服务返回错误前放弃任务。对这个人而言,即使技术上成功的响应,若来得太晚也可能失去价值。

这并不否定基于错误的路由。它说明必须分别评估路由目标与应用体验。服务可以改善从不健康目标端点的恢复能力,却无法保证每一段缓慢运行期都会触发干预。

中位数测量也留下了重要问题未解。它们并不描述最慢的请求,也无法确定每位客户的体验。已发布的说明支持的是特定测试叙述,而非对生产环境行为的完整刻画。

同样的谨慎也适用于远程流量占比。将约 78% 的探测流量路由至其他位置,并不能确立一个通用的分配目标。另一次事故期间的流量分配将取决于目标端点、其健康状况和允许的路由范围。

这为产品团队带来一项实际评估任务:他们需要将观察到的路由切换过程与应用可合理等待的时长进行比较;还需要区分服务自身的恢复行为与其自定义的超时和错误处理选择。

因此,Salesforce 跨区域推理所解决的可靠性问题,比标题中的性能数字所暗示的范围更窄。报告中的恢复结果为测试条件提供了令人鼓舞的证据。对于任何评估用户体验的人而言,之前那段响应缓慢时期同样是重要证据。

备用容量仍需保护

路由层会重新分配需求,但接收端点仍需要有足够容量来吸收这些需求,同时不影响自身调用方。

将请求移离过载目标端点,可能会把压力扩散到其他地方。接收 Region 原本就有自己的工作负载。如果不限制导入需求,恢复操作可能会把局部短缺转变为更广泛的服务问题。

AWS 通过其跨区域流量上限记录了接收端点的保护措施。该配置结合预期的每实例请求速率与允许使用的端点容量百分比。超过上限的请求将收到限流错误。

这一上限是一种保护机制,而非额外计算容量。它限制目标端点可接受的远程流量规模。组织仍需决定,已部署资源在继续服务现有需求的同时,能够承受多少溢出流量。

这项决策不能只看远程端点在常规条件下是否健康。一个负载较轻的端点在接收另一个 Region 的流量后也可能变得受限。容量规划必须考虑事故期间抵达的合并需求。

自动扩缩容,即随需求变化增加或移除计算资源,仍是系统中独立的一部分。路由可以在多个目标端点间进行选择,而每个目标端点管理自身资源。这些过程需要对可用容量及其变化速度作出相互兼容的假设。

路由器也无法解决部署一致性问题。Salesforce 的说明称,已注册目标端点需要具备匹配的模型和工件,即运行这些模型所需的文件。否则,即使请求仍然成功,区域切换也可能改变服务的回答。

对采购方而言,这使功能一致性成为可用性的一部分。来自其他位置的响应,只有在满足同一应用契约时才有价值。地理冗余不应悄然将不同的模型行为引入客户工作流。

目标端点的存在与其就绪状态之间也有区别。权限、模型配置和服务状态都会影响其能否处理请求。将资源名称加入路由目标,只是建立可靠替代方案的一步。

可观测性,即通过系统运行记录理解系统的能力,在这里变得至关重要。Salesforce 的说明描述了按请求记录的目标端点和路由原因信息。这些记录可帮助团队将路由变化与模型变化或容量问题区分开来。

然而,目标端点记录无法回答所有治理问题。它能识别一次调用在哪个位置运行。团队仍需要周边请求上下文、配置历史和策略记录,才能说明该目标端点是否合适。

维护这些证据的工程师需要一份共享的决策与事件记录。可搜索的知识库可以帮助保留区域适用性与恢复选择背后的推理过程。

尚未解决的问题是,这些控制措施在长期压力下如何共同发挥作用。Salesforce 表示,后续工作包括更长时间的饱和度测试,以及对区域级联行为的评估。这些计划中的检查,旨在弥合一次成功的有限实验与对更广泛运行的信心之间的差距。

更广泛采用需要三类证据

下一批有价值的证据应来自更广泛的部署、持续故障测试,以及对路由切换期间性能更清晰的说明。

首先,关注 Salesforce 是否确认已扩展到报告所述配置之外。该公司将更广泛的区域部署列为计划工作。这种表述应与“整个服务集群已使用路由器”的公告明确区分。

更广泛的部署将增强该集成适用于不同运行环境的论据。最有价值的更新应说明哪些工作负载已迁移、哪些仍保留在本地,以及出现了哪些部署限制。单纯更大的数量对于实际可靠性的揭示较少。

工作负载多样性很重要,因为并非每项模型服务都具有相同行为。请求时长、目标端点适用性和容量需求可能不同。跨越这些条件的证据,将帮助读者判断初始模式能否迁移到测试设置之外。

第二,关注持续饱和测试,以及接收限制能够防止级联过载的证据。Salesforce 特别将更长时间的测试和跨区域上限行为列为需进一步评估的领域。这些是对该架构核心承诺的直接测试。

有利的结果将表明,重定向需求保持在受限范围内,同时接收目标端点继续服务其自身调用方。不利的结果则会揭示符合条件的服务集群缺乏足够余量的状况。无论哪种结果,都比重复最初的延迟数字更具信息价值。

这些测试还应澄清当多个目标端点同时承压时会发生什么。路由在另一获准端点能够接收工作时最有用。如果整个符合条件的集合都受到约束,应用仍需要对不可用容量作出明确响应。

第三,关注对切换过程本身更详细的测量。Salesforce 计划进行更精确的跨区域延迟评估。读者应区分稳定的远程运行、请求迁移前的阶段、目标端点之间的切换,以及回归本地服务的过程。

如果更全面的性能说明展现出这些阶段中可预测的行为,其论据将更有说服力。如果成功恢复总是在超出应用预期的延迟后才发生,则会削弱宽泛的主张。这两类发现都将帮助团队选择合适的工作负载。

对于企业采购方,决策应始终与其实际使用的服务相联系。应询问哪些处理位置获准使用、什么会触发切换,以及所有获批准目标端点都繁忙时会发生什么。这些问题将基础设施主张与合同及运行现实联系起来。

对开发者而言,该报告提供了一个转移路由责任、却未移除应用责任的具体示例。策略分类、响应处理、部署一致性和用户预期仍是产品的一部分。托管服务改变了它们与路由的关系,而非使这些责任消失。

在采用类似架构之前,请将其故障行为与应用实际可等待的时长预算及处理边界进行比较。确定哪些请求可以离开其归属 Region,然后检视获批准目标端点在需求重叠期间是否仍保有足够容量。应将切换测量结果与常规响应时间一并审查,因为健康的远程性能并不能描述流量迁移前的延迟。将驻留决策、目标端点配置和事故证据保持关联,以便团队日后能够解释系统行为。Salesforce 跨区域推理为减少自定义路由工作提供了一个具体方向。请利用后续部署和测试更新,判断这一方向在哪些方面符合自身的可靠性要求。

 
 

免费开始使用

一款本地优先的AI助手

为了获得更好的人工智能体验,

remio 目前仅支持Windows 10+ (x64)和M-Chip Mac 。

你的 AI 工作伙伴

和 remio 一起高效工作

规划、创作、交付

一站式完成

bottom of page