Salesforce 跨區域推論採用 SageMaker AI
Salesforce 在兩個 AWS Region 之間測試跨區域推論路由,連接現有模型容量,同時讓受駐留限制的請求維持在本地處理。Salesforce 跨區域推論採用 Amazon SageMaker AI,在本地服務資源出現異常時重新導向合資格請求。這項改動針對一個實際問題:除非請求能夠安全地到達其他地方,否則其他地區的閒置容量無法保護過載中的服務。
AWS 於 2026 年 11 月 18 日發表 Salesforce 的案例,同時宣布支援商業即時端點 Region 的正式推出。推論即是將訓練完成的模型用於輸入資料的過程,所依賴的不僅是可用的運算硬件。對 Salesforce 而言,挑戰包括決定哪些請求可以移動、授權其可前往的目的地,以及解釋每一項路由決定。
主要比較對象是 Salesforce 先前的方法:在其自有 gateway 內維護區域切換邏輯;gateway 是轉送應用程式請求的服務。Microsoft 的全球模型部署則提供另一個業界參考,用於在不同地點之間分配推論。Salesforce 的案例涉及在其已營運的端點之間路由,而應用程式政策仍會決定哪些目的地獲准使用。
Salesforce 跨區域推論連接現有容量
這項改動為 Salesforce 的現有部署提供受管理的跨部署路由層,而非自動建立更龐大的模型服務叢集。
根據已發表的跨區域推論案例,Salesforce 測試了位於 Oregon 和 Ohio 的目的地,包括一個由另一帳戶擁有的端點。端點是接收模型請求的已部署服務。路由器提供跨越這些目的地的調用路徑,減少應用程式為選擇替代方案所需的邏輯。
在解讀這項公告時,這個分別相當重要。Salesforce 描述的是使用既有資源的另一種方式。它並沒有表示路由器會部署模型、複製模型檔案,或在事故期間提供額外運算容量。
AWS 的推論路由器 API說明了路由目標,即可為特定模型提供服務的一組具名目的地。這些目的地可以屬於同一 AWS partition 內的不同帳戶和 Region;partition 是具有獨立服務邊界的基礎設施分組。應用程式選擇邏輯目標,而路由器則選擇合資格的目的地。
對工程團隊而言,這改變了營運責任所在的位置。應用程式團隊仍需要一致的模型服務合約,但不再需要各自實作每一項區域切換決定。共用路由服務會負責評估目的地健康狀況,以及選擇合資格請求的去向。
潛在好處是在獨立管理的資源之間更容易協調。在另一帳戶中有容量的團隊,可公開一個獲准目的地,無需轉移該基礎設施的擁有權。使用該服務的應用程式會獲得另一個服務選項,而目的地擁有人則保留存取控制權。
不過,目的地出現在設定中,並不足以證明它能接收正式環境流量。AWS 記錄了目的地狀態及權限檢查。這有效區分了宣告路由計劃,與確立該計劃確實可行。
這亦是 Salesforce 的例子值得超越修改應用程式呼叫機制而獲得關注的原因。區域容量碎片化一部分是資源分配問題,一部分是營運協調問題。受管理路由處理後者,同時更善用可用於前者的資源。
公告亦需要謹慎處理時間表述。11 月 18 日是所報告的可用日期及發布日期。這並不證明 Salesforce 在該日完成了全球部署,亦不代表每項工作負載已使用該路由器。
因此,眼前改動雖具體但有其界限。Salesforce 已測試既有目的地之間的受管理路徑。其更廣泛的重要性取決於該路徑在更多工作負載、更長時間的事故,以及更多合資格 Region 中的表現。
區域容量令平台團隊承受壓力
壓力落在必須維持模型服務可用性,同時遵守每位客戶獲准處理地點限制的團隊身上。
應用程式整個叢集或許有足夠容量,但仍可能在某個特定地點遇到困難。當請求仍綁定於飽和的區域服務時,其他地方的資源幾乎無法提供保護。整個叢集在總量上看似足夠,客戶卻可能遇到延遲或錯誤。
這令容量規劃比單純計算已部署執行個體更複雜;執行個體是運行模型的運算資源。團隊必須考慮需求在哪裡出現、哪些目的地能處理等效請求,以及哪些客戶允許在其他地方處理。每項限制都會減少實際可用的容量。
Salesforce 先前的 gateway 方法,將區域切換責任放得更接近應用程式基礎設施。把這項責任移至受管理路由器,改變了維護負擔。這亦為平台擁有人帶來一個更清晰的問題:哪些決定應繼續屬於公司政策,哪些應成為服務行為?
該公司的答案是在其 gateway 中保留駐留決定。資料駐留描述規管資訊儲存或處理地點的要求。受區域限制的請求維持本地處理,而合資格請求則可使用更廣泛的目的地集合。
這代表不同工作負載所獲得的好處會有所不同。具彈性的工作負載可在本地服務遇到困難時,使用已獲批准的遠端資源。綁定於單一 Region 的工作負載,則仍取決於該邊界內可用的容量及可靠性。
兩種結果都不會令政策變得不一致。系統正為不同請求執行不同要求。營運挑戰在於,確保產品團隊在承諾一致的效能或可用性之前,已了解這些差異。
對企業買家而言,這改變了就模型基礎設施值得提出的問題。供應商的整體地理覆蓋範圍,並不能揭示哪些資源可為特定客戶提供服務。相關範圍是獲准處理該客戶實際請求的一組地點。
對開發人員而言,問題亦延伸至服務降級期間的應用程式行為。最終成功的請求,仍可能超過用戶願意等待的時間。轉移路由責任並不會消除定義可接受回應時間的需要。
對平台管理人員而言,機會在於減少重複的基礎設施工作。在不同應用程式中維護獨立切換規則,會產生更多營運行為可能分歧的位置。集中處理該行為可帶來一致性,前提是團隊了解路由器的觸發條件及限制。
與營運理據相比,經濟理據仍較未獲證實。共享合資格容量意味著有機會減少閒置資源,但報告並未量化已驗證的節省。額外部署、遠端處理及營運保障措施仍需要資源。
較有用的判斷較為收窄:Salesforce 正以受管理能力取代部分自訂路由工作。這是否改善叢集經濟效益,取決於實際需求模式、合資格流量,以及接收目的地所維持的備用容量。
駐留規則界定路由邊界
核心取捨是在取得更多服務容量,與每項請求必須遵守的處理邊界之間。
Salesforce 的架構會在跨區域路由之前保留合資格性決定。這個次序相當重要,因為可用性邏輯應在已獲批准的目的地集合內運作。它不應在故障後自行判定,先前禁止的地點已變得可以接受。
因此,受限於本地處理的請求,會獲得與不受限制請求不同的路由範圍。路由器可改善該範圍內的目的地選擇。它不能只因本地服務變得繁忙,便正當地擴大該範圍。
這個分別亦釐清了此處「全球」的含義。Salesforce 跨區域推論並不代表每項請求都可到任何地方。它描述的是一種服務安排,讓合資格請求可跨越區域及帳戶邊界,抵達已獲批准的資源。
跨帳戶授權增加了另一道邊界。帳戶擁有人必須允許存取其端點,而非僅依賴呼叫者的路由設定。這在組織層面相當重要,因為共享可用性不應抹除基礎設施擁有權。
目的地擁有人的權限與應用程式的駐留政策,回答的是不同問題。權限確立呼叫者能否調用資源。駐留政策確立特定請求是否應在該處處理。部署需要兩項決定一致。
Microsoft 的模型部署類型提供了有用比較。其文件區分全球處理、在指定資料區域內處理,以及在選定 Azure 地理區域內處理。這些選項同樣將容量存取與獲准處理範圍連繫起來。
這些產品不應被視為可互換。Microsoft 已記錄的部署類型適用於其 serverless 模型產品,而 Salesforce 的例子則在其現有 SageMaker AI 目的地之間路由。兩者共同的業界問題,是在分配需求之前界定推論可在何處進行。
Microsoft 亦區分跨地點處理與應用程式層級的區域復原。其部署韌性指引指出,獲准路由範圍不能取代在區域資源端點之間切換所需的邏輯。這強調了一項更廣泛的審慎原則:分散式處理不會自動保護應用程式的每一層。
對 Salesforce 而言,將駐留檢查保留於 gateway 中,可保留一個明確控制點。設計仍依賴準確的請求分類及正確的目的地設定。受管理路由器無法自行確立一間機構已正確解讀每項客戶承諾。
這項限制應影響有關管治的用語。該架構提供執行邊界的機制。這些機制是否滿足特定承諾,取決於完整部署、其設定,以及所執行的政策。
最重要的實際含意是,路由彈性會成為工作負載的一項屬性。企業可評估哪些服務適合使用獲批准的遠端容量,哪些則需要更強的本地供應。與其把全球基建視為一項不受限制的資源,這樣可制定更貼近現實的可用性計劃。
緩慢回應不會自動觸發切換
報告中的測試顯示,錯誤復原與可接受的使用者延遲是不同目標。
在 Salesforce 的測試中,團隊在透過路由器探測請求時,讓本地端點飽和。據報,中位回應時間由約 0.2 秒升至 45 至 58 秒之間。中位數或 p50,表示一半量度到的回應較快,另一半則較慢。
儘管出現這種減速,流量起初仍留在本地。根據報告,單憑延遲不會觸發區域切換。模型回應緩慢可能反映正當的工作,例如較長的輸入或輸出,而非目的地不健康。
路由器反而會對不成功的結果作出回應,包括錯誤、節流和逾時。節流是指服務因達到限制而拒絕請求。此行為可避免將本文的核心機制誤解為對最快可用端點的通用搜尋。
錯誤出現後,Salesforce 表示首批遠端請求約於兩分鐘後抵達。約再過一分鐘後,大約 78% 的探測流量由遠端處理。切換後,據報中位延遲回復至約 0.2 秒。
該公司亦表示,跨區域路徑的中位額外負擔少於 100 毫秒。流量約在 10 分鐘內回到已復原的本地目的地。這些是所述測試的觀察結果,並非保證的時間或效能承諾。
這項區別對互動式產品至關重要。使用 AI 功能的人,可能會在底層服務返回錯誤前已放棄工作。對該使用者而言,技術上成功的回應也可能來得太遲,因而失去實際用途。
這並不會否定以錯誤為基礎的路由。它說明路由目標與應用程式體驗必須分開評估。服務可以改善從不健康目的地復原的能力,卻不保證每段緩慢運作期間都會觸發介入。
中位數量度亦留下重要問題未解。它們不描述最慢的請求,也無法確立每位客戶的體驗。已公布的說法支持一項特定測試敘事,而非對生產環境行為的完整描述。
同樣的審慎態度亦適用於遠端佔比。將約 78% 的探測流量路由至其他地方,並不代表已確立通用的流量分配目標。另一宗事故期間的流量分配,將取決於目的地、其健康狀況及允許的路由範圍。
這為產品團隊帶來一項實際評估工作。他們需要把觀察到的路由轉換,與其應用程式可合理等待的時間作比較。他們亦需要區分服務的復原行為,以及自身的逾時和錯誤處理選擇。
因此,Salesforce 跨區域推論所處理的可靠性問題,比標題中的效能數字所暗示的更為狹窄。據報的復原情況是測試條件下令人鼓舞的證據。此前一段緩慢回應期,對任何評估使用者體驗的人而言,同樣是相關證據。
備用容量仍需保護
路由層可重新分配需求,但接收端點仍須有足夠容量吸收流量,而不損害其自身呼叫者。
將請求移離過載的目的地,可能會把壓力分散至其他地方。接收的 Region 本身已有工作負載。若沒有對輸入需求設限,復原行動可把本地短缺轉化為更廣泛的服務問題。
AWS 透過其 跨區域流量上限 記錄了一項接收端點保護措施。此配置結合預期的每個執行個體請求速率,以及允許使用的端點容量百分比。超過上限的請求會收到節流錯誤。
這項上限是一種保護機制,而非額外的運算容量。它限制目的地可接受多少遠端流量。機構仍須決定,其已部署資源在繼續服務既有需求時,可處理多少溢出流量。
這項決定不只需要檢查遠端端點在一般情況下是否健康。輕載端點在接收另一個 Region 的流量後,也可能變得受限。容量規劃必須考慮事故期間湧入的合併需求。
自動擴縮,即按需求變化新增或移除運算資源,仍是系統的獨立部分。路由可在目的地之間作選擇,而每個目的地則管理自身資源。這些程序需要對可用容量及其變動速度作出相容的假設。
路由器亦不能解決部署一致性問題。Salesforce 的說法指出,已登記目的地需要配備相符的模型及構件,也就是運行這些模型所需的檔案。否則,即使請求持續成功,區域切換也可能改變服務的答案。
對買方而言,這使功能一致性成為可用性的一部分。來自另一個地點的回應,只有在符合相同應用程式合約時才有用。地理冗餘不應在客戶工作流程中悄然引入不同的模型行為。
目的地的存在與其就緒狀態亦有區別。權限、模型配置及服務狀態都會影響其能否處理請求。將資源名稱加入路由目標,只是建立可靠替代方案的其中一步。
可觀測性,即透過系統營運紀錄理解系統的能力,在此變得不可或缺。Salesforce 的說法描述了每個請求的目的地及路由原因資訊。這些紀錄有助團隊區分路由變動、模型變動或容量問題。
然而,目的地紀錄並不能解答每一項管治問題。它可識別一次調用在哪裡執行。團隊仍需要周邊的請求背景、配置歷史及政策紀錄,以說明該目的地是否恰當。
維護這些證據的工程師需要一份共享的決策及事故紀錄。一個可搜尋知識庫可有助保存區域資格及復原選擇背後的理據。
未解問題是,這些控制措施在長期壓力下如何共同運作。Salesforce 表示,後續工作包括更長時間的飽和測試及對連鎖區域行為的評估。這些計劃中的檢查,正處理一次成功且範圍受限的實驗與對更廣泛運作的信心之間的落差。
更廣泛採用需要三類證據
下一步有用的證據,是更廣泛的部署、持續故障測試,以及對路由轉換期間效能更清晰的說明。
首先,留意 Salesforce 是否確認已擴展至報告所述配置以外。該公司把更廣泛的區域推出列為計劃中的工作。這種措辭應與宣布整個服務叢集已使用該路由器明確區分。
更廣泛的部署將加強整合可在不同營運環境下運作的論點。最有力的更新會說明哪些工作負載已遷移、哪些仍保留本地,以及出現哪些部署限制。單靠更大的數量,對實際可靠性的揭示會較少。
工作負載多樣性很重要,因為並非每項模型服務都有相同行為。請求持續時間、目的地資格及容量需求都可能不同。這些條件下的證據,將有助讀者判斷初步模式能否延伸至測試配置以外。
第二,留意持續飽和測試,以及接收限制可防止連鎖過載的證據。Salesforce 特別指出,較長時間的測試及跨區域上限行為,是需要進一步評估的範疇。這些正是對該架構核心承諾的直接測試。
有利的結果會顯示,重新導向的需求維持在界限內,同時接收目的地繼續服務其自身呼叫者。不利的結果則會揭示符合資格的叢集缺乏足夠餘裕的情況。無論哪種結果,都會比重複最初的延遲數字更具資訊價值。
這些測試亦應釐清多個目的地同時承受壓力時會發生甚麼。當另一個獲批准的端點可接受工作時,路由最有用。若整個符合資格的集合均受限,應用程式仍需要對不可用容量作出明確回應。
第三,留意對轉換本身更詳細的量度。Salesforce 計劃進行更精確的跨區域延遲評估。讀者應區分穩定的遠端運作、請求移動前的期間、目的地之間的切換,以及回到本地服務的過程。
若更廣泛的效能說明顯示這些階段均有可預測的行為,將可加強相關論點。若成功復原一再發生在超出應用程式預期的延遲之後,則會削弱過度延伸的說法。兩種發現都有助團隊選擇合適的工作負載。
對企業買方而言,決策應始終與其實際使用的服務相連。請問哪些處理地點獲允許、甚麼會觸發切換,以及每個獲批准目的地均繁忙時會發生甚麼。這些問題把基建說法與合約及營運現實連結起來。
對開發者而言,該報告提供了一個具體例子,說明如何在不移除應用程式責任的情況下轉移路由責任。政策分類、回應處理、部署一致性及使用者期望,仍是產品的一部分。受管理服務改變了它們與路由的關係,而非令這些責任消失。
採用類似架構前,請把其故障行為與應用程式實際的等待預算及處理邊界作比較。識別哪些請求可離開其主 Region,然後檢視在需求重疊時獲批准的目的地是否保留足夠容量。將轉換量度與一般回應時間一併審視,因為健康的遠端效能並不能反映流量移動前的延遲。讓駐留決定、目的地配置及事故證據保持連結,讓團隊日後可解釋相關行為。Salesforce 跨區域推論為減少自訂路由工作提供了一個具體方向。請利用後續部署及測試更新,判斷這個方向在哪些方面符合你自身的可靠性要求。



