top of page

Salesforceのクロスリージョン推論、SageMaker AIを活用

5 時間前
読了時間: 19分
Image from the source report. Source: aws.amazon.com.

Salesforceは、所在地制限のあるリクエストをローカルに留めながら、既存のモデル容量を接続するため、2つのAWSリージョンにまたがるクロスリージョン推論ルーティングをテストした。Salesforceのクロスリージョン推論はAmazon SageMaker AIを使用し、ローカルの提供リソースが健全でなくなった場合に、対象となるリクエストをリダイレクトする。この変更は実務上の問題に対処するものだ。別の場所に余剰容量があっても、リクエストが安全に到達できなければ、過負荷のサービスを保護できない。

AWSは2026年11月18日、対応する商用リアルタイムエンドポイントリージョンの一般提供開始の発表とともに、Salesforceの事例を公開した。訓練済みモデルを入力に対して実行するプロセスである推論は、利用可能なコンピューティングハードウェアだけに依存するものではない。Salesforceにとっての課題には、移動可能なリクエストの判断、宛先の認可、そして各ルーティング判断の説明が含まれる。

主な比較対象は、アプリケーションリクエストを転送するサービスである自社ゲートウェイ内で、リージョン切り替えロジックを維持してきたSalesforceの従来方式だ。Microsoftのグローバルモデルデプロイメントも、複数の拠点に推論を分散するための業界の参考例となる。Salesforceの事例は、すでに自社で運用しているエンドポイント間のルーティングに関するものであり、許可する宛先の判断は引き続きアプリケーションポリシーが担う。

Salesforceのクロスリージョン推論、既存容量を接続

この変更により、Salesforceはモデル提供基盤を自動的に拡大するのではなく、既存のデプロイメント全体にわたる管理型ルーティングレイヤーを得る。

公開されたクロスリージョン推論の事例によると、Salesforceはオレゴンとオハイオにある宛先をテストしており、別アカウントが所有するエンドポイントも含まれていた。エンドポイントとは、モデルリクエストを受け付けるデプロイ済みサービスである。ルーターはこれらの宛先をまたぐ呼び出し経路を提供し、代替先を選択するために必要なアプリケーションロジックを減らす。

この違いは、この発表を解釈するうえで重要だ。Salesforceが示しているのは、すでに存在するリソースの新たな利用方法である。ルーターがモデルをデプロイしたり、モデルファイルをコピーしたり、障害時に追加のコンピューティング容量を提供したりすると報告しているわけではない。

AWSの推論ルーターAPIは、特定のモデルを提供できる宛先の名前付きグループであるルーティングターゲットを説明している。これらの宛先は、個別のサービス境界を持つインフラストラクチャの区分である同一AWSパーティション内であれば、異なるアカウントやリージョンに属することができる。アプリケーションが論理ターゲットを選択し、ルーターが適格な宛先を選ぶ。

エンジニアリング組織にとって、これは運用責任の所在を変える。アプリケーションチームには一貫したモデル提供契約が依然として必要だが、リージョン切り替えの判断をすべて個別に実装する必要はなくなる。共有ルーティングサービスが、宛先の健全性評価と、適格なリクエストの送信先選択を担うことになる。

期待される利点は、独立して管理されるリソース間の調整が容易になることだ。別アカウントに容量を持つチームは、そのインフラストラクチャの所有権を移さずに、許可された宛先を公開できる。利用するアプリケーションには別の提供選択肢が加わる一方、宛先の所有者はアクセス制御を維持できる。

ただし、宛先が設定に現れているだけでは、本番トラフィックを受け入れられる証拠にはならない。AWSは宛先のステータスと権限に関する確認を文書化している。これにより、ルーティング計画を宣言することと、その計画が機能することを確立することの間に、有用な分離が生まれる。

このため、Salesforceの例はアプリケーション呼び出しの変更という仕組み以上の注目に値する。リージョンごとの容量分断は、配分の問題であると同時に、運用調整の問題でもある。管理型ルーティングは後者に対処しながら、前者で利用可能なリソースをより有効に活用する。

この発表には、時期に関する慎重な表現も必要だ。11月18日は、報告された提供開始日および公開日である。その日にSalesforceがグローバル展開を完了したことや、すべてのワークロードがすでにルーターを利用していることを示すものではない。

したがって、直近の変更は具体的ではあるが、範囲は限定される。Salesforceは既存の宛先間を結ぶ管理型経路をテストした。その広範な意義は、より多くのワークロード、より長い障害、そしてより大きな適格リージョンの集合で、この経路がどのように動作するかにかかっている。

リージョン容量がプラットフォームチームに圧力をかける

この圧力は、各顧客に許可された処理場所の制約を守りながら、モデルサービスの可用性を維持しなければならないチームにかかる。

アプリケーションはフリート全体では十分な容量を持ちながら、特定の場所で苦戦する場合がある。リクエストが飽和したリージョンサービスに固定されたままであれば、他の場所のリソースは十分な保護を提供しない。フリートは集計上は十分に見えても、顧客は遅延やエラーを経験する。

そのため容量計画は、デプロイ済みインスタンス、すなわちモデルを実行するコンピューティングリソースを数えるだけより複雑になる。チームは、需要がどこに到着するか、どの宛先が同等のリクエストを処理できるか、どの顧客が別の場所での処理を許可するかを考慮しなければならない。それぞれの制約により、実際に利用可能な容量は減少する。

Salesforceの従来のゲートウェイ方式では、リージョン切り替えの責任はアプリケーションインフラストラクチャにより近い場所に置かれていた。この責任を管理型ルーターへ移すことは、保守負担を変える。また、プラットフォーム所有者にとって明確な問いも生む。どの判断を企業ポリシーとして残し、どの判断をサービス動作にするべきか、という問いである。

同社の答えは、所在地に関する判断をゲートウェイに残すものだ。データ所在地とは、情報の保存または処理場所を規定する要件を指す。リージョン制約のあるリクエストはローカルに留まり、適格なリクエストはより広い宛先セットを利用できる。

つまり、利点はワークロードによって異なる。柔軟なワークロードは、ローカルサービスが苦戦した際に、承認済みのリモートリソースを利用できる。1つのリージョンに縛られたワークロードは、その境界内で利用可能な容量と信頼性に依存し続ける。

どちらの結果も、ポリシーの不整合を意味するものではない。システムは異なるリクエストに対して異なる要件を適用している。運用上の課題は、均一なパフォーマンスや可用性を約束する前に、プロダクトチームがこうした違いを理解できるようにすることだ。

エンタープライズ購入者にとって、これはモデルインフラストラクチャについて問うべき点を変える。ベンダーの地理的な総展開範囲は、特定の顧客にどのリソースが提供可能かを明らかにしない。重要なのは、その顧客の実際のリクエストに対して許可された場所の集合である。

開発者にとって、この問題は性能低下時のアプリケーション動作にも及ぶ。最終的に成功するリクエストであっても、ユーザーが待てる時間を超える可能性がある。ルーティング責任を移しても、許容可能な応答時間を定義する必要がなくなるわけではない。

プラットフォーム管理者にとっての機会は、繰り返されるインフラストラクチャ作業を減らすことにある。アプリケーションごとに別々の切り替えルールを維持すると、運用動作が分岐しうる箇所が増える。この動作を一元化すれば、チームがルーターのトリガーと制約を理解している限り、一貫性を実現できる。

経済的な根拠は、運用上の根拠ほど確立されていない。適格な容量の共有は、遊休リソースを減らす方法を示唆するが、この報告は検証済みの削減額を定量化していない。追加のデプロイメント、リモート処理、運用上の保護策には、依然としてリソースが必要となる。

有用な判断はより限定的だ。Salesforceは、独自ルーティング作業の一部を管理型機能に置き換えている。これがフリート経済性を改善するかどうかは、実際の需要パターン、適格なトラフィック、受信側宛先で維持される余剰容量に左右される。

所在地ルールがルーティング境界を定める

中心となるトレードオフは、より多くの提供容量へのアクセスと、各リクエストが従うべき処理境界との間にある。

Salesforceのアーキテクチャでは、クロスリージョンルーティングより前に適格性の判断を置いている。この順序は重要である。可用性ロジックは、承認済みの宛先セット内で動作するべきだからだ。障害後に、それまで禁止されていた場所が許容可能になったと判断すべきではない。

したがって、ローカル処理に制限されたリクエストには、無制限のリクエストとは異なるルーティング範囲が与えられる。ルーターはその範囲内で宛先選択を改善できる。ローカルサービスが混雑したというだけで、その範囲を正当に拡大することはできない。

この違いは、この文脈で「グローバル」が何を意味するかも明確にする。Salesforceのクロスリージョン推論は、すべてのリクエストがどこへでも移動できることを意味しない。適格なリクエストが、リージョンやアカウントの境界を越えて承認済みリソースに到達できる提供構成を示している。

クロスアカウント認可は、さらに別の境界を加える。アカウント所有者は、呼び出し元のルーティング設定だけに依存するのではなく、自身のエンドポイントへのアクセスを許可しなければならない。共有可用性がインフラストラクチャの所有権を消すべきではないため、これは組織的にも重要である。

宛先所有者の許可とアプリケーションの所在地ポリシーは、異なる問いに答える。許可は、呼び出し元がリソースを呼び出せるかを定める。所在地ポリシーは、特定のリクエストをそこで処理すべきかを定める。デプロイメントでは、両方の判断が整合する必要がある。

Microsoftのモデルデプロイメントタイプは、有用な比較対象となる。そのドキュメントは、グローバル処理、指定されたデータゾーン内での処理、選択したAzure地理圏内での処理を区別している。これらの選択も同様に、容量へのアクセスと許可された処理範囲を結び付けている。

両製品を同等のものとして扱うべきではない。Microsoftの文書化されたデプロイメントタイプは同社のサーバーレスモデル提供に適用される一方、Salesforceの例は既存のSageMaker AI宛先間をルーティングするものだ。共通する業界課題は、需要を分散する前に、推論をどこで実行できるかを定義することである。

Microsoftはまた、拠点をまたぐ処理と、アプリケーションレベルのリージョン復旧を区別している。デプロイメントのレジリエンスに関するガイダンスでは、許可されたルーティング範囲は、リージョンのリソースエンドポイント間を切り替えるために必要なロジックの代替にはならないとしている。これは、分散処理がアプリケーションのすべてのレイヤーを自動的に保護するわけではないという、より広範な注意を裏付ける。

Salesforceにとって、所在地チェックをゲートウェイに残すことは、明示的な制御点を維持することになる。この設計は依然として、正確なリクエスト分類と正しい宛先設定に依存する。管理型ルーターは、組織がすべての顧客コミットメントを正しく解釈していることを、独自に確立することはできない。

この制約は、ガバナンスに関して用いる表現に反映されるべきだ。このアーキテクチャは境界を強制する仕組みを提供する。それらの仕組みが特定のコミットメントを満たすかどうかは、完全なデプロイメント、その設定、そして適用されるポリシーに依存する。

最も実務的に重要なのは、ルーティングの柔軟性がワークロードの属性になることだ。企業は、承認済みのリモート容量から恩恵を受けるサービスと、より強力なローカル容量の確保を必要とするサービスを評価できる。これにより、グローバルインフラを制約のない単一リソースとして扱うよりも、現実的な可用性計画を策定できる。

遅い応答が自動的に切り替えを引き起こすわけではない

報告されたテストは、エラーからの復旧と許容可能なユーザーレイテンシが異なる目的であることを示している。

Salesforceのテストでは、チームはルーター経由でリクエストを検証しながら、ローカルエンドポイントを飽和状態にした。報告によると、応答時間の中央値は約0.2秒から45〜58秒に上昇した。中央値、すなわちp50は、計測された応答の半数がそれより速く、残り半数がそれより遅かったことを意味する。

その遅延にもかかわらず、トラフィックは当初ローカルにとどまった。報告によれば、レイテンシだけではリージョン間の切り替えは起動しない。モデル応答の遅さは、不健全な送信先ではなく、より長い入力や出力を含む正当な処理を反映している場合がある。

ルーターが対応するのは、エラー、スロットリング、タイムアウトなどの失敗した結果である。スロットリングとは、上限に達したためにサービスがリクエストを拒否することを指す。この動作により、この記事の中心的な仕組みを、最速の利用可能なエンドポイントを常に探す仕組みと混同しないで済む。

エラーが発生すると、Salesforceは最初のリモートリクエストが約2分後に到着したと報告した。その約1分後には、プローブトラフィックのおよそ78%がリモートで処理されていた。切り替え後、報告されたレイテンシ中央値は約0.2秒に戻った。

同社はまた、リージョン間経路における中央値のオーバーヘッドが100ミリ秒未満だったと報告している。トラフィックは約10分かけて復旧したローカル送信先へ戻った。これらは記述されたテストでの観測結果であり、時間や性能を保証するものではない。

この違いは、インタラクティブな製品にとって重要である。AI機能を利用する人は、基盤サービスがエラーを返す前にタスクを放棄する可能性がある。その人の視点では、技術的には成功した応答でも、役に立つには遅すぎることがある。

これは、エラーベースのルーティングを無効にするものではない。ルーティングの目的とアプリケーション体験を別々に評価する必要があることを示している。サービスは不健全な送信先からの復旧を改善できるが、すべての低速稼働期間で介入が起きることを保証するわけではない。

中央値の計測値にも重要な未解決事項が残る。最も遅いリクエストを示すものでも、すべての顧客の体験を明らかにするものでもない。公開された説明は、実稼働時の挙動を完全に特徴付けるものではなく、特定のテストシナリオを裏付けるものだ。

同じ注意はリモート処理の割合にも当てはまる。プローブトラフィックの約78%を別の場所にルーティングしたことは、一般的な配分目標を示すものではない。別のインシデント時のトラフィック配分は、送信先、その健全性、許可されたルーティング範囲に左右される。

これはプロダクトチームに実務的な評価課題をもたらす。観測されたルーティング遷移を、アプリケーションが合理的に待機できる時間と比較する必要がある。また、サービスの復旧挙動と、自社のタイムアウトおよびエラー処理の選択を区別する必要がある。

したがって、Salesforceのリージョン間推論が対象とする信頼性の問題は、見出しの性能数値が示唆するより狭い。報告された復旧は、テストされた条件における有望な証拠だ。その前に生じた低速応答の期間も、ユーザー体験を評価する人にとって同じく重要な証拠である。

予備容量にも保護が必要

ルーティング層は需要を再配分するが、受信側エンドポイントにも、自身の呼び出し元に影響を与えずにそれを吸収できる十分な容量が必要だ。

過負荷の送信先からリクエストを移動させると、負荷が他の場所へ広がる可能性がある。受信するRegionには、すでに独自のワークロードがある。流入需要に上限がなければ、復旧アクションが局所的な不足をより広範なサービス問題へ変えてしまう可能性がある。

AWSは、受信側エンドポイントの保護策としてcross-region traffic capを文書化している。この設定は、想定されるインスタンス当たりのリクエストレートと、許容されるエンドポイント容量の割合を組み合わせる。上限を超えたリクエストにはスロットリングエラーが返される。

この上限は、追加のコンピューティング容量ではなく、保護の仕組みである。送信先が受け入れるリモートトラフィック量を制限する。組織は、既存需要へのサービス提供を継続しながら、デプロイ済みリソースでどの程度のオーバーフローを処理できるかを、なお判断する必要がある。

その判断には、通常条件でリモートエンドポイントが健全かどうかを確認するだけでは不十分だ。低負荷のエンドポイントも、別のRegionのトラフィックを受け入れた後には制約を受ける可能性がある。容量計画では、インシデント中に到着する合計需要を考慮しなければならない。

需要の変化に応じてコンピューティングリソースを追加・削除する自動スケーリングは、引き続きシステムの別の部分である。ルーティングは送信先の選択を行える一方、各送信先は自身のリソースを管理する。これらのプロセスでは、利用可能な容量の量とその変化速度について、整合性のある前提が必要となる。

ルーターはデプロイメントの一貫性も解決しない。Salesforceの説明によれば、登録された送信先には一致するモデルとアーティファクト、すなわちそれらのモデルを実行するために必要なファイルが必要だ。そうでなければ、リクエストが成功し続けていても、リージョン間の切り替えによってサービスの回答が変わり得る。

購入者にとって、これは機能的一貫性が可用性の一部になることを意味する。別の場所からの応答が有用なのは、同じアプリケーション契約を満たす場合に限られる。地理的な冗長性が、顧客ワークフローに異なるモデル挙動を密かに持ち込むべきではない。

送信先の存在と準備完了にも違いがある。権限、モデル設定、提供ステータスはいずれも、リクエストを処理できるかどうかに影響する。リソース名をルーティング対象に追加するのは、信頼できる代替先を確立するための一段階にすぎない。

ここでは、運用記録を通じてシステムを理解する能力であるオブザーバビリティが不可欠になる。Salesforceの説明では、リクエストごとの送信先情報とルーティング理由情報が記録される。これらの記録は、チームがルーティング変更を、モデル変更や容量問題から切り分けるのに役立つ。

ただし、送信先の記録だけでは、すべてのガバナンス上の疑問に答えられない。それは呼び出しがどこで実行されたかを示す。チームには、その送信先が適切だったかを説明するために、周辺のリクエストコンテキスト、設定履歴、ポリシー記録がなお必要だ。

この証拠を維持するエンジニアには、判断とインシデントの共有記録が必要である。検索可能なナレッジベースは、リージョン適格性と復旧の選択の背景にある理由を保存する助けになる。

未解決の問題は、これらの制御が長期的な負荷の下でどのように連携するかである。Salesforceは、今後の作業として、より長時間の飽和テストとリージョン間で連鎖する挙動の評価を挙げている。これらの計画された検証は、成功した限定的な実験と、より広い運用への信頼の間にある隔たりに対処するものだ。

より広範な導入には3種類の証拠が必要

次に有用な証拠は、より広いデプロイメント、持続的な障害テスト、そしてルーティング遷移時の性能に関するより明確な説明である。

第一に、Salesforceが報告書で説明された構成を超えて拡大したことの確認に注目すべきだ。同社は、より広範なリージョン展開を計画中の作業として挙げている。この表現は、提供フリート全体がすでにルーターを使用しているという発表とは区別して扱うべきである。

より広範なデプロイメントは、この統合が異なる運用環境でも機能するという根拠を強めるだろう。最も有力な更新は、どのワークロードが移行し、どれがローカルに残り、どのようなデプロイメント上の制約が明らかになったかを説明するものになる。単に件数が増えても、実務上の信頼性について得られる情報は少ない。

ワークロードの多様性が重要なのは、すべてのモデルサービスが同じ挙動を示すわけではないからだ。リクエスト時間、送信先の適格性、容量要件は異なり得る。こうした条件全体の証拠は、初期パターンがテスト環境を超えて通用するかを読者が判断する助けになる。

第二に、持続的な飽和テストと、受信制限が連鎖的な過負荷を防ぐ証拠に注目すべきだ。Salesforceは、より長いテストとリージョン間上限の挙動を、さらなる評価の対象として明示している。これらはアーキテクチャの中心的な約束を直接検証するテストである。

好ましい結果は、受信側の送信先が自身の呼び出し元へのサービスを継続する一方で、転送された需要が上限内に保たれることを示すだろう。好ましくない結果は、適格なフリートに十分な余力がない条件を明らかにする。どちらの結果も、初期のレイテンシ数値を繰り返すより有益である。

これらのテストでは、複数の送信先が同時に苦戦した場合に何が起きるかも明確にすべきだ。ルーティングが最も有用なのは、別の許可済みエンドポイントが処理を引き受けられる場合である。適格なセット全体が制約を受けるなら、アプリケーションには利用不能な容量への定義された対応がなお必要となる。

第三に、遷移そのものについてより詳細な計測に注目すべきだ。Salesforceは、より精密なリージョン間レイテンシ評価を計画している。読者は、安定したリモート運用と、リクエストが移動する前の期間、送信先間の切り替え、ローカルサービスへの復帰を区別する必要がある。

こうした段階全体で予測可能な挙動が示されれば、より広範な性能説明は根拠を強めるだろう。成功した復旧の前に、アプリケーションの期待を超える遅延が一貫して発生するなら、過度に広い主張は弱まる。どちらの発見も、チームが適切なワークロードを選ぶ助けになる。

企業の購入者にとって、判断は実際に利用するサービスと結び付けておくべきだ。どの処理場所が許可されるのか、何が切り替えを起動するのか、承認済みの送信先がすべて混雑した場合に何が起きるのかを尋ねるべきである。こうした問いは、インフラの主張を契約上および運用上の現実と結び付ける。

開発者にとって、この報告は、アプリケーションの責任をなくさずにルーティング責任を移す具体例を提供する。ポリシー分類、応答処理、デプロイメントの一貫性、ユーザーの期待は、引き続き製品の一部である。マネージドサービスは、ルーティングとの関係を変えるのであって、それらを消滅させるわけではない。

同様のアーキテクチャを導入する前に、その障害時の挙動を、アプリケーションの実際の待機許容時間と処理境界と比較すべきだ。どのリクエストがホームRegionを離れられるかを特定し、そのうえで重複する需要の発生中にも承認済みの送信先が十分な容量を維持できるかを検討する。健全なリモート性能はトラフィック移動前の遅延を示さないため、通常の応答時間と併せて遷移時の計測値を確認する。レジデンシー判断、送信先設定、インシデント証拠を関連付けて維持し、チームが後から挙動を説明できるようにする。Salesforceのリージョン間推論は、カスタムルーティング作業を減らす具体的な方向性を示している。次のデプロイメントとテストの更新を使い、その方向性が自社の信頼性要件のどこに適合するかを判断するとよい。

 
 

無料で始めましょう

ローカルファーストのパーソナル知識管理付きAIアシスタント

より良いAI体験のために、

remio は現在、 Windows 10+ (x64)とM-Chip Mac のみをサポートしています。

仕事のAIパートナー
remioでもっと仕事が進む

計画・作成・仕上げまで
すべてをひとつに

bottom of page