L’inférence interrégionale de Salesforce s’appuie sur SageMaker AI
Salesforce a testé le routage d’inférence interrégional dans deux régions AWS, en reliant la capacité existante des modèles tout en maintenant localement les requêtes soumises à des restrictions de résidence. L’inférence interrégionale de Salesforce utilise Amazon SageMaker AI pour rediriger les requêtes éligibles lorsque les ressources de service locales deviennent défaillantes. Ce changement répond à un problème concret : une capacité disponible ailleurs ne peut pas protéger un service surchargé si les requêtes ne peuvent pas l’atteindre en toute sécurité.
AWS a publié le récit de Salesforce le 18 novembre 2026, parallèlement à l’annonce de la disponibilité générale des régions d’endpoint temps réel commerciales prises en charge. L’inférence, processus qui consiste à exécuter un modèle entraîné sur une entrée, dépend de bien plus que du matériel informatique disponible. Pour Salesforce, l’enjeu comprend la détermination des requêtes qui peuvent être déplacées, l’autorisation de leurs destinations et l’explication de chaque décision de routage.
La principale comparaison concerne l’approche antérieure de Salesforce : maintenir une logique de basculement régional dans sa propre passerelle, le service qui transmet les requêtes applicatives. Les déploiements mondiaux de modèles de Microsoft constituent une autre référence sectorielle pour la répartition de l’inférence entre plusieurs emplacements. Le cas de Salesforce concerne le routage entre des endpoints qu’elle exploite déjà, la politique applicative continuant de déterminer les destinations autorisées.
L’inférence interrégionale de Salesforce relie la capacité existante
Ce changement fournit à Salesforce une couche de routage gérée entre les déploiements existants, plutôt que de créer automatiquement une flotte plus importante de serveurs de modèles.
Selon le récit publié sur l’inférence interrégionale, Salesforce a testé des destinations dans l’Oregon et l’Ohio, y compris un endpoint détenu par un autre compte. Un endpoint est un service déployé qui accepte des requêtes de modèle. Le routeur fournit un chemin d’invocation entre ces destinations, réduisant la logique applicative nécessaire pour sélectionner une alternative.
Cette distinction importe pour interpréter l’annonce. Salesforce décrit une manière différente d’utiliser des ressources qui existent déjà. Elle ne signale pas que le routeur déploie des modèles, copie leurs fichiers ou fournit une capacité informatique supplémentaire pendant un incident.
L’API de routeur d’inférence d’AWS décrit des cibles de routage, c’est-à-dire des groupes nommés de destinations capables de servir un modèle donné. Ces destinations peuvent appartenir à différents comptes et régions au sein de la même partition AWS, un regroupement d’infrastructure doté de frontières de service distinctes. L’application sélectionne la cible logique, tandis que le routeur sélectionne une destination éligible.
Pour une organisation d’ingénierie, cela modifie l’emplacement de la responsabilité opérationnelle. Les équipes applicatives ont toujours besoin d’un contrat cohérent de service des modèles, mais elles n’ont plus à mettre en œuvre indépendamment chaque décision de basculement régional. Un service de routage partagé devient responsable de l’évaluation de l’état des destinations et du choix de celles vers lesquelles sont envoyées les requêtes éligibles.
Le bénéfice potentiel est une coordination plus simple entre des ressources gérées de manière indépendante. Une équipe disposant de capacité dans un autre compte peut exposer une destination autorisée sans transférer la propriété de cette infrastructure. L’application consommatrice obtient une option de service supplémentaire, tandis que le propriétaire de la destination conserve le contrôle de l’accès.
Cependant, le fait qu’une destination apparaisse dans la configuration ne suffit pas à prouver qu’elle peut accepter du trafic de production. AWS documente des vérifications concernant l’état et les autorisations de la destination. Cela crée une séparation utile entre la déclaration d’un plan de routage et l’établissement de son bon fonctionnement.
C’est pourquoi l’exemple de Salesforce mérite l’attention au-delà de la mécanique consistant à modifier un appel applicatif. La fragmentation régionale de la capacité est en partie un problème d’allocation et en partie un problème de coordination opérationnelle. Le routage géré répond au second problème tout en améliorant l’utilisation des ressources disponibles pour résoudre le premier.
L’annonce exige également une formulation prudente concernant le calendrier. Le 18 novembre est la date de disponibilité et de publication rapportée. Cela n’établit pas que Salesforce a achevé un déploiement mondial à cette date, ni que chaque charge de travail utilise déjà le routeur.
Le changement immédiat est donc concret, mais circonscrit. Salesforce a testé un chemin géré entre des destinations existantes. Son importance plus large dépend de la façon dont ce chemin se comporte avec davantage de charges de travail, des incidents plus longs et un ensemble plus vaste de régions éligibles.
La capacité régionale met les équipes plateforme sous pression
La pression s’exerce sur les équipes qui doivent maintenir la disponibilité des services de modèles tout en respectant les limites des lieux de traitement autorisés pour chaque client.
Une application peut disposer d’une capacité suffisante sur l’ensemble de sa flotte tout en rencontrant des difficultés dans un emplacement donné. Les ressources disponibles ailleurs offrent peu de protection lorsque les requêtes restent attachées à un service régional saturé. La flotte paraît adéquate dans son ensemble, alors qu’un client subit des retards ou des erreurs.
La planification des capacités devient ainsi plus complexe que le simple comptage des instances déployées, les ressources informatiques qui exécutent un modèle. Les équipes doivent tenir compte du lieu d’arrivée de la demande, des destinations capables de traiter des requêtes équivalentes et des clients qui autorisent le traitement ailleurs. Chaque contrainte réduit la capacité réellement disponible.
L’approche précédente de Salesforce, fondée sur une passerelle, plaçait la responsabilité du basculement régional plus près de l’infrastructure applicative. Déplacer cette responsabilité vers un routeur géré modifie la charge de maintenance. Cela soulève aussi une question plus claire pour les propriétaires de plateformes : quelles décisions doivent rester une politique d’entreprise, et lesquelles doivent devenir un comportement de service ?
La réponse de l’entreprise maintient la décision de résidence dans sa passerelle. La résidence des données désigne les exigences qui régissent le lieu où les informations sont stockées ou traitées. Les requêtes soumises à des restrictions régionales restent locales, tandis que les requêtes éligibles peuvent utiliser un ensemble plus large de destinations.
Cela signifie que les avantages varieront selon les charges de travail. Une charge flexible peut s’appuyer sur des ressources distantes approuvées lorsque son service local rencontre des difficultés. Une charge liée à une seule région reste dépendante de la capacité et de la fiabilité disponibles à l’intérieur de cette frontière.
Aucun de ces résultats ne rend la politique incohérente. Le système applique des exigences différentes à des requêtes différentes. Le défi opérationnel consiste à s’assurer que les équipes produit comprennent ces différences avant de promettre des performances ou une disponibilité uniformes.
Pour les acheteurs d’entreprise, cela modifie les questions pertinentes à poser sur l’infrastructure de modèles. L’empreinte géographique totale d’un fournisseur ne révèle pas quelles ressources peuvent servir un client donné. Le périmètre pertinent est l’ensemble des emplacements autorisés pour les requêtes réelles de ce client.
Pour les développeurs, le sujet s’étend au comportement de l’application en cas de dégradation. Une requête qui finit par réussir peut tout de même dépasser le temps qu’un utilisateur est prêt à attendre. Déplacer la responsabilité du routage n’élimine pas la nécessité de définir des temps de réponse acceptables.
Pour les responsables de plateformes, l’opportunité consiste à réduire le travail d’infrastructure répété. Le maintien de règles de basculement distinctes selon les applications crée davantage de points où le comportement opérationnel peut diverger. La centralisation de ce comportement offre davantage de cohérence, à condition que les équipes comprennent les déclencheurs et les limites du routeur.
L’argument économique reste moins établi que l’argument opérationnel. Le partage de capacité éligible suggère un moyen de réduire les ressources inutilisées, mais le rapport ne quantifie pas d’économies vérifiées. Les déploiements supplémentaires, le traitement distant et les garde-fous opérationnels nécessitent toujours des ressources.
Le jugement utile est plus circonscrit : Salesforce remplace une partie du travail de routage personnalisé par une capacité gérée. La question de savoir si cela améliore l’économie de la flotte dépend des schémas de demande réels, du trafic éligible et de la capacité inutilisée maintenue dans les destinations réceptrices.
Les règles de résidence définissent la frontière du routage
Le compromis central se situe entre l’accès à davantage de capacité de service et les limites de traitement que chaque requête doit respecter.
L’architecture de Salesforce maintient la décision d’éligibilité avant le routage interrégional. Cet ordre importe, car la logique de disponibilité doit s’exercer dans un ensemble de destinations approuvées. Elle ne doit pas décider après une défaillance qu’un emplacement auparavant interdit est devenu acceptable.
Une requête limitée au traitement local reçoit donc un périmètre de routage différent de celui d’une requête sans restriction. Le routeur peut améliorer la sélection de destination à l’intérieur de ce périmètre. Il ne peut pas légitimement l’élargir simplement parce que le service local est devenu chargé.
Cette distinction clarifie également ce que signifie « mondial » dans ce contexte. L’inférence interrégionale de Salesforce n’implique pas que chaque requête puisse être acheminée n’importe où. Elle décrit une organisation de service dans laquelle les requêtes éligibles peuvent atteindre des ressources approuvées au-delà des frontières régionales et des comptes.
L’autorisation intercomptes ajoute une autre frontière. Le propriétaire d’un compte doit autoriser l’accès à son endpoint, plutôt que de s’appuyer uniquement sur la configuration de routage de l’appelant. Cet aspect importe sur le plan organisationnel, car le partage de disponibilité ne doit pas effacer la propriété de l’infrastructure.
L’autorisation du propriétaire de la destination et la politique de résidence de l’application répondent à des questions différentes. L’autorisation établit si un appelant peut invoquer une ressource. La politique de résidence établit si une requête donnée doit y être traitée. Un déploiement requiert l’alignement de ces deux décisions.
Les types de déploiement de modèles de Microsoft offrent une comparaison utile. Sa documentation distingue le traitement mondial, le traitement au sein de zones de données définies et le traitement dans une zone géographique Azure sélectionnée. Ces choix associent eux aussi l’accès à la capacité et le périmètre de traitement autorisé.
Les produits ne doivent pas être considérés comme interchangeables. Les types de déploiement documentés par Microsoft s’appliquent à son offre de modèles serverless, tandis que l’exemple de Salesforce route entre ses destinations SageMaker AI existantes. Le problème commun au secteur consiste à définir le lieu où l’inférence peut s’exécuter avant de répartir la demande.
Microsoft distingue également le traitement entre emplacements de la reprise régionale au niveau applicatif. Ses recommandations sur la résilience des déploiements indiquent que le périmètre de routage autorisé ne remplace pas la logique nécessaire pour basculer entre les endpoints de ressources régionales. Cela renforce une précaution plus générale : le traitement distribué ne protège pas automatiquement toutes les couches d’une application.
Pour Salesforce, le maintien des vérifications de résidence dans la passerelle préserve un point de contrôle explicite. La conception dépend toujours d’une classification précise des requêtes et d’une configuration correcte des destinations. Un routeur géré ne peut pas établir indépendamment qu’une organisation a interprété correctement chaque engagement envers ses clients.
Cette limite doit orienter le langage utilisé autour de la gouvernance. L’architecture fournit des mécanismes pour appliquer des frontières. La question de savoir si ces mécanismes satisfont un engagement particulier dépend du déploiement complet, de sa configuration et de la politique appliquée.
L’implication pratique la plus forte est que la flexibilité de routage devient un attribut de la charge de travail. Les entreprises peuvent évaluer quels services bénéficient d’une capacité distante approuvée et lesquels exigent un provisionnement local plus robuste. Cela produit un plan de disponibilité plus réaliste que de traiter l’infrastructure mondiale comme une ressource unique et sans restriction.
Des réponses lentes ne déclenchent pas automatiquement un basculement
Le test rapporté montre que la reprise après erreur et une latence acceptable pour l’utilisateur sont deux objectifs distincts.
Dans le test de Salesforce, l’équipe a saturé son endpoint local tout en envoyant des requêtes de test via le routeur. Le temps de réponse médian rapporté est passé d’environ 0,2 seconde à une fourchette comprise entre 45 et 58 secondes. La médiane, ou p50, signifie que la moitié des réponses mesurées étaient plus rapides et l’autre moitié plus lentes.
Le trafic est d’abord resté local malgré ce ralentissement. Selon le rapport, la latence à elle seule ne déclenche pas un basculement régional. Une réponse lente du modèle peut refléter un traitement légitime, notamment une entrée ou une sortie plus longue, plutôt qu’une destination défaillante.
Le routeur réagit plutôt aux résultats infructueux, notamment aux erreurs, à la limitation de débit et aux délais d’expiration. La limitation de débit signifie qu’un service rejette des requêtes parce qu’une limite a été atteinte. Ce comportement évite de confondre le mécanisme central de l’article avec une recherche universelle de l’endpoint disponible le plus rapide.
Une fois les erreurs apparues, Salesforce a indiqué que les premières requêtes distantes sont arrivées environ deux minutes plus tard. Environ une minute après, près de 78 % du trafic de test était servi à distance. Après le basculement, la latence médiane rapportée est revenue à environ 0,2 seconde.
L’entreprise a également signalé moins de 100 millisecondes de surcoût médian pour le chemin interrégional. Le trafic est revenu vers la destination locale rétablie en environ 10 minutes. Il s’agit d’observations issues du test décrit, et non d’engagements garantis en matière de délai ou de performances.
Cette distinction est importante pour les produits interactifs. Une personne utilisant une fonctionnalité d’IA peut abandonner une tâche avant que le service sous-jacent ne renvoie une erreur. De son point de vue, une réponse techniquement réussie peut arriver trop tard pour être utile.
Cela n’invalide pas le routage fondé sur les erreurs. Cela montre que l’objectif de routage et l’expérience applicative doivent être évalués séparément. Un service peut améliorer la reprise après défaillance de destinations non saines sans garantir que toute période de fonctionnement lent déclenchera une intervention.
Les mesures médianes laissent également d’importantes questions sans réponse. Elles ne décrivent pas les requêtes les plus lentes et n’établissent pas l’expérience de chaque client. Le récit publié étaye un scénario de test précis, plutôt qu’une caractérisation complète du comportement en production.
La même prudence s’applique à la part de trafic distant. Router environ 78 % du trafic de test ailleurs n’établit pas un objectif général de distribution. L’allocation du trafic lors d’un autre incident dépendra des destinations, de leur état et du périmètre de routage autorisé.
Cela crée une tâche d’évaluation concrète pour les équipes produit. Elles doivent comparer les transitions de routage observées avec le temps d’attente raisonnable de leur application. Elles doivent également distinguer le comportement de reprise du service de leurs propres choix en matière de délais d’expiration et de gestion des erreurs.
L’inférence interrégionale de Salesforce répond donc à un problème de fiabilité plus étroit que ne le suggèrent les chiffres de performance en titre. La reprise rapportée est un élément encourageant pour les conditions testées. La période précédente de réponses lentes demeure un élément tout aussi pertinent pour toute personne évaluant l’expérience utilisateur.
La capacité excédentaire doit aussi être protégée
Une couche de routage redistribue la demande, mais les endpoints destinataires doivent encore disposer d’une capacité suffisante pour l’absorber sans nuire à leurs propres appelants.
Déplacer des requêtes loin d’une destination surchargée peut répartir la pression ailleurs. Une Region destinataire a déjà sa propre charge de travail. Sans limite sur la demande importée, une action de reprise peut transformer une pénurie locale en problème de service plus étendu.
AWS documente une protection côté réception par le biais de son plafond de trafic interrégional. La configuration associe un taux de requêtes attendu par instance à un pourcentage autorisé de la capacité de l’endpoint. Les requêtes qui dépassent ce plafond reçoivent une erreur de limitation de débit.
Le plafond est un mécanisme de protection, et non une capacité de calcul supplémentaire. Il limite la quantité de trafic distant qu’une destination accepte. Une organisation doit toujours décider quel volume de débordement ses ressources déployées peuvent traiter tout en continuant à servir la demande existante.
Cette décision exige davantage que de vérifier qu’un endpoint distant est sain dans des conditions ordinaires. Un endpoint peu chargé peut devenir contraint après avoir accepté le trafic d’une autre Region. La planification de capacité doit prendre en compte la demande combinée qui arrive pendant l’incident.
La mise à l’échelle automatique, qui ajoute ou retire des ressources informatiques lorsque la demande évolue, reste une partie distincte du système. Le routage peut sélectionner parmi plusieurs destinations, tandis que chaque destination gère ses propres ressources. Ces processus doivent reposer sur des hypothèses compatibles concernant la capacité disponible et la rapidité avec laquelle elle évolue.
Le routeur ne résout pas non plus la cohérence des déploiements. Le compte rendu de Salesforce indique que les destinations enregistrées nécessitent des modèles et artefacts correspondants, c’est-à-dire les fichiers nécessaires à l’exécution de ces modèles. Sinon, un basculement régional peut modifier les réponses du service même si les requêtes continuent d’aboutir.
Pour les acheteurs, cela fait de la cohérence fonctionnelle une composante de la disponibilité. Une réponse provenant d’un autre emplacement n’est utile que si elle respecte le même contrat applicatif. La redondance géographique ne devrait pas introduire discrètement un comportement de modèle différent dans le flux de travail d’un client.
Il existe également une distinction entre l’existence d’une destination et son état de préparation. Les autorisations, la configuration du modèle et l’état de service influencent tous sa capacité à traiter les requêtes. Ajouter un nom de ressource à une cible de routage n’est qu’une étape vers l’établissement d’une alternative fiable.
L’observabilité, soit la capacité à comprendre un système à travers ses enregistrements opérationnels, devient essentielle ici. Le compte rendu de Salesforce décrit des informations par requête sur la destination et le motif de routage. Ces enregistrements aident les équipes à distinguer un changement de routage d’un changement de modèle ou d’un problème de capacité.
Cependant, un enregistrement de destination ne répond pas à toutes les questions de gouvernance. Il identifie l’emplacement où une invocation a été exécutée. Les équipes ont toujours besoin du contexte de requête environnant, de l’historique de configuration et des enregistrements de politiques pour expliquer si cette destination était appropriée.
Les ingénieurs qui conservent ces éléments de preuve ont besoin d’un registre partagé des décisions et incidents. Une base de connaissances consultable peut aider à préserver le raisonnement qui sous-tend les choix d’éligibilité régionale et de reprise.
La question non résolue est de savoir comment ces contrôles se comportent ensemble sous une pression prolongée. Salesforce indique que les travaux futurs incluent des tests de saturation plus longs et une évaluation du comportement régional en cascade. Ces vérifications prévues comblent l’écart entre une expérience limitée réussie et la confiance dans un fonctionnement plus large.
Une adoption plus large nécessite trois types de preuves
Les prochaines preuves utiles concernent un déploiement plus large, des tests de défaillance prolongée et une description plus claire des performances pendant les transitions de routage.
Premièrement, surveillez la confirmation que Salesforce s’est étendu au-delà des configurations décrites dans le rapport. L’entreprise présente un déploiement régional plus large comme un travail prévu. Cette formulation doit rester distincte d’une annonce selon laquelle l’ensemble de la flotte de service utilise déjà le routeur.
Un déploiement plus large renforcerait l’argument selon lequel l’intégration fonctionne dans différents contextes opérationnels. La mise à jour la plus solide expliquerait quelles charges de travail ont été déplacées, lesquelles sont restées locales et quelles contraintes de déploiement sont apparues. Un nombre plus élevé à lui seul révélerait moins de choses sur la fiabilité pratique.
La diversité des charges de travail importe, car tous les services de modèles n’ont pas le même comportement. La durée des requêtes, l’éligibilité des destinations et les besoins en capacité peuvent varier. Des éléments probants couvrant ces conditions aideraient les lecteurs à déterminer si le schéma initial s’étend au-delà de la configuration de test.
Deuxièmement, surveillez les tests de saturation prolongée et les preuves que les limites côté réception empêchent une surcharge en cascade. Salesforce identifie précisément les tests plus longs et le comportement du plafond interrégional comme des domaines nécessitant une évaluation supplémentaire. Ce sont des tests directs de la promesse centrale de l’architecture.
Un résultat favorable montrerait que la demande redirigée reste limitée tandis que les destinations destinataires continuent de servir leurs propres appelants. Un résultat défavorable révélerait les conditions dans lesquelles la flotte éligible ne dispose pas d’une marge de capacité suffisante. Dans les deux cas, cela serait plus informatif que de répéter le chiffre initial de latence.
Ces tests devraient également préciser ce qui se produit lorsque plusieurs destinations rencontrent des difficultés simultanément. Le routage est particulièrement utile lorsqu’un autre endpoint autorisé peut accepter le travail. Si l’ensemble du périmètre éligible est contraint, l’application a toujours besoin d’une réponse définie face à une capacité indisponible.
Troisièmement, surveillez des mesures plus détaillées de la transition elle-même. Salesforce prévoit une évaluation plus précise de la latence interrégionale. Les lecteurs devraient distinguer le fonctionnement distant stable de la période précédant le déplacement des requêtes, du basculement entre destinations et du retour au service local.
Un compte rendu de performance plus large renforcerait l’argument s’il démontrait un comportement prévisible sur l’ensemble de ces phases. Il affaiblirait les affirmations ambitieuses si une reprise réussie suivait systématiquement des retards dépassant les attentes de l’application. Ces deux constats aideraient les équipes à choisir des charges de travail adaptées.
Pour les acheteurs d’entreprise, la décision doit rester liée au service qu’ils consomment réellement. Demandez quels emplacements de traitement sont autorisés, ce qui déclenche un basculement et ce qui se produit lorsque chaque destination approuvée est occupée. Ces questions relient les affirmations d’infrastructure à la réalité contractuelle et opérationnelle.
Pour les développeurs, le rapport fournit un exemple concret de transfert de la responsabilité du routage sans supprimer la responsabilité applicative. La classification des politiques, le traitement des réponses, la cohérence des déploiements et les attentes des utilisateurs restent des éléments du produit. Le service géré modifie leur relation avec le routage plutôt que de les faire disparaître.
Avant d’adopter une architecture similaire, comparez son comportement en cas de défaillance avec le budget d’attente réel et les limites de traitement de votre application. Identifiez quelles requêtes peuvent quitter leur Region d’origine, puis examinez si les destinations approuvées conservent une capacité suffisante lors de demandes qui se chevauchent. Évaluez les mesures de transition parallèlement aux temps de réponse ordinaires, car de bonnes performances distantes ne décrivent pas le délai précédant le déplacement du trafic. Maintenez les décisions de résidence, la configuration des destinations et les preuves d’incident liées afin que les équipes puissent expliquer ultérieurement le comportement observé. L’inférence interrégionale de Salesforce offre une orientation concrète pour réduire le travail de routage personnalisé. Utilisez les prochaines mises à jour de déploiement et de test pour déterminer où cette orientation répond à vos propres exigences de fiabilité.



