L'inferenza cross-region di Salesforce utilizza SageMaker AI
Salesforce ha testato l'instradamento dell'inferenza cross-region in due AWS Region, collegando la capacità dei modelli esistenti e mantenendo locali le richieste soggette a restrizioni di residenza. L'inferenza cross-region di Salesforce utilizza Amazon SageMaker AI per reindirizzare le richieste idonee quando le risorse di serving locali diventano inaffidabili. La modifica affronta un problema pratico: la capacità inutilizzata altrove non può proteggere un servizio sovraccarico se le richieste non possono raggiungerla in sicurezza.
AWS ha pubblicato il resoconto di Salesforce il 18 novembre 2026, insieme all'annuncio della disponibilità generale per le Region supportate degli endpoint commerciali in tempo reale. L'inferenza, il processo di esecuzione di un modello addestrato su un input, dipende da più fattori oltre all'hardware di calcolo disponibile. Per Salesforce, la sfida include decidere quali richieste possano spostarsi, autorizzarne le destinazioni e spiegare ogni decisione di instradamento.
Il confronto principale riguarda l'approccio precedente di Salesforce: mantenere la logica di commutazione regionale nel proprio gateway, il servizio che inoltra le richieste dell'applicazione. Le distribuzioni globali di modelli di Microsoft offrono un altro riferimento di settore per la distribuzione dell'inferenza tra sedi diverse. Il caso di Salesforce riguarda l'instradamento tra endpoint già gestiti dall'azienda, mentre la policy applicativa continua a determinare quali destinazioni siano consentite.
L'inferenza cross-region di Salesforce collega la capacità esistente
La modifica offre a Salesforce un livello di instradamento gestito tra deployment esistenti, anziché creare automaticamente una flotta più ampia per il serving dei modelli.
Secondo il resoconto sull'inferenza cross-region pubblicato, Salesforce ha testato destinazioni in Oregon e Ohio, incluso un endpoint di proprietà di un altro account. Un endpoint è un servizio distribuito che accetta richieste al modello. Il router fornisce un percorso di invocazione attraverso tali destinazioni, riducendo la logica applicativa necessaria per selezionare un'alternativa.
Questa distinzione è importante nell'interpretare l'annuncio. Salesforce descrive un modo diverso di utilizzare risorse già esistenti. Non sta affermando che il router distribuisca modelli, ne copi i file o fornisca capacità di calcolo aggiuntiva durante un incidente.
L'API del router di inferenza di AWS descrive i target di instradamento, gruppi denominati di destinazioni in grado di servire un modello specifico. Tali destinazioni possono appartenere a account e Region diversi all'interno della stessa partizione AWS, un raggruppamento infrastrutturale con confini di servizio separati. L'applicazione seleziona il target logico, mentre il router sceglie una destinazione idonea.
Per un'organizzazione di ingegneria, questo modifica la collocazione della responsabilità operativa. I team applicativi hanno ancora bisogno di un contratto coerente per il serving dei modelli, ma non devono più implementare autonomamente ogni decisione di commutazione regionale. Un servizio di instradamento condiviso diventa responsabile della valutazione dello stato delle destinazioni e della selezione della destinazione per le richieste idonee.
Il potenziale vantaggio è un coordinamento più semplice tra risorse gestite in modo indipendente. Un team con capacità in un altro account può esporre una destinazione consentita senza trasferire la proprietà di tale infrastruttura. L'applicazione che la utilizza acquisisce un'ulteriore opzione di serving, mentre il proprietario della destinazione mantiene il controllo sull'accesso.
Tuttavia, la presenza di una destinazione nella configurazione non è una prova sufficiente che possa accettare traffico di produzione. AWS documenta controlli sullo stato e sulle autorizzazioni della destinazione. Ciò crea una separazione utile tra la dichiarazione di un piano di instradamento e la verifica del suo effettivo funzionamento.
Ecco perché l'esempio di Salesforce merita attenzione oltre alla meccanica della modifica di una chiamata applicativa. La frammentazione della capacità regionale è in parte un problema di allocazione e in parte un problema di coordinamento operativo. L'instradamento gestito affronta il secondo problema, migliorando al contempo l'utilizzo delle risorse disponibili per il primo.
L'annuncio richiede inoltre un linguaggio prudente sulla tempistica. Il 18 novembre è la data di disponibilità e pubblicazione riportata. Non dimostra che Salesforce abbia completato un deployment globale in quella data, né che ogni carico di lavoro utilizzi già il router.
La modifica immediata è quindi concreta ma circoscritta. Salesforce ha testato un percorso gestito tra destinazioni esistenti. Il significato più ampio dipende dal comportamento di quel percorso su più carichi di lavoro, incidenti più lunghi e un insieme più ampio di Region idonee.
La capacità regionale mette sotto pressione i team di piattaforma
La pressione ricade sui team che devono mantenere disponibili i servizi di modelli rispettando i limiti delle sedi di elaborazione consentite per ogni cliente.
Un'applicazione può avere capacità sufficiente nell'intera flotta e incontrare comunque difficoltà in una sede specifica. Le risorse altrove offrono poca protezione quando le richieste restano vincolate a un servizio regionale saturo. La flotta appare adeguata nel complesso, mentre un cliente sperimenta ritardi o errori.
Ciò rende la pianificazione della capacità più complessa del semplice conteggio delle istanze distribuite, le risorse di calcolo che eseguono un modello. I team devono considerare dove arriva la domanda, quali destinazioni possono servire richieste equivalenti e quali clienti consentono l'elaborazione altrove. Ogni vincolo riduce la capacità realmente disponibile.
L'approccio precedente di Salesforce basato sul gateway collocava la responsabilità della commutazione regionale più vicino all'infrastruttura applicativa. Spostare tale responsabilità in un router gestito modifica il carico di manutenzione. Introduce inoltre una domanda più chiara per i responsabili della piattaforma: quali decisioni dovrebbero restare policy aziendale e quali diventare comportamento del servizio?
La risposta dell'azienda mantiene la decisione sulla residenza nel proprio gateway. La residenza dei dati descrive requisiti che regolano dove le informazioni vengono archiviate o elaborate. Le richieste con restrizioni regionali restano locali, mentre quelle idonee possono utilizzare un insieme più ampio di destinazioni.
Questo significa che i vantaggi varieranno tra i carichi di lavoro. Un carico flessibile può attingere a risorse remote approvate quando il suo servizio locale è in difficoltà. Un carico vincolato a una Region resta dipendente dalla capacità e dall'affidabilità disponibili entro quel confine.
Nessuno dei due esiti rende la policy incoerente. Il sistema applica requisiti diversi a richieste diverse. La sfida operativa consiste nel garantire che i team di prodotto comprendano tali differenze prima di promettere prestazioni o disponibilità uniformi.
Per gli acquirenti enterprise, questo cambia le domande da porre sull'infrastruttura dei modelli. L'impronta geografica complessiva di un fornitore non rivela quali risorse possano servire un cliente specifico. L'ambito rilevante è l'insieme delle sedi consentite per le richieste effettive di quel cliente.
Per gli sviluppatori, la questione si estende al comportamento dell'applicazione durante il degrado del servizio. Una richiesta che alla fine riesce può comunque superare il tempo che un utente è disposto ad attendere. Spostare la responsabilità dell'instradamento non elimina la necessità di definire tempi di risposta accettabili.
Per i responsabili di piattaforma, l'opportunità consiste nel ridurre il lavoro infrastrutturale ripetuto. Mantenere regole di commutazione separate tra le applicazioni crea più punti in cui il comportamento operativo può divergere. Centralizzare tale comportamento offre coerenza, purché i team comprendano gli attivatori e i limiti del router.
Il caso economico resta meno dimostrato di quello operativo. La condivisione della capacità idonea suggerisce un modo per ridurre le risorse inutilizzate, ma il resoconto non quantifica risparmi verificati. Deployment aggiuntivi, elaborazione remota e salvaguardie operative richiedono comunque risorse.
La valutazione utile è più circoscritta: Salesforce sta sostituendo parte del lavoro di instradamento personalizzato con una funzionalità gestita. Il miglioramento dell'economia della flotta dipende dai modelli effettivi di domanda, dal traffico idoneo e dalla capacità inutilizzata mantenuta nelle destinazioni riceventi.
Le regole di residenza definiscono il confine dell'instradamento
Il compromesso centrale è tra l'accesso a una maggiore capacità di serving e i confini di elaborazione che ogni richiesta deve rispettare.
L'architettura di Salesforce mantiene la decisione di idoneità prima dell'instradamento cross-region. Questo ordine è importante perché la logica di disponibilità dovrebbe operare all'interno di un insieme approvato di destinazioni. Non dovrebbe decidere, dopo un guasto, che una sede precedentemente vietata sia diventata accettabile.
Una richiesta limitata all'elaborazione locale riceve quindi un ambito di instradamento diverso da una richiesta senza restrizioni. Il router può migliorare la selezione della destinazione all'interno di tale ambito. Non può legittimamente ampliare l'ambito solo perché il servizio locale è diventato occupato.
La distinzione chiarisce anche cosa significhi “globale” in questo contesto. L'inferenza cross-region di Salesforce non implica che ogni richiesta possa viaggiare ovunque. Descrive un assetto di serving in cui le richieste idonee possono raggiungere risorse approvate oltre i confini regionali e degli account.
L'autorizzazione cross-account aggiunge un altro confine. Il proprietario di un account deve consentire l'accesso al proprio endpoint, anziché basarsi esclusivamente sulla configurazione di instradamento del chiamante. Questo è importante sul piano organizzativo perché la disponibilità condivisa non dovrebbe cancellare la proprietà dell'infrastruttura.
L'autorizzazione del proprietario della destinazione e la policy di residenza dell'applicazione rispondono a domande diverse. L'autorizzazione stabilisce se un chiamante possa invocare una risorsa. La policy di residenza stabilisce se una richiesta specifica debba essere elaborata lì. Un deployment richiede che entrambe le decisioni siano allineate.
I tipi di deployment dei modelli di Microsoft offrono un confronto utile. La relativa documentazione distingue l'elaborazione globale, l'elaborazione all'interno di zone dati specificate e l'elaborazione all'interno di una geografia Azure selezionata. Queste scelte collegano analogamente l'accesso alla capacità con l'ambito di elaborazione consentito.
I prodotti non dovrebbero essere considerati intercambiabili. I tipi di deployment documentati da Microsoft si applicano alla sua offerta di modelli serverless, mentre l'esempio di Salesforce instrada tra le proprie destinazioni SageMaker AI esistenti. Il problema condiviso dal settore è definire dove possa avvenire l'inferenza prima di distribuire la domanda.
Microsoft distingue inoltre l'elaborazione tra sedi dal ripristino regionale a livello applicativo. La sua guida alla resilienza dei deployment afferma che l'ambito di instradamento consentito non sostituisce la logica necessaria per passare tra endpoint di risorse regionali. Ciò rafforza una cautela più ampia: l'elaborazione distribuita non protegge automaticamente ogni livello di un'applicazione.
Per Salesforce, mantenere i controlli di residenza nel gateway preserva un punto di controllo esplicito. Il design dipende comunque da una classificazione accurata delle richieste e da una corretta configurazione delle destinazioni. Un router gestito non può stabilire autonomamente che un'organizzazione abbia interpretato correttamente ogni impegno assunto verso i clienti.
Questa limitazione dovrebbe orientare il linguaggio utilizzato in materia di governance. L'architettura fornisce meccanismi per applicare i confini. La conformità di tali meccanismi a uno specifico impegno dipende dal deployment completo, dalla sua configurazione e dalla policy applicata.
La più forte implicazione pratica è che la flessibilità di instradamento diventa una caratteristica del carico di lavoro. Le aziende possono valutare quali servizi traggano vantaggio da capacità remota approvata e quali richiedano un provisioning locale più solido. Ne risulta un piano di disponibilità più realistico rispetto al trattare l'infrastruttura globale come un'unica risorsa senza restrizioni.
Le risposte lente non attivano automaticamente il reindirizzamento
Il test riportato mostra che il recupero dagli errori e una latenza utente accettabile sono obiettivi diversi.
Nel test di Salesforce, il team ha saturato il proprio endpoint locale mentre inviava richieste di prova attraverso il router. Il tempo di risposta mediano riportato è passato da circa 0,2 secondi a un intervallo tra 45 e 58 secondi. La mediana, o p50, significa che metà delle risposte misurate è stata più rapida e l'altra metà più lenta.
Il traffico è rimasto inizialmente locale nonostante tale rallentamento. Secondo il report, la sola latenza non attiva uno spostamento regionale. Una risposta lenta del modello può riflettere un'elaborazione legittima, incluso un input o un output più lungo, anziché una destinazione non sana.
Il router risponde invece a esiti non riusciti, inclusi errori, limitazioni e timeout. La limitazione indica che un servizio rifiuta le richieste perché è stato raggiunto un limite. Questo comportamento evita che il meccanismo centrale dell'articolo venga confuso con una ricerca universale dell'endpoint disponibile più veloce.
Una volta comparsi gli errori, Salesforce ha riferito che le prime richieste remote sono arrivate circa due minuti dopo. Dopo circa un altro minuto, all'incirca il 78 percento del traffico di prova veniva servito da remoto. Dopo lo spostamento, la latenza mediana riportata è tornata a circa 0,2 secondi.
L'azienda ha inoltre segnalato meno di 100 millisecondi di overhead mediano per il percorso cross-region. Il traffico è tornato alla destinazione locale ripristinata in circa 10 minuti. Si tratta di osservazioni del test descritto, non di garanzie su tempi o prestazioni.
La distinzione è rilevante per i prodotti interattivi. Una persona che usa una funzionalità AI potrebbe abbandonare un'attività prima che il servizio sottostante restituisca un errore. Dal punto di vista di quella persona, una risposta tecnicamente riuscita può arrivare troppo tardi per essere utile.
Questo non invalida l'instradamento basato sugli errori. Mostra che l'obiettivo dell'instradamento e l'esperienza dell'applicazione devono essere valutati separatamente. Un servizio può migliorare il recupero da destinazioni non sane senza garantire che ogni periodo di operatività lenta attivi un intervento.
Le misurazioni mediane lasciano inoltre senza risposta questioni importanti. Non descrivono le richieste più lente né stabiliscono l'esperienza di ogni cliente. Il resoconto pubblicato supporta una specifica narrazione di test, anziché una caratterizzazione completa del comportamento in produzione.
La stessa cautela vale per la quota remota. Instradare altrove circa il 78 percento del traffico di prova non stabilisce un obiettivo generale di distribuzione. L'allocazione del traffico durante un altro incidente dipenderà dalle destinazioni, dal loro stato di salute e dall'ambito di instradamento consentito.
Ciò crea un compito di valutazione pratico per i team di prodotto. Devono confrontare le transizioni di instradamento osservate con il tempo che la loro applicazione può ragionevolmente attendere. Devono inoltre distinguere il comportamento di recupero del servizio dalle proprie scelte di timeout e gestione degli errori.
L'inferenza cross-region di Salesforce affronta quindi un problema di affidabilità più circoscritto di quanto potrebbero suggerire i numeri sulle prestazioni nel titolo. Il recupero riportato è una prova incoraggiante nelle condizioni testate. Il precedente periodo di risposte lente resta una prova altrettanto rilevante per chiunque valuti l'esperienza utente.
La capacità di riserva necessita comunque di protezione
Un livello di instradamento ridistribuisce la domanda, ma gli endpoint riceventi devono comunque avere capacità sufficiente per assorbirla senza danneggiare i propri chiamanti.
Spostare le richieste da una destinazione sovraccarica può distribuire altrove la pressione. Una Region ricevente ha già il proprio carico di lavoro. Senza un limite alla domanda importata, un'azione di recupero può trasformare una carenza locale in un problema di servizio più ampio.
AWS documenta una protezione dell'endpoint ricevente tramite il suo cross-region traffic cap. La configurazione combina una frequenza di richieste prevista per istanza con una percentuale consentita della capacità dell'endpoint. Le richieste che superano il limite ricevono un errore di limitazione.
Il limite è un meccanismo di protezione, non capacità di calcolo aggiuntiva. Limita la quantità di traffico remoto che una destinazione accetta. Un'organizzazione deve comunque decidere quanto overflow possano gestire le risorse distribuite continuando a servire la domanda esistente.
Questa decisione richiede più che verificare se un endpoint remoto sia sano in condizioni ordinarie. Un endpoint con carico leggero può diventare vincolato dopo aver accettato il traffico di un'altra Region. La pianificazione della capacità deve considerare la domanda combinata che arriva durante l'incidente.
Lo scaling automatico, che aggiunge o rimuove risorse di calcolo al variare della domanda, resta una parte separata del sistema. L'instradamento può scegliere tra le destinazioni, mentre ogni destinazione gestisce le proprie risorse. Questi processi necessitano di ipotesi compatibili sulla capacità disponibile e sulla rapidità con cui cambia.
Il router non risolve inoltre la coerenza del deployment. Il resoconto di Salesforce afferma che le destinazioni registrate necessitano di modelli e artefatti corrispondenti, ovvero i file richiesti per eseguire tali modelli. Altrimenti, uno spostamento regionale può modificare le risposte del servizio anche quando le richieste continuano ad avere successo.
Per gli acquirenti, questo rende la coerenza funzionale parte della disponibilità. Una risposta proveniente da un'altra località è utile solo se soddisfa lo stesso contratto applicativo. La ridondanza geografica non dovrebbe introdurre silenziosamente comportamenti diversi del modello nel flusso di lavoro di un cliente.
Esiste inoltre una differenza tra l'esistenza di una destinazione e la sua prontezza. Autorizzazioni, configurazione del modello e stato di erogazione influiscono tutti sulla sua capacità di gestire richieste. Aggiungere il nome di una risorsa a un target di instradamento è solo un passaggio per stabilire un'alternativa affidabile.
L'osservabilità, ovvero la capacità di comprendere un sistema attraverso i suoi registri operativi, diventa qui essenziale. Il resoconto di Salesforce descrive informazioni per richiesta su destinazione e motivo dell'instradamento. Questi record aiutano i team a distinguere un cambiamento di instradamento da un cambiamento del modello o da un problema di capacità.
Tuttavia, un record di destinazione non risponde a ogni questione di governance. Identifica dove è stata eseguita un'invocazione. I team necessitano comunque del contesto della richiesta circostante, della cronologia della configurazione e dei record delle policy per spiegare se quella destinazione fosse appropriata.
Gli ingegneri che mantengono queste evidenze necessitano di una documentazione condivisa di decisioni e incidenti. Una base di conoscenza ricercabile può contribuire a preservare il ragionamento alla base dell'idoneità regionale e delle scelte di recupero.
La questione irrisolta è come questi controlli si comportino insieme sotto pressione prolungata. Salesforce afferma che il lavoro futuro include test di saturazione più lunghi e una valutazione del comportamento regionale a cascata. Queste verifiche pianificate affrontano il divario tra un esperimento limitato riuscito e la fiducia in un'operatività più ampia.
Un'adozione più ampia richiede tre tipi di evidenza
Le prossime evidenze utili sono un deployment più esteso, test di guasto prolungati e un resoconto più chiaro delle prestazioni durante le transizioni di instradamento.
Innanzitutto, occorre attendere conferme che Salesforce si sia espansa oltre le configurazioni descritte nel report. L'azienda identifica un rollout regionale più ampio come lavoro pianificato. Questa formulazione dovrebbe restare distinta da un annuncio secondo cui l'intera flotta di serving utilizza già il router.
Un deployment più ampio rafforzerebbe l'ipotesi che l'integrazione funzioni in contesti operativi diversi. L'aggiornamento più significativo spiegherebbe quali carichi di lavoro sono stati spostati, quali sono rimasti locali e quali vincoli di deployment sono emersi. Un numero maggiore da solo rivelerebbe meno sull'affidabilità pratica.
La diversità dei carichi di lavoro conta perché non ogni servizio di modelli ha lo stesso comportamento. Durata delle richieste, idoneità delle destinazioni e requisiti di capacità possono differire. Evidenze raccolte in tali condizioni aiuterebbero i lettori a giudicare se il modello iniziale si trasferisca oltre l'impostazione di test.
In secondo luogo, occorre osservare test di saturazione prolungati ed evidenze che i limiti di ricezione impediscano sovraccarichi a cascata. Salesforce identifica specificamente i test più lunghi e il comportamento del limite cross-region come aree da valutare ulteriormente. Si tratta di test diretti della promessa centrale dell'architettura.
Un risultato favorevole mostrerebbe che la domanda reindirizzata rimane limitata mentre le destinazioni riceventi continuano a servire i propri chiamanti. Un risultato sfavorevole esporrebbe condizioni in cui la flotta idonea non dispone di margine sufficiente. Entrambi gli esiti sarebbero più informativi che ripetere il valore iniziale di latenza.
Questi test dovrebbero inoltre chiarire cosa accade quando più destinazioni incontrano difficoltà insieme. L'instradamento è più utile quando un altro endpoint consentito può accettare lavoro. Se l'intero insieme idoneo è vincolato, l'applicazione necessita comunque di una risposta definita alla capacità non disponibile.
In terzo luogo, occorre cercare misurazioni più dettagliate della transizione stessa. Salesforce prevede una valutazione più precisa della latenza cross-region. I lettori dovrebbero distinguere il funzionamento remoto stabile dal periodo prima che le richieste si spostino, dallo spostamento tra destinazioni e dal ritorno al servizio locale.
Un resoconto più ampio delle prestazioni rafforzerebbe l'ipotesi se mostrasse un comportamento prevedibile in tutte queste fasi. Indebolirebbe affermazioni troppo estese se il recupero riuscito seguisse sistematicamente ritardi superiori alle aspettative dell'applicazione. Entrambi i risultati aiuterebbero i team a scegliere carichi di lavoro adeguati.
Per gli acquirenti aziendali, la decisione dovrebbe restare legata al servizio che effettivamente utilizzano. Chiedete quali località di elaborazione siano consentite, cosa attivi uno spostamento e cosa accada quando ogni destinazione approvata è occupata. Queste domande collegano le affermazioni sull'infrastruttura alla realtà contrattuale e operativa.
Per gli sviluppatori, il report fornisce un esempio concreto di spostamento della responsabilità di instradamento senza eliminare la responsabilità dell'applicazione. Classificazione delle policy, gestione delle risposte, coerenza del deployment e aspettative degli utenti restano parte del prodotto. Il servizio gestito cambia il loro rapporto con l'instradamento anziché farli scomparire.
Prima di adottare un'architettura simile, confrontate il suo comportamento in caso di guasto con il reale budget di attesa e i confini di elaborazione della vostra applicazione. Identificate quali richieste possano lasciare la propria Region, quindi verificate se le destinazioni approvate conservino capacità sufficiente durante una domanda sovrapposta. Esaminate le misurazioni delle transizioni insieme ai tempi di risposta ordinari, perché buone prestazioni remote non descrivono il ritardo prima che il traffico si sposti. Mantenete connesse le decisioni di residenza, la configurazione delle destinazioni e le evidenze degli incidenti, affinché i team possano spiegare il comportamento in seguito. L'inferenza cross-region di Salesforce offre una direzione concreta per ridurre il lavoro di instradamento personalizzato. Usate i prossimi aggiornamenti su deployment e test per valutare dove questa direzione si adatti ai vostri requisiti di affidabilità.



