top of page

AWS porta il routing NeMo Switchyard su Bedrock

3 ore fa
Tempo di lettura: 13 min

AWS ha pubblicato il 13 novembre un'architettura di routing NeMo Switchyard, offrendo agli sviluppatori un modo per confrontare agenti di coding instradati con alternative basate su un singolo modello. La questione centrale è se il passaggio tra modelli riduca il costo per completare il lavoro, inclusi i tentativi falliti. Una chiamata a un modello meno costosa, da sola, non può rispondere a questa domanda.

L'architettura collega Amazon Bedrock, il servizio gestito di AWS per i modelli, con LiteLLM, un gateway open source che connette le applicazioni ai provider di modelli. NVIDIA NeMo Switchyard fornisce la logica di selezione del modello. AWS utilizza il Cloud Development Kit, un framework per definire l'infrastruttura cloud nel codice, per distribuire il gateway.

Il confronto mette un approccio a modello fisso contro un routing che cambia la selezione del modello mentre un agente opera. Nessuno dei due approcci merita un vantaggio automatico. Un modello capace può giustificare costi di inferenza più elevati completando il lavoro prima, mentre un modello efficiente può prevalere quando conclude in modo affidabile attività di routine.

Il routing NeMo Switchyard ottiene un'architettura di riferimento per Bedrock

AWS ha pubblicato un percorso di distribuzione e valutazione, non una conclusione secondo cui il routing fa sempre risparmiare denaro.

L'architettura di routing del 13 novembre distribuisce LiteLLM con il plugin di NVIDIA su Amazon ECS e Fargate, servizi AWS per l'esecuzione di container. Il suo flusso di benchmark confronta un gruppo di modelli instradati con ciascun candidato operante singolarmente.

Questa distinzione definisce la notizia. Gli sviluppatori ricevono infrastruttura e un modo per analizzare i risultati. Non ricevono una risposta universale su quale modello debba gestire ogni richiesta di coding.

Un gruppo di modelli è un nome di modello pubblico supportato da distribuzioni di modelli configurate. L'applicazione richiede quel nome, mentre il gateway sceglie la distribuzione che risponde. Questo separa il percorso richiesto dall'agente dal modello che serve un singolo turno.

Per un team di ingegneria, questa separazione crea un punto in cui modificare la politica di selezione senza trattare ogni politica come un'applicazione diversa. Crea inoltre un componente aggiuntivo da valutare. L'esistenza del gateway non dimostra che le sue scelte migliorino il lavoro dell'agente.

L'unità di confronto rilevante è l'incarico completato. Leggere un file, proporre una modifica e interpretare il fallimento di un test appartengono alla stessa attività di sviluppo. Misurare ogni richiesta separatamente non coglie il modo in cui quelle decisioni incidono sul lavoro rimanente.

Si consideri una correzione di bug esemplificativa. Un agente esamina una funzione, ne modifica il comportamento e scopre che un test continua a fallire. Il routing diventa utile solo se le sue scelte successive migliorano il risultato finale abbastanza da giustificare il lavoro precedente.

Un primo tentativo a costo inferiore può essere vantaggioso quando riesce. Può anche consumare tempo e contesto prima che un altro modello debba recuperare. La valutazione deve preservare entrambe le possibilità.

Il cambiamento è quindi più importante per i team che stanno già prendendo una decisione sulla selezione del modello. Ora hanno un esempio AWS concreto per testare un'alternativa flessibile. I team soddisfatti di un modello fisso necessitano comunque di prove prima di accettare la complessità aggiuntiva.

Questa è anche una storia di integrazione, piuttosto che il lancio iniziale di Switchyard. Lo sviluppo pratico è un percorso di distribuzione Bedrock che affianca la selezione del modello a confronti controllati. Il suo valore dipende da ciò che tali confronti rivelano.

L'interpretazione più solida dell'annuncio è dunque circoscritta e utile. AWS rende più semplice riprodurre un esperimento. Gli sviluppatori restano responsabili di decidere se l'esperimento rifletta i loro repository, criteri di accettazione e vincoli operativi.

I tentativi falliti mettono sotto pressione i confronti basati sui token

Il confronto economico utile include il lavoro non riuscito, perché anche il lavoro non riuscito consuma risorse.

Il runner per attività di coding dell'esempio definisce il successo come il superamento dei test entro un budget di turni configurato. Il suo budget predefinito è di sei turni di modello. Conserva trascrizioni, workspace, patch e risultati per l'ispezione.

Il calcolo del costo per attività risolta divide la spesa stimata per tutte le esecuzioni per il numero di esecuzioni riuscite. Le esecuzioni fallite restano al numeratore. Quando non riesce nulla, il calcolo non può produrre un costo significativo per un risultato riuscito.

Questa contabilità cambia l'incentivo. Un percorso non può dimostrare efficienza semplicemente effettuando richieste economiche. Deve completare abbastanza lavoro da giustificare tutto ciò che è stato speso tentando di svolgere il carico di lavoro.

La pressione immediata ricade sui responsabili dell'ingegneria e sui team di piattaforma che confrontano modelli. Una tariffa per token è facile da confrontare in un catalogo. Un risultato di sviluppo riuscito richiede una definizione di completamento, condizioni coerenti e un registro dei fallimenti.

La relazione matematica è semplice. Una spesa inferiore può migliorare il costo per attività risolta, ma un numero minore di successi può peggiorarlo. Una decisione basata solo sulla spesa ignora il denominatore che rende utile la metrica.

Anche il contrario merita pari attenzione. Un modello con costi di inferenza più elevati può offrire un risultato migliore se evita tentativi improduttivi. Questa possibilità impedisce alla valutazione di presumere il vincitore preferito prima dell'inizio dei test.

Anche le stime del runner hanno dei limiti. Input memorizzati nella cache, informazioni sull'utilizzo mancanti e voci di prezzo dei modelli sconosciute restano senza prezzo. Non diventano inferenza gratuita. Queste stime non dovrebbero essere presentate come registri di fatturazione riconciliati.

Questa distinzione conta nel confronto tra configurazioni. Un'esecuzione apparentemente economica con una contabilità incompleta è un'osservazione incompleta. Non può sostenere la stessa conclusione di un'esecuzione pienamente misurata, anche quando il suo codice finale supera i test.

Per gli acquirenti, l'implicazione più ampia è che l'approvvigionamento dei modelli e la valutazione del flusso di lavoro devono andare di pari passo. La tariffa del modello contribuisce al risultato. Il comportamento dell'agente determina con quale frequenza tale tariffa si applica e se la spesa produce lavoro accettabile.

Un confronto equo richiede inoltre la stessa opportunità di riuscire. Dare a un agente instradato più tentativi rispetto a una baseline altera l'esperimento. Lo stesso vale per modificare istruzioni dell'attività, strumenti disponibili o test di accettazione tra le condizioni.

La valutazione ripetuta è importante perché un singolo tentativo riuscito dice poco sulla coerenza. Un risultato convincente dovrebbe resistere a un'altra esecuzione e restare comprensibile quando i revisori ne esaminano i fallimenti. Un esito favorevole isolato è uno spunto per ulteriori indagini.

I team dovrebbero inoltre separare la definizione di completamento del benchmark dal proprio processo di sviluppo. Superare i test forniti è un risultato osservabile. Rilasciare una modifica manutenibile può richiedere ulteriori revisioni, documentazione e controlli oltre quei test.

Ciò non rende inutile una valutazione basata sui test. Ne rende esplicito l'ambito. La metrica è preziosa quando i lettori comprendono esattamente cosa significhi successo e quali costi includa il calcolo.

La pressione creata da questa architettura è quindi metodologica quanto commerciale. I team che scelgono un modello devono spiegare il lavoro che esso completa. I team che scelgono il routing devono spiegare perché il passaggio tra modelli migliori quello stesso risultato.

Il routing per fasi risponde alla cronologia di esecuzione

Il meccanismo di routing usa prove provenienti dall'attività dell'agente, invece di presumere che la richiesta iniziale riveli l'intera attività.

Il routing per fasi, la strategia di selezione basata sull'esecuzione di Switchyard, legge l'attività degli strumenti e i risultati per scegliere tra modelli capaci ed efficienti. La documentazione di NVIDIA sul routing di esecuzione descrive segnali associati a progresso, errori e lavoro bloccato.

Questo approccio affronta un limite della valutazione della difficoltà all'inizio. Una richiesta apparentemente semplice può rivelare una dipendenza imprevista. Una richiesta intimidatoria può invece diventare di routine dopo che l'agente ha individuato il codice pertinente.

Le prove importanti arrivano durante l'esecuzione. Un comando fallito, una riparazione ripetutamente infruttuosa o una modifica produttiva cambiano ciò che la richiesta successiva al modello deve realizzare. Il routing tenta di usare queste prove nella selezione di un modello.

NVIDIA descrive efficient_first come la politica che per impostazione predefinita utilizza il modello efficiente quando le prove non sono conclusive. La sua soglia di confidenza controlla quando segnali valutati giustificano una selezione diversa. Si tratta di un'impostazione di routing, non della probabilità che l'attività abbia successo.

Questa distinzione evita un equivoco comune. Il router stima quale modello dovrebbe gestire la richiesta successiva. Non certifica la correttezza della patch finale né sostituisce i test che giudicano il risultato.

Per il routing NeMo Switchyard, la questione operativa cruciale è se prove utili raggiungano la logica di selezione. Un agente che omette la cronologia pertinente degli strumenti indebolisce la base per scegliere. La compatibilità include quindi le informazioni trasportate tra i turni.

Una riparazione ipotetica illustra il compromesso. Un modello efficiente potrebbe gestire con successo una modifica localizzata. Se invece ripete un approccio fallimentare, il passaggio crea un'opportunità di recupero, ma i tentativi precedenti restano parte del costo dell'attività.

Anche il modello capace eredita il lavoro già svolto. Questa cronologia può aiutare a spiegare il problema, oppure può contenere un'ipotesi fuorviante. Il passaggio tra modelli non cancella automaticamente il ragionamento che ha portato l'agente fuori strada.

Il meccanismo è quindi diverso dalla promessa di identificare in anticipo il modello migliore. Si adatta all'esecuzione osservabile. Il suo successo dipende da quanto bene tali osservazioni corrispondano alle capacità richieste dal turno successivo.

Ciò crea un confronto utile con un approccio a modello fisso. Mantenere un solo modello per tutto il processo elimina le decisioni di passaggio. Il routing aggiunge flessibilità, ma questa flessibilità merita il suo posto solo quando risultati migliori superano l'escalation ritardata e i passaggi non necessari.

Nessun ruolo del modello dovrebbe diventare un giudizio permanente su un prodotto. “Capace” ed “efficiente” descrivono le posizioni assegnate in una configurazione specifica. Attività diverse possono rivelare punti di forza, debolezze e relazioni economiche differenti.

La stessa cautela si applica alla messa a punto. Una politica che instrada più richieste verso il candidato efficiente ha modificato il proprio comportamento. Non ha necessariamente migliorato la propria economia. I tassi di completamento e i modelli di recupero determinano se tale cambiamento comportamentale aiuti.

La selezione basata sull'esecuzione rende inoltre più preziose le trascrizioni. I revisori devono comprendere cosa sia accaduto prima di un passaggio, cosa abbia fatto il modello selezionato in seguito e se il cambiamento abbia influito sul completamento. Un'etichetta di percorso da sola non può spiegare quella sequenza.

L'ipotesi centrale dell'architettura resta verificabile: il lavoro di routine e il recupero difficile non richiedono sempre lo stesso modello. Il suo contributo pratico consiste nell'offrire agli sviluppatori un modo per esaminare questa ipotesi rispetto al comportamento effettivo dell'agente.

Questo plugin presenta limiti più ristretti rispetto a Switchyard stesso

Le capacità documentate altrove in Switchyard non dovrebbero essere presunte funzionare tramite questa particolare integrazione.

Il plugin LiteLLM di NVIDIA supporta il routing Stage e Random senza chiamate intermedie a modelli giudice. Stage richiede esattamente due candidati unici. Random seleziona tra i candidati usando pesi facoltativi.

Le strategie supportate da classificatori, inclusi il routing Task e Composite, richiedono chiamate a modelli intermedi che questa integrazione non può gestire. L'adattatore limita inoltre i formati di messaggio supportati. Messaggi di testo, chiamate a strumenti di funzione e risultati di strumenti testuali costituiscono il percorso conversazionale supportato.

Questi confini sono importanti perché “supporta Switchyard” è un'affermazione di compatibilità incompleta. L'integrazione determina quale comportamento di routing è disponibile. L'elenco delle funzionalità del progetto più ampio non può stabilire cosa accetterà questo gateway distribuito.

Il routing Random ha una finalità analitica diversa da Stage. Fornisce una ripartizione del traffico senza pretendere di interpretare l'avanzamento dell'esecuzione. Confrontarne gli esiti può aiutare a indagare se una selezione sensibile alla cronologia apporti valore oltre alla semplice distribuzione delle richieste tra i modelli.

Questo confronto richiede cautela. Una decisione di routing avviene all'interno di un'attività i cui turni precedenti influenzano quelli successivi. Una ripartizione a livello di richiesta non dovrebbe essere automaticamente interpretata come un confronto netto tra incarichi di sviluppo indipendenti e completi.

Il plugin distingue inoltre la route pubblica dal modello che fornisce la risposta. L'header di risposta x-litellm-model-name identifica il modello selezionato, mentre il corpo della risposta conserva il nome del gruppo. La contabilizzazione dovrebbe seguire il modello che ha effettivamente gestito la richiesta.

Questo crea un requisito di osservabilità, ovvero la capacità di ispezionare ciò che il sistema ha fatto. Se un client scarta le informazioni di selezione, i revisori perdono evidenza sulla route. Un superamento finale o un fallimento diventano quindi più difficili da spiegare.

L'implementazione di riferimento abbina Claude Opus 5.5 a NVIDIA Nemotron 3 Super 120B. AWS afferma che questa coppia è stata testata negli Stati Uniti orientali, nella Virginia settentrionale. Tale ambito non stabilisce il supporto per ogni modello e Region.

AWS etichetta inoltre il codice come destinato a valutazioni non di produzione e identifica l'integrazione come sperimentale. Le modifiche alla configurazione e all'interfaccia rappresentano quindi aspetti rilevanti per i team che pianificano un servizio più duraturo.

Una distribuzione riuscita va interpretata di conseguenza. Dimostra che un sistema configurato può operare nelle condizioni testate. Non stabilisce un comportamento accettabile per un agente, una combinazione di modelli, un carico di lavoro o un'organizzazione diversi.

Anche i vincoli di localizzazione richiedono precisione analoga. Il profilo di inferenza globale dell'esempio può consentire l'elaborazione al di fuori della Region di distribuzione. L'esecuzione del gateway in una località scelta non stabilisce, di per sé, dove venga elaborata ogni richiesta al modello.

Il punto critico più ampio è economico. Un sistema instradato introduce lavoro di infrastruttura, manutenzione e indagine oltre alla spesa per l'inferenza. Un'organizzazione dovrebbe considerare tali obblighi prima di tradurre un risultato di benchmark in un'affermazione sui costi operativi.

Anche le attività piccole lasciano senza risposta domande importanti. Indagini lunghe, repository poco familiari e modifiche con test incompleti possono produrre schemi di fallimento diversi. Sono ragioni per estendere la valutazione, non per liquidare l'esempio.

L'architettura è più credibile quando viene trattata come un esperimento delimitato. Le sue limitazioni esplicite aiutano a identificare ciò che gli sviluppatori devono ancora stabilire. Ignorarle renderebbe meno credibile l'affermazione sui risparmi risultanti.

Bedrock offre già un altro approccio al routing

La scelta rilevante è quale meccanismo di selezione si adatti al carico di lavoro e al modello operativo.

L'intelligent prompt routing di Amazon Bedrock fornisce un endpoint gestito che instrada all'interno di una famiglia di modelli usando la qualità di risposta prevista. AWS documenta router predefiniti e configurabili, con disponibilità dipendente dai modelli e dalle Regions supportati.

Questo differisce dall'approccio basato sulla cronologia di esecuzione dell'esempio Switchyard e dal suo abbinamento Anthropic–NVIDIA. Il confronto riguarda architettura e comportamento di selezione. La documentazione disponibile non stabilisce che uno dei due approcci produca risultati di programmazione migliori.

Per un team di piattaforma, il routing gestito cambia la questione della responsabilità. Un meccanismo fornito come servizio e un gateway autodeployato attribuiscono responsabilità diverse all'organizzazione. Tali responsabilità dovrebbero essere valutate insieme alle scelte di modello disponibili.

L'avversario principale in questa storia rimane l'esecuzione a modello fisso. Il routing gestito offre un utile contesto di settore, ma non sostituisce il riferimento di base. Un team deve comunque sapere se il modello esistente completa già il carico di lavoro in modo economico.

Quel riferimento di base ha vantaggi pratici. Il suo comportamento è più semplice da attribuire perché ogni turno utilizza lo stesso modello configurato. I revisori possono analizzare un fallimento senza prima determinare se la politica di selezione abbia contribuito.

Il routing offre un vantaggio diverso. Consente all'assegnazione dei modelli di rispondere al lavoro anziché restare costante per tutto un incarico. Questa flessibilità conta solo quando migliora i risultati entro i vincoli effettivi del team.

Il confronto cambia anche il modo in cui i team dovrebbero interpretare le classifiche dei modelli. Un ottimo risultato autonomo non predice automaticamente il ruolo migliore all'interno di un sistema instradato. Le prestazioni di recupero e quelle nelle attività di routine possono avere un peso diverso.

Allo stesso modo, un candidato più debole in autonomia può comunque contribuire con lavoro utile se le attività assegnate corrispondono ai suoi punti di forza. Rimane un'ipotesi che richiede misurazione. La sua partecipazione a una route non prova che la route abbia individuato un'allocazione ottimale.

Un acquirente enterprise dovrebbe quindi chiedere informazioni sul carico di lavoro sottostante e sulle condizioni decisionali. Un'affermazione sulla riduzione della spesa per l'inferenza necessita del relativo tasso di completamento. Un'affermazione sul miglioramento della qualità necessita del relativo consumo di risorse.

La gestione della conoscenza diventa rilevante quando più persone esaminano questi esperimenti. Definizioni delle attività, modifiche alla configurazione e spiegazioni dei fallimenti devono rimanere reperibili. Altrimenti, i team rischiano di ripetere confronti le cui condizioni nessuno può ricostruire.

Una base di conoscenza ingegneristica ricercabile può conservare tale contesto di valutazione insieme alla documentazione tecnica. Supporta le revisioni successive; non sostituisce i registri di esecuzione necessari per verificare un risultato.

Il significato per il settore è quindi più specifico del crescente entusiasmo per i router. La selezione del modello sta diventando una parte misurabile del flusso di lavoro di sviluppo. Ciò crea pressione affinché vengano riportati risultati completi anziché frammenti convenienti della fattura.

Per ora, l'architettura amplia l'esperimento disponibile. Non risolve la scelta tra esecuzione fissa, selezione gestita e politica di gateway. Il carico di lavoro resta l'evidenza decisiva.

Le prossime evidenze richiedono risultati riproducibili e una contabilizzazione completa

Il prossimo risultato utile è un miglioramento ripetibile in condizioni comparabili, con fallimenti e misurazioni mancanti visibili.

Il primo segnale da osservare è una valutazione su attività più ampia. Nei prossimi mesi, le esecuzioni instradate dovrebbero essere confrontate con entrambi i candidati autonomi su lavoro rappresentativo. Dovrebbero applicarsi le stesse istruzioni, strumenti, stato iniziale e condizioni di arresto.

Un risultato rafforza il caso del routing quando il costo inferiore per attività risolta resiste a esecuzioni ripetute e incarichi difficili. Indebolisce il caso quando il vantaggio scompare dopo aver incluso i fallimenti nella contabilizzazione o quando le attività diventano meno familiari.

L'evidenza importante non è semplicemente una media. I revisori dovrebbero esaminare quali attività migliorano, quali peggiorano e perché. Una route che aiuta la manutenzione di routine ma danneggia le riparazioni complesse sostiene una decisione di distribuzione più circoscritta.

L'integrazione di benchmark di NVIDIA offre una disciplina di confronto rilevante tramite NeMo Gym, il suo framework di valutazione. Registra le condizioni di distribuzione e distingue i modelli selezionati dai nomi delle route. Identifica inoltre la contabilizzazione dei token giudice quando una strategia usa giudici.

Questi dettagli non dovrebbero essere confusi con le capacità abilitate nel plugin AWS. Illustrano ciò che può contenere un record di valutazione più completo. La comparabilità diventa più solida quando le differenze di configurazione sono esplicite e i singoli esiti restano tracciabili.

Il secondo segnale è la maturità operativa. Le modifiche al supporto dell'integrazione, alla gestione dei messaggi e alle indicazioni di distribuzione indicheranno quanto lavoro resti tra la sperimentazione e un utilizzo affidabile. Percorsi di aggiornamento chiari rafforzerebbero il caso di un'adozione continuativa.

Il segnale opposto sarebbe costituito da incompatibilità ripetute che rendono i risultati difficili da riprodurre dopo un aggiornamento. I team devono capire se un esito modificato deriva dal modello, dalla politica, dall'adattatore o dall'agente. Le modifiche non registrate compromettono questa comprensione.

Il terzo segnale è una contabilizzazione completa dei costi. Le stime dell'inferenza dovrebbero infine essere valutate insieme alla spesa per l'infrastruttura e allo sforzo necessario per operare il gateway. Anche l'intervento degli sviluppatori conta quando una route produce lavoro che richiede riparazioni sostanziali.

Un vantaggio del routing che resista a questa contabilizzazione più ampia sosterrebbe un caso aziendale più solido. Un vantaggio che scompare rimarrebbe comunque un'evidenza utile. Mostrerebbe dove una configurazione più semplice a modello fisso resta la scelta migliore.

La prossima valutazione dovrebbe iniziare con una definizione esplicita di lavoro accettabile. Selezionate incarichi rappresentativi, preservate lo stato iniziale e confrontate l'esecuzione instradata con ciascun candidato autonomo. Mantenete visibili i tentativi non riusciti e analizzate i risultati che dipendono da esecuzioni insolitamente favorevoli.

Quindi esaminate i passaggi effettivi tra modelli. Il passaggio ha aiutato l'agente a recuperare, oppure ha rinviato un lavoro che il modello più capace avrebbe completato prima? Mantenete gli esiti dei test separati dalle affermazioni sulla manutenibilità e distinguete la spesa stimata per l'inferenza dal costo operativo totale. Il routing NeMo Switchyard offre un modo concreto per indagare tali questioni su Bedrock. Prima di scegliere un'impostazione predefinita, chiedetevi quale configurazione fornisca ripetutamente modifiche accettabili con il minimo sforzo e la minima spesa complessivi.

 
 

Inizia gratis

Un assistente IA local-first con gestione della conoscenza personale

Per una migliore esperienza con l’IA,

al momento remio supporta solo Windows 10+ (x64) e M-Chip Macs.

Il tuo partner AI al lavoro
Fai di più con remio

Pianifica. Crea. Consegna.
Tutto in un unico posto.

bottom of page