top of page

Il throughput degli embedding di Exa cresce sui chip AI di AWS

1 giorno fa
Tempo di lettura: 13 min
Image from the source report. Source: aws.amazon.com.

Exa afferma che software personalizzato ha aumentato il throughput dei suoi embedding di circa il 50% mentre si preparava a rielaborare 30 miliardi di documenti sui chip AI di AWS. Gli embedding, rappresentazioni numeriche che supportano la ricerca basata sul significato, si collocano tra i crawler dell'azienda e il suo indice ricercabile. Un'elaborazione più rapida è importante perché ogni documento idoneo deve passare da questa fase prima che gli utenti possano recuperarlo.

Il rapporto di Exa sul throughput degli embedding descrive un risultato più specifico di quanto suggerisca il suo titolo arrotondato. L'implementazione finale ha prodotto un miglioramento dichiarato del 47% nelle prestazioni e nel costo per milione di documenti rispetto a un'implementazione iniziale. Il confronto riguarda il carico di lavoro di Exa sull'hardware AWS Neuron, non una riduzione generale dei prezzi del cloud né un vantaggio verificato in modo indipendente rispetto a chip concorrenti.

La tensione centrale è tra software pratico e generalista e l'ingegneria specializzata necessaria per rendere accessibile la ricerca su larga scala. Exa ha costruito il proprio database vettoriale, un sistema che archivia e ricerca rappresentazioni numeriche. Pinecone rappresenta un altro approccio, offrendo infrastruttura di ricerca gestita. Il resoconto di Exa rende visibile il lavoro alla base di entrambi gli approcci: mantenere l'ingestione economicamente sostenibile mentre i modelli migliorano e le raccolte di documenti continuano a cambiare.

Il throughput degli embedding di Exa è migliorato durante una profonda ricostruzione

Una migrazione del modello ha creato la pressione immediata per ottenere più lavoro dallo stesso hardware.

Secondo il resoconto di Exa sull'ottimizzazione dell'inferenza degli embedding, il suo team ha selezionato 30 miliardi di documenti ad alta priorità per la rielaborazione. Il rapporto è apparso il 18 novembre 2026. Tale data di pubblicazione descrive il resoconto tecnico, anziché stabilire quando si sia verificato ogni deployment o ottimizzazione.

Il fattore scatenante è stato il passaggio a un modello di documenti che Exa descrive come superiore. I documenti esistenti necessitavano di nuove rappresentazioni prima di poter popolare l'indice sostitutivo. Nel frattempo, il sistema live doveva continuare a elaborare materiale in arrivo e servire l'indice esistente.

Exa descrive pipeline di embedding parallele che condividono le stesse fasi di crawling e parsing. Una pipeline manteneva il modello e l'indice live; un'altra elaborava documenti prioritari con il modello sostitutivo. L'azienda afferma che questa migrazione ha temporaneamente raddoppiato il carico di embedding.

Questa distinzione spiega perché un progetto infrastrutturale apparentemente ordinario sia diventato commercialmente significativo. Un modello migliore crea un obbligo di migrazione sull'intera raccolta esistente, accanto al lavoro continuo necessario per mantenere aggiornata la ricerca. L'azienda non può valutare tale obbligo soltanto attraverso il costo di elaborazione delle pagine appena scoperte.

L'implementazione iniziale utilizzava FP16, un formato numerico che rappresenta i valori con 16 bit, e un'elaborazione parallela diretta. Exa ha poi modificato il modo in cui il modello veniva eseguito su Inferentia2. La sequenza includeva modifiche al layout dei pesi, impostazioni di precisione del compilatore, operazioni ottimizzate esistenti e codice personalizzato.

Le misurazioni dichiarate per Inferentia2 si riferiscono all'istanza inf2.xlarge, che contiene un chip e due NeuronCore, i core di elaborazione del chip. Exa afferma che ogni carico di lavoro viene eseguito su un core. L'azienda colloca tali carichi su istanze più grandi anziché lasciare inutilizzati i core disponibili.

Questo dettaglio di deployment aiuta a definire l'ambito del confronto. Exa ha misurato i miglioramenti rispetto alla propria implementazione iniziale sulla famiglia hardware. Il resoconto non dimostra che Inferentia2 superi ogni alternativa per l'inferenza degli embedding.

Non dimostra neppure che l'intera ricostruzione dei documenti sia terminata nel periodo considerato. La selezione di 30 miliardi di documenti descrive il carico di lavoro della migrazione. Non dovrebbe trasformarsi in un'affermazione non supportata sull'elaborazione completata, sulla copertura dell'indice o sull'attuale capacità di servizio.

Il cambiamento che i lettori dovrebbero ricordare è più circoscritto e più utile: Exa riferisce di aver reso un carico di lavoro di embedding esistente sostanzialmente più efficiente tramite diversi interventi software. L'hardware ha fornito la piattaforma di esecuzione, mentre il lavoro di ottimizzazione ha determinato quanto efficacemente l'applicazione lo utilizzasse.

Un modello di ricerca migliore crea un'altra bolletta di ingestione

La pressione ricade sugli operatori di ricerca che devono finanziare gli aggiornamenti dei modelli senza lasciare indietro i propri indici live.

L'architettura di Exa rende insolitamente visibile il rapporto tra costo di elaborazione e qualità del prodotto. La sua pipeline effettua il crawling dei documenti, li analizza, li modera e filtra, quindi genera gli embedding. Solo successivamente i documenti idonei entrano nel database vettoriale che serve le ricerche.

L'azienda descrive una pipeline asincrona, ovvero le fasi di elaborazione non richiedono una risposta immediata a una singola richiesta di ricerca. Questa flessibilità aiuta a pianificare il lavoro. Non elimina però la necessità di elaborare tempestivamente le informazioni recenti.

Un documento in attesa del proprio embedding non può contribuire attraverso quel percorso di servizio. Per gli utenti della ricerca, il risultato rilevante è se informazioni utili diventano recuperabili abbastanza presto. La conseguenza operativa è che gli arretrati collegano l'efficienza dell'infrastruttura alla freschezza dei risultati disponibili.

La migrazione del modello aggiunge un'altra richiesta allo stesso sistema. Nuovi documenti continuano ad arrivare mentre quelli già elaborati necessitano di rappresentazioni sostitutive. Il temporaneo raddoppio del carico di embedding da parte di Exa illustra come migliorare il recupero possa creare un sostanziale obbligo infrastrutturale prima che gli utenti ricevano il beneficio.

Ciò mette sotto pressione i team che scelgono i modelli quanto quelli che acquistano capacità di calcolo. L'utilità di un modello dipende in parte dalla possibilità per l'operatore di distribuirlo sull'intera raccolta prevista. Un recupero migliore su un set di valutazione non stabilisce, da solo, un percorso di migrazione economicamente sostenibile.

La stessa questione appare su scala minore nella ricerca aziendale. Un'organizzazione che modifica il proprio modello di documenti deve considerare i file esistenti, il materiale in arrivo e la transizione tra rappresentazioni. L'analogia riguarda le meccaniche della migrazione, non l'affermazione che i deployment aziendali condividano l'economia misurata da Exa.

Per i lettori che costruiscono una base di conoscenza ricercabile, il collegamento è pratico. La qualità della ricerca dipende sia dal modello sia dal processo che mantiene disponibili i documenti. Un modello capace non può recuperare materiale che non ha raggiunto la raccolta ricercabile.

Pinecone offre un utile confronto di settore perché il suo approccio alla ricerca gestita pone un confine diverso attorno alle responsabilità dell'operatore. Exa possiede il proprio database vettoriale e descrive il tuning dell'inferenza a basso livello all'interno del suo sistema di ricerca più ampio. Questi approcci distribuiscono il lavoro ingegneristico in modo diverso, senza stabilire una classifica delle prestazioni tra le aziende.

Il rapporto di Exa mette quindi in discussione l'ipotesi che la scelta di un acceleratore completi la decisione sui costi. Per un modello di lunga durata che opera su miliardi di documenti, l'ingegneria specifica per l'applicazione diventa parte del calcolo d'acquisto. Il confronto rilevante include ciò che ogni implementazione disponibile fornisce effettivamente.

Esiste anche un limite all'argomento della freschezza. Embedding più rapidi riducono la pressione su una fase; non accelerano automaticamente il crawling, la moderazione, l'archiviazione o il recupero. Il risultato di Exa supporta un'affermazione di efficienza dell'inferenza, mentre i miglioramenti della ricerca end-to-end richiedono misurazioni proprie.

I kernel personalizzati hanno eliminato lavoro non necessario al modello

Exa attribuisce i guadagni a layout migliori, minor traffico di memoria e meno calcoli inutili, anziché a un singolo cambio di hardware.

Le prime modifiche hanno riguardato il layout dei pesi, la disposizione dei parametri numerici appresi da un modello. Exa afferma che l'allineamento di tale layout con l'esecuzione del modello ha eliminato trasposizioni non necessarie, operazioni che riorganizzano le dimensioni delle matrici. Evitare tali riorganizzazioni ha ridotto il lavoro senza modificare il modello previsto.

Il team ha inoltre abilitato autocast, una funzione del compilatore che seleziona una precisione inferiore per determinati calcoli. Exa afferma che questo ha consentito alle moltiplicazioni di matrici di usare una precisione inferiore preservando al contempo l'intervallo dinamico. Gli output dovevano comunque soddisfare il test di accettazione numerica dell'azienda.

Sono poi arrivati i kernel ottimizzati, piccoli programmi che eseguono singole operazioni del modello sull'acceleratore. La Neuron Kernel Interface di AWS, o NKI, offre agli sviluppatori un modo per scrivere questi programmi. Exa ha inizialmente utilizzato un kernel di attenzione esistente, che gestisce calcoli in grado di ponderare le relazioni tra parti di un input.

Secondo l'azienda, questa sostituzione ha migliorato le prestazioni, ma un profiling ulteriore ha evidenziato un altro vincolo. I dati intermedi venivano ripetutamente trasferiti nella memoria ad alta larghezza di banda, la memoria principale ad alta velocità dell'acceleratore. Ricaricare tali valori interrompeva il calcolo utile e impediva il pieno utilizzo del motore di calcolo matriciale.

Exa ha risposto con un kernel MLP SwiGLU personalizzato e fuso. SwiGLU è un'attivazione con gating utilizzata all'interno di un percettrone multistrato, un blocco di rete neurale che trasforma le rappresentazioni intermedie. La fusione combina operazioni correlate affinché i risultati intermedi richiedano meno spostamenti tra fasi di esecuzione separate.

L'azienda afferma che la propria implementazione ha eliminato gli stalli di memoria osservati. Ha mantenuto la maggior parte del codice in costrutti NKI di livello superiore e ha utilizzato istruzioni di livello inferiore solo per operazioni tensoriali selezionate. Questa scelta mirava a preservare leggibilità e accesso al debugging, mantenendo il controllo dove necessario.

AWS documenta il profiling dell'esecuzione hardware come metodo per ispezionare calcolo e movimento dei dati. Tali tracce aiutano a distinguere il tempo impiegato in calcoli utili da quello trascorso in attesa dei trasferimenti. Supportano la diagnosi, sebbene la documentazione non convalidi in modo indipendente i risultati di Exa.

Un ostacolo successivo è emerso quando Exa ha confrontato un core attivo con entrambi i core in esecuzione simultanea. L'azienda ha osservato che le prestazioni aggregate risultavano inferiori a quanto suggerito dalle misurazioni isolate. Questo risultato indicava contesa e metteva in discussione l'ipotesi che l'aggiunta di lavoro parallelo potesse scalare proporzionalmente.

La riscrittura finale dell'attenzione ha preso di mira le dimensioni esatte del modello. Exa afferma di aver eliminato calcoli associati al padding, ovvero i valori aggiuntivi usati per adattare gli input alle forme previste. Ha inoltre combinato le operazioni di attenzione in un minor numero di moltiplicazioni di matrici, riducendo passaggi istruzione ripetuti e andata e ritorno dalla memoria.

Questo è il significato tecnico dell'ottimizzazione del throughput degli embedding di Exa: i kernel generalisti hanno supportato il deployment iniziale, ma le ipotesi specifiche del modello hanno sbloccato ulteriori guadagni. Il software ha smesso di pagare per una flessibilità che il carico di lavoro non richiedeva. Tale specializzazione spiega sia il beneficio dichiarato sia perché un altro modello non dovrebbe aspettarsi un risultato identico.

Gli agenti di coding hanno operato all'interno di un ciclo di feedback misurato

Il resoconto di Exa rende l'infrastruttura di validazione centrale per l'ottimizzazione assistita da agenti.

Exa afferma che gli agenti hanno sviluppato le ottimizzazioni all'interno di un flusso di lavoro che verificava la correttezza, misurava le prestazioni sostenute e generava profili. Gli agenti ricevevano quindi feedback da test eseguibili e hardware reale. Le modifiche proposte dovevano superare più di una revisione del codice o di una spiegazione plausibile.

Il flusso di lavoro ha utilizzato Flyte, una piattaforma per coordinare job di machine learning. Ogni agente ha compilato un eseguibile per l’hardware Neuron e verificato l’esecuzione di un modello rispetto a un dataset di riferimento. Solo gli output che soddisfacevano la soglia di accettazione numerica erano ammessi a ulteriori valutazioni.

Quella soglia era una similarità coseno di 0,999, una misura dell’allineamento tra vettori numerici. Exa ha confrontato l’output ottimizzato con il proprio modello canonico, l’implementazione di riferimento utilizzata per la convalida. La soglia forniva un criterio concreto per rilevare variazioni inaccettabili nell’output.

Il framework ha inoltre profilato un’esecuzione del modello e condotto un benchmark di saturazione di 30 minuti su hardware reale. I test di saturazione mantengono il dispositivo occupato per misurarne la capacità di elaborazione sostenuta. Questo differisce dal cronometrare una breve operazione isolata, che potrebbe nascondere contesa o vincoli di deployment.

Exa ha assegnato capacità agentiche diverse a compiti differenti. I modelli più leggeri hanno esplorato i parametri del compilatore, gli agenti di ragionamento hanno indagato i colli di bottiglia e i generatori di codice più potenti hanno scritto kernel personalizzati. Il report presenta l’abbinamento tra compiti e modelli come un modo per controllare i costi di sviluppo mantenendo l’accesso a un ragionamento più impegnativo.

L’azienda riconosce anche un problema pratico: gli agenti non conoscono necessariamente la sintassi e le funzionalità attuali della piattaforma. Ha utilizzato indicazioni di sviluppo per contribuire a colmare questa lacuna. Questa ammissione è rilevante perché il software per acceleratori specializzati evolve, e il codice generato con sicurezza può comunque rivolgersi a interfacce obsolete.

Le note di rilascio di NKI di AWS documentano modifiche continue all’interfaccia di programmazione e agli strumenti. Tali cambiamenti rafforzano la necessità di fissare gli ambienti e convalidare il comportamento. Non stabiliscono quanto tempo di ingegneria Exa abbia risparmiato grazie agli agenti.

Questa distinzione mantiene ancorata la dichiarazione sull’automazione. Exa riferisce che gli agenti hanno svolto il lavoro di ottimizzazione, ma il resoconto non fornisce un confronto controllato con un team composto esclusivamente da persone. Non stabilisce neppure il costo totale di sviluppo o il carico di manutenzione continuativa.

Ciò che il caso mostra, secondo la descrizione dell’azienda, è un processo di sviluppo con condizioni di accettazione esplicite. Il codice generato disponeva di un output di riferimento, una misurazione hardware e una traccia diagnostica. Questi meccanismi hanno reso possibile respingere modifiche che sembravano promettenti ma fallivano in esecuzione.

Per i team infrastrutturali, questo sposta la discussione dal fatto che gli agenti possano scrivere codice a basso livello alla capacità dell’organizzazione di valutarlo in modo affidabile. La risorsa utile è il ciclo di feedback completo. Rimuovere quel ciclo lascerebbe le stesse proposte generate con prove molto più deboli di correttezza e valore operativo.

Il guadagno dichiarato del 47% ha un confine definito

Il risultato è un miglioramento specifico per il carico di lavoro, con questioni irrisolte sulla contabilizzazione dei costi, la qualità del recupero e la trasferibilità.

Exa descrive il risultato finale come un miglioramento del 47% nelle prestazioni e nel costo per milione di documenti incorporati rispetto al benchmark iniziale. Il suo grafico e il titolo riassumono la variazione di throughput come circa 1,5 volte il livello di partenza. Queste affermazioni dovrebbero mantenere l’attribuzione all’azienda e il confine del confronto.

Un aumento del throughput e una riduzione del costo per documento sono correlati, ma le loro variazioni percentuali non sono intercambiabili. Una maggiore produzione con una risorsa fissa può migliorare l’economia unitaria. Ciò non giustifica la riformulazione delle parole di Exa come una riduzione universale del 47% della spesa.

Il report non fornisce dettagli sufficienti per ricostruire un confronto finanziario completo tra deployment alternativi. I lettori avrebbero bisogno di ipotesi corrispondenti su utilizzo, selezione delle istanze, condizioni operative e spese incluse. Anche i costi di ingegneria e manutenzione contano nella valutazione del rendimento complessivo dei kernel personalizzati.

Il benchmark è altrettanto importante. Exa è partita da un’implementazione semplice e l’ha migliorata progressivamente. Ciò stabilisce un confronto prima-e-dopo all’interno del progetto, anziché una superiorità rispetto alla migliore implementazione disponibile su un altro acceleratore.

In questo resoconto non esiste un risultato comparabile su chip concorrenti che risolva le decisioni di approvvigionamento per altre organizzazioni. Un acquirente che confronti l’hardware avrebbe bisogno di modelli rappresentativi e distribuzioni degli input in condizioni comparabili. L’esperienza di Exa identifica meccanismi che meritano di essere indagati, anziché fornire una classifica universale.

Anche la correttezza numerica ha un confine. Superare la soglia di similarità di 0,999 supporta la coerenza con il riferimento scelto secondo la procedura di convalida. Non stabilisce che ogni query produca classifiche identiche né che ogni categoria di documenti preservi lo stesso comportamento di recupero.

La valutazione della ricerca deve esaminare ciò che ricevono gli utenti. Piccole variazioni numeriche possono avere importanza diversa a seconda dei documenti e delle query coinvolti. La soglia di convalida del report costituisce una prova utile, ma misurazioni indipendenti della qualità del recupero risponderebbero a una domanda distinta.

Allo stesso modo, un benchmark di saturazione di 30 minuti supporta una misurazione hardware sostenuta senza rappresentare ogni condizione di produzione. Lunghezze degli input, lavoro concorrente, interruzioni e altre fasi della pipeline possono influire sulle prestazioni effettive del servizio. La pubblicazione non stabilisce che il benchmark catturi tutte queste condizioni.

La specializzazione introduce un’altra questione di manutenzione. I kernel adattati alle dimensioni di un modello sfruttano ipotesi che una successiva revisione del modello potrebbe modificare. Exa non quantifica quanta parte dell’ottimizzazione debba essere rivisitata durante la prossima migrazione.

Il report afferma inoltre che il lavoro è stato trasferito a Trainium2, un’altra famiglia di acceleratori AWS. Questa è una prova di riutilizzo secondo Exa, non una dimostrazione di guadagni identici in ogni configurazione. Sarebbero necessarie misurazioni separate per descrivere con precisione ogni deployment hardware.

Questi limiti non cancellano il rilievo dell’efficienza di inferenza AWS di Exa. Definiscono ciò che le prove supportano. La conclusione più solida supportata dalle evidenze è che Exa riferisce guadagni significativi ottimizzando il proprio carico di lavoro di embedding, con metodi di verifica che altri operatori possono esaminare e adattare.

Osservare l’economia di produzione, il riuso hardware e la qualità della migrazione

Le prossime prove dovrebbero collegare le prestazioni dei kernel ai risultati di produzione sostenuti e al costo delle future modifiche del modello.

Il primo segnale è un confronto di produzione che separi chiaramente throughput, costo unitario e aggiornamento dei documenti. Il report di Exa collega la capacità di embedding al ritardo tra la scoperta e la messa a disposizione. Misurazioni lungo queste fasi mostrerebbero se l’implementazione ottimizzata offre il beneficio operativo previsto.

Una divulgazione utile manterrebbe lo stesso confine del carico di lavoro spiegando al contempo cosa entra nel calcolo dei costi. Ciò rafforzerebbe l’interpretazione economica del risultato. Guadagni che si riducono con un utilizzo normale indebolirebbero l’argomento per trattare le prestazioni di saturazione come una previsione di produzione.

Il secondo segnale è il riuso misurato su Trainium2 e in ulteriori condizioni di deployment. Exa afferma che il proprio lavoro su Inferentia2 è stato trasferito direttamente e che la sua strategia più ampia dipende dalla disponibilità di più opzioni hardware utilizzabili. Risultati comparabili mostrerebbero quanto valore sopravvive oltre l’ambiente di ottimizzazione iniziale.

Exa descrive la pianificazione tra regioni da un unico control plane Kubernetes, il livello di gestione che coordina i carichi di lavoro containerizzati. Il suo scheduler confronta le prestazioni per dollaro tra tipi di istanza e colloca il lavoro di conseguenza. L’azienda afferma che questa flessibilità aiuta ad assorbire capacità inutilizzata o a liberare risorse necessarie altrove.

Questa strategia di pianificazione cambia lo scopo dell’ottimizzazione. Una famiglia hardware diventa utile quando offre un ulteriore luogo efficace in cui eseguire il carico di lavoro. La scelta migliore può cambiare con la capacità e la domanda, anche quando il modello sottostante rimane lo stesso.

Le prove che il codice personalizzato richiede una riscrittura estesa tra i deployment indebolirebbero l’argomento del riuso. Le prove di correttezza stabile ed efficienza sostenuta sull’hardware supportato lo rafforzerebbero. Nessuno dei due esiti dovrebbe essere dato per scontato da un’affermazione secondo cui il processo funziona su entrambe le famiglie.

Il terzo segnale è la prossima migrazione del modello, in particolare il suo carico di manutenzione e i risultati sulla qualità del recupero. L’attuale resoconto di Exa è iniziato perché un modello di documenti migliore richiedeva la rielaborazione del materiale esistente. Un aggiornamento successivo verificherebbe se questo investimento ingegneristico resta utile al cambiare dei requisiti del modello.

Se il modello successivo preserva gran parte del percorso di esecuzione ottimizzato, i benefici si estendono oltre il backfill originale. Se invalida ipotesi chiave, l’azienda deve confrontare il nuovo lavoro di ottimizzazione con i risparmi di elaborazione attesi. Questa relazione contribuirà a determinare quanto durevole diventi l’approccio.

Per sviluppatori e acquirenti, leggete il risultato di throughput dell’embedding di Exa insieme ai confini del vostro carico di lavoro. Individuate se il vostro vincolo riguarda l’elaborazione dei documenti, la qualità del recupero, la disponibilità di capacità o un’altra fase della pipeline. Chiedete misurazioni di produzione che colleghino l’ottimizzazione proposta a quel vincolo.

Esaminate poi se l’implementazione resta economica quando il modello cambia e l’hardware preferito diventa scarso. Spiegare l’ottimizzazione dell’embedding di Exa soltanto attraverso una percentuale in evidenza trascura tali condizioni operative. Usate questo caso per richiedere benchmark più chiari, convalida esplicita e prove che documenti utili raggiungano prima la ricerca. Quale misurazione dimostrerebbe questo beneficio per il sistema che gestite?

 
 

Inizia gratis

Un assistente IA local-first con gestione della conoscenza personale

Per una migliore esperienza con l’IA,

al momento remio supporta solo Windows 10+ (x64) e M-Chip Macs.

Il tuo partner AI al lavoro
Fai di più con remio

Pianifica. Crea. Consegna.
Tutto in un unico posto.

bottom of page