top of page

Databricks Lakehouse//RT illustra il suo caso sui costi in tempo reale

14 minuti fa
Tempo di lettura: 13 min

Databricks ha pubblicato il 12 novembre una nuova argomentazione sui costi per Lakehouse//RT, citando la riduzione dei costi di dieci volte riportata da Aurasell insieme a query più rapide. Il suo titolo, “Lakehouse//RT: Scale real-time analytics, not your bill,” affronta una preoccupazione delle équipe che collegano agenti AI ai dati aziendali. Più richieste automatizzate possono trasformare una spesa per l'analisi accettabile in un vincolo per il prodotto stesso.

L'annuncio è un seguito di un prodotto esistente, non un nuovo lancio. Lakehouse//RT è il data warehouse per l'analisi in tempo reale di Databricks, un sistema che interroga dati aziendali con tempi di risposta brevi. La sua proposta centrale mette in discussione il layer di serving separato, un database aggiuntivo che risponde alle richieste dell'applicazione usando dati copiati.

Questo sposta la pressione su una decisione architetturale, anziché limitarsi a una gara sulla velocità dei database. Le équipe dovrebbero continuare a gestire un sistema specializzato accanto al proprio warehouse, oppure riportare queste richieste sulla principale piattaforma dati? Apache Pinot e Apache Druid compaiono negli esempi di clienti di Databricks, mentre Snowflake offre un altro approccio all'analisi interattiva. La domanda importante è quale configurazione soddisfi i requisiti dell'applicazione a un costo totale sostenibile.

Lakehouse//RT: Scale real-time analytics, not your bill

L'ultimo aggiornamento di Databricks sposta l'attenzione dalla velocità di punta all'economia del serving del traffico applicativo.

L'analisi dei costi in tempo reale del 12 novembre descrive concorrenza più elevata, esecuzione più rapida, scalabilità incrementale e consolidamento dell'infrastruttura come fonti di risparmio. La concorrenza indica la gestione simultanea delle richieste. La scalabilità incrementale consiste nell'aggiungere quantità minori di capacità di calcolo al variare della domanda.

L'esempio più chiaro relativo agli agenti è Aurasell, la cui piattaforma supporta flussi di lavoro commerciali. Secondo Databricks, Aurasell necessitava in precedenza di diversi cluster per raggiungere 200 query al secondo, una misura del throughput delle richieste. Un singolo piccolo warehouse Lakehouse//RT avrebbe sostenuto più di 250 query al secondo, con query eseguite da quattro a cinque volte più rapidamente e costi ridotti di dieci volte.

Questi dati descrivono uno specifico carico di lavoro di un cliente e la sua configurazione precedente. Non stabiliscono quanto potrebbe risparmiare un'altra azienda né come si comporterà ogni agente di vendita. Lasciano inoltre aperte importanti domande di acquisto, tra cui l'esatto mix di query, il periodo di misurazione e condizioni operative comparabili.

Per un acquirente, il risultato è un motivo per riconsiderare un presupposto architetturale. Un sistema di serving aggiuntivo entra spesso in un prodotto perché il warehouse originale non riesce a soddisfare i requisiti di risposta dell'applicazione. Una volta che quel sistema funziona, la sua continua necessità può sfuggire al controllo. Una nuova opzione di esecuzione offre un motivo per confrontare nuovamente le configurazioni complete.

Questo confronto richiede un confine chiaro. Sostituire il backend di query di un'applicazione è diverso dal sostituire l'applicazione, la sua logica di business o il suo framework per agenti. Un database più rapido non migliora automaticamente la qualità delle decisioni di un agente. Modifica una dipendenza all'interno del flusso di lavoro più ampio.

Anche la tempistica è importante, poiché il prodotto precede questo aggiornamento. L'introduzione a Lakehouse//RT di Databricks del 16 giugno descriveva il motore di query Reyden e la disponibilità in beta per selezionati carichi di lavoro in sola lettura. Quel lancio riportava una latenza inferiore a 100 millisecondi a 12.000 query al secondo su benchmark analitici. La latenza è il tempo impiegato da una richiesta per restituire un risultato.

Il benchmark di lancio e il risultato di Aurasell appartengono a configurazioni e contesti di misurazione separati. Un acquirente non può combinare il throughput del benchmark con la riduzione dei costi del cliente per creare un risultato di implementazione atteso. Ogni affermazione necessita delle proprie condizioni prima di diventare una prova utile.

La notizia, quindi, è un'argomentazione commerciale più concreta attorno a una capacità esistente. Databricks chiede ai clienti di valutare il serving in tempo reale attraverso l'architettura che può eliminare. È una proposta più ampia del semplice completamento più rapido delle stesse query.

Il traffico degli agenti mette sotto pressione l'architettura di serving

Le équipe sotto pressione sono quelle responsabili sia della reattività dell'applicazione sia della spesa infrastrutturale che la sostiene.

La richiesta di un analista e quella di un agente possono sembrare simili a un database. Il loro comportamento circostante può differire in modo sostanziale. Un agente può inviare richieste successive, ripetere un'azione non riuscita o recuperare ulteriore contesto senza attendere una persona.

Si consideri un ipotetico assistente alle vendite che prepara una raccomandazione per un account. Potrebbe recuperare i dettagli dell'account, esaminare l'attività recente, confrontare le opportunità e verificare a quali record l'utente può accedere. Ogni passaggio può generare lavoro per il database. Migliorare l'utilità dell'assistente può quindi aumentare il lavoro necessario per ciascuna attività completata.

Questo cambia la conversazione tra i team di prodotto e infrastruttura. I responsabili di prodotto vogliono che l'assistente esplori abbastanza informazioni da produrre una risposta utile. I responsabili dell'infrastruttura necessitano di tempi di risposta prevedibili e consumi gestibili. La finanza deve capire se un utilizzo maggiore rifletta valore aziendale, esecuzione inefficiente o richieste non necessarie.

In questo contesto, la metrica consolidata del costo per dipendente diventa meno informativa. Lo stesso dipendente può attivare quantità diverse di lavoro automatizzato a seconda del flusso di lavoro. Un prodotto può inoltre generare un traffico di background significativo senza aggiungere utenti. La pianificazione della capacità deve seguire ciò che il software effettivamente fa.

Un layer di serving separato crea un ulteriore luogo in cui queste decisioni si accumulano. I dati devono raggiungere il sistema di serving, rimanere sufficientemente coerenti per l'applicazione e rispettare le regole di accesso appropriate. Il team necessita inoltre di un percorso di recupero quando gli aggiornamenti smettono di arrivare o una query si comporta in modo imprevisto.

Nessuna di queste responsabilità rende un database specializzato intrinsecamente inadatto. Un sistema dedicato può essere la scelta giusta quando il suo comportamento corrisponde ai requisiti dell'applicazione. La pressione rilevante riguarda la giustificazione continuativa per il sistema aggiuntivo. I suoi benefici devono superare l'intero onere operativo.

Ciò è particolarmente rilevante quando i dati sottostanti risiedono già nella piattaforma principale. In quella situazione, un team può confrontare un'implementazione di serving aggiuntiva con un'alternativa che interroga i dati esistenti. Un'azienda che parte da un'altra situazione affronta un calcolo diverso, incluso il lavoro di migrazione e le modifiche alle operazioni consolidate.

I knowledge worker sperimentano il risultato attraverso l'applicazione. Una risposta ritardata su un account o una dashboard non aggiornata può interrompere una decisione anche quando il modello sottostante risponde rapidamente. Il database è soltanto uno dei fattori coinvolti, ma un'applicazione non può nascondere una dipendenza lenta semplicemente presentando un'interfaccia conversazionale.

Esiste anche una distinzione tra analisi organizzativa e recupero della conoscenza personale. Gli ingegneri che documentano queste decisioni possono beneficiare di una base di conoscenza ricercabile contenente rapporti di test, note architetturali e risultati relativi agli incidenti. Questa documentazione supporta la decisione senza sostituire le misurazioni del carico di lavoro.

La risposta immediata per i team interessati è rivedere i presupposti alla base della propria architettura di serving. La risposta a lungo termine è collegare il consumo dell'infrastruttura alle attività di prodotto completate. Senza questo collegamento, una maggiore efficienza può scomparire all'interno di un volume crescente di richieste.

Il consolidamento cambia ciò che gli acquirenti devono confrontare

L'argomentazione sui costi più forte riguarda l'intera configurazione di serving, incluso il lavoro necessario per mantenerla operativa.

Un motore di query può essere più efficiente mentre l'applicazione circostante rimane costosa. Al contrario, un'architettura può diventare più economica eliminando responsabilità operative anche quando i miglioramenti delle singole query variano. Gli acquirenti devono distinguere questi effetti prima di decidere quale risultato si applichi al loro caso.

La distinzione emerge nella storia del cliente VisionHeight di Databricks. L'azienda di cybersecurity avrebbe sostituito un'implementazione di serving Apache Pinot con Lakehouse//RT. I risultati pubblicati includono una riduzione dei costi infrastrutturali superiore al 90% e un miglioramento quasi triplo della query più onerosa.

Il caso di studio afferma inoltre che VisionHeight ha collaborato con gli ingegneri Databricks per ottimizzare le query prima dell'implementazione. Questo dettaglio è importante nel valutare la trasferibilità. Una migrazione riuscita può riflettere insieme le capacità del prodotto, la preparazione del cliente e l'assistenza diretta del fornitore. Altri team devono stabilire quali parti possano riprodurre.

La lezione analitica è che la base di confronto conta quanto la destinazione. Un'implementazione sempre attiva può comportare costi di inattività diversi da un servizio che segue la domanda effettiva. Confrontarli può rivelare un utile risultato aziendale. Non isola quanto miglioramento sia derivato dal solo motore di esecuzione.

La storia del cliente nOps di Databricks offre un esempio correlato con un punto di partenza diverso. L'azienda di gestione dei costi cloud avrebbe sostituito il proprio layer di serving Druid, ridotto la spesa infrastrutturale di oltre sei volte ed eliminato 40 terabyte di dati duplicati. Si tratta di risultati dei clienti pubblicati dal fornitore, non di test comparativi indipendenti.

Per un operatore, eliminare la duplicazione ha implicazioni che vanno oltre il consumo di storage. Un dataset copiato introduce una relazione che deve rimanere comprensibile durante aggiornamenti e incidenti. Quando la fonte cambia, la copia di serving deve riflettere lo stato corretto. Il valore operativo dipende da quanto lavoro quella relazione richiedesse in precedenza.

Questo rende il consolidamento rilevante per le discussioni sull'affidabilità oltre che per gli acquisti. Un team dovrebbe chiedersi quali modalità di guasto scompaiano e quali responsabilità si spostino nella piattaforma rimanente. Meno sistemi possono ridurre il lavoro di coordinamento. Una maggiore dipendenza da un'unica piattaforma può anche concentrare le conseguenze di un'interruzione o di un errore di configurazione.

Il meccanismo alla base della proposta sui costi è semplice a livello generale. Più lavoro completato entro la capacità disponibile può ritardare la necessità di risorse aggiuntive. Un'esecuzione più breve può liberare prima le risorse. Adeguamenti minori della capacità possono ridurre il margine inutilizzato durante una domanda irregolare. L'eliminazione di un'implementazione secondaria può rimuovere costi esterni all'esecuzione delle query.

Si tratta di effetti separati e la loro importanza dipende dal carico di lavoro. Un'applicazione costante può trarre vantaggi diversi rispetto a un prodotto con forti picchi di traffico. Un cluster di serving ben utilizzato rappresenta una base di confronto diversa da un'implementazione sovradimensionata. Un'applicazione con movimentazione dei dati complessa presenta un'altra opportunità ancora.

L'espressione “Lakehouse//RT: Scale real-time analytics, not your bill” condensa queste possibilità in una promessa commerciale. Una decisione di acquisto deve separarle nuovamente. Altrimenti, una storia di successo di un cliente diventa una previsione non supportata per un'applicazione non correlata.

La comparazione più utile comprende quindi sia le macchine sia le persone. Il consumo di infrastruttura è misurabile, mentre lo sforzo operativo richiede una propria contabilità. Combinarli senza spiegazioni può nascondere l’origine dei risparmi. Ignorare uno dei due può offrire una visione fuorviante del carico effettivo dell’architettura.

Snowflake mantiene il confronto concentrato sui dati esistenti

Databricks affronta la concorrenza di altre piattaforme che puntano su analisi reattive senza una copia separata dei dati.

La guida all’analisi interattiva di Snowflake descrive warehouse interattivi in grado di interrogare tabelle standard esistenti tramite analisi interattiva zero-copy. In questo contesto, zero-copy significa evitare la conversione in una tabella aggiuntiva per il flusso di serving. Ciò rende il consolidamento della piattaforma una direzione competitiva, anziché un argomento esclusivo di Databricks.

La stessa guida identifica le richieste semplici e ripetitive come carico di lavoro target. Documenta inoltre limiti operativi, inclusi l’annullamento delle query in esecuzione da più di cinque secondi e un warehouse di fallback configurabile. Un warehouse di fallback è una destinazione di esecuzione alternativa per le richieste che superano i limiti del sistema interattivo.

Questi dettagli illustrano perché i soli nomi dei prodotti non possano risolvere il confronto. Una piattaforma può soddisfare i requisiti di un’applicazione attraverso percorsi di esecuzione diversi. Gli acquirenti devono sapere quali richieste rimangono nel percorso rapido, quali seguono un’altra strada e cosa questo comporta in termini di costi.

Un agente complica questa valutazione perché i suoi schemi di richiesta possono cambiare durante l’uso. Un flusso di lavoro che inizia con ricerche prevedibili può estendersi ad analisi più ampie. Se le query risultanti si comportano diversamente, un profilo di prestazioni inizialmente interessante potrebbe non descrivere più l’intera applicazione.

Ciò non stabilisce un vantaggio per nessuno dei due fornitori. Identifica ciò che una valutazione equa deve rendere visibile. Test equivalenti dovrebbero usare gli stessi dati, requisiti di accesso, schemi di richiesta e aspettative applicative. Un confronto che modifica tali condizioni misura prodotti diversi impegnati in lavori diversi.

Lo stesso principio si applica a Pinot e Druid. Le migrazioni riportate da VisionHeight e nOps descrivono decisioni prese nei rispettivi ambienti. Non dimostrano che ogni deployment di queste tecnologie debba essere spostato. Competenze esistenti, caratteristiche del traffico e requisiti operativi possono giustificare scelte differenti.

Un sistema di serving specializzato offre inoltre ai team un confine esplicito attorno al traffico dell’applicazione. Una piattaforma consolidata modifica quel confine e richiede una propria gestione delle risorse. L’utilità del cambiamento dipende dalle esigenze del prodotto e dalla capacità dell’organizzazione di gestire la configurazione risultante.

Per i fornitori, la pressione consiste nel rendere visibili i vantaggi di ciascun confine. Un database di serving deve giustificare il proprio deployment aggiuntivo. Una piattaforma consolidata deve dimostrare di poter assorbire la domanda applicativa senza compromettere il comportamento richiesto. Entrambe le argomentazioni diventano più solide se supportate da evidenze riproducibili sui carichi di lavoro.

Per gli acquirenti, il confronto dovrebbe iniziare dalla posizione dei dati esistenti e dalla distribuzione effettiva delle richieste. Questo evita una gara distorta tra una dimostrazione accuratamente ottimizzata e un deployment di produzione non correlato. La migliore opzione architetturale è quella che soddisfa gli obblighi dell’applicazione in condizioni realistiche.

Questo mantiene intatto il conflitto centrale dell’articolo. La domanda è se uno stack di serving separato si guadagni ancora il proprio posto accanto al warehouse. L’approccio di Snowflake amplia le alternative disponibili per gli acquirenti senza risolvere la questione per ogni carico di lavoro.

Costi unitari più bassi non garantiscono una fattura invariata

Una riduzione del costo per servire una richiesta non limita il numero di richieste generate da un’applicazione.

Questo è il limite essenziale della promessa del titolo. Se un agente svolge più lavoro, il consumo totale può comunque aumentare anche quando l’esecuzione diventa più efficiente. Un costo inferiore per richiesta crea margine aggiuntivo. Non crea capacità illimitata né un impegno di spesa fisso.

La distinzione diventa più chiara quando si valuta un’attività completata. Un’applicazione può rendere più economica ogni richiesta al database, pur emettendo richieste non necessarie tra azioni utili. Può anche ridurre le richieste generando al contempo una risposta meno utile. Né l’efficienza del database né il solo numero di richieste catturano il valore del prodotto.

Una valutazione significativa collega quindi il consumo a un risultato importante per l’azienda. Per un assistente alle vendite, potrebbe trattarsi di un’analisi dell’account completata. Per una dashboard clienti, potrebbe essere una sessione reattiva con informazioni aggiornate. L’unità appropriata dipende dall’applicazione.

Gli esempi di clienti pubblicati lasciano un divario di verifica. Forniscono esperienze nominate e risultati riportati utili, ma sono selezionati e presentati dal fornitore. Non costituiscono un campione di deployment sottoposto a verifica indipendente. I lettori dovrebbero evitare di considerarli una distribuzione generale dei risparmi.

Anche il perimetro di misurazione richiede attenzione. Il costo dell’infrastruttura può escludere lo sforzo di migrazione, gli accordi di supporto, il tempo di sviluppo o altre spese della piattaforma. Una riduzione apparente può essere significativa anche con tali esclusioni. Gli acquirenti devono comunque sapere quali spese sono incluse prima di applicare il risultato a un budget.

Le prestazioni richiedono una precisione analoga. Un tempo medio di risposta può nascondere richieste più lente che gli utenti incontrano durante i picchi. La latenza di coda descrive queste risposte più lente verso l’estremità della distribuzione. Un’applicazione può sembrare incoerente anche quando la sua richiesta tipica appare soddisfacente.

La freschezza dei dati è un altro requisito separato. La freschezza descrive quanto recentemente le informazioni sottostanti riflettono un evento sorgente. Restituire rapidamente un risultato non dimostra che contenga i dati più recenti. Una valutazione del serving deve considerare entrambe le proprietà quando l’applicazione dipende da informazioni aggiornate.

Anche il controllo degli accessi rimane una responsabilità dell’applicazione. Un motore di query non può stabilire se un agente abbia scelto la giusta azione aziendale solo perché ha eseguito una richiesta autorizzata. I team necessitano comunque di identità, autorizzazioni e protezioni adeguate attorno al modo in cui l’agente utilizza le informazioni restituite.

Anche il precedente inquadramento beta merita attenzione. Un carico di lavoro selezionato in sola lettura è una proposta più circoscritta rispetto a una sostituzione per ogni ruolo del database. Sola lettura significa recuperare informazioni senza modificare i record sottostanti. Un agente che aggiorna lo stato aziendale introduce requisiti che vanno oltre il serving di query analitiche.

Queste distinzioni non invalidano i risparmi riportati. Spiegano perché i risultati dovrebbero stimolare un’indagine anziché un’adozione automatica. La posizione scettica utile chiede quali ipotesi valgano per un deployment specifico e quali evidenze ribalterebbero la conclusione iniziale.

Per “Lakehouse//RT: Scale real-time analytics, not your bill,” l’interpretazione difendibile è quella di una migliore economia in condizioni adeguate. Una garanzia di spesa invariata richiederebbe un diverso impegno commerciale. Le dichiarazioni pubblicate sulle prestazioni e sui clienti non ne forniscono uno.

Osservare riproducibilità, adozione ed economie concorrenti

Le prossime evidenze dovrebbero mostrare se i miglioramenti riportati resistono alle normali condizioni operative in una gamma più ampia di applicazioni.

Il primo segnale è una rendicontazione dei carichi di lavoro più riproducibile. Nei prossimi mesi, gli acquirenti dovrebbero cercare confronti che rendano pubblici gli schemi di richiesta, le caratteristiche dei dati, le impostazioni delle risorse e i confini di misurazione. Risultati che coprano sia periodi attivi sia intervalli più tranquilli aiuterebbero a spiegare l’origine dei risparmi.

Queste evidenze rafforzerebbero l’argomento di Databricks se mostrassero un’economia vantaggiosa attraverso comportamenti applicativi rappresentativi. Indebolirebbero interpretazioni ampie se i guadagni dipendessero da condizioni insolitamente ristrette o da baseline favorevoli. Entrambi gli esiti migliorerebbero le decisioni di acquisto, sostituendo una promessa ambigua con confini più chiari.

La riproducibilità richiede anche aspettative di servizio comparabili. Un risultato più economico che tollera risposte più lente non risponde a un acquirente che richiede un’interattività costante. Un risultato più rapido misurato rispetto a un dataset diverso presenta un’altra discrepanza. I confronti pubblicati diventano più utili quando questi obblighi rimangono espliciti.

Il secondo segnale è l’adozione oltre gli esempi di clienti strettamente supportati. Una rendicontazione di produzione più ampia dovrebbe rivelare lo sforzo di migrazione, i requisiti di ottimizzazione continua e la gamma di carichi di lavoro adatti. La documentazione del prodotto dovrebbe inoltre chiarire disponibilità attuale e comportamenti supportati man mano che l’offerta si evolve.

Questo segnale rafforzerebbe il caso del consolidamento se i team potessero ripetere la transizione senza un coinvolgimento eccezionale del fornitore. Restringerebbe il caso se l’adozione richiedesse sistematicamente ampie personalizzazioni o modifiche sostanziali all’applicazione. Una migrazione assistita riuscita rimane un’evidenza preziosa, ma risponde a una domanda diversa rispetto al deployment ordinario.

L’uso continuativo conta quanto lo spostamento iniziale. Un annuncio di migrazione cattura un momento nel tempo. Rendicontazioni successive possono rivelare come costi e tempi di risposta si comportino al cambiare di dati, utenti e funzionalità del prodotto. È qui che una decisione architetturale diventa una cronaca operativa.

Il terzo segnale riguarda l’economia degli approcci concorrenti in condizioni equivalenti. Il percorso di esecuzione interattiva di Snowflake e i deployment di serving specializzati esistenti meritano un confronto rispetto agli stessi requisiti aziendali. Gli acquirenti dovrebbero cercare evidenze che considerino risorse inattive, esecuzione di fallback, movimento dei dati e sforzo operativo.

Un risultato competitivo indebolirebbe qualsiasi affermazione secondo cui i risparmi del consolidamento appartengano unicamente a un fornitore. Non indebolirebbe necessariamente l’argomento più ampio a favore di riconsiderare uno stack di serving separato. Molteplici opzioni credibili potrebbero rendere quella decisione più accessibile, aumentando al contempo la pressione su ogni fornitore affinché spieghi i propri compromessi.

Per ora, Databricks ha fornito ragioni specifiche per riconsiderare l’architettura. Gli esempi collegano il serving in tempo reale al consolidamento dell’infrastruttura, anziché trattare la velocità come l’unico risultato. Restano esperienze di clienti riportate che richiedono una validazione specifica per il carico di lavoro.

Prima di approvare una migrazione, identificate il risultato applicativo importante, il tempo di risposta necessario e le spese incluse nel vostro confronto. Conservate queste ipotesi insieme ai risultati dei test e alle conclusioni operative, affinché un altro team possa mettere in discussione la decisione. Chiedetevi se l’architettura proposta elimini abbastanza lavoro da giustificarne l’adozione e se l’applicazione rimanga sostenibile man mano che il comportamento dell’agente si espande. Databricks Lakehouse//RT offre agli acquirenti un’opzione concreta da valutare. Il passo utile successivo è confrontarla con la configurazione di serving che operate realmente, usando il traffico che il vostro prodotto genera davvero. Quale sistema offre l’esperienza richiesta lasciando al vostro team responsabilità operative più chiare?

 
 

Inizia gratis

Un assistente IA local-first con gestione della conoscenza personale

Per una migliore esperienza con l’IA,

al momento remio supporta solo Windows 10+ (x64) e M-Chip Macs.

Il tuo partner AI al lavoro
Fai di più con remio

Pianifica. Crea. Consegna.
Tutto in un unico posto.

bottom of page