top of page

Databricks Lakehouse//RT 闡述其即時分析成本優勢

15 分鐘前
讀畢需時 12 分鐘

Databricks 於 11 月 12 日發表 Lakehouse//RT 的新成本論述,引用 Aurasell 所報告的成本降低十倍及查詢速度提升成果。其標題「Lakehouse//RT:擴展即時分析,而非帳單」針對的是一項關鍵憂慮:團隊正把 AI agents 連接至業務數據。更多自動化請求,可能令原本可接受的分析成本變成產品本身的限制。

這項公告是既有產品的後續更新,而非全新發布。Lakehouse//RT 是 Databricks 的即時分析數據倉庫,讓企業可在短回應時間內查詢業務數據。其核心主張質疑獨立服務層的必要性;後者是使用複製數據來回應應用程式請求的額外資料庫。

因此,焦點落在架構決策,而不單是資料庫速度競賽。團隊應繼續在數據倉庫旁運行專門系統,還是把這些請求帶回主要數據平台?Apache Pinot 與 Apache Druid 出現在 Databricks 的客戶案例中,而 Snowflake 則提供另一種互動式分析方案。關鍵問題是,哪一種安排能以可持續的總成本滿足應用程式需求。

Lakehouse//RT:擴展即時分析,而非帳單

Databricks 最新更新把焦點由標榜速度,轉向處理應用程式流量的經濟效益。

11 月 12 日的即時成本分析指出,更高併發量、更快執行速度、漸進式擴展及基建整合,都是節省成本的來源。併發量是指同時處理請求的能力。漸進式擴展是指隨需求變化,逐步增加較小幅度的運算容量。

最明確的 agent 案例是支援銷售工作流程的 Aurasell 平台。Databricks 表示,Aurasell 以往需要多個叢集才能達到每秒 200 次查詢,即衡量請求吞吐量的指標。據報一個小型 Lakehouse//RT 數據倉庫已可持續處理超過 250 次查詢,查詢速度提升四至五倍,成本則下降十倍。

這些數字反映特定客戶工作負載及其原有配置,並不能證明另一家公司可節省多少成本,或每個銷售 agent 的行為都會相同。當中亦未回答重要採購問題,包括確切的查詢組合、量度期,以及可比較的營運條件。

對買家而言,這是一個重新檢視架構假設的理由。額外的服務系統常因原有數據倉庫未能滿足應用程式回應要求而加入產品。當該系統運作正常後,團隊可能不再審視其持續存在的必要性。新的執行選項提供理由,讓團隊再次比較整套方案。

這種比較需要清晰界線。取代應用程式的查詢後端,與取代應用程式本身、其業務邏輯或 agent framework 並不相同。更快的資料庫不會自動提升 agent 決策質素;它只改變較大工作流程中的一項依賴。

時機同樣重要,因為該產品早於這次更新推出。Databricks 在 6 月 16 日的Lakehouse//RT 介紹中,提及 Reyden 查詢引擎,以及針對指定唯讀工作負載的 beta 版供應。該發布指,在分析基準測試中,於每秒 12,000 次查詢下延遲低於 100 毫秒。延遲是請求返回結果所需的時間。

發布時的基準測試與 Aurasell 的成果,屬於不同配置和量度情境。買家不能把基準測試的吞吐量與客戶的成本降幅拼合,從而推算部署後的預期結果。每項主張都需要其適用條件,才可成為有用證據。

因此,這項消息是圍繞既有能力提出更具體的商業論述。Databricks 要求客戶透過可移除的架構來評估即時服務。這比讓相同查詢更快完成,是更廣泛的主張。

Agent 流量令服務架構承受壓力

承受壓力的團隊,是同時負責應用程式回應速度及其背後基建帳單的人。

分析師請求與 agent 請求,對資料庫而言看似相近,但其周邊行為可能有顯著分別。Agent 可以發出後續請求、重複失敗動作,或在無須等待人手操作下擷取額外脈絡。

設想一個為帳戶提供建議的假設性銷售助理。它可能擷取帳戶資料、檢視近期活動、比較商機,並檢查使用者可存取哪些紀錄。每一步都可能產生資料庫工作。因此,提高助理的實用性,亦可能增加每項已完成任務所需的工作量。

這改變了產品團隊與基建團隊之間的對話。產品負責人希望助理探索足夠資訊,以提供有用答案。基建負責人則需要可預測的回應時間及可管理的用量。財務團隊需要了解,用量增加是否反映業務價值、低效率執行,或不必要的請求。

在這個情境下,常見的每名員工成本指標變得較難反映實況。同一名員工可因工作流程不同而觸發不同數量的自動化工作。產品亦可在不增加使用者的情況下產生大量背景流量。容量規劃需要跟隨軟件實際所做的工作。

獨立服務層令這些決策累積於另一個位置。數據必須送達服務系統、保持足以供應用程式使用的一致性,並遵從適當的存取規則。當更新停止到達,或查詢出現意外行為時,團隊亦需要復原路徑。

這些責任並不表示專門資料庫本質上不合適。當其行為符合應用程式需求時,專用系統可以是正確選擇。相關壓力在於,額外系統是否仍有充分理由繼續存在。其效益需要超越其完整營運負擔。

當底層數據已存在於主要平台時,這點尤其重要。在這種情況下,團隊可比較額外服務部署與直接查詢既有數據的替代方案。從其他起點出發的公司,則面對不同計算,包括遷移工作及既定營運模式的改變。

知識工作者會透過應用程式感受結果。即使底層模型回應很快,延遲的帳戶答案或過期儀表板仍可能打斷決策。資料庫只是其中一項因素,但應用程式不能只靠呈現對話式介面來掩蓋緩慢依賴。

組織分析與個人知識檢索之間亦有分別。記錄這些決策的工程師,可受惠於包含測試報告、架構筆記及事故發現的可搜尋知識庫。這些文件可支援決策,但不能取代工作負載量度。

受影響團隊的即時回應,是重新檢視服務架構背後的假設。長遠而言,則應把基建用量與已完成的產品任務連結。缺乏這項連結時,更高效率可能會消失於不斷增加的請求量之中。

整合改變買家需要比較的內容

最有力的成本論述涉及完整的服務安排,包括維持其運作所需的工作。

查詢引擎可以更有效率,但周邊應用程式仍可能成本高昂。反過來,即使個別查詢的改善程度不一,架構亦可藉移除營運責任而變得更便宜。買家在判斷哪項結果適用於自己前,需要分辨這些影響。

Databricks 的VisionHeight 客戶故事正反映這個分別。據報,這家網絡安全公司以 Lakehouse//RT 取代 Apache Pinot 服務部署。其公開成果包括基建成本降低超過 90%,以及最重型查詢的效能提升接近三倍。

案例研究亦指出,VisionHeight 在部署前曾與 Databricks 工程師合作優化查詢。這項細節對評估可轉移性十分重要。成功遷移可能同時反映產品能力、客戶準備,以及供應商的直接協助。其他團隊需要確定哪些部分能夠重現。

分析上的教訓是,基準點與目標同樣重要。持續運行的部署,與隨活躍需求調整的服務相比,可能承擔不同的閒置成本。比較兩者可以揭示有用的業務成果,但不能單獨界定有多少改善來自執行引擎本身。

Databricks 的nOps 客戶故事提供另一個起點不同但相關的例子。據報,這家雲端成本管理公司取代其 Druid 服務層,基建開支降低超過六倍,並消除 40 TB 重複數據。這些是供應商發表的客戶成果,而非獨立比較測試。

對營運人員而言,消除重複數據的影響不止於儲存用量。複製的數據集會引入一種關係,必須在更新和事故期間維持可理解性。當來源改變時,服務副本需要反映正確狀態。營運價值取決於該關係過去需要多少工作維護。

因此,整合除了與採購相關,亦與可靠性討論有關。團隊應問哪些故障模式會消失,以及哪些責任會轉移到保留的平台。較少系統可減少協調工作;對單一平台更高的依賴,亦可能集中停機或配置錯誤所帶來的後果。

成本主張背後的機制,在高層次上並不複雜。在現有容量內完成更多工作,可延後增添額外資源的需要。較短執行時間可更早釋放資源。較小幅度的容量調整,可在需求不均時減少未使用的預留容量。移除次要部署,則可消除查詢執行以外的成本。

這些是不同效果,其重要性取決於工作負載。穩定運行的應用程式,與流量急劇波動的產品,可能受惠方式不同。高使用率的服務叢集,與容量過大的部署相比,代表不同基準。數據流動複雜的應用程式,則呈現另一種機會。

「Lakehouse//RT:擴展即時分析,而非帳單」這句話把這些可能性濃縮成商業承諾。採購決策需要再次把它們拆開。否則,成功的客戶故事便會成為對無關應用程式缺乏根據的預測。

因此,最有用的比較應同時涵蓋機器與人員。基礎設施用量可量度,而營運工作則需要獨立核算。若未加說明便將兩者合併,可能會掩蓋節省的來源。忽略任何一方,都可能誤導人們對架構實際負擔的理解。

Snowflake 讓競爭聚焦於既有資料

Databricks 面對其他平台的競爭;這些平台同樣致力於在毋須額外複製資料的情況下提供即時分析。

Snowflake 的互動式分析指南介紹互動式倉庫,可透過零複製互動式分析查詢既有的標準資料表。在此語境中,零複製是指避免為服務工作流程轉換成另一個額外資料表。這令平台整合成為競爭方向,而非 Databricks 獨有的論點。

同一份指南將簡單、重複性的請求列為目標工作負載。它亦記錄了營運限制,包括取消執行超過五秒的查詢,以及可設定的後備倉庫。後備倉庫是供超出互動式系統限制的請求使用的替代執行目的地。

這些細節說明,單靠產品名稱無法定論比較結果。一個平台可透過不同的執行路徑滿足應用程式需求。買家需要知道哪些請求會留在快速路徑、哪些會改走其他路徑,以及這對成本意味著甚麼。

Agent 令這項評估更複雜,因為其請求模式可在使用期間改變。原本由可預測查詢開始的工作流程,可延伸至更廣泛的分析。若產生的查詢行為不同,最初吸引人的效能表現便可能無法再描述整個應用程式。

這並不代表任何一間供應商佔優。它指出公平評估需要揭示甚麼。等效測試應使用相同的資料、存取要求、請求模式及應用程式期望。改變這些條件的比較,衡量的是執行不同工作的不同產品。

同一原則亦適用於 Pinot 與 Druid。VisionHeight 和 nOps 所報告的遷移案例,描述的是在其特定環境中作出的決策。它們並不證明所有採用這些技術的部署都應遷移。既有專業知識、流量特徵及營運要求,都可能支持不同選擇。

專門的服務系統亦為團隊在應用程式流量上建立明確邊界。整合式平台會改變這道邊界,並需要其自身的資源管理。這項改變是否有利,取決於產品需求及機構營運由此產生安排的能力。

對供應商而言,壓力在於令每種邊界帶來的好處清晰可見。服務資料庫需要證明其額外部署的合理性。整合式平台則需要證明,它能吸納應用程式需求而不犧牲所需行為。當兩者均有可重現的工作負載證據支持時,論點會更有力。

對買家而言,比較應由其既有資料位置及實際請求分布開始。這可避免一場在精心調校的示範與無關的生產部署之間失真的競賽。最佳架構選項,是能在現實條件下履行應用程式責任的方案。

這維持了文章的核心衝突:獨立的服務堆疊是否仍值得與資料倉庫並存。Snowflake 的做法擴闊了買家可選擇的方案,但未能為每種工作負載解答這個問題。

單位成本降低不保證帳單持平

降低處理單一請求的成本,並不會限制應用程式產生的請求數量。

這正是標題承諾的根本限制。即使執行變得更有效率,若 Agent 處理更多工作,總用量仍可上升。每項請求的成本較低,只是創造額外空間,並不代表無限容量或固定的支出承諾。

在評估已完成任務時,這個區別會更清楚。應用程式可以令每次資料庫請求更便宜,卻在有用操作之間發出不必要的請求。它亦可以減少請求,卻產生較無用的答案。資料庫效率和請求數量本身,都無法完整反映產品價值。

因此,有意義的評估須將用量與業務重視的結果連結。對銷售助理而言,這可能是完成帳戶分析;對客戶儀表板而言,這可能是能取得最新資料的快速回應工作階段。合適的單位取決於應用程式。

已公開的客戶案例留下了驗證缺口。它們提供具名體驗及有用的報告成果,但均由供應商挑選及呈現。這些案例並不構成經獨立審計的部署樣本。讀者不應將其視為一般節省分布。

量度邊界同樣需要審視。基礎設施成本可能不包括遷移工作、支援安排、開發時間或其他平台支出。即使存在這些排除項目,表面上的減幅仍可能具意義。不過,買家在將結果套用至預算前,仍須知道當中包括哪些開支。

效能亦需要同樣精確。平均回應時間可能掩蓋用戶在流量突增期間遇到的較慢請求。尾部延遲描述分布邊緣附近那些較慢的回應。即使典型請求看來令人滿意,應用程式仍可能讓人感覺表現不穩定。

資料新鮮度是另一項獨立要求。新鮮度描述底層資訊反映來源事件的最近程度。快速返回結果,並不代表結果包含最新資料。若應用程式依賴即時資訊,服務評估必須同時考慮這兩項特性。

存取控制同樣仍是應用程式層面的問題。查詢引擎不能僅因 Agent 執行了獲授權的請求,便判定它選擇了正確的業務行動。團隊仍需要適當的身分、權限,以及規範 Agent 如何使用返回資訊的保障措施。

先前的 beta 定位亦值得留意。針對特定唯讀工作負載的方案,比取代所有資料庫角色的主張更為狹窄。唯讀是指在不更改底層記錄的情況下擷取資訊。會更新業務狀態的 Agent,會引入超出分析查詢服務範圍的要求。

這些區別並不會否定所報告的節省。它們說明,這些結果應促使進一步調查,而非自動採納。有用的懷疑立場會問:哪些假設適用於特定部署,以及甚麼證據能推翻初步結論。

對於「Lakehouse//RT: Scale real-time analytics, not your bill」,可辯護的詮釋是在合適條件下改善經濟效益。要保證支出不變,則需要另一種商業承諾。已公開的效能及客戶主張均未提供這種承諾。

留意可重現性、採用情況及競爭性經濟效益

下一批證據應顯示,所報告的收益能否在更廣泛應用程式的日常營運條件下持續存在。

第一個訊號是更具可重現性的工作負載報告。在未來數月,買家應尋找披露請求模式、資料特徵、資源設定及量度邊界的比較。涵蓋活躍時段與較平靜時段的結果,將有助解釋節省從何而來。

若這些證據顯示在具代表性的應用程式行為中具備實用的經濟效益,便會加強 Databricks 的論點。若收益依賴異常狹窄的條件或有利的基準,則會削弱廣泛詮釋。無論結果如何,都能以更清晰的邊界取代含糊的承諾,從而改善採購決策。

可重現性亦需要可比較的服務期望。容許較慢回應的較便宜結果,無法回答要求一致互動性的買家問題。以不同資料集量度的較快結果,則呈現另一種不匹配。當這些責任維持明確時,已公開的比較便更有用。

第二個訊號,是在獲密切支援的客戶案例以外的採用情況。更廣泛的生產環境報告應揭示遷移工作、持續調校要求,以及適合的工作負載範圍。隨著產品發展,產品文件亦應釐清目前可用性及支援的行為。

若團隊毋須供應商作出特殊介入便能重複完成轉換,這個訊號將加強整合論點。若採用一再需要大量自訂或大幅修改應用程式,則會收窄這個論點。成功的協助式遷移仍是有價值的證據,但它回答的問題與常規部署不同。

持續使用與最初遷移同樣重要。遷移公告只捕捉某個時間點。後續報告可揭示當資料、用戶及產品功能改變時,成本和回應時間如何表現。這正是架構決策成為營運紀錄的地方。

第三個訊號,是競爭方案在等效條件下的經濟效益。Snowflake 的互動式執行路徑及既有專門服務部署,值得針對相同業務要求作比較。買家應留意涵蓋閒置資源、後備執行、資料移動及營運工作量的證據。

競爭性結果會削弱任何聲稱整合節省是某一供應商獨有的主張。不過,這未必會削弱重新考慮獨立服務堆疊的更廣泛論點。多個可信的選擇可令這項決定更易觸及,同時增加每間供應商說明其取捨的壓力。

目前而言,Databricks 已提供具體理由重新檢視架構。這些案例將即時服務與基礎設施整合連結起來,而非只把速度視為唯一成果。它們仍是需要按工作負載作特定驗證的客戶報告體驗。

在批准遷移前,先識別重要的應用程式成果、所需回應時間,以及比較中包括的開支。將這些假設連同測試結果及營運發現保留,讓其他團隊可以質疑這項決策。請問擬議架構是否消除足夠工作以證明採用合理,以及隨著 Agent 行為擴展,應用程式是否仍能負擔。Databricks Lakehouse//RT 為買家提供一個可具體評估的選項。下一步應是以產品實際產生的流量,將它與你實際運作的服務安排比較。哪一個系統能提供所需體驗,同時讓團隊擁有最清晰的營運責任?

 
 

為每個智能代理提供更完整的背景,提升工作表現

讓智能代理連接 remio 已整理好的知識、決策和歷史紀錄。

remio 目前支援 Windows 10+(x64) 及配備 Apple 晶片的 Mac。

你的 AI 工作夥伴
和 remio 一起高效工作

規劃、創作、交付
一站式完成

bottom of page