Databricks Lakehouse//RT 阐述其实时成本优势
Databricks 于 11 月 12 日发布了 Lakehouse//RT 的新成本论述,援引 Aurasell 报告的十倍成本降低及更快查询速度。其标题“Lakehouse//RT:扩展实时分析,而不是账单”直指那些将 AI agents 连接至业务数据的团队所关切的问题。更多自动化请求可能会让原本可接受的分析账单,变成制约产品本身的因素。
此次公告是对既有产品的后续更新,而非新产品发布。Lakehouse//RT 是 Databricks 的实时分析仓库,可为业务数据查询提供较短的响应时间。其核心主张是挑战独立服务层模式:即通过复制数据、响应应用请求的额外数据库。
因此,压力落在架构选择上,而不只是数据库速度之争。团队应继续在数据仓库旁运行专用系统,还是将这些请求带回其主要数据平台?Databricks 的客户案例中提及 Apache Pinot 和 Apache Druid,而 Snowflake 则为交互式分析提供了另一种路径。关键问题在于,哪种安排能以可持续的总成本满足应用需求。
Lakehouse//RT:扩展实时分析,而不是账单
Databricks 的最新更新将关注点从标称速度转向承载应用流量的经济性。
11 月 12 日发布的实时成本分析将更高并发、更快执行、渐进式扩展和基础设施整合列为节省成本的来源。并发是指同时处理请求。渐进式扩展是指随需求变化增加较小规模的计算能力。
最清晰的 agent 案例来自支持销售工作流的平台 Aurasell。据 Databricks 称,Aurasell 此前需要多个集群才能达到每秒 200 次查询,这是一项衡量请求吞吐量的指标。据报道,一个小型 Lakehouse//RT 仓库便可持续支持超过 250 次查询,查询速度提升四至五倍,成本降低十倍。
这些数字描述的是特定客户的工作负载及其先前配置。它们并不能证明另一家公司将节省多少成本,也不能说明每个销售 agent 的行为方式。它们还留下了重要采购问题,包括确切的查询组合、测量周期和可比运行条件。
对买家而言,这一结果提供了重新审视架构假设的理由。当原始数据仓库无法满足应用响应要求时,产品往往会引入额外的服务系统。一旦该系统能够运行,其持续必要性就可能不再受到审视。新的执行选项为再次比较完整方案提供了理由。
这种比较需要明确边界。替换应用的查询后端,不同于替换应用本身、其业务逻辑或 agent 框架。更快的数据库并不会自动提高 agent 决策的质量。它改变的是更大工作流中的一项依赖。
时机同样重要,因为该产品早于本次更新。Databricks 在 6 月 16 日发布的Lakehouse//RT 介绍中提到了 Reyden 查询引擎,以及其面向部分只读工作负载的 beta 可用性。该发布称,在分析基准测试中,系统可在每秒 12,000 次查询时实现低于 100 毫秒的延迟。延迟是指请求返回所需的时间。
发布时的基准测试与 Aurasell 的结果属于不同配置和测量背景。买家不能把基准测试的吞吐量与客户的成本降低幅度结合起来,作为预期部署结果。每项主张都需要具备自身条件,才能成为有用证据。
因此,这则新闻是在既有能力基础上提出了更具体的商业论点。Databricks 希望客户通过它能够移除的架构来评估实时服务。这比让相同查询更快完成,是一个更广泛的主张。
Agent 流量令服务架构承压
承受压力的是那些同时负责应用响应能力及其背后基础设施账单的团队。
分析师的请求与 agent 的请求,对数据库而言可能看起来相似,但其周边行为可能大不相同。agent 可以发出后续请求、重试失败操作,或在无需等待人工的情况下检索更多上下文。
设想一个为账户提供建议的假设性销售助手。它可能会检索账户详情、查看近期活动、比较商机,并检查用户有权访问哪些记录。每一步都可能产生数据库工作。因此,提升助手的实用性,也可能增加每项完成任务所需的工作量。
这改变了产品团队和基础设施团队之间的讨论。产品负责人希望助手探索足够的信息,以给出有用答案。基础设施负责人则需要可预测的响应时间和可控的资源消耗。财务团队需要了解,更高使用量反映的是业务价值、低效执行,还是不必要的请求。
在这种环境下,传统的每位员工成本指标变得不那么具有参考价值。同一名员工可能会因工作流不同而触发不同规模的自动化工作。产品也可以在不增加用户的情况下产生大量后台流量。容量规划需要跟随软件实际执行的行为。
独立服务层为这些决策增加了另一个累积点。数据必须进入服务系统、保持足以供应用使用的一致性,并遵守适当的访问规则。当更新停止到达或查询出现异常行为时,团队还需要恢复路径。
这些职责并不意味着专用数据库天然不适合。若其行为符合应用要求,专用系统可能是正确选择。真正相关的压力在于:额外系统是否仍有持续存在的合理性。其收益需要超过其完整的运营负担。
当底层数据已经位于主要平台时,这一点尤其重要。在这种情况下,团队可以将额外的服务部署,与查询既有数据的替代方案进行比较。从其他环境起步的公司则面临不同的计算,其中包括迁移工作和既定运营模式的变化。
知识工作者通过应用体验结果。即使底层模型响应迅速,延迟的账户答案或过期的仪表板也可能打断决策。数据库只是其中一个因素,但应用不能仅靠呈现对话式界面来掩盖缓慢的依赖项。
组织分析与个人知识检索之间也存在区别。记录这些决策的工程师可以受益于包含测试报告、架构说明和事故发现的可搜索知识库。这些文档支持决策,但不能取代工作负载测量。
受影响团队的直接应对措施,是重新审视其服务架构背后的假设。更长期的应对措施,则是将基础设施消耗与完成的产品任务关联起来。若没有这种关联,更高的效率可能会消失在不断增长的请求量之中。
整合改变了买家需要比较的内容
最有力的成本论点关乎完整的服务方案,包括维持其运行所需的工作。
查询引擎可以更高效,而周边应用仍然昂贵。反之,即使单次查询的改善程度不同,架构也可以通过移除运营职责而变得更便宜。买家在决定哪种结果适用于自己之前,需要区分这些影响。
这一差异体现在 Databricks 的VisionHeight 客户案例中。据报道,这家网络安全公司以 Lakehouse//RT 替换了 Apache Pinot 服务部署。其公布结果包括基础设施成本降低超过 90%,以及最重查询性能接近三倍提升。
案例研究还称,VisionHeight 在部署前曾与 Databricks 工程师合作优化查询。这一细节在判断可迁移性时很重要。一次成功迁移可能同时反映了产品能力、客户准备程度和直接的供应商协助。其他团队需要确定哪些部分能够复现。
分析上的启示是,基线与目标同样重要。始终运行的部署可能与随活跃需求变化的服务承担不同的闲置成本。比较二者可以揭示有价值的业务结果,但无法单独衡量其中有多少改善来自执行引擎本身。
Databricks 的nOps 客户案例提供了一个起点不同但相关的例子。据报道,这家云成本管理公司替换了其 Druid 服务层,将基础设施支出降低逾六倍,并消除了 40 TB 的重复数据。这些是供应商发布的客户结果,而非独立的对比测试。
对运营人员而言,移除重复数据的影响不止于存储消耗。复制的数据集会引入一种关系,在更新和事故期间必须保持可理解。当源数据发生变化时,服务副本需要反映正确状态。其运营价值取决于这层关系此前需要多少维护工作。
这使得整合不仅与采购有关,也与可靠性讨论相关。团队应询问哪些故障模式会消失,以及哪些职责会转移至保留的平台。更少的系统可以减少协调工作,但对单一平台的更高依赖也可能集中停机或配置错误的后果。
从高层次看,成本主张背后的机制很直接。在现有容量内完成更多工作,可以推迟对额外资源的需求。更短的执行时间可以更早释放资源。较小的容量调整可以减少需求不均衡时未使用的冗余空间。移除第二套部署可以消除查询执行之外的成本。
这些是不同的影响,其重要性取决于工作负载。稳定运行的应用,可能与流量剧烈波动的产品获得不同收益。高利用率的服务集群,与过度配置的部署呈现不同基线。具有复杂数据移动流程的应用,则完全是另一种机会。
“Lakehouse//RT:扩展实时分析,而不是账单”这一表述将这些可能性压缩为商业承诺。采购决策需要再次将它们拆分开来。否则,一个成功的客户案例就会变成对无关应用缺乏依据的预测。
因此,最有价值的比较应同时涵盖机器和人员。基础设施消耗可以量化,而运营投入则需要单独核算。若不加说明地将两者合并,可能会掩盖节省成本的来源。忽略任何一方,都可能导致对架构实际负担的误判。
Snowflake 将竞争焦点放在现有数据上
Databricks 面临来自其他平台的竞争,这些平台试图在不单独复制数据的情况下实现响应迅速的分析。
Snowflake 的交互式分析指南介绍了可通过零复制交互式分析查询现有标准表的交互式仓库。在此语境中,零复制是指避免为服务工作流转换出额外的表。这使平台整合成为一个竞争方向,而非 Databricks 独有的论点。
该指南同样将简单、重复性的请求列为目标工作负载。它还说明了运营限制,包括取消运行超过五秒的查询,以及可配置的回退仓库。回退仓库是指当请求超出交互式系统限制时,替代的执行目标。
这些细节说明,仅凭产品名称无法定论比较结果。一个平台可通过不同的执行路径满足应用需求。买家需要了解哪些请求会留在快速路径中,哪些会转由其他路径处理,以及这对成本意味着什么。
智能体会使这一评估更加复杂,因为其请求模式可能在使用过程中发生变化。一个起初以可预测查询为主的工作流,可能扩展为更广泛的分析。如果产生的查询表现不同,那么最初看似吸引人的性能表现,可能不再能够描述完整的应用。
这并不能证明任何一家供应商更具优势。它指出了公平评估需要呈现的内容。等效测试应使用相同的数据、访问要求、请求模式和应用预期。改变这些条件的比较,衡量的是承担不同任务的不同产品。
同一原则也适用于 Pinot 和 Druid。VisionHeight 和 nOps 报告的迁移案例,描述的是在各自特定环境中作出的决策。它们并不能证明所有这些技术的部署都应迁移。现有专业能力、流量特征和运营要求,都可能支持不同的选择。
专用服务系统还为团队划定了应用流量的明确边界。整合式平台会改变这一边界,并需要相应的资源管理。该变化是否有益,取决于产品需求以及组织运营由此形成的架构安排的能力。
对供应商而言,压力在于让每种边界的收益变得清晰可见。服务数据库需要证明其额外部署的合理性。整合式平台则需要表明,它能够承接应用需求而不损害所需行为。当这些论点有可复现的工作负载证据支持时,都会更具说服力。
对买家而言,比较应从现有数据所在位置和实际请求分布开始。这样可以避免让经过精心调优的演示,与无关的生产部署展开失真的竞争。最佳架构方案,是能够在现实条件下满足应用要求的方案。
这保留了文章的核心冲突:独立的服务栈是否仍值得与数据仓库并存。Snowflake 的方法扩大了买家的可选方案,但并未为每一种工作负载解答这一问题。
更低的单位成本并不保证账单持平
降低单次请求的服务成本,并不能限制应用生成的请求数量。
这是标题承诺的根本限制。如果智能体执行更多工作,即使执行效率提高,总消耗仍可能上升。更低的单次请求成本创造了额外空间,但并不意味着无限容量,也不代表固定的支出承诺。
在评估已完成的任务时,这一区别会更加清晰。应用可以让每次数据库请求更便宜,却仍在有用操作之间发出不必要的请求。它也可以减少请求,却生成价值更低的答案。数据库效率和请求数量都无法单独反映产品价值。
因此,有意义的评估应将消耗与对业务重要的结果联系起来。对于销售助手,这可能是完成一项客户分析;对于客户仪表盘,这可能是一次能够获取最新信息且响应迅速的会话。合适的单位取决于应用本身。
公开的客户案例留下了验证缺口。它们提供了具名的使用场景和有价值的报告结果,但均由供应商挑选和呈现。这些案例并不构成经过独立审计的部署样本。读者不应将其视为普遍的节省成本分布。
衡量边界同样需要审视。基础设施成本可能不包括迁移投入、支持安排、开发时间或其他平台支出。即使存在这些排除项,表面上的成本降低仍可能具有意义。但买家在将结果纳入预算前,仍需了解其中包含哪些费用。
性能也需要同等精确的界定。平均响应时间可能掩盖用户在流量高峰期间遇到的较慢请求。尾部延迟描述的是分布边缘附近的这些较慢响应。即使典型请求看起来令人满意,应用仍可能给人不稳定的体验。
数据新鲜度是另一项独立要求。新鲜度描述底层信息反映源事件的及时程度。快速返回结果,并不能证明结果包含最新数据。当应用依赖当前信息时,服务评估必须同时考虑这两种属性。
访问控制同样仍是应用层面的关注点。查询引擎无法仅因智能体执行了获授权的请求,就判断其是否选择了正确的业务操作。团队仍需要围绕智能体如何使用返回信息,配置恰当的身份、权限和保障机制。
前文对 beta 的表述也值得关注。针对选定只读工作负载的方案,其定位比替代所有数据库角色更为有限。只读意味着检索信息而不更改底层记录。会更新业务状态的智能体,会引入超出分析查询服务范围的要求。
这些区别并不否定所报告的节省。它们解释了为何这些结果应触发调查,而非自动采纳。有价值的怀疑立场会追问:哪些假设适用于特定部署,以及什么证据会推翻最初的结论。
对于“Lakehouse//RT: Scale real-time analytics, not your bill”,可辩护的解读是在合适条件下改善经济性。保证支出不变需要不同的商业承诺。已发布的性能和客户主张并未提供这种承诺。
关注可复现性、采用情况与竞争性经济效益
下一阶段的证据应表明,报告中的收益是否能在更广泛应用范围的日常运营条件下持续存在。
第一个信号是更具可复现性的工作负载报告。未来数月,买家应关注披露请求模式、数据特征、资源设置和衡量边界的比较。覆盖活跃时段和较平静时段的结果,将有助于说明节省从何而来。
如果这些证据显示,在具有代表性的应用行为中仍具备良好经济性,将强化 Databricks 的论点。如果收益依赖于异常狭窄的条件或有利的基线,则会削弱广义解读。无论结果如何,都会通过以更清晰的边界取代模糊承诺,改善采购决策。
可复现性还要求服务预期具有可比性。能够容忍更慢响应的低成本结果,无法回答要求稳定交互性的买家问题。相对于不同数据集测得的更快结果,则呈现另一种不匹配。当这些义务保持明确时,公开的比较会更有价值。
第二个信号是在获得密切支持的客户案例之外的采用情况。更广泛的生产报告应披露迁移投入、持续调优要求以及适合的工作负载范围。随着产品发展,产品文档也应澄清当前可用性和受支持的行为。
如果团队能够在没有例外程度供应商参与的情况下重复完成迁移,这一信号将强化整合方案的理由。如果采用始终需要大量定制或对应用进行重大变更,则会缩小其适用范围。一次成功的辅助迁移仍是有价值的证据,但它回答的问题不同于常规部署。
持续使用与最初迁移同样重要。迁移公告记录的是某个时间点。后续报告可以揭示,随着数据、用户和产品功能发生变化,成本和响应时间将如何表现。这才是架构决策转化为运营记录的地方。
第三个信号是在等效条件下竞争方案的经济性。Snowflake 的交互式执行路径和现有专用服务部署,值得按照相同的业务要求进行比较。买家应关注能够计入闲置资源、回退执行、数据移动和运营投入的证据。
竞争性结果会削弱任何关于整合节省成本仅属于某一家供应商的主张。但这不一定会削弱重新考虑独立服务栈的更广泛论点。多个可信选项可能使这一决策更容易作出,同时也会增加对每家供应商解释其取舍的压力。
目前,Databricks 已提供了重新审视架构的具体理由。这些案例将实时服务与基础设施整合联系起来,而非将速度视为唯一结果。它们仍属于需要按工作负载进行验证的客户体验报告。
在批准迁移之前,应明确重要的应用结果、所需的响应时间,以及比较中包含的费用。将这些假设与测试结果和运营发现一并保存,以便其他团队能够质疑该决策。请问,拟议架构是否消除了足够多的工作量,以证明采用它是合理的;随着智能体行为不断扩展,应用是否仍能保持可负担性?Databricks Lakehouse//RT 为买家提供了一个可供评估的具体选项。下一步有价值的做法,是使用产品实际产生的流量,将其与您实际运行的服务架构进行比较。哪个系统既能提供所需体验,又能让团队拥有最清晰的运营职责?



