top of page

Databricks BigQuery 迁移是一次战略转向,而非仓库置换

8月6日
讀畢需時 14 分鐘

Databricks 发布了新的 BigQuery 迁移框架,但这一方案远不止是在两个云数据平台之间迁移 SQL 查询。Databricks BigQuery 的决策要求企业重新思考分析、工程、治理和 AI 工作负载应在何处汇聚。因此,这是一项运营模式选择,而非例行的数据库替换。

BigQuery 因其无服务器模式而成为常见起点:它免除了基础设施管理,让团队能够快速运行分析查询。Google 仍将这些特性视为该产品的核心优势。当企业希望为商业智能、数据工程、机器学习和生成式 AI 提供统一且受治理的环境时,矛盾便会显现。

Databricks 认为,更广泛的工作负载组合更适合采用 lakehouse 架构:多个处理引擎可在云对象存储中对受治理的数据进行操作。然而,迁移并不会自动实现这一结果。团队必须转换代码、重新设计控制机制、验证性能并保持业务连续性,新架构才能真正体现其价值。

因此,真正的竞争并非 Databricks 对阵过时的数据仓库,而是统一 lakehouse 战略与 BigQuery 不断扩展的无服务器数据平台之间的较量。Google 已加入开放表格式、机器学习、治理和外部数据访问功能,因此企业必须以自身工作负载来检验所谓的优势。

Databricks BigQuery 框架改变了迁移问题

Databricks 正围绕企业架构重新定义迁移,而不是将其视为表和 SQL 的机械转移。

该公司的迁移框架源于企业常见的问题。BigQuery 可以很好地支撑初始分析项目,但其周边环境往往会扩展出用于摄取、转换、机器学习、治理和 AI 的独立工具。

Databricks 将整合定位为重新审视这一架构的理由。其平台集成了 SQL 仓库、工程流水线、笔记本、模型开发和集中式治理。目标并不只是换一个运行仪表板的地方。

这一差异改变了领导者定义项目的方式。数据仓库替换侧重于架构兼容性、查询转换、数据传输和切换;战略性迁移还必须决定哪些工作负载应当整合、哪些应保持独立,以及哪些运营实践需要改变。

Databricks 文档将 lakehouse 迁移描述为一种让分析、数据科学和机器学习基于同一底层数据运行的方式。其当前的迁移指南也间接提醒,整合取决于工作负载的一致性。现有流水线、笔记本、库和数据仓库惯例不会仅仅因为目标平台支持更多功能而消失。

因此,在开始任何传输之前,有效评估应盘点六个领域:

  • 数据资产,包括托管表、外部表、视图、物化结果和历史归档

  • SQL 代码,包括存储过程、用户定义函数、脚本和 BigQuery 特有语法

  • 流水线,包括批量摄取、流式处理、编排和数据质量检查

  • 消费层,包括仪表板、报告、API、数据导出和定时任务

  • 治理控制,包括身份、权限、脱敏规则、血缘和审计要求

  • 高级工作负载,包括 Python 笔记本、模型训练、特征处理和生成式 AI 应用

这份盘点可揭示项目是否具备战略理由。如果大多数生产活动由稳定的 SQL 仪表板构成,且工程或 AI 工作有限,那么整合可能带来很少收益。如果团队反复在彼此割裂的系统之间复制数据,整合的理由就会更充分。

该框架也改变了衡量成功的指标。完成传输并不足够。成功意味着关键工作负载在切换后达到商定的性能、可靠性、治理和可用性目标。

这一要求看似显而易见,但大型迁移往往按对象数量衡量进度。团队会庆祝表已转换或查询已翻译,却忽视未解决的访问规则、仪表板差异和运营流程。更好的做法是跟踪已验证的业务工作负载,而不是已迁移的文件。

这一事件之所以重要,是因为 Databricks 正将 BigQuery 迁移转变为对 Google 平台战略的直接挑战。但 Google 并未停步,这使得证据比定位宣传更重要。

为什么 BigQuery 用户面临更复杂的选择

BigQuery 的优势让迁移决策更加困难,因为企业离开的并非一个失败系统,而是成熟的无服务器平台。

Google 的 BigQuery 概览将其描述为一个计算与存储层分离的全托管平台。用户无需管理传统数据库基础设施,便可通过 SQL 和 Python 分析结构化与非结构化数据。

这种运营模式依然很有吸引力。分析师可以快速上手,管理员则无需为持久化数据库服务器进行容量规划。BigQuery 还支持按需处理和预留计算容量,为组织提供不同的分析需求管理方式。

其架构将计算与存储分离,使每一层能够独立扩展。这一设计推动了现代云数据仓库模式的形成,至今仍是 BigQuery 最重要的优势之一。

Google 还将该平台扩展到了传统数据仓库之外。BigQuery 包含机器学习、地理空间分析、搜索、流式摄取、治理能力以及外部数据访问。它在其数据平台的部分功能中支持 Apache Iceberg、Delta Lake 和 Apache Hudi。

这些新增能力削弱了这样一种过于简单的说法:BigQuery 是封闭数据仓库,而 Databricks 是开放 lakehouse。真正的差异体现在实现细节、工作负载行为、治理边界、引擎选择以及存储数据的所有权上。

例如,Google 的 Iceberg 托管表将数据存储在客户控制的 Cloud Storage 存储桶中。其 Iceberg 文档表示,开源和第三方引擎无需迁移底层数据即可访问这些表。

这为 Databricks 提出了重要反驳。寻求开放格式或多引擎访问的企业,未必需要进行全面的平台迁移。它或许可以在保留该服务运营简便性的同时,对 BigQuery 环境的部分环节进行现代化改造。

不过,功能可用并不保证运营结果等同。企业仍需审视每个平台能否在 SQL、文件、模型、笔记本、流水线和 AI 资产之间一致地实施治理;还需要测试外部引擎访问是否满足其安全和延迟要求。

压力主要落在分析体系已超出最初边界的组织身上。它们通常使用 BigQuery 进行报表,在数据工程中使用独立的 Spark 服务,为机器学习部署另一套环境,并额外使用目录或编排产品。

每一道边界都会带来工作量。团队需要重复配置权限、协调元数据、传输数据、监控多个系统,并跨服务边界排查故障。财务问题不只是查询消耗,还包括人力、重复存储、网络传输、可观测性和更慢的交付速度。

Databricks 提出以整合作为回应。Google 则提供一个不断扩展的平台,同时保留 BigQuery 的托管体验。两种答案都不会天然胜出。

决策应从量化摩擦开始。领导者应识别当前技术栈在哪些地方造成延迟、控制重复或反复的数据移动。缺乏这些证据时,迁移可能只是用陌生的复杂性替代可见的复杂性。

这正是新框架在此时出现的原因。企业希望分析和 AI 共享可信数据,但也希望减少运营负担。当统一需要大规模重新设计时,这两个目标可能相互冲突。

真正的竞争是统一工作负载与托管简便性

核心权衡在于,更广泛的工作负载统一是否足以证明放弃用户和运营人员已熟悉的 BigQuery 惯例是合理的。

Databricks SQL 在 lakehouse 数据上提供数据仓库式的查询基础设施。SQL 仓库是一种用于查询和探索受治理数据的计算资源,而无服务器选项可减少直接的基础设施管理。

该平台还将工程和机器学习工作负载纳入同一环境。数据工程师可以构建增量流水线,分析师可以查询生成的表,数据科学家则可以通过笔记本使用受治理的资产。

Unity Catalog 提供控制层。Databricks 表示,它可实施访问策略、记录血缘、记录活动日志,并在参与的工作区中治理数据和 AI 资产。当企业希望用一种授权模型覆盖 SQL 表以外的资源时,这一范围尤为重要。

BigQuery 则以不同路径实现简便性。它将大部分基础设施隐藏在无服务器服务之后,并围绕 Google Cloud 项目和数据集组织数据。对于已使用 Google Cloud 身份、计费、网络和安全控制的团队而言,这一模式十分熟悉。

实际比较应涵盖多个维度。

工作负载范围

  • BigQuery:以无服务器分析为核心,同时纳入工程、机器学习、搜索、流式处理和外部数据功能。

  • Databricks:以 lakehouse 环境为核心,覆盖 SQL、工程、数据科学、机器学习和 AI 开发。

数据架构

  • BigQuery:在 BigQuery 中存储托管分析数据,并可查询外部或联邦数据源。

  • Databricks:在云对象存储中的数据上运行 lakehouse 工作负载,通常通过 Delta Lake 表实现。

治理

  • BigQuery:使用 Google Cloud 资源结构、数据集控制、策略功能、血缘和 Knowledge Catalog 能力。

  • Databricks:使用 Unity Catalog 治理表、文件、函数、模型及其他数据或 AI 资产。

开发者体验

  • BigQuery:为以 SQL 为中心的团队提供托管界面、Python 支持以及跨 Google Cloud 的集成。

  • Databricks:结合 SQL 界面、笔记本、作业、代码仓库、流水线和模型工作流。

运营变更

  • BigQuery:让既有用户继续在现有无服务器模式中工作。

  • Databricks:要求团队采用新的命名空间、权限、计算概念、部署方式和运营流程。

最后一个维度往往受到的关注不足。平台能力只有在人们能够可靠地运营时才有意义。迁移可能简化架构图,却会在过渡期间让日常工作变得更困难。

SQL 转换正说明了这一问题。BigQuery 使用的 GoogleSQL 功能和行为,并不总能直接映射到 Databricks SQL。团队必须审查函数、过程逻辑、数据类型、日期处理、数组、嵌套数据以及性能假设。

Databricks 现已提供一款可接受 BigQuery 和其他 SQL 方言的智能代码转换器。其转换器文档称,这款处于 beta 阶段的工具会分析源脚本,将其转换为 ANSI SQL,验证输出,并尝试迭代修复。

文档中列出的限制同样重要。一个转换批次最多可包含 300 个文件,每个脚本最多可包含 1,000 行。更重要的是,自动转换无法证明业务等价性。

查询可以成功执行,但仍可能返回不同结果。Null 行为、隐式类型转换、时间戳解释、近似函数和嵌套结构,都可能造成细微差异。验证必须将输出与可接受的容差范围及真实业务预期进行比较。

正是在这里,databricks bigquery migration 成为推动组织变革的机制。它迫使团队识别隐藏依赖、未文档化的逻辑、未使用的资产以及不一致的控制措施。这一发现过程可以创造价值,但也会使项目规模超出最初的技术预估。

分阶段切换比全平台重写更安全

最稳健的迁移策略,是按受控的业务能力组推进,并将回滚视为常规工程要求。

一项务实的计划应从发现和分类开始。团队应根据每项工作负载的负责人、使用者、服务预期、依赖关系、敏感性和变更频率进行梳理。在投入转换工作之前,还应识别哪些资产已经过时。

下一步是开展具有代表性的试点。一个有价值的试点不应只包含简单的仪表盘,还应结合数据摄取、转换、治理、有实质意义的 SQL 工作负载,以及至少一个下游使用方。

试点应在现实条件下测试拟议架构,包括正常流量、需求峰值、延迟到达的数据、模式变更、权限变更,以及从失败作业中恢复的能力。

随后,团队可按业务领域或依赖关系组定义迁移波次。例如,一个客户分析领域可能包含其源数据流、转换流程、精选表、仪表盘、访问规则和机器学习特征。

将整个领域一并迁移,可以减少长期的跨平台依赖。但每个波次仍必须足够小,以便验证和回退。

一个稳健的流程包含五个阶段:

  1. 发现与分类。 盘点工作负载、依赖关系、负责人、控制措施和服务预期。

  2. 构建基础。 配置云存储、网络、身份、Unity Catalog、计算策略和可观测性。

  3. 转换与核对。 在比较输出的同时,转换模式、SQL、管道和编排。

  4. 并行运行。 在约定的验证周期内,同时执行源端和目标端工作负载。

  5. 切换与退役。 逐步重定向使用者,监控服务指标,并仅在验收后停用原有系统。

并行运行会带来临时重复,但能减少不可逆的错误。关键报表可以继续在 BigQuery 中运行,团队则可对比 Databricks 的输出。管道负责人可以在变更使用者之前,检查数据新鲜度、完整性和故障行为。

双轨运行还能够在真实需求下暴露成本和运营差异。合成基准测试很少能够捕捉并发模式、仪表盘突发访问、临时探索、数据倾斜或低效的遗留查询。

验证计划应在团队看到结果之前就定义验收标准。否则,利益相关方可能重新解释阈值,以维持一个已经延迟的项目继续推进。

至少,每项工作负载都需要检查:

  • 行数和关键聚合结果

  • Null 分布和重复数据行为

  • 时间戳和时区一致性

  • 模式与数据类型兼容性

  • 查询结果等价性

  • 管道新鲜度和恢复能力

  • 仪表盘筛选和下钻行为

  • 访问控制与脱敏结果

  • 血缘和审计可见性

  • 代表性并发负载下的性能

基础设施即代码同样应发挥核心作用。工作区、存储凭据、目录、模式、授权、网络规则和计算策略都应可重复构建。手动配置会导致测试不一致,也会增加回滚难度。

同一原则也适用于文档。架构决策、查询例外、负责人变更和验证证据,应在项目结束后仍可被检索。工程团队可以使用技术知识库,在设计记录、脚本、测试结果和操作流程之间保留这些上下文。

一个迁移波次的结束标志应是运营就绪,而不只是完成部署。支持团队需要告警、运行手册、升级路径、恢复流程和清晰的责任归属。用户则需要与实际工作相符的培训,而不是泛泛的平台导览。

这些控制措施会放慢第一波迁移,但会让后续波次更快、更安全。它们也将战略性迁移与仓促重写区分开来。

迁移论证未能证明什么

Databricks 可以提出可信的平台整合主张,但这并不能证明每个 BigQuery 环境都应迁移。

源文章来自 Databricks,该公司对推动迁移拥有直接的商业利益。因此,其框架应被视为一项结构化提案,而非证明其具有普遍优势的独立证据。

最大的未知因素在于工作负载经济性。两个平台都提供多种计算方式、优化功能和运营控制。实际消耗取决于数据布局、并发量、查询设计、缓存、管道频率和治理要求。

基于单条查询或单项基准测试进行的宽泛成本比较,会误导决策者。它可能忽略工程人力、临时双轨运行、网络传输、再培训、代码修复以及维护例外情况的成本。

性能主张也需要同样谨慎地看待。仪表盘查询、流式管道、模型训练作业和探索性 notebook,对平台不同部分施加的压力并不相同。具有代表性的评估需要涵盖多种工作负载类别,并在稳定测试条件下进行。

开放性同样需要精确表述。Databricks 强调开放湖仓格式以及存储在对象存储中的数据。Google 目前也支持 Iceberg 托管表,并允许其他处理引擎访问。

真正有意义的问题更具体:哪个引擎能够安全地写入表?哪个目录拥有元数据?变更多快能被其他系统看到?哪些安全控制会随数据一同生效?当另一个引擎修改文件或元数据时会发生什么?

治理迁移带来了另一项风险。BigQuery 权限无法自动转换为 Unity Catalog 授权。Google Cloud 项目、数据集、服务账号、授权视图、行级策略和列级控制,可能反映了多年来形成的组织决策。

重建这些机制不只是语法转换。团队必须判断旧模型是否仍然合适,然后证明新模型保留了最小权限和监管控制。

身份映射也可能造成隐藏暴露。通过某个项目或群组层级获得访问权限的用户,在目录重组后可能获得更广泛的访问权限。自动化测试应验证用户、群组和服务主体的正向与负向权限。

商业智能依赖又增加了一层复杂性。仪表盘可能嵌入 BigQuery 专属 SQL、缓存提取、调度行为或服务账号权限。即使目标平台支持相同的 BI 产品,连接变更也可能改变性能和刷新行为。

在迁移大型数据集之前,必须审查数据驻留和网络设计。区域、存储位置、私有连接、加密密钥和恢复安排,都可能限制目标架构。

一些组织可能会得出结论:共存才是更优策略。它们可以保留稳定的 BigQuery 报表工作负载,同时将 Databricks 用于工程、数据科学或特定 AI 项目。在业务理由充分的情况下,联邦访问或受控复制可以连接两个平台。

共存并非没有成本。它会保留重复的治理机制和跨平台依赖。然而,这可能比强制将每项工作负载置于同一环境中更理性。

可信的决策流程应允许三种结果:迁移、原地现代化,或有意识地采用混合模式。如果评估从一开始就假定必须迁移,那么它提供的是采购支持,而非架构分析。

三项信号将表明该策略是否奏效

只有当企业能够展示可重复的转换、可衡量的工作负载收益,以及切换后的持久治理能力时,迁移论证才会变得更有说服力。

第一个信号,是具有代表性的 BigQuery 迁移所提供的生产证据。采购方应寻找将数据传输与工作负载现代化明确区分的详细案例。

有用的证据包括:需要手动修复的查询比例、验证失败率、迁移耗时、并行运行时长,以及切换后的可靠性。只报告笼统性能提升的案例研究,对于理解运营变化帮助甚微。

证据还应说明原始工作负载。批处理报表环境与包含流式管道、嵌套数据、过程式 SQL、notebook 和严格访问控制的环境,存在很大差异。

如果 Databricks 能够在这些工作负载类别中发布可重复的结果,其平台整合主张将更具说服力。如果案例仍然具有选择性,或省略迁移工作量,企业就应维持保守估算。

第二个信号,是迁移自动化的成熟度。智能代码转换器可以减少重复性工作,但它仍是一项 beta 功能,并且存在文档中列出的批次和文件限制。

重要的发展并不在于该工具是否能生成语法有效的 SQL。采购方应关注它是否扩大覆盖范围、生成透明的验证证据、处理更多 BigQuery 专属构造,以及是否能集成到受控审查工作流中。

企业还应跟踪自动化在发现 SQL 文件之外依赖关系方面的可靠性。存储过程、编排定义、仪表盘查询、权限和定时传输,往往决定了项目的真实范围。

更高程度的自动化将通过降低转换人力来强化战略论证。持续存在的缺口则会进一步证明分阶段迁移和专家审查的必要性。

第三个信号,是 Google 的竞争性回应。BigQuery 已支持开放格式、联邦访问、嵌入式机器学习、流处理和更广泛的治理功能。

Google 的 Iceberg 方向尤其重要,因为它回应了有关数据控制和互操作性的担忧。更深入的多引擎支持、更强的 AI 集成或更简单的跨工作负载治理,都会削弱企业必须通过迁移才能获得这些益处的主张。

因此,Databricks 必须展示的不只是功能广度。它还必须证明,其组件能够在生产压力下作为一个协调一致的环境运行。

企业可以通过一系列简短的决策来评估这一主张。首先,识别现有 BigQuery 环境中可衡量的问题。其次,选择能够暴露这些问题的代表性工作负载。第三,构建一个受治理的 Databricks 试点,并将其与在 BigQuery 内部进行现代化改造的方案进行比较。

最终决策应以该比较得出的证据为依据。架构图、厂商路线图和功能清单可以指导测试,但无法取代测试本身。

对于拥有重复数据管道、治理碎片化以及不断增长的 AI 需求的组织而言,databricks bigquery migration 值得认真评估。其机会在于为分析和 AI 构建共享的数据基础。其风险则是投入大量资金重建成熟工作负载,却未能消除促使迁移的复杂性。

在批准项目之前,请先问一个问题:此次迁移将消除哪项经过测量的业务或工程约束?如果团队能够明确这项约束、对其进行测试并验证结果,那么该框架就能成为一项战略。缺少这种纪律,它仍然只是昂贵的平台偏好。

 
 

免费开始使用

一款本地优先的AI助手

为了获得更好的人工智能体验,

remio 目前仅支持Windows 10+ (x64)和M-Chip Mac 。

你的 AI 工作伙伴

和 remio 一起高效工作

规划、创作、交付

一站式完成

bottom of page