top of page

Google BigQuery 生成式 AI 成本管理为 Token 支出踩下刹车

10月19日
讀畢需時 13 分鐘

Google 已正式推出 BigQuery 生成式 AI 成本管理,为可处理数百万行数据库记录的函数增加每日 Token 配额。这项调整解决了 AI 驱动分析中固有的矛盾:SQL 让大规模调用模型变得简单,而按 Token 计费则让最终成本更难预测。

管理员现在可以为生成式 AI Token 消耗设置自助式防护栏。分析师仍可通过 SQL 使用 AI.GENERATE、AI.IF、AI.CLASSIFY 和 AI.SCORE 等函数。不过,其工作负载将在每日消耗边界内运行,而不再面对实际上没有上限的 Token 预算。

随着 Google、Amazon Web Services 和 Microsoft 将生成式模型进一步推向企业数据,这一区别尤为重要。竞争不再局限于模型质量或开发者便利性。云平台还需要提供控制机制,使 AI 工作负载能够被财务、安全和数据治理团队接受。

BigQuery 生成式 AI 成本管理改变了默认模式

Google 正将 Token 消耗从事后产生的计费结果,转变为管理员可在工作负载无限运行前加以约束的资源。

BigQuery 已允许团队从熟悉的数据工作流中调用模型。企业无需将每一行数据导出到独立应用程序,即可对客服对话分类、从文档中提取信息、为评价打分或生成文本。

Google 的生成式 AI 函数通过由模型支持的操作扩展了 SQL。数据分析师可以描述所需任务,而 BigQuery 会协调底层模型调用。

这种易用性带来了不同寻常的规模效应。普通 SQL 转换会对行应用确定性逻辑,并消耗可衡量的计算资源。生成式函数则会将内容发送至模型,再由模型为每项操作消耗输入和输出 Token。

在一千行数据上测试的查询可能看似成本低廉且无害。将同一表达式应用于包含数百万条记录的生产表,支出状况会立刻改变。

Google 的新控制机制为基于 Token 的消耗引入了每日配额。管理员可以设定上限,而获授权用户仍可通过既有的 BigQuery 界面继续工作。

该配额是一项防护措施,而非固定价格套餐。实际费用仍取决于在达到上限前所使用的模型、请求和消耗的 Token。

这一点将成本控制与成本估算区分开来。估算试图预测工作负载将花费多少;配额则定义了消耗在特定期间内能够推进到何种程度。

这一区别也将配额管理与普通查询优化区分开来。删除未使用的列或筛选行仍然很重要,但这些技术本身并不会形成明确的 Token 上限。

在 Google 于 BigQuery 中引入更多生成式操作后,该功能现已达到正式发布阶段。GA 表明,Google 现将该能力定位为可用于生产环境,但须遵守其已记录的可用性和服务条款。

该公司的公告重点强调由管理员设置自助式控制。这种结构避免了要求中央平台团队手动批准每一项实验。

取而代之的是,团队获得了一个有边界的环境。分析师可探索模型辅助 SQL,直至消耗达到组织选定的每日阈值。

这种安排改变了运营默认模式。此前,面对不确定的 Token 支出,最稳妥的应对方式可能是完全限制对生成式函数的访问。

每日配额提供了一条中间路径。组织可以允许访问,同时限制由意外全表扫描、低效提示词或异常冗长回复带来的财务风险。

因此,此次发布不仅关乎又一项计费设置。它决定了由模型支持的 SQL 能否从孤立测试走向日常分析工作流。

Google 并未消除工作负载设计的必要性。相反,当设计假设失效时,该功能为管理员提供了最后一道边界。

当多个用户共享一个项目时,这一道边界尤其有价值。否则,一位分析师的实验性查询可能会与定时作业及其他团队争夺同一预算。

每日控制机制也契合许多分析运营的节奏。它们能够限制失控工作负载,而无需管理员根据每一种查询变化预测准确的月度总额。

实际变化很直接:BigQuery 的 AI 函数依旧易于调用,但其消耗不再必须在财务上毫无边界。

Token 计费让便捷的 SQL 变成预算风险

让模型驱动分析易于使用的同一种抽象,也可能掩盖令其成本上升的倍增效应。

生成式 AI 函数减少了将结构化数据与大语言模型连接所需的工程工作。它们也让一条简短语句能够触发大量独立的推理操作。

以拥有传入工单表的客服团队为例。它可能使用 AI.CLASSIFY 为每条消息分配服务类别。

小样本有助于团队完善指令。随后,生产查询会评估每一张符合条件的工单,每一行都会向模型输入文本。

同样的模式也适用于情感评分。零售商可以对产品评价运行 AI.SCORE,但 Token 总量会随着评价长度、行数和所要求的输出而增长。

生成任务还会增加另一项不确定性来源。输入大小可在提交前测量,而输出长度则部分取决于模型和提示词。

这些特性使 Token 工作负载不同于固定软件许可证。用量按计量计费,而看似微小的选择可以在大型数据集中被成倍放大。

这种风险并非 BigQuery 独有。云服务商正日益通过计量服务提供基础模型,包括 Vertex AI 配额及类似的托管平台。

BigQuery 带来了一项特殊复杂性,因为数据库天生就是为规模化而构建的。其目的在于高效地对大量记录执行一条指令。

当每条记录都会发起一次可计费的模型操作时,这项优势可能变成财务风险。一个有效查询即使没有遇到传统技术错误,也可能产生不理想的账单。

现有的云预算和告警仍然重要。不过,告警通常是在用量已累积后,才告知组织支出已越过某个阈值。

硬性消耗配额更早发挥作用。它限制的是产生费用的资源,而非仅报告最终金额。

这种差异类似于速度表与限速器之间的差距。两者都提供控制信息,但只有其中之一设定了边界。

配额并不能回答所有预测问题。Token 价格可能因模型而异,不同任务也可能产生不同长度的输出。

它同样无法判断所消耗的 Token 是否带来了有用的业务结果。工作负载可能保持在配额内,却生成需要大量修正的分类结果。

因此,团队需要两类衡量方式。运营指标跟踪消耗,评估指标则跟踪质量、准确性和下游实用性。

该功能为财务和平台团队提供了具体的执行机制。它并不能取代设定合理上限所需的分析工作。

设定过高的配额几乎无法提供实际保护。设定过低的配额则可能中断合法处理、延迟定时作业,或促使团队将工作负载分散到不同项目中。

这种张力使所有权变得重要。管理员需要了解哪些应用共享同一配额,以及哪些工作负载具有优先级。

生产分类不应因为探索性生成查询耗尽当天额度而失去处理能力。除了配额外,团队还需要项目边界、调度政策和明确的升级路径。

Google 更广泛的 BigQuery 配额文档表明,限制已如何塑造数据库运营。生成式函数则将 Token 消耗纳入这一既有的治理模型。

这正是数据领导者面临的即时压力。他们必须将提示词和模型调用视为受治理的计算资源,而不只是巧妙的 SQL 表达式。

这种压力也延伸至分析师。他们需要针对具有代表性的样本进行测试,筛选不必要的行,并避免反复处理未发生变化的内容。

开发者也面临相关任务。应用程序必须将配额耗尽视为预期状况,而不是将其当成原因不明的服务故障。

每日上限让这些责任变得清晰。SQL 的便利性依旧存在,但其经济成本不能再隐藏在查询背后。

Google 同时销售访问能力与约束机制

核心矛盾在于自助式 AI 采用与集中式财务控制之间,而不在于 BigQuery 与另一种数据库之间。

云服务商希望更多用户将生成式模型嵌入日常工作流。每增加一项工作负载,都可能提升平台使用量并强化周边数据生态系统。

企业买家同样希望获得访问能力,但他们也需要可预测的运营。任何人都能针对大型表调用的功能,在创造持久价值之前,首先会带来治理问题。

Google 的答案是将赋能与约束打包在一起。团队可以继续使用熟悉的 SQL,而管理员则可为 Token 消耗设置每日上限。

这种平衡很重要,因为集中式审批难以良好扩展。若要求平台工程师审查每一项分类或提取测试,采用进程可能会放缓,直至用户自行建立非正式替代方案。

不受限制的访问会导致相反的失败模式。实验迅速扩散,但财务团队只能通过发票或预算告警发现它们。

自助式配额处于这两个极端之间。它们让组织能够决定愿意容忍多少实验,而无需预先评估每一条查询。

这种方法也让 Google 能够回应企业采购方面的担忧。当买家能够识别出与消耗直接关联的技术控制措施时,模型访问权限会更容易获得批准。

这一机制与既有的云治理方式保持一致。组织已在使用身份控制、服务配额、预算监控和项目边界来限制基础设施使用。

生成式 AI 让这些系统变得复杂,因为 Token 并不能整齐地映射到存储字节或预留处理器等熟悉单位。一条简短提示词可能会扩展至许多行。

Google 正将这一陌生单位纳入云客户已熟悉的管理模式。用户看到的是 SQL,而管理员看到的是可控资源。

Amazon Bedrock 也记录了模型调用配额,Microsoft 则发布了 Azure OpenAI 配额。它们的控制机制在范围和实现方式上有所不同,但行业方向是一致的。

托管式 AI 服务日益在治理能力以及模型访问方面展开竞争。企业采用取决于使用限额、身份策略、监控、可审计性以及可预测的故障行为。

BigQuery 的定位为 Google 带来了实用优势。数据、查询引擎、权限与模型调用都可以保留在同一个托管环境中。

这种集成可以减少工程工作量。但它也提高了 Google 控制机制的重要性,因为单一界面既能访问高价值数据,也能调用按量计费的模型。

这一功能对内部平台团队施加的压力比对竞争厂商更为直接。一旦云服务商提供原生的支出边界,应用层限制就更难被视为充分保障。

仅依赖书面指南的团队如今有了更明确的替代方案:将政策转化为强制执行的每日限额。

财务团队也可能会问,为什么类似限额不能覆盖每一类由模型驱动的工作负载。BigQuery 的控制能力提高了人们对笔记本、智能体、搜索系统和自定义推理流水线的期待。

如果这一控制机制鼓励组织批准更多实验,Google 应能从中受益。不过,限制措施也可能压低带来云收入的使用量。

这一看似矛盾之处解释了此次发布。可持续的消费可能比突然激增、随后冻结新 AI 项目的消费更有价值。

一张意外账单会损害信任。可预测的限额让团队在了解工作负载行为后,能够有意识地提升容量。

因此,其商业承诺并不是生成式 AI 会变得廉价,而是客户可以决定自己愿意接受多少不确定性。

这一信息很可能引起正在超越演示阶段的企业共鸣。早期实验优化的是速度,而生产系统还必须优化可重复性与问责能力。

每日配额支持这一转变,因为它定义了故障边界。团队知道,工作负载无法在该周期内继续消耗超出配置额度的 token。

不过,这一边界属于平台的控制单位。组织仍需决定如何将配额映射到部门、产品与业务优先级。

最理想的结果将形成一个治理闭环。团队先设定保守限额,观察消耗量和质量,再依据证据调整容量。

如果没有这一闭环,配额可能沦为装饰性的上限,或是生硬的障碍。该功能创造了管理杠杆,但管理员必须审慎使用。

每日配额无法保证可预测的 AI 账单

BigQuery 生成式 AI 成本管理限制了 token 消耗,但并不能将可变的模型使用量转化为有保障的业务结果。

“可预测”一词需要谨慎看待。每日上限为受覆盖的消耗设定了最高边界,但最终财务影响仍取决于配置和使用情况。

管理员必须在了解所有未来工作负载之前选择配额。这一选择需要对行数、文本长度、模型行为和可接受的中断风险作出假设。

不同功能的用途也不同。分类可以产生简短输出,而生成则可能返回更长的响应。

提示词会随时间变化。添加示例、上下文或输出指令,会增加每条处理记录的输入量。

数据集增长会带来另一个变量。本月能轻松满足限额的查询,在新来源或历史记录进入表后可能耗尽额度。

重试会进一步增加消耗的复杂性。若应用在发生故障后再次提交相同工作,就需要采取措施防止重复处理。

配额也无法区分有价值的 token 与浪费的 token。两者都会计入边界。

准确的分类流水线和设计不佳的实验可能消耗相同额度。因此,成本治理不仅需要计量,还需要评估工作负载。

团队应将模型使用与可衡量的产出关联起来,例如已审核的工单、已接受的标签、已完成的摘要,或因模型而改善的决策。

在适当情况下,他们还应存储结果。重新处理未变化的文本会浪费 token,并且如果模型行为发生变化,还可能产生不一致的输出。

抽样仍然至关重要。分析师应先在有限且具有代表性的子集上验证提示词,再将查询扩展到整张表。

筛选同样重要。团队应确定哪些行确实需要模型推理,而不是默认对每条记录都应用函数。

确定性的 SQL 应处理确定性的任务。当可靠的规则、查找或正则表达式已能产生所需结果时,就没有必要使用模型。

这些实践并不会削弱配额的价值。它们解释了配额本身无法完成的事情。

此外还存在可用性问题。组织需要确认哪些项目、区域、函数和底层模型属于文档所述控制机制的范围。

他们应验证共享限额是否会影响无关作业。生产和实验可能需要使用独立项目或配额,以防止意外干扰。

故障处理值得进行明确测试。当消耗达到每日边界时,应用必须呈现清晰状态,并保留未完成的工作。

定时流程不应悄悄生成一个不完整的数据集,却让下游用户误以为结果完整。完成标记和行数可以暴露这一状况。

管理员还需要在额度耗尽前进行监控。若配额在缺乏预先可见性的情况下停止工作,虽然能够保护支出,却会带来运营上的意外。

预算提醒、使用仪表板和查询元数据仍然重要。配额应成为更广泛控制系统中的一层。

安全和隐私要求并未改变。支出限额并不能决定某些数据是否应该进入模型提示词。

团队仍需具备访问控制、数据分类、区域审查和获批模型政策。成本授权并不等同于数据授权。

最大的风险,是把这一功能当作立即扩大每个成功演示规模的许可。配额降低了最大风险暴露,但并不能证明某个应用值得获得生产容量。

这一决策需要有关准确率、延迟、审核成本和业务影响的证据。token 支出只是总运营成本的一部分。

当输出不可靠时,人工纠正成本可能超过模型费用。下游错误的成本可能超过两者之和。

因此,负责任的推广应将每次提高配额与评估阈值结合。只有当工作负载满足质量和实用性要求时,才增加容量。

Google 的公告支持这种谨慎解读。该公司将配额描述为预算护栏,而非规划或评估的替代品。

这一差异应始终处于核心位置。该控制机制限制工作负载能够消耗多少燃料,但不能决定这段旅程是否值得。

三个信号将表明这些护栏是否奏效

下一项考验在于,客户会利用配额扩大负责任的采用,还是仅用它来限制仍无法预测的工作负载。

第一个信号是配额级可观测性的质量。管理员需要及时的数据,按项目、函数、工作负载和组织负责人展示消耗情况。

单一的剩余 token 数字只具备有限的诊断价值。团队需要足够细节,以识别是哪个查询改变了支出模式及其原因。

清晰的仪表板和可编程监控将强化 Google 的论点。它们能让组织依据证据调整限额,而非依靠猜测。

薄弱的归因能力会削弱这一承诺。配额可以停止消耗,但若管理员无法追溯来源,就无法智能地管理它。

第二个信号是限额达到后客户的行为。生产应用需要平稳处理,而交互式用户需要可操作的错误信息。

组织应观察耗尽的配额是否导致不完整的表、错过计划任务或反复重试。这些结果会将财务安全转变为运营不稳定。

设计良好的恢复机制将增强该功能的价值。团队可以在重置后恢复延迟的工作,或通过升级流程处理已获批准的作业。

第三个信号是竞争平台如何将模型配额与数据服务连接起来。AWS 和 Microsoft 已为托管模型访问提供配额系统。

竞争问题在于,当分析师从数据库、数据仓库、笔记本和低代码工具中调用模型时,它们是否提供同样直接的控制能力。

更广泛的响应将确认,成本强制执行已成为企业 AI 基础设施的标准层。有限的模仿则表明 BigQuery 的集成能力仍具差异化。

客户还应关注 Google 自身的扩展路径。更多函数、模型和多模态输入将使一致的配额覆盖愈发重要。

若护栏仅覆盖 AI 工作流的一部分,可能制造虚假的信心。未覆盖的步骤可能成为下一个不可预测消耗的来源。

文档变更将很重要,因为管理员需要精确的范围说明。他们必须知道哪些 token 类型会被计入、计数器何时重置,以及共享资源如何交互。

定价文档同样重要。配额控制数量,而 BigQuery pricing 决定这些数量如何转化为费用。

更大的启示超越了 Google Cloud。生成式 AI 的采用正在从可选的聊天界面转向自动处理记录的系统。

自动化改变了财务风险。一个人只能提交有限数量的提示词,而一个查询可以在整个数据集上评估模型。

这种差异使机器强制执行的边界成为必要。写在文档里的政策无法在假设失效时阻止自动化工作负载。

BigQuery 的每日 token 配额是一项务实回应。它让管理员能够在不撤回面向用户的 AI 功能的前提下,直接限制消耗。

它们也带来了新的管理责任。必须有人设定限额、分配责任归属、监控耗尽情况,并决定何时有理由增加容量。

对于开发者和分析师而言,眼下的行动是将每个模型驱动的查询视作一道乘法题。统计符合条件的行数,估算提示词大小,限制输出,缓存结果,并测试故障处理。

对于企业采购方而言,问题更广泛:BigQuery 生成式 AI 成本管理是否提供了足够的可见性与控制能力,以批准更大规模的生产工作负载?

从受限数据集和保守的每日配额开始。同时衡量 token 和有用成果,然后仅在证据支持时扩大规模。这一过程会将 Google 的新护栏转化为运营纪律,而不是在一次昂贵查询后才被发现的又一项设置。

 
 

免费开始使用

一款本地优先的AI助手

为了获得更好的人工智能体验,

remio 目前仅支持Windows 10+ (x64)和M-Chip Mac 。

你的 AI 工作伙伴

和 remio 一起高效工作

规划、创作、交付

一站式完成

bottom of page