Google 扩展 BigQuery 智能体可观测性
Google 于 11 月 13 日扩展了 BigQuery 智能体可观测性,使生产监控更贴近企业数据,同时保留了对会话捕获的审慎限制。该公告涵盖 Google 的数据智能体、Looker 的对话式界面,以及已埋点的自定义智能体。其核心权衡很实际:更深入的检查会带来更多需要治理的信息,而隐私保护可能让调查人员只能获得不完整的记录。
对于数据与平台团队而言,这改变了生产环境的讨论方式。一个回答业务问题的智能体,如今需要有一名运营负责人能够说明故障、资源消耗和缺失的证据。一个可正常运行的聊天界面,并不能证明其底层服务已准备好投入更广泛的使用。
Amazon 的 AgentCore 已为生产智能体监控提供了另一个参考点。Google 的方法强调将智能体记录引入其分析型数据仓库 BigQuery。关键选择在于,组织应收集多少诊断细节,以及应允许谁查看这些细节。
BigQuery 智能体可观测性扩展至整个数据栈
Google 的智能体可观测性框架将其数据产品中的监控、会话记录和评估连接起来。可观测性是指收集帮助运营人员理解系统行为的证据。在这里,该公司希望这些证据能与企业数据团队已在分析的数据一同使用。
据 Google 介绍,托管式会话日志记录、BigQuery 监控仪表板和 Looker System Activity 仪表板现已全面推出。Looker 的响应与反馈审查功能仍处于预览阶段。原生第一方智能体评估同样仍处于预览阶段,这意味着生产监控公告所涵盖的能力,与仍在产品开发中的功能有所区分。
此次扩展为团队提供了更互联的运营视图,但整个技术栈中的功能可用性仍不一致。
这一区别会影响企业如何解读此次发布。全面可用的仪表板可以支持既定的运营流程;预览版审查功能则需要单独判断其成熟度是否符合组织需求。若将两者视为同样成熟,将掩盖公告中一个重要部分。
更广泛的转变涉及责任最终落在何处。当智能体成为业务报告的一部分时,其行为的影响范围不再局限于开发团队。数据所有者需要了解哪些信息支撑了答案;运营团队需要调查延迟;业务负责人需要证据证明员工获得了有用的结果。
将这些问题置于更接近分析环境的位置,为共同审查创造了机会。但这也让数据平台要为另一类敏感运营信息负责。会话记录应被视为业务记录,而非附带产生的调试输出。
例如,设想一名销售分析师询问某个区域预测为何发生变化。即使智能体误解了某项业务定义,最终回答看上去仍可能合理。调查需要区分答案质量问题、数据访问问题,以及底层操作缓慢的问题。
此次发布并不意味着这些区分会自动完成。它只是建立了一个更广泛的位置,用于收集和检查相关证据。分析工作仍取决于可获得的记录,以及审查人员所依据的业务预期。
这正是该公告的重要性超出又一次仪表板发布的原因。Google 正在让智能体运营成为数据平台更明确关注的事项。采用这一模式的企业必须决定,运营审查如何融入现有的数据所有权、访问管理和事件处理机制。
直接后果是组织层面的。团队不能再将智能体的对话界面视为完整产品。其监控边界、审查流程和证据保留方式,都会成为员工所依赖服务的一部分。
隐私保护改变调查人员能够看到的内容
Google 将汇总运营信息与更丰富的会话内容分开处理。遥测数据,即系统在运行时发出的测量信息,可以展示活动情况,而无需保留交互中的每一个细节。这种分离形成了不同层级的可见性,而不是一份涵盖智能体全部行为的通用记录。
会话日志文档描述了可选记录,其中包含问题、答案、耗时和模型使用情况。文档也明确了未包含的内容:底层 SQL、用于数据库查询的语言,以及详细的工具调用通常不会出现。不过,当 SQL 被包含在答案中时,仍可能出现。
在记录一次交互之前,服务会检查来源保护措施。行访问限制、列策略标签或动态脱敏都可能阻止日志记录。如果检查无法确认允许记录,它会跳过该记录。日志记录失败也不会导致聊天停止运行。
智能体可以成功作答,却为后续审查留下不完整的会话历史。
这种行为形成了一个关键的解读限制。缺失记录不能证明某次交互没有发生;同样,它也不能证明存在不当行为或产品故障。调查人员在根据证据缺失得出结论之前,必须理解收集政策。
这种保护至关重要,因为提示本身也可能包含机密信息。用户可能在智能体检索任何内容之前,就提到客户、未发布项目或内部假设。记录会话会新增一个需要妥善处理此类信息的位置。
实际张力存在于有用的诊断与正当的收集之间。隐私审查人员可以合理反对广泛保留对话记录;工程师也可能合理地需要更多上下文来调查存在争议的答案。产品提供了收集边界,但组织必须决定如何协调这些相互竞争的需求。
设想一个连接受限业务数据的财务助手。某位用户在报告周期内质疑它的回答。如果隐私保护阻止了对话记录的捕获,支持团队不应承诺能根据会话记录完整还原事件。
它需要另一条响应路径。这可能涉及用户提供的示例、经批准的复现,或利用其他获授权证据进行调查。恰当的选择取决于所涉信息和组织的规则。
相关风险还在于,谁能访问实际存在的记录。有权维护智能体的人员,并不一定需要不受限制地访问每位员工的问题。运营责任与会话可见性需要经过审慎协调。
这正是治理变得具体的地方。它意味着决定收集哪些证据、这些证据在多长时间内仍具价值,以及谁可以将其用于何种目的。具备访问控制的表格为这些决定提供了机制,但不会自动替人作出决定。
因此,对 Google 隐私设计最有力的解读是有限的。它为企业提供了在保持服务连续性的同时限制收集的方法;同时,它也要求企业接受某些事件将更难重建这一事实。
自定义智能体带来更深入的追踪与独立责任
Google 的智能体分析文档介绍了 Agent Development Kit(Google 的智能体框架)和 LangGraph(面向有状态智能体工作流的框架)的集成。文档中的 LangGraph 集成带有预览标识。
自定义应用需要埋点,即捕获活动并发送结构化事件以供分析的代码。Google 记录了框架集成和直接数据导入路径。它还将日志集成与其分析软件区分开来,后者会读取并评估由此产生的记录。
这些记录可能包括请求、响应、工具调用和错误。追踪记录,即一份相互关联的执行步骤记录,可以显示工作流在何处改变了方向。这类更深入的证据,不同于通过托管式会话日志捕获的较有限内容。
共享同一目的地,并不意味着托管智能体记录与自定义智能体追踪在细节程度或收集安全性上相同。
当企业听到“统一可见性”时,这一区别尤为重要。共同的分析归宿可以让记录更容易被一同检查,但这并不意味着每个智能体都会产生同等的证据,也不表示每项实施遵循相同的隐私政策。
一个自定义工作流可能会在查询数据库之前调用内部搜索服务。其工具参数可能包含客户标识符或机密搜索词。捕获这些参数有助于解释工作流,但也扩大了监控系统所持有的信息范围。
这使埋点成为一项数据处理决策。工程团队需要理解每个被捕获字段的内容;安全与隐私审查人员则需要足够的上下文,以判断这些字段是否应进入该目的地。
开发者的视角很直接:不完整的追踪会让故障难以诊断。如果工作流产生了错误答案,了解哪个工具返回了意外结果可以缩小调查范围。因此,更丰富的记录能够减少从何处开始调查的不确定性。
治理视角同样成立。更完整的执行记录可能会在原始应用边界之外复制敏感信息。组织必须考虑这份副本,包括能够检查它的人员和服务。
这两种视角都不能证明最大程度的收集就是正确默认选项。细节的适当程度取决于工作流、其敏感性,以及运营人员需要回答的问题。公共信息助手与内部人事助手面临不同的收集问题。
这也会影响智能体之间的比较。拥有详细工具记录的自定义应用,可能看上去比日志被有意限制的托管智能体更容易调查。这种差异既反映了收集设计,也反映了应用行为。
因此,审查人员应将表面上的可见性视为整个实施方案的属性。它包括应用、埋点、目的地权限和分析流程。没有任何单一仪表板可以代替对这些组成部分的理解。
对于维护多种智能体框架的组织而言,该公告提供了一种让运营分析更加集中开展的方法。剩余工作是确定:面对内容和收集规则不同的记录,哪些结论仍然有效。
用量仪表板无法取代支出控制
BigQuery 智能体可观测性也使资源消耗成为运营讨论的一部分。令牌,即模型在读取和生成文本时处理的单位,代表一种使用来源。当智能体为回答问题而运行查询时,数据库工作则带来了另一项需要关注的问题。
Google 的 agent 成本控制 包括对单次查询扫描字节数的限制。agent 会在执行前估算查询扫描量,并拒绝超过配置边界的工作。文档中的控制措施适用于按需计费,但对基于预留的工作负载存在限制。
同一份文档还介绍了项目和用户配额。它建议在适当情况下将高成本 agent 隔离到专用项目中。文档还指出,这些 BigQuery 查询配额并不提供单个 agent 配额,这与更广泛的 token 控制公告存在重要区别。
使用量图表可以说明消耗情况;而强制边界决定额外工作是否被允许继续执行。
这一区别改变了财务和平台团队应如何看待监控。仪表板可以揭示某个应用的运营成本是否上升,但无法追回已经消耗的资源,也无法判断这些消耗是否带来了有价值的结果。
因此,有效的成本讨论需要围绕结果展开。能够解决复杂业务问题的回答,可能比一次简单查询更值得投入资源。反过来,简短的回复也可能依赖不必要的数据库活动。仅凭回复长度,几乎无法作出判断。
在一个假设的分析师工作流中,这一挑战会更加明显。一名员工要求比较不同业务周期的数据。agent 选择了范围过宽的查询,随后又在后续追问后修改了答案。审查人员需要了解额外工作是否真正改善了结果。
支出边界可以阻止过大的查询,但被拦截的请求会引出另一个运营问题:用户是否会收到有助于恢复操作的说明?还是 assistant 会反复尝试执行环境注定会拒绝的工作?
此次发布应推动团队将这些行为结合起来评估。一个经常无法完成正当任务的受限 agent,并不必然意味着运营良好。一个虽然成功回答、却消耗了不必要资源的 agent,则带来了另一类问题。
预算归属也需要有明确的责任主体。如果多个团队使用同一应用,平台团队可能只能看到汇总消耗,却不了解究竟是哪种工作流创造了价值。业务负责人需要参与解读这些指标。
这会推动更清晰的应用边界和更有意义的审查。组织需要明确:谁可以授权变更,谁负责调查异常使用情况,以及谁承担更严格限制带来的影响。
尚未解决的问题,是实际条件下的经济表现。Google 提供了可见性与控制机制,但该公告并未证明运营成本会普遍下降。任何关于改进的主张,都需要来自特定工作负载的证据,包括其答案质量和失败行为。
Looker 将采用信号与较慢的审查周期联系起来
Looker agent 监控让讨论更接近使用对话式业务分析的人群。其 Conversational Analytics 仪表板 汇总参与度和 token 使用情况。文档称,该仪表板每 24 小时刷新一次。
回复和反馈信息取决于是否启用了相关预览功能。收集会在该功能启用后开始。这些细节会影响管理员能够进行哪些历史比较,以及界面反映活动变化的速度。
Looker 的使用量视图可以支持采用情况审查,但不应被误认为是即时事件检测工具或答案质量的证明。
这让不同界面承担不同职责。审查使用趋势的业务负责人,需要了解员工是否会再次使用 assistant。调查当前故障的运营人员,则需要适合该事件的证据。把这些需求视为可互换的,很容易导致响应延迟或不完整。
竞争背景进一步强化了这一区别。Amazon 围绕追踪、运营指标和审计日志记录了 AgentCore observability。其仪表板使用 AWS 的监控服务 CloudWatch,而其遥测支持共享的埋点标准 OpenTelemetry。
这一比较展示的是另一种运营环境,并非证明任一供应商表现更好。Google 的公告没有证明其调查时间比 Amazon 的方法更短,或答案准确性更高。相关选择部分取决于团队当前在哪里管理其生产系统。
对于现有 Looker 用户而言,吸引力在于它接近既有的分析工作。管理员可以在与报表使用相同的组织环境中讨论 assistant 的采用情况。只要参与者理解这些指标的含义,这可以让业务审查更容易协调。
仅靠参与度仍存在歧义。重复提问可能意味着有价值的探索,也可能意味着困惑或答案不令人满意。在任何人将其称为生产力提升之前,不断增长的对话数量都需要进行解读。
token 消耗也有类似局限。变化可能反映问题类型不同、回复更长,或应用行为发生改变。缺乏上下文时,该指标描述活动的可靠性高于描述价值的可靠性。
这正是为什么业务定义应与运营记录一同受到重视。一个回答可以无错误执行,却仍可能对收入、留存或其他公司指标作出了错误理解。基础设施健康状况无法解决这种分歧。
对于记录这些定义的团队而言,可搜索的知识库 可以保留审查人员所需的上下文。这些知识仍是生产记录的补充:它解释预期,而非证明互动期间实际发生了什么。
其组织层面的后果,是需要更广泛的审查群体。开发人员了解执行过程,数据专家了解业务含义,应用负责人了解用户预期。当这些视角共同为同一个决策提供依据,而非各自对仪表板作出独立解读时,Looker 的可见性最有价值。
关注覆盖范围、控制行为与评估成熟度
BigQuery agent 可观测性的下一阶段,应通过具体证据而非关于企业就绪度的宏大主张来审视。Google 描述了一种更互联的运营模式。它是否有用,如今取决于团队能否清晰了解覆盖范围、执行边界并评估变化。
最有力的证据,将把已记录的活动与可靠的运营决策联系起来,包括在记录不完整时作出的决策。
第一个信号,是关于日志覆盖范围的更好证据。未来数月,关注文档和运营案例如何展示团队区分预期收集缺口与意外故障。这很重要,因为看似令人安心的仪表板可能掩盖其所代表内容的不确定性。
一个有说服力的案例会说明哪些互动符合记录条件,以及审查人员如何处理不符合条件的互动。它还会展示当预期记录未能到达时,组织会如何响应。清晰的覆盖范围证据,会增强在日常审查中使用这些数据的理由。
持续的模糊性则会削弱这一理由。如果团队无法解释记录为何缺失,就无法可靠解读从现有对话中得出的趋势。更多数据也无法消除对被测群体的不确定性。
第二个信号,是支出控制在正当工作中的表现。关注有关被拦截查询、恢复路径,以及资源限制与成功完成任务之间关系的实践案例。这些案例比单独查看消耗图表更重要。
员工能够从被拦截请求中恢复的证据,会增强运营层面的论据。反复被拒绝、无法解释的故障或消耗被转移的证据,则会暴露实施上的局限。无论哪种结果,都应与最终答案的实用性一同评估。
第三个信号,是评估成熟度。评估是指根据既定预期测试行为,而不是仅仅观察系统是否运行。关注预览功能的发展,以及将发布前测试与生产结果联系起来的证据。
一个有用的案例会展示团队如何在用户接触到某项变更之前,发现一次回归,即变更后出现的非预期下降。它应说明预期行为,以及测试识别出的失败情况。这将使测试与监控之间的关系更加具体。
较弱的案例则可能只报告一个有利评分,却不解释任务本身或其与用户的相关性。汇总评分无法解决有关业务含义的分歧,也无法证明测试覆盖了导致高成本生产故障的情境。
这些信号让公告保持在恰当的尺度上。Google 扩展了运营数据 agent 可用的工具,但此次发布并未消除判断所需的工作:哪些记录已经足够、哪些限制可以接受、哪些答案值得信任。
在扩大 agent 的受众范围之前,请其负责人解释一次失败的回答、一条缺失的记录和一个被拦截的请求。每个案例都应明确可用证据、其局限性,以及负责下一步行动的人。保留解读未来事件所需的业务定义和运营决策。利用这种审查来判断,该服务是否能够支持员工实际需要完成的工作。Google agent 评估和 Looker agent 监控可以为这一决策提供参考,但责任仍在运营该应用的组织身上。实际问题是:当仪表板无法呈现完整情况时,你的团队能否作出经得起检验的决策。



