top of page

Google 的 Gemini Decisions API 让智能体决策超越文本生成

4天前
讀畢需時 12 分鐘
Illustrative photograph. Photo: cottonbro studio / Pexels.

Google 于 11 月 11 日推出 Gemini Decisions API,让开发者无需生成书面回复,即可评估最多 1,000 个相互独立的问题。这个新的端点,即专用应用程序编程接口,面向需要软件立即采取行动的决策场景。其核心主张挑战了一种常见的智能体设计:让对话模型写出内容,再由代码加以解读。

这给那些使用通用文本生成进行路由、分类和策略检查的开发者带来了压力。这类任务通常需要一个有明确边界的答案,也就是从预定义可能性中做出选择。当应用最终只需要一个队列标识符时,一段解释应选择哪个支持队列的文字价值有限。

Google 自家的生成式 Gemini 模型提供了直接参照。它们可以生成结构化回复,但这个新端点将决策评分与书面输出分离开来。这一变化为智能体构建者提出了一个实际问题:哪些决策受益于开放式推理,哪些又应转为定义严格的评分任务?

Gemini Decisions API 将有边界的选择变成独立产品

Google 将 AI 应用中常见的一项辅助任务变成了专门服务。

此次发布引入了 Gemini Decision 1,在请求中标识为 gemini-decision-1。Google 的决策模型文档将文本、图像、音频、视频和 PDF 列为支持的输入。文档规定共享输入上限为 262,144 个 token,即模型用于处理内容的单位。

开发者可以提交二元检查、多项选择题,或依据有序量表进行评分,后者是一组预定义的评分标准。多项选择题支持 2 至 255 个选项。该服务会返回选择结果及其概率,而不是撰写对话式回答。

这种产品封装之所以重要,是因为许多智能体操作始于一个有限的菜单。系统可能选择一个工具、将请求分配给某个部门,或决定某条信息是否值得审核。这些决策不同于起草回复,因为应用本身已经知道允许的结果。

设想一个假设的客户服务应用,它正在审阅一条消息及其附带的照片。它需要识别问题、选择去向并标记不确定性。在这一阶段,应用未必需要面向客户的解释。

将这些功能分离,为开发者在决策与沟通之间划出了更清晰的界限。决策服务可以提出路由建议,而生成式模型则在适当时撰写回复。常规应用代码仍负责权限、业务规则和执行。

这一边界也让产品需求更加明确。团队必须在要求模型从中选择之前,先定义可能采取的操作。这个过程会暴露缺失的类别、重叠的规则,以及需要升级处理的情况。

因此,这一发布改变的不只是回复格式。它将有边界的判断呈现为一个可供开发者单独评估的独立组件。团队可以检验路由表现,而无需将其与写作质量或对话风格混在一起。

对采购方而言,这种分离带来了一个更聚焦的采购问题:在真实条件下,该服务是否让特定工作流更快或更可靠?相比之下,关于模型智能的宽泛宣称提供的证据价值更低。

此次发布也让开发者有理由重新审视积累下来的提示词。在原型阶段写下的路由提示词,可能悄然成为永久性基础设施。一旦如此,其中的假设就应受到与任何其他控制生产工作流的组件同等严格的审视。

直接后果是架构选择。开发者现在有了另一种方式来实现围绕大型助手的细小判断。这个选项是否值得采用,取决于工作负载,而不只是取消文本生成本身的吸引力。

智能体构建者面临将决策与回复分离的压力

受影响最直接的团队,是那些为已有确定答案集合的决策调用生成式模型的团队。

当应用需要解读、综合或解释时,对话模型仍然有用。当工作流自动请求这些能力,而其下一步实际上只消费一个标签时,压力便会显现。这种设计可能掩盖系统真正需要完成的任务。

在假设的支持工作流中,识别紧急投诉与撰写富有同理心的回复是两项不同的任务。它们可能使用相同证据,但成功的含义不同。前者关乎运营处理;后者关乎沟通。

将二者合并会带来评估问题。一段流畅的回复可能让审核人员忽视错误的路由。反过来,正确的分类也可能被包裹在笨拙的回答中,使整次交互看起来并不成功。

将任务分离后,团队可以分配更清晰的责任。路由负责人可以检查目标准确性和升级处理行为。对话设计师则可以评估最终消息是否回答了客户的问题。

Google 将内部采用情况作为这种分离具有实际用途的证据。其多模态决策公告描述了涉及模型路由、设计交互、表情符号选择和工具安全的应用。这些是公司自行报告的部署情况,而非经过独立审计的客户成果。

其共同特征是,决策位于输入与行动之间。系统必须先选择下一步会发生什么,才能交付更大的体验。即使用户永远看不到其输出,这也使新服务与软件协调相关。

这也促使应用团队为复杂性提供合理依据。通用智能体可以通过灵活提示词处理整个工作流。专用决策组件则引入了新的依赖项、新的评估目标和新的潜在故障点。

只有当由此产生的系统得到改善时,新增组件才值得保留。如果额外请求、重试或交接抹去了收益,更快的分类价值有限。只有下游代码正确使用时,更清晰的输出才有帮助。

因此,企业采购方应审视从用户输入到任务完成的完整路径。模型响应时间只是其中一部分。身份验证、媒体传输、数据检索和人工升级同样会深刻影响结果。

知识工作流说明了这种区别。判断哪些材料值得关注,与找到作出这种判断所需的证据并不相同。可搜索的知识库处理的是信息层;决策组件处理的是后续判断。

这种区分避免对本次发布作出过度宽泛的解读。评分端点无法弥补缺失的文档或过时的策略。决策质量仍取决于提供给它的证据和选项。

因此,压力既是组织层面的,也是技术层面的。团队需要有人负责类别定义、评估示例和升级规则。更简单的模型回复并不会消除这些责任。

对选项评分改变了模型承担的工作

技术上的区别在于,除返回数据的形状外,模型如何生成其答案。

Google 表示,Gemini Decision 1 会在一次前向传递中对候选结果评分,即一次通过模型的计算。Google 将这一过程与按顺序生成回答 token 形成对比。该设计面向在已知结果中做出选择才是有用产出的工作负载。

Google 报告称,在其声明的基准测试条件下,端到端延迟为 150–250 毫秒。其延迟讨论涵盖最长 16K token 的上下文,并报告在 1–100 个问题之间的结果几乎保持平稳。这些条件应始终与这一说法一并保留。

它们并不能证明在所有支持的输入长度或问题数量下都有相同性能。文档化的容量限制描述服务能够接受什么。基准测试则描述特定测试设置下的行为。

同样的区别也适用于结合不同内容类型的多模态输入。支持视频并不意味着在所有视频上都有一致速度。时长、视觉细节、传输时间和应用处理方式,仍与实际部署息息相关。

其经济层面的论点源于减少重复工作。当多个检查涉及同一材料时,开发者有动力将它们放在一起评估。不过,有意义的比较必须将周边系统纳入考量,而不是孤立地比较一个方便的请求。

一个假设的文档审查场景说明了这一吸引力。应用可能检查是否出现必需信息、分配类别并评估完整性。这些问题共享证据,但每个问题都会产生不同的运营信号。

重要边界在于独立性。如果后续判断需要先前的答案,工作流就存在依赖关系。将问题打包在一起,并不会自动将其变成一个顺序推理过程。

对开发者而言,这鼓励他们谨慎地分解任务。相比将解读、策略判断和行动选择合为一体的请求,狭窄的问题有更清晰的成功条件。它也让故障更容易调查。

Google 的产品阵容中已有一种替代方案。其结构化输出文档描述了受 JSON Schema 约束的回复,后者是对允许数据结构的规范。开发者可以采用这种方法,从生成式模型获得可预测的字段。

这一替代方案很重要,因为仅仅实现可靠格式化,并不需要单独的决策模型。已经收到有效类别标识符的应用,已经解决了部分集成问题。剩余的比较涉及延迟、准确性、不确定性和运营契合度。

当工作流除了选择之外还需要新文本时,结构化生成也保留了灵活性。有边界的评分服务服务于更狭窄的目的。两种方法都无法消除定义正确答案含义的需求。

因此,此次发布不应变成对对话模型的公投。不同阶段可能需要不同的输出。真正有用的比较在于,专用评分器是否能显著改善某个特定阶段,以至于值得采用。

开发者也应避免将输出简短视为判断可靠的证据。一个简短标识符和一段文字一样,都可能编码错误的解读。底层决策仍需要根据具有代表性的示例进行评估。

这一机制改变了分配给模型的工作。它并不能确定应用的策略、界定可接受的风险,或提供缺失的证据。这些边界定义了新方法何处开始有用,以及其优势止于何处。

置信度评分无法消除策略歧义

只有当应用知道如何应对不确定性时,概率才具有实际的操作价值。

Google 的概率与置信度指南区分了返回的答案与该答案的置信度。它还建议使用来自应用自身流量的已标注示例来选择阈值。这将评估责任明确交给部署团队。

校准描述的是,在可比案例中,预测概率与实际观察结果的吻合程度。它关注的是多个示例之间的模式,而非对单个答案作出的保证。高置信度的错误依然可能发生。

对于支持请求路由器而言,这一区别会影响升级处理。团队可能可以容忍部分一般咨询被错误归类,却会将遗漏安全投诉视为后果更严重的问题。统一的置信度阈值不会自动表达这些不同的优先级。

政策歧义带来了另一项问题。如果类别之间存在重叠,模型可能选择了允许的答案,却仍然违反组织预期的流程。缺陷源于类别体系,而非响应格式。

设想一项同时涉及账单争议和产品损坏的投诉。在一家公司的流程下,将其转交给单一目的地或许合适;另一家公司则可能要求各部门协同处理。

这两种安排都无法仅从消息本身得出。应用必须提供相关政策,并定义该选择所代表的含义。否则,评估可能会奖励那些只是符合审查者未明说假设的答案。

封闭集合的选择还会带来覆盖问题。可用选项可能遗漏正确的行动。在这种情况下,对列出的选项进行排序无法创造缺失的类别。

因此,升级路径的目的不同于普通分类。当案例超出预期范围时,它为系统提供停止自动处理的方式。团队应直接评估这种行为。

缺少书面理由同样会改变调查方式。选择结果和置信度数值能提供有用信号,但无法解释每一种潜在解读。组织仍需要保存将输入、政策、模型版本和最终行动关联起来的记录。

这些记录在政策变更后尤其宝贵。即使模型表现始终一致,先前可接受的路由也可能变得错误。监控必须区分模型错误与任务规则变化。

安全性构成另一条边界。评估可疑内容的分类器仍会将这些内容作为输入处理。产品团队应测试,对抗性指令、误导性证据或异常格式是否会影响其关注的决策。

Google 报告的安全用例并不能证明每个应用都获得了普遍保护。安全评估需要明确的威胁模型,即所考虑的攻击和故障类型。不同的工具与权限会导致不同后果。

对速度主张也应保持同样谨慎。一个升级更多案例的应用可能看似可靠,却增加了人工工作量。另一个应用可能自动完成更多任务,却允许出现更多有害错误。

这些结果应纳入同一套评估。响应时间、完成率、升级负担和错误严重程度共同决定部署是否改善工作流。优化单一指标可能掩盖其他方面的恶化。

无需点名批评者来围绕这些限制制造争议。它们源于“选择答案”与“授权行动”之间的区别。该公告提供了一个新的决策组件;每个组织仍需定义其输出在哪些条件下会产生实际后果。

早期示例展现覆盖范围,但更广泛的验证仍有待进行

可运行的演示证明了一项能力可用,而生产可靠性则需要更广泛的证据支撑。

开发者 Simon Willison 在公告发布当天公布了一项亲自进行的视频分类测试。他提交了一段机器人视频,并询问其内容和地点。他在文章中报告的是概率性回应,而非一律绝对的答案。

该示例为这次发布提供了具体的外部参考。它展示了一名独立开发者实际使用视频接口的过程。但它并不能证明通用视频准确性、广泛的校准质量,或在生产流量下持续运行的表现。

它的价值在于让产品边界变得可见。开发者提供问题,服务评估媒体内容,结果支持有限范围内的判断。整个交互无需被转化为对话式回应。

对于产品团队,下一步是判断自身工作流是否具有相同结构。固定的决策菜单构成合理候选;需要发现、协商或详细解释的任务则是另一类问题。

一个假设的媒体审核工具同时说明了两面。它可以利用有限检查来确定优先审核的视频片段;随后,审核人员可通过另一项能力请求解释或更广泛的分析。

这种安排能够保留分流与最终判断之间的区别。分流决定哪些内容值得关注;最终审核决定证据是否支持具有重要后果的结论。

文档工作流也提出类似问题。分类可以帮助整理材料,却不能证明底层内容准确。将文档路由到正确部门,并不等于验证其主张。

这对知识工作者很重要,因为自动化处理可能让不确定判断看上去已经定论。整洁的界面可能只显示选定类别。如果置信度和升级处理从体验中消失,用户便会失去评估结果所需的背景。

因此,模型性能之外,周边产品设计也值得关注。应用应在决策需要审核时明确传达这一点,也应让用户可以进行修正,而不必重建整个工作流。

与传统分类器的比较同样需要严谨。分类器是经训练或配置后、将输入分配至类别的系统。专用且稳定的任务可能适合这种方法;需求不断变化时,灵活的自然语言标准或许更有利。

此次发布并未普遍解决这一选择。团队必须比较定义、维护和验证每个方案所需的投入。便捷的接口可以减少集成工作,却无法消除长期维护决策质量的工作。

最有力的证据应将模型行为与已完成的结果联系起来。正确团队是否收到了请求?审核人员是否捕捉到重要案例?用户是否以更少延迟获得了有用的解决方案?

这些问题能防止演示承担超出其应有分量的意义,也在早期实验与可辩护的生产决策之间建立实际桥梁。

2027 年初之前值得关注的事项

最具信息价值的后续进展,将把可衡量的决策质量、运营准备度和持续使用联系起来。

首先,关注使用代表性工作负载进行的独立评估。这些评估应将新端点与团队实际可能替换的系统进行比较。一项有价值的研究会保留任务定义,并同时报告成功自动化与后果严重的错误。

跨越困难输入的证据将增强更广泛采用的理由。若结果仅限于干净示例,核心部署问题仍未解决。买方需要了解性能在何处下降,以及不确定性如何清晰地传达这种下降。

比较还应纳入完整的应用路径。只有当更快的模型响应转化为更快完成的工作时,它才有意义。如果编排或升级处理消耗了节省的时间,架构优势就会更有限。

第二,关注运营可用性和集成成熟度。Google 的发布公告称,Google Cloud 对 Gemini 的支持即将推出。在相关服务文档确认可用性之前,这一表述应被视为推出计划。

企业采用往往不仅取决于端点是否能够响应。团队还需要合适的访问控制、监控、配额和部署流程。这些要求方面的进展,会让该发布与更多生产环境相关。

集成成熟度也影响维护。暴露基础请求的框架,与能够可靠处理错误、重试和不断变化模型行为的应用并不相同。买方应询问哪些部分今天已经可用,哪些仍是自身责任。

第三,关注披露持续工作流结果的部署案例。内部用例和个人演示提供了起点。运行时间更长的案例将针对维护投入、人工审核,以及输入变化时的行为提供更有力的证据。

最具说服力的报告会解释失败,也会说明改进。路由系统的价值部分取决于其首选答案错误时会发生什么。对纠正和升级处理的清晰说明,将增强对整体设计的信心。

这些信号将澄清,专门化评分是否会成为智能体软件中的持久层。它们也会揭示通用生成在何处仍是更实际的选择。这两种结果可以在同一应用中并存。

对于评估 Gemini Decisions API 的开发者,应从一个允许结果已有清晰定义的工作流开始。使用相同证据和成功标准,将其与现有实现进行比较。纳入模糊案例、信息缺失的情形,以及应触发人工审核的示例。

将决策准确性与任何最终书面回应的质量分开衡量。记录维护类别、调查错误和更新政策所需的工作。随后,再检验完整工作流是否变得更快或更易运营。你的应用中,哪一项重复性判断拥有清晰的答案集合?又需要什么证据,才能证明让软件依据其结果采取行动是合理的?

 
 

免费开始使用

一款本地优先的AI助手

为了获得更好的人工智能体验,

remio 目前仅支持Windows 10+ (x64)和M-Chip Mac 。

你的 AI 工作伙伴

和 remio 一起高效工作

规划、创作、交付

一站式完成

bottom of page