Accenture 报告 Bedrock 成本优化成果
Accenture 在 2026 年 11 月 19 日发布的一篇 AWS 文章中报告称,其在四项客户合作中降低了 token 支出,其中一家大型企业的支出降幅达 85%。Bedrock 成本优化的发现挑战了一个常见采购假设:仅靠更低的 token 价格,就能让不断扩展的 AI 工作负载保持可负担。Token,即模型处理和生成的单位,只是这笔计算的一部分。
该报告描述的是现有优化技术,而非一次新的 Amazon Bedrock 发布。其核心观点关乎实施顺序:先确立责任归属与衡量机制,再应用较简单的调整,随后才考虑架构变更和训练投入。报告中最大的降幅涉及多项干预措施共同作用,因此无法拆分各项措施的单独贡献。
对企业买家而言,压力落在应用程序如何消耗智能能力上。Google Cloud 同样为重复上下文提供缓存,这表明这些能力正成为共享基础设施。更难的问题是,团队能否在保持质量、响应时间和适当控制措施的同时,降低成功完成工作所需的成本。
Bedrock 成本优化接受四项客户测试
这则消息是 Accenture 对生产环境成果的说明,但这些成果所能证明的内容存在重要边界。
这份由双方共同撰写的token 优化发现描述了电信、保险、采矿和一家大型企业的合作项目。Accenture 出于保密考虑未披露客户名称。该文章呈现了针对特定工作负载的成果,但没有独立审计,也没有披露足以复现每项结果的详细信息。
对于这家大型企业,Accenture 表示,在调整模型选择、对重复上下文进行缓存以及采用批处理后,其月度 token 成本下降了 85%。约 15% 的任务仍需要能力最强的模型。由于这些调整同时实施,报告没有单独量化各自节省的成本。
该电信项目结合了请求路由、响应复用和上下文压缩。Accenture 报告称,输入 token 减少 70%,年度 token 支出减少 68%。该公司表示,输出质量已根据运营商此前的性能基准进行了检查。
其他合作项目使用了不同的缓存层。保险公司复用了重复的提示词前缀,而采矿运营商则复用了针对类似请求的已存答案。报告称,这些合作项目合计节省约 40%,但并未证明每位客户各自都实现了 40% 的降幅。
在企业评估这些醒目数字时,这些差异十分重要。已经使用较小模型和重复上下文缓存的组织,与将所有请求都发送给其最大模型的组织起点不同。因此,同一项干预措施所剩余的优化空间也不同。
这些发现支持的结论比普遍承诺节省成本更有限。一些应用程序存在可避免的重复、不必要地昂贵的模型选择,以及不需要立即执行的工作。Accenture 的案例表明,这些模式值得调查,而不是为每种部署提供预测。
它们也改变了采购对话。比较模型单位价格的买家需要审视周边应用程序。如果更便宜的模型需要更多尝试、更长提示词或额外审查,它并不一定会带来更低的已完成工作成本。
这使实施决策与采购决策并列。相关比较应当是现有工作流与另一种满足相同业务要求的方案之间的对比。没有这一共同基准,大幅百分比降幅可能掩盖工作负载、可接受质量或服务预期的变化。
Token 价格下降仍让工作流负责人面临压力
应用负责人面临的压力,是解释 AI 支出产出了什么,而不仅仅是哪种模型获得了支出。
AI agent,即为实现某个目标而选择行动并调用工具的软件,可能在一次任务中发出多次模型请求。每增加一个步骤,都可能携带指令、文档、对话历史和中间结果。更低的处理价格并不会消除重复传递这些材料的成本。
这首先带来管理问题,其次才是模型选择问题。财务团队需要可追责的支出类别,产品团队则需要理解哪些成果是成功的。工程团队需要足够详细的请求信息,以便将两者关联起来,同时避免将每次调用都视为独立产品。
设想一个假设性的支持工作流:它搜索政策文档、起草回复、核查其中的主张,并将不确定案例升级处理。其成本包括整条路径。若只衡量起草请求,就会遗漏检索、验证、重试以及仍会消耗资源的失败尝试。
因此,请求级折扣可能与未变化的单笔交易成本并存。如果较小模型导致更多修正,表面上的节省可能在后续环节消失。若响应复用在不增加错误的前提下避免了不必要的工作,改善就能更直接地体现在已完成交易上。
Accenture 围绕每笔业务交易成本来界定这一衡量问题,该指标汇总了促成成功业务产出的 AI 活动,其中包括重试、工具调用和 agent 交接。其有用启示很直接:在庆祝某个组件变得更便宜之前,先衡量整个流程。
财务归因仍需要技术基础。AWS 文档介绍了应用推理配置文件,可将责任归属标签附加到受支持的模型请求。这些标签会流入计费工具,使团队能够按应用程序、团队或工作负载分析支出。
配置文件在实施中存在重要边界。它们支持 InvokeModel 和 Converse 接口,而非所有 Bedrock 请求接口。它们还提供汇总计费成本,因此团队仍需要请求日志来进行详细 token 分析和交易追踪。
责任正是在这里变得具体。平台团队可以提供计费数据,但产品负责人必须定义何为可接受的结果。财务团队可以追踪支出,但领域专家必须判断调整后质量是否仍然足够。
对于知识密集型应用,证据层同样重要。记录检索行为的团队可以使用可搜索的知识库,以便让技术决策和评估发现保持可访问。更好的文档支持跨变更比较,但它本身并不能证明财务节省。
眼前的压力落在那些在缺乏可比成果衡量的情况下扩大 AI 使用的组织身上。不断增长的账单可能反映成功采用、不必要活动,或两者兼有。在团队区分这些解释之前,优化目标可能沦为任意的支出削减。
长期压力则关乎投资决策。领导者需要了解哪些工作流值得增加使用量,哪些需要重新设计。一致的交易定义,比跨无关应用混合计算的 token 总量提供更有用的依据。
六项杠杆改变账单的不同部分
这六项杠杆针对不同的消耗来源,因此其节省不能简单相加。
建议的顺序从配置调整进入应用架构,随后是基础设施或训练投入。这一排序有助于解释报告的意义。它将优化视为一系列可衡量的决策,每项决策都有其自身的成本、运营负担和质量影响。
提示词缓存减少重复输入处理
提示词缓存会复用模型输入中此前已处理的部分,例如稳定的指令或参考材料。它适用于反复发送大量共享上下文的应用程序。这并不意味着针对每个类似问题都返回早先的答案。
AWS 说明,提示词缓存取决于受支持的模型、请求接口和符合条件的重复内容。符合条件的请求并不保证缓存命中。团队需要检查实际使用字段,而非假设重复内容会自动带来节省。
其经济机制是避免输入处理。其价值取决于可复用内容出现的频率、每次请求中保持不变的部分有多少,以及复用是否发生在过期之前。频繁变化的提示词会削弱这一机会。
缓存写入和读取也需要分别核算。视模型而定,写入可复用内容的收费可能不同于读取。高复用率比单纯开启功能更重要。
批量推理改变工作运行的时间
批量推理会异步处理成组请求,这意味着结果在提交后返回,而不是在即时交互期间返回。它适合完成窗口灵活的工作负载。文档积压处理或离线评估运行,与实时客户对话有不同的时间要求。
Bedrock 的批量推理工作流使用输入文件,并将结果写入 Amazon S3 存储。模型和接口支持仍需要检查。即便底层任务保持不变,将工作移入批处理也会改变提交和结果处理方式。
业务决策关乎截止时间。只有在完成的工作仍然有用时,更低的处理费用才有帮助。团队在评估运营影响时,需要纳入调度、失败记录和结果收集。
缓存和批处理也属于不同的执行路径。AWS 文档称,提示词缓存不支持通过批量推理接口使用。应用程序可以在不同工作负载中同时使用两者,但不应假设两项折扣适用于同一请求。
模型路由让请求与能力相匹配
模型路由会为每个请求选择模型,而不是将所有请求都发送到同一个默认模型。直接的分类任务和困难的推理任务不必获得完全相同的资源。挑战在于识别哪些请求可以安全地采用成本较低的路径。
Bedrock 的智能提示词路由在受支持的模型系列内运行。AWS 记录了相关限制,包括以英语优化为主,以及无法利用应用特定的性能数据来调整决策。这些边界使工作负载评估必不可少。
Accenture 更广泛的路由模式不应被视为与每种原生路由器配置完全相同。咨询实施可能涉及应用逻辑和领域特定决策。买家需要区分通用技术与所选服务的精确能力。
路由也改变了故障分析方式。系统范围的质量平均值可能掩盖集中于某一请求类别的问题。团队需要了解每个案例由哪个模型处理,以及高难度请求是否进入了合适的路径。
检索优化减少不必要的上下文
检索增强生成(RAG)会在模型生成回答前向其提供经过挑选的源材料。检索优化能够改进这种选择,避免无关段落膨胀提示词。其目标是在减少不必要材料的同时,保留足够的证据。
上下文范围控制将信息限制在特定工作流步骤所需的范围内。上下文压缩则会在主模型接收材料前对其进行缩减。这些模式可与检索调整相辅相成,但也可能带来额外的处理和评估要求。
其中的权衡在于可能遗漏证据。更短的提示词在去除重复或无关段落时很有价值;但如果它丢失了正确回答所需的例外、限定条件或来源细节,就会造成损害。
这使得回答质量比提示词长度本身更重要。若某项检索调整节省了 token,却增加了缺乏依据的回答,那么应用实际上被削弱了。评估既需要检查系统纳入了什么,也需要检查其选择过程遗漏了什么。
语义缓存避免重复回答
语义缓存会存储回答,并在新请求具有相似语义时复用它们。不同于提示词缓存,它甚至可以完全避免一次模型调用。这带来了不同的经济机会,也带来了不同的正确性风险。
措辞相近并不意味着回答可以互换。账户权限、文档版本、地理位置以及不断变化的政策,都可能影响用户应当获得什么内容。有效的实现需要设置能够反映这些差异的复用边界。
已存储的回答也会过时。过期规则与失效处理——即在相关内容变更后移除条目——成为应用正确性的一部分。反映了已被取代信息的低成本回答,可能引发额外的审查和修复工作。
蒸馏以训练投入换取重复性效率
模型蒸馏利用更大教师模型的知识或输出训练更小的模型。它将投入转向为重复性任务准备专门模型。因此,其经济逻辑不同于启用某项请求级功能。
投入包括训练数据、评估、部署以及持续维护。对于稳定且持续有量的工作负载,这种投入更容易获得回报。快速变化的任务则使比较更困难,因为昨天的专门化可能成为明天的限制。
因此,这一顺序具有实际逻辑。团队首先检查重复处理和灵活的截止时间,然后改进分配和上下文。当测得的工作负载特征证明其合理性时,再进行要求更高的投入。
最大的节省仍留下归因问题
这些案例研究揭示了机会,但并未确立可迁移的节省比例或完整的投资回报。
第一个局限是匿名性。由于缺少具名客户和详细的工作负载描述,外部读者无法独立判断这些示例的代表性。保密可以理解,但它限制了验证和比较。
第二个局限涉及组合式干预。当模型选择、缓存和调度同时发生变化时,整体结果无法揭示各组成部分的贡献。它也无法说明,采用不同顺序是否能以更少的工程投入取得同样的结果。
第三个局限是质量证据。该电信案例提及既有的客户基准测试,但公开说明没有披露足够的评估细节,供独立复现。读者无法获得测试覆盖范围、困难案例和类别特定表现的完整拆分。
这一缺口至关重要,因为平均质量可能掩盖集中的损害。系统可能能够很好地处理常见请求,却遗漏罕见的例外。企业是否接受,往往取决于这些例外,尤其是在错误结果会造成高昂下游成本时。
token 支出也不同于总运营成本。存储、检索、监控、评估、工程投入和人工审查都会影响最终的经济性。已公布的降幅不应被解读为运行该应用所涉及每一项成本的等比例下降。
实施工作同样会改变投资逻辑。配置调整和专项训练项目需要不同的资源。若只通过持续性 token 支出来比较它们,就忽视了各组织在节省出现前必须投入多少工作。
行业对比进一步强调了这种区别。Google Cloud 描述的上下文缓存同样会复用已处理的输入。其显式缓存方式包括存储时长方面的考量,这说明相似的功能标签并不保证相同的运营经济性。
这并不证明某个平台能在所有工作负载中胜出。它表明企业必须比较实际使用模式、支持的模型、保留行为和运营要求。仅靠功能清单无法自行回答这些问题。
效率与业务增长之间也存在区别。降低 token 支出可以释放预算,但并不能证明收入增加、客户留存改善或决策质量提升。这些结果需要与工作流目的相联系的独立衡量。
最站得住脚的解读是有条件的。具有大量重复且模型使用区分不充分的应用,值得进行仔细测试。已经解决这些模式的组织,应预期会有不同的机会,而不应假定最大的报告百分比依然可得。
这使 Bedrock 成本优化成为一项工作负载调查,而非采购捷径。该报告提供了审视应用行为的理由,但并未免除建立本地基线、定义可接受质量和核算实施投入的必要性。
这一顺序将衡量作为首项干预措施
可信的优化顺序应保留解释每项结果、并撤销削弱应用的变更的能力。
起点是商定的业务产出。完成的文档提取、被接受的支持回答和已审核的分析代表不同结果。将它们合并为单一支出分母,可能掩盖成功扩展与持续浪费。
随后,团队需要建立连接消耗、完成情况、质量和时间的基线。没有可比较的工作负载样本,前后支出差异仍然含糊不清。即使底层流程没有改善,较轻的流量组合也可能让某项变更看起来成功。
最简单的变更应优先关注,因为它们可以检验特定的浪费来源。重复且稳定的上下文适合进行缓存实验。截止时间灵活的工作适合进行批处理比较,前提是完成时效和故障处理仍然可接受。
这些实验应保持足够独立,以便解释结果。如果请求构成和模型选择同时改变,团队就失去了识别原因的能力。这仍可能带来有用的运营改进,但会为下一项决策留下较弱的证据。
当基线揭示其目标时,架构变更随之进行。路由解决模型能力不匹配的问题。检索调整解决不必要或选择不佳的上下文;语义缓存则解决可安全共享回答的重复请求。
每项干预在推出前都需要设定接受边界。团队应知道,何种质量下降、完成延迟或升级率提高会触发回滚。事后再设定这些边界,会导致对结果进行选择性解读。
评估材料应反映应用的真实工作。常见请求用于建立典型行为,而困难和例外案例用于测试边界。留出集,即未纳入调优决策的示例,有助于揭示改进是否延伸到熟悉的测试材料之外。
持续衡量很重要,因为生产环境会变化。文档会更新,请求模式会改变,模型也会演进。在初始比较中有效的优化,可能在这些条件发生变化后失去价值或变得不可靠。
蒸馏应放在较后阶段,因为它会将更多资源投入到特定的任务分布中。在作出这一承诺前,团队需要证据证明工作负载稳定且重复性足够高。他们还需要制定计划,以检测专门模型何时不再适用。
这一顺序改变了组织激励。它不再奖励最大的孤立折扣,而是奖励对已完成工作可解释的改进。这为工程、财务和产品负责人决定扩展什么提供了共同依据。
它也明确了何时应停止。如果下一次降本增加了审查工作或延误了有价值的工作,那么更小的账单并不自动意味着更好。恰当的终点是在成本、质量、风险和业务实用性之间取得可接受的平衡。
关注至 2027 年初的事项
下一项检验是,报告中的 token 节省能否转化为已完成业务工作的持久、可复现改进。
第一个信号是更详细的客户证据。具名部署、公开的评估方法和可比较的交易衡量指标,将增强人们对这种方法的信心。如果反复出现醒目的百分比,却没有工作负载细节,可迁移性问题仍将悬而未决。
有用的披露应区分既有优化与新增干预措施。它们还应将持续运营影响与实施投入分开。这将帮助买方理解,某项结果究竟反映广泛相关的模式,还是异常低效的起始配置。
第二个信号是服务层面的简化。能让所有权归因、缓存核算、路由决策和评估更易关联的变化,将减少实施摩擦。买方应关注支持的接口和运营可见性,而不应假定每个新模型都会自动支持每一种优化。
这适用于各个云平台。更好的缓存或路由文档有助于团队理解可用机制,但交易层面的证据仍是更有力的比较依据。当组织能够验证配置对自身工作的影响时,更易配置才最有价值。
第三个信号是变化流量下的持续质量。稳定的接受率、适当的升级处理以及对异常请求的可靠处理,将增强更广泛部署的理由。在文档更新或工作负载变化后即消失的节省,将削弱其持久性的主张。
这些是观察点,而非已排定的公告。该报告没有为独立复现或进一步披露客户信息设定期限。在未来数月中,最有力的后续证据将把支出下降与不断变化的生产工作负载中持续一致的结果联系起来。
对于评估 Bedrock 成本优化的团队,应选择一个职责清晰、完成标准可观察的有限工作流。使用具有代表性的请求和明确的质量要求,将其当前行为与单一有针对性的变更进行比较。在解读结果时,应纳入重试、审查、等待时间和支持服务。
让负责审批下一笔投资的人能够获取这些证据。当其他团队能够理解支出减少的原因及其边界时,这项节省才更有价值。在扩大实验之前,应询问:它是否降低了成功完成工作的成本,这种改进能否在真实条件下持续存在,以及剩余机会是否足以证明值得再做一次调整。



