Simon Willison 发现 Tokenpocalypse：企业 AI 成本击碎无限使用的梦想

Simon Willison 在 8 月 7 日指出了一个颇具代表性的企业 AI 矛盾：员工可以消耗昂贵的 token 来完成本可由更简单软件处理的工作。这个案例涉及将 PDF 转换为图像、markdown 文件和演示材料。听起来微不足道，却暴露出严重的预算问题。

根据 404 Media 获得的音频，Accenture 管理层讨论了 token 消耗迅速增长，以及难以将这些使用量与业务价值关联起来的问题。据报道，一名高管半开玩笑地称，PDF 转换是主要的“token 吞噬者”。这段对话捕捉到了鼓励员工使用 AI 与控制这种鼓励所产生成本之间的鸿沟。

压力如今已不只存在于 Accenture。各家公司将 Claude、ChatGPT、Copilot、Codex 和 AI agents 作为用途广泛的生产力系统加以采用。它们正在发现，无限制的试验会形成一种没有天然上限的可变运营支出。新的较量并非采用 AI 还是拒绝 AI，而是最大化使用与可衡量价值之间的取舍。

Simon Willison 找到了完美的 token 浪费案例

一项平常的 PDF 任务，成为企业 AI 支出如何脱离财务控制的异常清晰案例。

Willison 的 PDF 警告引起了人们对 404 Media 于 6 月 24 日发布的一篇调查报道中逸事的关注。该媒体称，其获得了一段关于 Accenture 内部讨论 AI 消耗量上升的音频。

据报道，Accenture 的 agentic AI 战略负责人 Justice Kwak 表示，工程师并非某些高成本使用模式的主要驱动者。讨论中的许多行为由非工程人员造成。

随后，Accenture 客户团队负责人 Stuart Henderson 问 Kwak 是否曾先把 PDF 转换成图像，再将这些图像转换为 markdown。据报道，Henderson 称这一过程是主要的 token 吞噬者。

这段对话之所以有趣，是因为它描述了针对普通文档问题的一种复杂解决方案。它之所以重要，是因为这种方案可能在每个阶段都成倍增加工作量。

一份 PDF 可能包含可选取文本、页面图像、图表、表格、页眉以及布局指令。AI 工作流可能会提取每一页、检查图像、重建文本、解读布局并生成新格式。每一次模型请求都会增加输入和输出 token。

如果 agent 重复失败的提取操作、检查自己的答案，或调用另一种模型，消耗量还会再次上升。员工看到的可能只是一份精美的幻灯片。公司看到的则是一连串按量计费的推理请求。

Token 是生成式模型处理的小型数据单位。它们代表文本片段，以及视系统而定从图像或其他媒体中提取的信息。组织通常根据模型读取和生成的 token 数量付费。

这种计量模式不同于传统办公软件许可证。在文字处理器中打开另一份文档，通常不会产生新的使用费用。让 AI agent 解读那份文档，却可能触发多项付费操作。

员工无需理解这条链路。现代 AI 界面刻意隐藏了其中的大部分环节。像“把这份报告做成幻灯片”这样的请求，可能会启动提取、规划、摘要、格式化、修订和验证。

由此产生的是可见性问题。员工依据便利性和输出质量判断工作流。技术领导者则必须从成本、准确性、安全性以及产出是否值得生成等角度进行判断。

原始调查报道将 Accenture 的经历描述为更广泛支出调整的一部分。公司曾推动员工试用 AI。如今，一些公司正考虑采取控制措施，因为消耗量正变得难以预测。

Accenture 并未公开证实私下会议中被归属的每一项细节。因此，关于泄露音频的说法应继续明确归因于 404 Media。不过，该公司后续行动支持了一个更广泛的结论：token 管理已成为正式的企业关注事项。

7 月 29 日，Accenture 宣布推出 tokenomics 服务，旨在将消耗量与团队、工作流、产品、决策和业务成果联系起来。这个时间点让 PDF 逸事不再只是办公室喜剧。它表明，一个内部成本问题能多快演变为一个咨询服务类别。

Token 价格下跌并未降低总账单

当使用量增长速度快于单位成本下降速度时，AI 会变得更昂贵。

早期的企业推介将生成式 AI 视作又一次软件推广。公司购买访问权限、培训员工，然后在整个组织中扩大使用范围。更广泛的采用似乎意味着更高的生产力。

Agentic AI 改变了这种计算方式。Agentic 工作流是指在有限人工指导下规划步骤、调用工具并修订工作的系统。一名员工的一次请求可能转化为数十次模型交互。

Gartner 预计，到 2030 年，在超大语言模型上进行推理将变得高效得多。然而，其推理预测包含一个关键警告：供应商成本下降未必会被完全传递给企业客户。

Gartner 还估计，agentic 模型每项任务所需的 token 数量是标准聊天机器人的五到 30 倍。能力更强的系统可以执行更多操作、使用更长上下文，并创造更多需求。

这带来了核心反转。更廉价的智能促使公司将 AI 应用于更多工作。随后，每个工作流都会从一次响应扩展为一连串搜索、工具调用、评估和纠正。

同样的模式曾出现在云计算领域。单个计算或存储单位的价格下降，并不保证企业账单会降低。更便捷的访问促使团队部署更多服务、保留更多数据并自动化更多活动。

AI 又增加了一层复杂性，因为其消耗可能是不确定的。同一项任务并不总会遵循相同路径。一个 agent 可能在三步后完成，另一个则可能重试工具或探索多个替代方案。

McKinsey 表示，同一项 agentic 编程任务的 token 使用量可能相差多达 30 倍。其企业支出分析还描述了分散在云供应商、模型厂商、软件平台、实验项目和业务部门之间的 AI 成本。

这种碎片化会延迟发现问题。公司可能批准多项看似合理的采购，却看不到它们的综合影响。等到成本超支显现时，token 早已被消耗。

账单也不止包括 token。公司还要为数据管道、检索基础设施、评估、安全审查、监控以及监督不可靠输出的员工付费。一次廉价的模型响应，可能处于昂贵的工作流之中。

长上下文窗口使问题更难处理。上下文窗口是模型在一次交互中接收的信息。发送完整文档、冗长聊天记录、工具描述和重复参考材料，会在模型生成任何内容之前增加消耗。

文档工作清楚地说明了这一点。一个系统可能在提取、分析、起草和修订阶段反复发送同一份报告。若没有缓存或谨慎的上下文选择，每个阶段都会处理重叠信息。

这正是 Simon Willison 的案例为何超越 PDF 本身而重要。它将关于 AI token 成本的抽象讨论，转化为人们熟悉的工作流。用户请求一个结果，基础设施却执行了远多于此的工作。

公司不能只盯着模型供应商的账单来解决这个问题。它们需要识别每一单位消耗背后的团队、任务、模型、agent 和业务结果。

这一要求使 AI 成本管理成为一门运营学科。它应当与安全性、可靠性和数据治理并列，而不是留在年度软件续约会议中。

承受压力的不只是工程师

企业 AI 预算如今取决于数千名员工通过普通提示词作出的技术成本决策。

工程师明白，一次模型调用会消耗资源。他们可以检查日志、缩短提示词、缓存重复内容并选择更小的模型。大多数知识工作者从未被要求作出这些选择。

他们看到的是与熟悉办公工作相连的聊天框。界面鼓励使用自然语言、反复迭代和持续试验。它很少解释，改写一句话与分析一组扫描文档之间的成本差异。

这种设计催生了一种新型的隐性支出。员工无需输入付款信息或部署云基础设施。只要选择更强的模型或重复提出请求，他们就能增加企业消耗。

Accenture 的逸事表明，非工程人员可以通过文档转换和演示工作带来大量使用量。这并不意味着这些员工不负责任。雇主告诉他们要使用 AI，而供应商则将产品设计得几乎无需费力就能使用。

冲突始于公司改变方向。员工起初听到的是 AI 熟练度至关重要。之后，他们收到 token 限额、模型限制或关于不必要请求的警告。

这可能导致错误的行为。由于规则不清晰，员工可能避开有价值的工作流。其他人则可能继续使用昂贵模型，因为没有人定义“有价值”究竟意味着什么。

更好的政策应根据预期成果区分任务。起草一封日常电子邮件不需要与审阅复杂工程提案相同的模型。从 PDF 中提取可选取文本也并不总是需要视觉推理。

模型路由可以自动实现这种区分。路由系统将简单请求发送给更小、成本更低的模型，同时为困难任务保留高级系统。它还可以拒绝更适合由传统软件处理的请求。

美联社报道称，随着 tokenmaxxing 逐渐失宠，公司正越来越多地探索此类路由。其工作场所成本报道描述了企业如何审视 AI 使用的回报，并避免让高级模型处理常规工作。

路由仍需要判断。简短提示词可能隐藏着高风险任务，而一份长文档可能只需要基础提取。公司需要基于敏感性、复杂性、准确性要求和预期价值制定政策。

采购团队同样面临压力。他们必须比较订阅、按量使用合同、云服务以及以不同方式计量活动的内嵌 AI 功能。可预测的席位许可证仍可能包含使用上限或限制。

CIO 承担技术问题，但 CFO 决定这项支出是否值得继续支持。业务部门负责人必须说明这些工具产出了什么。安全团队则必须追踪员工向外部模型发送了哪些信息。

这种共同问责机制是新的。传统软件预算通常将一份许可证分配给某个部门。企业 AI 则要求组织将每个工作流同时与消耗和产出结果关联起来。

结果不能是“员工使用了更多 AI”。它必须描述组织所重视的价值，例如更快解决问题、更少缺陷、额外收入，或更少重复性工作。

知识工作者也需要替代方案。当信息已存在于本地时，可搜索的知识库可以减少重复上传文档的需求。更好的检索能力可以只发送相关段落，而非整个文件。

因此，这一转变影响的不只是支出政策，同样也影响工作流设计。那些仅仅施加 token 上限的公司会减少消耗，却不一定能识别出哪些工作应该继续。

最大化 AI 使用正在与可衡量价值发生碰撞

当活跃度成为生产力证据的替代品时，无限使用的梦想就会破灭。

多年来，高管担心员工采用 AI 的速度不够快。企业资助试点项目、分发助手、创建培训计划，并鼓励团队寻找应用场景。

在采用率是瓶颈时，这一策略是合理的。很少有组织知道生成式 AI 能在哪些地方发挥作用。广泛实验有助于发现有价值的模式。

瓶颈已经转移。一旦数千名员工都能调用先进模型，实验就会成为持续性的运营支出。问题也从“人们是否在使用 AI？”变成了“哪些用途值得规模化？”

Accenture 的回应明确体现了这一转变。其tokenomics program推广实时监控、问责、模型匹配和每笔交易成本。

该公司描述了一种三阶段方法：查看消耗、修复低效设计，并在工作负载变化时维持控制。这种结构类似于云财务运营，但 AI 在任务质量和智能体行为方面带来了更多不确定性。

因此，主要的对立面并不是 Accenture 与某家模型供应商之间的竞争，而是无摩擦 AI 丰裕的承诺与企业支出问责现实之间的冲突。

最大化使用会带来可见的热度。它会产生提示词数量、生成文档、智能体运行次数和采用率仪表盘。但这些指标都不能证明组织获得了相应的价值。

可衡量的价值则更慢，也不那么光鲜。它要求与基准进行比较。团队必须询问：在 AI 之前工作耗时多久、质量是否发生变化，以及仍需多少人工检查。

PDF 转换再次提供了恰当的检验。如果某个 AI 工作流将报告转换成幻灯片，公司应将其与传统的提取和演示工具进行比较。比较应包括修正时间、事实错误、格式修复和审核。

AI 路径仍可能胜出。模型可能比僵化的软件更快地解读不规则报告、识别主题并起草有用叙述。关键并不是 AI 永远不该处理 PDF。

关键在于，模型的使用必须证明其价值。一个消耗更多资源的智能体，在完成更有价值的工作时可能是值得的。如果没有人需要其输出，再便宜的工作流也是浪费。

这种区别也对模型供应商构成挑战。客户发送更长上下文、进行更多推理、委托更多步骤时，其产品会受益。企业买家只有在这些步骤改善结果时才能获益。

供应商正在增加缓存、批处理、更小的模型和路由功能。这些工具可以减少浪费，但无法解决激励错配。提供商仍然从消耗或更广泛的采用中获利。

企业需要自己的测量层。它应记录请求、模型选择、token 数量、延迟、失败率、人工介入以及所涉及的业务流程。

它们还需要一条停止规则。智能体不应仅仅因为能够继续，就不断修改一份低价值文档。预算、步骤限制、置信度阈值和审批关卡可以约束无边界的工作。

同样的纪律也适用于个人 AI 工作流。反复上传相同来源会浪费时间和上下文。支持知识融合的系统可以检索选定信息，而无需为每次请求重新构建完整上下文。

Simon Willison 长期关注语言模型的实际行为，包括其局限、成本和安全影响。他对 PDF 的观察符合这一思路。最能揭示问题的细节往往出现在日常实施选择中，而非重大的模型发布公告中。

Token 控制本身也可能造成失败

生硬的支出整顿可能扼杀有价值的实验，同时保留最不显眼的浪费形式。

成本控制的理由很充分，但现有证据并不能证明非工程人员是企业 AI 超支的核心原因。Accenture 的评论来自一次被报道的私人讨论，而非公开发布的消耗审计。

一个令人印象深刻的 PDF 故事可能扭曲注意力。文档转换很容易被嘲讽，因为这个工作流听起来过度。昂贵的工程智能体也可能消耗大量上下文、运行测试、检查代码库并重试失败的修改。

这些工程任务可能创造更多价值，但企业仍需要证据。技术标签并不能使消耗变得高效。同样，非技术请求也可能支持重要的法务、销售或研究工作。

组织应避免将 token 管理变成员工监控。提示词日志可能包含机密工作、人员信息、客户记录和初步想法。详细监控会带来安全和隐私义务。

成本分摊也可能抑制协作。如果每个部门都获得严格的 token 预算，团队可能隐藏实验，或将支出转移到仍处于中央仪表盘之外的工具中。

硬性限制会带来另一种风险。智能体可能在完成一项有价值的任务前停止，留给员工仍需手动补救的半成品工作。组织节省了 token，却失去了预期收益。

廉价模型路由可以降低支出，却可能降低质量。较小的模型可能遗漏文档细节、错误处理工具指令，或生成看似合理的错误。需要反复修正的工作流，整体成本可能更高。

EY 认为，token 只是智能体经济学中最显眼的一部分。其智能体成本分析涵盖基础设施、治理、组织变革、失败恢复和监管风险。

这一更广泛的视角很重要，因为局部优化可能将支出转移到其他地方。减少模型消耗可能增加员工审核时间。削减评估运行可能让代价高昂的错误进入生产环境。

企业应衡量整个工作流的总成本，而非为更低的 token 总量庆祝。它们还应在任何干预前后比较质量、速度和风险。

“tokenpocalypse”这一标签可能在此产生误导。问题并不是 token 突然在所有地方都变得难以负担，而是快速采用暴露了薄弱的衡量体系和不清晰的所有权。

一些组织会发现其 AI 项目依然具有经济吸引力。另一些则会发现，员工自动化了战略价值不高的工作。大多数企业会在同一家公司内同时发现这两种模式。

单位成本将继续下降，模型也会持续改进。这些趋势削弱了关于永久性支出壁垒的预测，却强化了治理的必要性，因为更低成本会引发更大的消耗。

因此，怀疑性的结论更为有限。企业不一定正在放弃 AI。它们正从采用目标转向资源分配决策，而这些决策仍然难以评估。

接下来三个信号将显示 Tokenomics 是否有效

下一阶段将由工作流层面的回报、自动模型路由和企业采购行为的变化来评判。

第一个信号是，公司是否报告每个已完成业务流程的成本，而不是 token 总量的下降。一个有用的指标可以追踪一宗已解决的支持案例、一份已审核合同、一次已完成的软件变更，或一项完成的研究任务。

这将强化 tokenomics 的论点，因为它把支出与产出联系起来。如果企业只公布更低的消耗，它们可能只是在抑制使用，而没有提高生产力。

关注 Accenture 如何发展自己的产品。其方法承诺提供跨工作流、负责人、模型和智能体的可视性。可重复的客户成果证据将表明，404 Media 发现的内部担忧已成为一种可行的管理纪律。

第二个信号是广泛采用自动路由。员工目前通过产品菜单或默认设置做出许多模型选择。这会将一项技术成本决策交给缺乏评估信息的用户。

有效的路由会将先进推理保留给真正需要它的任务。它会把简单的提取、分类和改写工作交给更小的系统或传统软件。

关键衡量标准不是路由频率，而是路由能否在降低工作流总成本的同时保持质量。高修正率将削弱激进降级模型的理由。

第三个信号是企业采购的变化。买家可能要求共享使用额度池、详细遥测数据、可强制执行的预算、缓存控制，以及与结果关联更紧密的合同。

它们也可能更青睐那些能处理本地信息、而无需反复将整个文档发送给前沿模型的产品。这将奖励高效的上下文管理，而不是最大化 token 吞吐量。

如果供应商以更清晰的控制和可预测的消耗作出回应，当前的反弹将看起来像一个正常的成熟周期。企业 AI 将在更严格的财务规则下继续扩张。

如果成本依然不透明，企业将施加更广泛的限制。这种结果会减缓实验，并增加对更小、开放权重或本地运行模型的需求。

Simon Willison 的观察为读者评估任何 AI 工作流提供了一个实用问题：模型实际在执行什么工作，以及为什么这项工作需要这个模型？

在将另一份大型文档发送给智能体之前，先提出这个问题。检查文本提取、搜索、本地处理或较小模型是否能完成第一阶段。将昂贵的推理留给那些需要判断的部分。

tokenpocalypse 并不是企业 AI 的终结。它终结的是将每一项生成输出都视为进步证据的做法。那些衡量结果、控制上下文并有意识地路由任务的公司将继续实验。那些只计算采用率的公司，则会在事后继续发现账单。