top of page

前沿模型实际成本:分词器差异导致隐藏的价格上涨

已更新:7月20日

一个 TypeScript 文件在 GPT-5.x 上消耗 681 个 token,但在 Claude 最新分词器下则达到 1,178 个 token。1.73 倍的差异使公布的费率转化为截然不同的实际成本。

Claude 提供商在分词器更新后保持了相同的美元价格。结果是实际费率上涨,仅在开发者测量实际用量时才会显现。

相同代码,不同 token 数量

开发者在不同提供商上测试了相同的 TypeScript 文件。GPT-5.x 统计为 681 个 token。最新 Claude 分词器统计为 1,178 个 token。差距在之前显示较小差异的代码上达到 73%。

同样的模式在多种语言中都存在。TypeScript 产生了最大的差异。其他代码文件的 token 数量在新 Claude 分词器下比之前多 1.50 倍至 1.73 倍。

这些数量是在相同输入上测量的,未对格式或结构进行任何更改。唯一变量是分词器本身。

公布价格保持不变而用量增长

Anthropic 发布了新分词器,使 token 数量比之前版本大约增加 30%。Claude Opus 4.8 的公布费率仍为每百万输入 token 5 美元、每百万输出 token 25 美元。Opus 4.6 也适用相同费率。

由于新分词器对同一文件产生更多 token,运行未更改代码的成本增加了约 32%。价格表并未改变。

Claude Sonnet 5 目前享有促销费率,每百万输入 2 美元、每百万输出 10 美元。该费率将于 2026 年 8 月 31 日结束。促销结束后费率将恢复为 3 美元和 15 美元。到那时,同一 TypeScript 文件的成本将比在 Sonnet 4.6 上高出约 32%。

开发者承担实际涨幅

按 token 量跟踪支出的团队现在看到更高的账单项目,即使他们的模型和提示保持不变。没有发生模型切换。没有添加新功能。只有从字符到 token 的内部映射发生了变化。

每月预算紧张的小型组织最先感受到这种变化。他们无法在不削减实验量或迁移工作负载的情况下吸收 30% 以上的实际支出增长。

大型团队可以将涨幅分散到更多账户,但仍面临同样的算术问题。账单增长却没有带来相应的模型能力提升。

GPT 与 Claude 的 token 效率比较

直接对比测试显示,Claude 新分词器在相同输入上始终返回比 GPT-5.x 更多的 token。1.50 倍至 1.73 倍的范围覆盖了典型代码文件。TypeScript 处于高端。

早期分词器版本产生的差距较小。这一变化出现在最近的 Claude 更新之后。从旧版 Claude 模型迁移代码到新模型的开发者在其用量仪表板上记录了这一跃升。

目前 Anthropic 或 OpenAI 均未发布针对这些分词器差异进行调整的公开基准。因此,报告的性能数字基于不同的底层 token 基础。

仍不明确之处

Anthropic 尚未在公开代码库上发布新旧分词器的详细比较。32% 平均涨幅的独立验证仅基于上述开发者测试集。

同样未知的是,未来的分词器更新是否会再次扩大或缩小这一差距。第二次修订可能抵消当前涨幅,也可能进一步推高 token 数量。

OpenAI 尚未宣布计划调整其自身分词器以作回应。任何这方面的举措都将再次重置相对成本图景。

值得关注的信号

发布 token 量数据的团队的月度用量报告将显示实际涨幅是否稳定或继续增长。持续高于 30% 的涨幅将确认这一变化是结构性的。

Anthropic 的财报评论或 API 文档更新可能会揭示该公司是否打算在 2026 年 8 月之后通过费率调整来抵消分词器变化。

OpenAI 任何新模型版本的发布说明都可能包含分词器细节。那里的重大变化将为运行相同工作负载的开发者创造新的成本比较点。

依赖前沿模型进行日常编码工作的开发者应在其实际文件上重新测量 token 数量,而不应仅依赖公布费率。TypeScript 上 1.73 倍的差异表明,真实价格由分词器决定,而非美元符号旁边的数字。

 
 

免费开始

一款本地优先的AI助手,具备个人知识管理功能

为了获得更好的人工智能体验,

remio 目前仅支持Windows 10+ (x64)M-Chip Mac

在你的大脑里添加一个搜索栏

Ask remio

记住一切

​无需整理

bottom of page