OpenAI AI 评分卡将成本争论转向每美元获得的有效智能
- Martin Chen

- 7天前
- 讀畢需時 15 分鐘
已更新:6天前
OpenAI 于 7 月 17 日推出了一套 AI 评分卡,挑战了影响企业采购决策的最低价模型逻辑。其提出的衡量指标——每美元获得的有效智能——关注的是在总支出之下,AI 系统能够交付多少可靠的工作成果。
这一转变至关重要,因为采购方往往比较 Token 费率、基准测试分数或用户采用率。这些数字很难说明 AI 系统能否在不需要反复尝试、修正或昂贵人工监督的情况下完成有价值的工作。
OpenAI 希望以成功成果作为经济核算单位。然而,这一主张也带来了明显的利益冲突。该公司销售前沿模型,并会从客户重视能力而非最低的表面使用成本中获益。
企业已经在采取不同的路线。许多企业将常规工作交给更便宜的模型,把前沿系统留给更困难的任务,或者使用路由器动态选择模型。OpenAI 必须证明,其基于成果的评分卡支持这些选择,即使胜出的是另一家提供商。
其影响不只是一项新的性能指标。这是在采购习惯围绕 Token 价格和模型路由固化之前,重新定义企业购买 AI 方式的一次尝试。
OpenAI 的 AI 评分卡以已完成工作取代使用量
OpenAI AI 评分卡将可用的工作成果,而非模型活动量,作为衡量 AI 价值的起点。
OpenAI 首席财务官 Sarah Friar 在这份 AI 评分卡中介绍了该框架。她认为,当软件开始执行工作时,传统的软件衡量指标会变得不那么有参考价值。
长期以来,企业一直追踪购买席位数、活跃用户数和续订许可证数。这些指标能够反映采用情况,但无法证明工具产出了有价值的成果。
AI 使这种区别变得更加复杂。一个人可以生成数十份摘要、起草数百条消息,或反复运行智能体,却没有改善任何业务成果。
因此,该框架提出了四个相互关联的问题。AI 是否正在完成重要的工作?每项成功任务的成本是多少?人们能否信赖结果?随着使用规模扩大,每一美元能否创造更多价值?
这些问题构成了 OpenAI AI 评分卡的每美元有效智能框架。它们将产出量、成本、可靠性和规模化经济效益整合到一个管理视图中。
第一个问题要求企业在特定工作流中定义什么是有用的工作。客户支持部门可以统计已解决的客户问题,而不是已生成的回复数量。
工程团队可以统计通过测试并经受住代码审查的代码变更。法务部门则可以追踪在约定期限内准确审查的合同数量。
这些定义听起来很简单,却会形成纪律约束。团队必须先明确“完成”的含义,才能宣称生产力有所提升。
这一要求将有效智能与生成的材料区分开来。Token 本身没有独立的商业价值,只有当其输出推动了公认成果的实现时才有意义。
OpenAI 以财务预测为例。准备一次审查可能涉及查找最新预测、核对电子表格、识别变动、更新幻灯片以及检查计算结果。
能够完成这些步骤的 AI 系统可以为财务团队节省时间。然而,其价值来自准确、可供决策的材料包,而不是处理过的文件数量。
这种区别也改变了领导者解读采用率的方式。大量使用可能意味着需求旺盛、操作困惑、反复失败,或三者同时存在。
一个模型可能吸引大量用户,同时带来额外的审核工作。另一个系统收到的提示词可能更少,因为它能以更少的干预完成每项任务。
当两者处理相似工作时,评分卡会更青睐第二个系统。它使任务完成度和成果接受度比表面活动量更加重要。
这一重新定义发生在 AI 工具逐渐超越起草文本之际。系统越来越多地检索上下文、调用工具、更新应用程序并执行多个相互关联的步骤。
每增加一个操作,就会在工作流中增加一个可能引入错误的环节。因此,安全完成任务的能力远比仅仅启动任务的能力更有价值。
OpenAI 的提议通过将能力与经济效用关联起来作出回应。只有当额外的推理能力能够减少失败或支持更高价值的工作时,能力更强的系统才会创造价值。
这种方法也避免了将所有任务视为可以互换。回答常规问题和完成财务分析所需的推理、监督与算力并不相同。
相关的比较并不只是每个系统消耗了多少 Token,而是每个系统是否实现了所需成果,以及整个过程的成本是多少。
这正是该评分卡背后的核心变化。AI 采购从统计访问量和消耗量,转向衡量被接受的工作成果。
每美元获得的有效智能改变了成本计算方式
每美元获得的有效智能将成功完成的任务作为分母,AI 供应商和采购方都必须为此提供依据。
OpenAI 建议,将完整的工作流成本相加,并统计达到约定质量标准的结果,从而计算每项成功任务的成本。随后,用总成本除以成功成果数量。
这一总成本不仅包括模型使用费用,还包括员工时间、必要审核、重试、修正、返工、工具、基础设施和失败运行。
假设两个系统处理同一项研究任务。第一个系统使用廉价的推理服务,却生成了质量较差的引用,需要尝试三次并进行大量事实核查。
第二个系统使用更多算力,但一次就完成了可接受的报告。它的表面模型成本可能更高,但完成工作的成本仍然更低。
这一机制是 OpenAI 论点中最有力的部分。Token 定价衡量的是技术投入,而每项成功任务的成本衡量的是运营成果。
它还为采购团队提供了一个通用框架,用于比较采用不同设计的系统。托管式前沿模型、小型模型和开放权重部署都可以接受相同的验收测试。
然而,只有在任务和质量标准保持稳定时,这种比较才有效。团队不能将经过简单编辑的草稿与获得批准的最终交付成果进行比较。
组织需要一个足够小、可以重复衡量,同时又足够有价值、值得关注的评估单位。单个提示词通常过于狭窄,而整个部门又过于宽泛。
明确界定的工作流提供了更好的中间尺度。例如解决一个支持案例、合并一项经过测试的代码变更,或准备一份经过核实的客户简报。
人工审核值得特别关注,因为它往往掩盖了真实成本。一个系统可能看起来效率很高,实际上却将评估工作转移给了员工。
审核时间并不一定是浪费。在敏感决策、模糊证据和责任归属方面,人工判断仍然至关重要。
衡量的关键在于,AI 是否减少了实现可接受成果所需的工作量。如果审核人员检查结果所花的时间与过去自行创建成果所需的时间一样长,那么节省效果依然值得怀疑。
重试是另一项隐性支出。一次失败的运行会消耗模型资源、工具调用、员工精力和时间,却无法产出可接受的结果。
如果组织只追踪成功的 API 调用,就会忽略这种浪费。OpenAI AI 评分卡则会将这些成本计入最终通过验收的成果。
当延迟会影响价值时,时延也应纳入分析。即使答案正确,如果在截止期限后才交付,仍然可能意味着业务成果失败。
这一框架使模型路由成为一项核心经济工具。常规任务可以交给高效系统,而复杂工作则获得更强的推理能力。
根据企业采购模式,企业已经在将日常任务路由至更便宜的模型。它们只针对要求较高的工作选择性地使用前沿系统。
这种做法不一定与每美元获得的有效智能相矛盾。它是在任务层面应用该指标,而不是假设所有工作都应由同一个模型处理。
OpenAI 也将分层模型家族描述为优化这一等式的方法。不同能力级别可以分别服务于高吞吐量、均衡型或推理密集型工作流。
重要的问题是,模型选择是否始终以证据为依据。高端模型不应仅仅因为带有前沿标签而获胜,小型模型也不应仅仅因为 Token 成本低而胜出。
所有候选模型都必须采用相同的成功定义。随后,采购方可以比较完全成本、验收率、完成时间和干预负担。
OpenAI 使用内部产品证据支持其观点。该公司表示,GPT-5.6 Sol 在 DeepSWE v1.1 工程评估中取得了 72.7% 的成绩。
该公司称 Claude Fable 5 的成绩为 69.9%,并估计 GPT-5.6 Sol 的 API 成本低 36.2%。OpenAI 还声称,与另一款领先模型相比,其输出 Token 减少了 54%。
这些数字说明了该机制的预期效果,但它们仍然是由供应商选择的证据。基准测试优势并不能证明其在客户的生产环境中也具有更低成本。
真实工作流包含私有数据、不断变化的需求、遗留工具、审批队列和不明确的目标。这些条件很少能够完全符合受控评估的设置。
因此,可靠的实施应从本地基线开始。团队应在引入 AI 之前记录当前的完成时间、质量、劳动力投入和失败率。
随后,它们可以比较部署后的同一工作流。如果没有这一基线,即使 AI 成本数字十分精确,也无法证明投资回报。
真正的较量是成果经济性与标价之间的竞争
OpenAI 正在要求采购方优先考虑成果经济性,而企业则在构建系统,以防止任何前沿供应商成为默认选择。
这个故事中的主要对手并非某一家竞争模型提供商,而是将更便宜的推理自动视为经济优势的标价采购逻辑。
OpenAI 显然有理由挑战这种逻辑。能力更强的模型通常消耗更多资源,因此其表面成本更容易受到财务团队的质疑。
如果采购方只关注使用费率,前沿供应商将面临来自小型模型、开放权重系统和专业化替代方案的压力。成果经济性为它们提供了另一种辩护依据。
在推理质量能够减少重试的工作流中,这种辩护是可信的。当小型模型已经能够持续达到所需标准时,其说服力就会减弱。
处理可预测表单的企业可能无法从最强大的可用模型中获得多少额外收益,而复杂的工程智能体则可能从更强的推理和工具使用能力中获益良多。
每美元获得的有效智能不会预先解决这一选择。只要应用得当,它会让选择基于实证。
这也正是 OpenAI 的提议可能对 OpenAI 自身不利的地方。中立的评分卡必须承认竞争对手以总成本产出更多可接受工作成果的情况。
企业可以通过路由让这种竞争持续进行。路由器会评估任务需求,并将每项请求发送给合适的模型或系统。
这种架构能够减少对单一提供商的依赖,也会使每美元获得的有效智能成为一项模型组合指标,而不是供应商评分。
团队可以将分类任务交给小型模型,将深度研究交给前沿模型,并将敏感的内部检索交给受控部署。
胜出的系统组合,应是在成本和风险限制内完成最多被接受工作量的组合。任何单个模型都无需在每个类别中占据主导地位。
开放权重模型也给简单比较带来了另一项挑战。其显性的推理成本并不包括部署工程、硬件利用率、监控、安全和维护。
托管系统则将其中许多责任整合进服务中。有效的成本比较必须同时考虑这两种运营模式。
同样,托管模型的便利性并不能消除切换风险、数据治理问题或对不断变化的服务行为的依赖。这些因素可能具有切实的经济影响。
当评分卡能够反映这些差异时,它才有价值。如果它只纳入有利于卖方架构的成本,就会沦为营销工具。
因此,独立衡量至关重要。采购团队应掌控任务定义、评估数据和验收规则。
供应商可以提供基准测试结果和工具,但不应独自决定成功的定义。否则,买方可能会针对供应商最擅长的测试进行优化。
对立因素也存在于组织内部。工程团队可能会优化 token 消耗,而业务团队关注的是已完成的案例、已发布的功能或缩短的周期时间。
财务团队可能只看到不断上涨的 AI 账单,却不了解这些费用支持了哪些工作。员工也可能承担额外的审核负担,而使用情况仪表板从不记录这些成本。
共享的成果指标可以协调这些群体。它既能为技术团队提供成本结构,也能为业务负责人提供可衡量的价值单位。
这种协调需要可靠的上下文。许多知识型任务之所以失败,是因为系统缺少正确的文档、决策历史或最新的客户信息。
更强的模型推理能力无法弥补源材料的缺失。组织必须将信息检索和知识融合视为工作流设计的一部分。
同样的原则也适用于工具访问。一个能够起草回复、却无法更新所需系统的智能体,只完成了部分工作。
反过来,过于宽泛的权限也会增加风险。能够执行操作的模型需要明确的限制、审批关卡和升级路径。
因此,OpenAI 的 AI 评分卡“每美元实用智能”框架所施加的压力不只针对模型供应商,也迫使企业对自身工作进行检测和衡量。
许多公司缺乏关于成功、返工或审核时间的稳定定义。AI 暴露了这些衡量缺口,因为自动化让工作流边界变得更加难以忽视。
如果组织解决这些缺口,就能更真实地评估每个模型。如果不解决,“每美元实用智能”就会沦为另一个缺乏可比数据的诱人口号。
可靠性很有价值,但评分卡可能被操纵
评分卡中最难衡量的变量是可靠性,因为成功标准具有主观性、可变性,并且容易受到选择性报告的影响。
OpenAI 将结果划分为三个实用类别:结果可以直接使用、需要修正,或者需要升级给人工处理。
与单一的准确率分数相比,这种分类更能反映运营现实。它区分了被接受的自动化成果与仅仅开启了人工任务的输出。
可靠性具有直接的经济价值。更少的修正意味着更低的人工成本、更少的延误和重复推理,以及更低的错误触达客户的概率。
它还决定了组织是否愿意信任 AI 承担具有重大影响的工作。起草消息所需的可信度,低于修改财务记录或部署代码。
然而,团队可以通过降低质量门槛来操纵这一指标。如果几乎任何输出都算成功,那么每项成功任务的成本看起来就会非常出色。
他们还可以将困难案例排除在分母之外。一个系统可能仅仅因为评估只涵盖可预测的工作,就显得十分可靠。
在受控推广期间,有选择地挑选任务可能是合理的。但当管理者将结果推广到整个岗位或部门时,这种做法就会产生误导。
因此,成功定义必须涵盖质量、及时性和范围。它还应明确哪些失败会触发修正、升级或拒绝。
独立抽样有助于防止选择性挑选。审核人员可以检查随机抽取的生产结果,而不只是实施团队选出的示例。
团队还应区分模型故障与工作流故障。权限缺失、数据过时、集成失效和指令不清都可能阻碍任务完成。
这种区分有助于诊断,但不应将这些故障排除在总体经济成本之外。当完整系统失败时,买方仍然需要付出代价。
较长的任务会让可靠性尤其难以保证。每增加一个步骤,就多一次发生偏离、错误工具调用或无依据假设的机会。
关于长任务完成能力的研究提供了一种有用的比较方法。它衡量模型在特定成功率下能够完成的人类任务时长。
这项研究强调的是可靠性和错误恢复能力,而不只是孤立的技能。它还提醒人们,不应将基准测试表现直接等同于广泛的职场自动化能力。
OpenAI 自己的评分卡也承认边界的重要性。在系统采取行动之前,组织应明确可访问的数据、获准使用的系统以及必要的人工审批。
这些控制措施可能会增加表面成本,因为它们引入了审核和治理环节。然而,取消这些措施可能造成更大的财务、安全或合规损失。
因此,一份完整的评分卡不能将所有人工监督都视为低效率。有些监督本身就是质量标准的一部分。
关键在于适度。常规、可逆的操作可能只需要抽样检查,而高影响决策则可能需要明确审批。
该框架还需要一种体现损害的方法。一个以低成本完成大量任务、却偶尔造成严重高成本故障的系统,在平均指标下仍可能显得高效。
团队应同时跟踪故障的严重程度和发生频率。一次未经授权的操作,可能抵消数千次成功的低风险任务。
基于同样的原因,方差也很重要。与平均表现相同但故障不可预测的系统相比,稳定的系统能创造更大的规划价值。
OpenAI 表示,可靠的输出应当准确、有来源依据、保持一致,并在适当情况下升级处理。这些特征必须转化为每个工作流内可衡量的验收规则。
对于研究任务,这可能要求来源覆盖和事实核查。对于编程任务,则可能包括测试、安全检查、评审通过和生产稳定性。
对于客户支持,仅仅解决问题可能还不够。组织可能还需要衡量政策合规性、满意度和问题复发数据。
OpenAI 的 AI 评分卡“每美元实用智能”提案并未为这些差异提供一个通用公式。这既是优势,也是弱点。
灵活性让组织能够反映自身的实际工作,但也让供应商之间、部门之间以及公开声明之间的比较变得更加困难。
更广泛的经济研究也承认同样的问题。生产力框架可以结合时间或人工成本比较正确解决方案,但任务定义仍然起决定性作用。
每当公司报告 AI 回报时,都应在内部公布其方法。记录应包括任务范围、验收标准、排除的案例和审核要求。
公司还应保留历史定义。悄然更改质量门槛,会破坏使规模化分析具有意义的趋势线。
只有当输入保持可审计时,OpenAI 的框架才能提升问责能力。否则,每家供应商都可以借助有利的分母,宣称自己实现了很高的实用智能。
三个信号将表明评分卡能否持续存在
接下来的考验是,“每美元实用智能”能否成为一种可复现的运营指标,而不只是具有说服力的供应商叙事。
第一个信号是客户或独立评估机构发布工作流层面的结果。这些研究需要涵盖完整的成本边界和稳定的验收标准。
有力的证据应在同一生产任务上比较多个系统,并纳入重试、人工审核、延迟、基础设施和失败结果。
如果前沿系统反复实现更低的已完成任务成本,这类结果将支持 OpenAI 的观点。如果小型模型能以更低的总成本达到同等质量,则会削弱这一观点。
第二个信号是模型路由行为。企业已经开始在多个系统之间分配任务,而不是选择一个通用模型。
如果 OpenAI 的评分卡得到广泛采用,路由平台应针对被接受的结果进行优化,而不只是关注 token 价格。它们的仪表板还应展示修正率和升级率。
这一结果将验证该指标,同时限制 OpenAI 对它的控制。买方会采用这一框架,但让所有供应商在同一衡量体系内竞争。
另一种结果也同样具有启示意义。如果公司仍然几乎完全按价格进行路由,可能说明它们缺乏衡量成果所需的数据。
第三个信号是财务负责人是否将成功任务的经济性纳入预算和运营评审。采购语言通常决定哪些指标能够长期保留下来。
真正的采用模式会将 AI 支出与明确命名的工作流、质量门槛和基准表现关联起来。管理者会询问哪些工作得到了改善,而不只是使用量增长了多少。
这种做法将强化评分卡的核心主张,表明组织能够将模型活动与可衡量的业务产出联系起来。
如果无法建立这些联系,该指标就会继续依赖案例研究和供应商基准测试。它作为一个问题仍然有用,但作为财务标准则显得薄弱。
读者还应关注 OpenAI 如何报告自己的证据。如果该公司展示在可比任务中成本更低的替代方案获胜的案例,就能增强其可信度。
一份始终有利于发起方的评分卡,不会成为值得信赖的市场标准。能够揭示权衡取舍的评分卡更有可能成功。
该框架出现得恰逢其时,因为 AI 智能体正在扩大从提示词到最终成果之间的距离。这段距离隐藏了重试、修正、工具故障和审核人工成本。
“每美元实用智能”为买方提供了识别这些成本的语言,但它并不能免除定义成功或对工作流进行检测和衡量的艰巨工作。
对于开发者而言,当前应采取的行动是将结果与模型使用情况一起记录。记录每次运行是通过、需要修正、升级处理,还是失败。
对于企业买方,应要求试点项目依据采用 AI 前的基准衡量完整工作流,并使用相同的任务和验收规则比较供应商。
对于知识工作者,应关注 AI 是否减少了最终交付所需的投入。如果验证和修复耗尽了节省的时间,那么更快完成初稿并没有多大意义。
OpenAI 的 AI 评分卡“每美元实用智能”方法最终对市场双方都提出了严格要求。供应商必须将能力声明与被接受的工作成果联系起来,而买方必须如实衡量工作。
这比脱离上下文比较 token 费率更有意义,但结论仍未确定。
在下个季度选择一个重复出现的工作流。定义成功结果,记录每一次修正,并计入完成任务所需的人工时间。
然后比较不同模型或路由策略的结果。如果 OpenAI 的观点成立,最佳系统并不总是显性成本最低的系统。
它将在组织的实际约束条件下,交付最可靠的成品。决定下一笔 AI 预算投向的,应当是这一证据,而不是基准测试的醒目标题或供应商的宣传口号。


