top of page

GDPx 基准测试瞄准高价值 AI 工作,最高得分仅为 12%

3天前
讀畢需時 12 分鐘

SemiAnalysis 于 2026 年 11 月 2 日推出 GDPx 基准测试,其排名最高的模型在 11 个领域中的得分为 12%。这一结果为前沿 AI 开发者提供了一个要求严苛的新参照点。它也引出了一个关于评估本身的问题:测试应当反映当今经济,还是反映预计将吸引前沿 AI 投入的专业工作?

据 SemiAnalysis 介绍,GDPx 聚焦于先进 AI 可带来尤为可观回报的领域。其覆盖范围从芯片设计和科学研究,延伸至金融、法律工作与软件工程。这一选择不仅是在衡量当前能力,也是在表达对未来需求的判断。

这与 OpenAI 的 GDPval 形成的对比值得关注。GDPval 通过职业和具有经济重要性的行业抽样专业工作;GDPx 则基于另一种判断,即前沿智能应当应用于哪些领域。对于开发者和企业买家而言,这两种方法回答的是不同问题。任何单一的头条分数,都不足以证明一个智能体能够可靠地处理企业的实际工作负载。

GDPx 基准测试将专业工作置于核心位置

SemiAnalysis 将其前沿能力基准测试描述为一项涵盖具有经济价值的技术与专业领域的测试。其公告明确优先考虑先进 AI 的预期机会,而非对当前经济活动进行代表性抽样。这是读者在解读任何排名前应先理解的决定。

GDPx 测试的是经过筛选的高价值前沿工作视角,而非衡量整个经济体的自动化程度。

这一区别改变了成功的含义。强劲结果能够支持模型在该基准所选环境中表现良好的说法,但不能证明其在所有职业、业务流程或客户互动中都具备广泛能力。同样,较弱的结果也不意味着模型在更狭窄的辅助场景中没有价值。

不妨考虑协助工程师检查设计,与独立交付可接受工程成果之间的差别。当专业人员能够补充缺失背景、发现错误,并决定哪些内容值得进一步调查时,辅助仍然很有价值。自主执行则将更多责任交给系统自身的选择。

面向高要求智能体工作的基准测试,应当让这种差异清晰可见。智能体即为朝着某一目标采取行动的 AI 系统,它不能只给出看似合理的解释,还需要选择有用行动、解读反馈,并在初始方法失败时恢复推进。

这也使完成标准格外重要。一份精致的回答可能掩盖未解决的依赖项或缺乏依据的假设。反过来,呈现不够流畅的结果也可能包含技术上正确的工作。在将分数视为专业实用性的证据前,读者需要了解评估奖励的是哪些属性。

此次发布也为 AI 开发者提供了一个共同研究失败案例的场所。一项困难任务可能暴露规划、工具使用、验证或专业推理方面的薄弱环节。这些薄弱环节需要不同干预措施。改进指令未必能弥补缺失的技术能力,而更强的模型也不会自动修复失效的工具连接。

因此,对买家而言,其即时价值在于诊断。该基准测试提出了有关拟议部署时值得询问的问题:哪些任务与目标工作流相似?哪些失败会被审查者发现?哪些错误会在造成下游问题前始终不被察觉?

当这些问题与排名一同被纳入考量时,GDPx 基准测试会更有价值。若把其分数当作通用指标,反而会忽略赋予该评估自身特征的领域选择。

12% 的领先成绩改变了买家应提出的问题

已发布的智能体性能排行榜显示,Claude Opus 5.5 得分为 12.0%,Gemini 4 Carbon 为 10.9%,GPT-6 Astra 为 9.6%。该排行榜对领域赋予相同权重,也对每个领域内的合作方赋予相同权重。任务采用二元或连续评分,分数取三次尝试的平均值。

这一头条百分比描述的是该评估的评分体系,而不是 AI 能够自动化的办公室工作占比。

连续评分并非只判定成功或失败,而是给予不同程度的分数。只要这种方法与二元评分并存,读者就不应轻率地将汇总结果理解为简单的完成率。评分规则决定了百分比的含义。

领域等权重又形成了另一条解读边界。某一领域对头条分数的贡献,并不直接反映它对特定买家的重要性。半导体团队与法务部门在审视同一评估后,完全可能合理地偏好不同系统。

这并不会削弱共同分数的价值。汇总使广泛比较更便于浏览。问题出在便利取代了细查。采购决策需要相关领域的结果、任务条件以及可接受的失败模式。

设想一家企业正在评估用于技术文档审查的智能体。买家可能更重视识别缺失证据,而不是快速产出完整答案。另一家公司则可能优先考虑起草速度,因为每份输出都已由专家审查。两者偏好的系统不一定相同。

较低的汇总分数也可能有多种解释。任务可能要求系统缺乏的知识、其工具无法执行的操作,或它无法持续维持的协作。评估可以揭示性能差距,却未必能立即说明其原因。

因此,下一个有用的问题是系统在哪里停止取得进展。它是否误解了目标?是否选择了错误工具?是否完成了大部分步骤却未通过最终检查?这些区别对于实施而言,比孤立的排名位置更重要。

买家还应区分部分实用性与独立可靠性。无法完成困难任务的系统,仍可能生成有价值的中间产物。只要合格人员无需重做全部工作即可评估该产物,这就是一种潜在的辅助使用场景。

反向问题同样值得重视。一份看似完成的交付物,可能需要大量核查后才值得信任。如果验证成为主要工作量,表面上的自动化可能只是转移了工作,而非减少了工作。

因此,GDPx 的结果应促使验收标准更加明确。部署方案需要定义何为满意的工作成果、建立审查流程,并具备识别缺乏依据输出的方式。排行榜提供比较证据;组织仍须自行决定何种证据才算充分。

GDPx 与 GDPval 之争,本质是衡量什么的争论

OpenAI 在 GDPval 中通过覆盖 44 个职业的工作引入了具有经济价值的任务。其已发布的方法论将任务选择与对美国经济产出贡献显著的行业联系起来。SemiAnalysis 则采取不同的出发点:优先考虑预计前沿智能能够带来尤其可观回报的领域。

核心分歧首先在于工作样本的选择,而非哪一种模型表现最佳。

基于职业的评估会询问:AI 如何处理既定经济结构中可识别的专业交付物?聚焦前沿的评估则会询问:系统在与先进能力和预期需求相关的选定领域中表现如何?这两个问题彼此相关,但答案不能互换。

对于买家而言,经济广度提供一种相关性。它有助于将评估与现有角色、部门和熟悉的产出联系起来。企业可以识别这些工作成果,并判断它们是否类似于自己已在分派的任务。

专业深度则提供另一种相关性。技术要求高的工作流可以暴露出广泛收集普通交付物时容易遗漏的局限。对于将自主系统推向专家场景的团队而言,这些局限值得被直接衡量。

两种方法都无法从基准测试设计中消除判断。总得有人选择任务、决定提供哪些背景,并定义什么样的结果可以接受。经济类别不会让这些选择变得中立。选择与未来 AI 投资相关的行业同样不会。

因此,GDPx 与 GDPval 应继续被视为对测量选择的比较。它不应演变为一场竞赛,让一个看似更困难的分数自动否定一组更易理解的任务。难度只有在与所提问题相匹配时才有意义。

一项评估可能过于容易,无法区分先进系统,但仍有助于理解常见应用。另一项评估可以区分前沿系统,却只代表日常工作中的狭窄切片。两者都能提供证据,但不能互相替代。

METR 通过任务完成时长提供了另一种视角,该指标将表现与人类专家完成可比任务所需的时间联系起来。METR 提醒,其测量依赖于任务选择,不能证明跨职业的普遍自动化。

这一视角突出了任务难度与机器运行时长之间的重要区别。让智能体运行更久,并不能证明它能够处理要求更高的工作。关键在于它能够管理何种复杂度,同时仍产出可接受的结果。

因此,合理的评估组合可以纳入不同视角。广泛的专业任务展示覆盖范围;专业环境测试深度;基于时长的分析考察持续执行能力。由于这些测试检视的是不同属性,最终图景必然包含分歧。

这些分歧很有价值。它们让买家能够质疑那些将多样化证据压缩为单一“通用能力”主张的销售展示。

领域选择的重要性超出头条分数所呈现的程度

已发布的领域任务说明显示,GDPx 的范围远不止于对话式回答。金融领域包含一个拥有 4,000 个文件的交易环境。硬件工作涉及工程软件,而材料科学包含模拟实验室设备。其范围还包括对齐,即智能体是否保持诚实并尊重其权限范围。

真实的任务环境至关重要,因为有用的执行取决于背景、约束与验证能否共同发挥作用。

金融案例说明了获取信息与正确使用信息之间的差别。庞大的文档集合可能同时包含相关证据和干扰材料。智能体必须识别哪些内容重要、协调相互矛盾的细节,并保持证据与结论之间的关联。

对于一项假设性的交易审查,找到一个数字只是工作的开始。审查人员仍需理解其定义、报告期,以及它与其他文件之间的关系。遗漏这些限定条件的答案,看似精确,却可能支撑错误的决策。

工程领域同样如此。设计方案必须满足实际约束,而不只是看起来像一个可接受的设计。系统必须区分成功完成的中间操作,与符合任务要求的最终结果。

科研工作流也面临类似挑战。运行一次分析,并不能证明其假设与实验相符。智能体需要在任务的科学背景下解读输出,而不是接受工具产出的任何结果。

这些例子说明,专业环境为何能暴露问答测试所掩盖的弱点。系统会面对一连串决策,其后果不断累积。早期的误解可能导致后续输出在内部看似自洽,却依然错误。

它们也说明,环境设计值得审视。任务之所以看似真实,可能是因为其界面类似专业软件。然而,真实性还取决于所提供的信息、允许采取的操作,以及用于评估结果的标准。

读者应区分一个令人信服的场景,与证明该场景捕捉了实际工作中最困难部分的证据。做出这种判断需要审视示例和失败案例。仅凭领域标签无法证明这一点。

对于知识工作者而言,实际启示是保留围绕 AI 辅助决策的证据链。将源文件、中间结论和审查记录保持关联,能让存在争议的输出更容易被调查。

构建可搜索知识库的团队,在准备内部评估时也可以采用同一原则。他们需要可检索的证据,以说明系统看到了什么,以及审查人员为何接受其结果。

这种组织纪律是对外部基准的补充。GDPx 提供了一个严苛的参照点,而公司自身的记录则能证明性能是否能迁移到其实际场景。

安全限制使能力的含义更加复杂

SemiAnalysis 表示,安全分类器会影响部分模型在网络安全、生物学和对齐领域的结果。它还讨论了排除这些领域后的排名。安全分类器是用于识别受限请求或行为的系统;其干预会影响智能体尝试和完成的工作。

被阻止的任务、未成功的尝试和未经授权的操作代表不同的结果,即使它们都会降低表面上的实用性。

发布方的解释应被视为需要归因的信息,而不应被自动接受。较低的分数本身并不能证明不受限制的版本就会成功。要证明这一点,需要有证据在其他条件可比的情况下,将拒绝行为与技术失败区分开来。

这种区分很重要,因为能力和可用性是不同的属性。模型可能具备相关知识,却拒绝将其用于获准的企业任务。对于该买方而言,无论模型的底层能力如何,这项限制都会成为实际部署约束。

另一个系统可能会尝试完成更多工作,却需要更密切的监督。它愿意继续推进或许会提高任务覆盖率,但也会带来不同的运营负担。买方需要同时了解这两种属性的证据,才能将更高的完成分数视为更好的业务结果。

移除敏感领域,只回答了关于其他领域表现的更狭窄问题。它无法解决限制是否恰当、任务说明是否建立了充分授权,或所尝试的操作是否仍在范围之内。

这使得对齐对于解读尤为重要。成功的智能体应当在其权限范围内追求目标。通过被禁止的操作达成结果,不应成为部署已准备就绪的证据。

对于一项假设性的安全评估,获准检查某个指定应用,并不自动授权探测相邻基础设施。即使未经授权的操作有助于定位漏洞,这一区分仍然重要。组织可接受的结果还包括遵守评估边界。

这造成了真实的评估权衡。测试不应在工作正当且获准时奖励空洞的拒绝。它们同样不应奖励无视明确限制的激进执行。有价值的评估需要区分这些行为,而不是将它们隐藏在总分之中。

同一原则也适用于安全领域之外。智能体可能捏造缺失信息、悄然改变假设,或在没有充分证据的情况下声称完成。这些行为会让结果看起来富有成效,却削弱其可靠性。

对于企业买方,相关问题是当推进变得困难时,系统会如何行动。它是否会索取必要信息、报告不确定性,并在正确的边界止步?还是会编造一条通向表面成功的路径?

GDPx 基准将这些问题与技术性能纳入同一场讨论。读者应将它们区分开来加以审视,同时认识到,已部署的系统必须同时满足两者。

GDPx 发布后需要关注什么

接下来有价值的证据将说明,更高的分数是否反映了更广泛的可靠性、更清晰的失败分析,还是仅限于熟悉任务的改进。

首先需要关注的信号,是对代表性任务和结果的独立审查。如果外部评估在有据可查的条件下复现了整体发现,将增强人们的信心。若出现重大分歧,就值得调查环境差异、评分规则和访问条件。

独立审查不必要求公开每一个答案。基准设计者也需要保护任务不成为训练材料。有价值的平衡是:提供足够的信息以审查方法论并复现有意义的比较,同时不让未来结果变得轻易可被操纵。

第二个信号,是更清晰地区分安全干预与技术失败。更明确的报告将强化有关限制如何影响排名的说法。若表面上的拒绝惩罚其实暴露的是无关的执行问题,那么安全系统导致差距的解释就会被削弱。

买方应关注实际尝试层面的证据。关于安全限制的笼统说法留下了重要问题未解。当审查人员能够看到所请求的目标、获准的范围,以及行为发生变化的节点时,解读会更可靠。

第三个信号,是向陌生工作的迁移。如果模型改进能够在新任务中保持,将强化其更广泛能力提升的论点。若改进仅限于熟悉的评估,则只能支持关于该测试表现的更狭窄结论。

SemiAnalysis 表示,它计划每三到六个月更新一次 GDPx。在未来数月中,有价值的准备工作包括更清晰的版本追踪,以及解释未来任务变化如何影响比较。若底层测试发生变化却没有可解读的衔接,分数上升的意义就会减弱。

对于 AI 开发者而言,这些信号更支持调查,而非庆祝排行榜。一次有价值的发布应说明哪些失败变得不那么频繁,以及在何种条件下如此。只有当团队能够将更好的总体表现与更可靠的执行联系起来时,聚合性能的改善才最有意义。

对于企业买方,实际的下一步是开展有边界的内部试点。选择结果可观察、且配有合格审查人员的工作。将智能体的输出与现有实践进行比较,同时记录修正和未解决的问题。这一过程检验相关性,而不是从外部排名中假定相关性。

内部试点还应保留困难案例,而不是通过平均分将其淡化。一次罕见但后果严重的错误,可能比在常规材料上频繁成功更重要。组织需要决定哪些错误需要审查、升级处理或缩小部署范围。

请将 GDPx 基准视为下一次 AI 评估中一组可检验的问题。识别最接近自身工作的领域,然后审视任务要求什么,以及结果如何获得认可。要求供应商同时解释失败与成功。保留审查其回答所需的证据,包括限制和人工修正。在扩大访问权限之前,将这些发现与自身任务的一小部分样本进行比较。有价值的结果是更清晰地界定可靠性能的边界。工作流中的哪些部分可以由智能体以可接受的方式完成,哪些仍需要专家承担判断?

 
 

免费开始使用

一款本地优先的AI助手

为了获得更好的人工智能体验,

remio 目前仅支持Windows 10+ (x64)和M-Chip Mac 。

你的 AI 工作伙伴

和 remio 一起高效工作

规划、创作、交付

一站式完成

bottom of page