METR 更新揭示 AI 编程能力与判断力之间的差距
METR 于 2026 年 11 月 20 日扩展了其 AI 能力评估,发现 AI 持续呈现指数级进步,但在需要判断力的任务上表现较弱。METR 时间跨度更新显示,已测任务跨度的翻倍时间约为 3.6 个月。但这一趋势并不能说明 AI 能在无人监督下安全工作多久,也无法证明它能否独立开展有价值的研究。
这一差异至关重要,因为完成一项定义明确的编程任务,与选择一项值得进行的实验,需要不同的成功证据。程序或许能通过测试,但其更广泛的目标可能选择不当。METR 扩展后的评估套件考察了这条分界线的两端;当智能体获得清晰反馈时,结果更为强劲。
这些发现对“编程能力进步会直接转化为自主 AI 研究”的说法构成压力。它们也挑战了另一种相反假设,即判断力的不足必然意味着研究自动化将长期停滞。METR 观察到了显著能力、实质性局限,以及衡量两者关系时日益增加的难度。
METR 时间跨度更新实际衡量的是什么
该图表通过人类完成任务所需时间追踪任务难度,而非衡量智能体能够可靠工作的时长。
时间跨度是指,在评估套件中与特定模型成功率相对应的人类任务时长。在常被讨论的 50% 阈值下,模型预计约有一半概率能够完成该难度的任务。这些小时数描述的是人类参考工作量,而不是模型实际运行所花的时间。
因此,METR 的任务完成时间跨度需要比“智能体能够完成整班工作”的标题更审慎地解读。更长的时间跨度表明模型在所测任务分布上的表现更好。它并不证明模型能可靠完成所有一个人需要花同样长时间的任务。
这份 11 月报告在该机构此前以软件为重点的评估基础上,新增了面向 AI 研究与开发相关能力的任务。结果涵盖截至 Anthropic 的 Opus 5.5 和 OpenAI 的 GPT-6 Astra 在内的公开模型。这些模型以智能体形式运行,即使用工具并为实现指定目标采取连续行动。
报告涵盖三套不同的评估。Time Horizon 1.1 包含 222 项任务,MirrorCode 包含 75 项软件复现任务,TH2 则包含来自 12 个任务家族的 36 项任务。这些数量之所以重要,是因为它们描述的是不同任务集合,而非同一基准测试中可互换的不同版本。
TH2 包含八个结果可验证的任务家族,以及四个更难验证、涉及研究或判断的任务家族。可验证任务的结果可由评估人员依据既定目标进行检查。判断任务则要求在缺乏清晰、快速反馈时作出有价值的选择。
综合 Time Horizon 1.1 和 TH2 两套评估,METR 估计,50% 成功率对应的时间跨度约每 3.6 个月翻一番。这是该特定指标上的指数趋势,并不意味着每项 AI 能力都以相同速度提升。
加入更困难的任务也改变了图表的解读方式。METR 报告称,对于同一模型,综合套件得出的时间跨度低于仅使用 Time Horizon 1.1 时的结果。在扩展测试后出现较低测量值,并不意味着模型能力下降。
这次扩展回应了一个实际问题:随着模型能力提升,早期任务的信息价值不断降低。METR 表示,旧套件已趋于饱和,限制了其区分更强系统的能力。更新后的测试寻求覆盖更困难的工作以及更广泛的能力画像。
因此,这次更新不仅是在熟悉的上升曲线上新增一个数据点。它改变了评估人员能够针对这条曲线提出的问题。核心问题变为:在定义明确任务上的能力提升,是否会延伸至那些“识别何为成功”本身就是任务一部分的工作。
自主研究主张面临不同的检验
当前压力直接落在研究自主性的主张上,因为产出某项成果只是交付有价值工作的一部分。
AI 研究包括实现、实验、解读,以及决定哪些方向值得进一步投入。某一项活动的进步能够加快团队效率,却未必取代其他活动。11 月的发现使这种区别更难被忽视。
METR 报告称,当前前沿模型在编程和优化任务中,往往能达到或超过其招募的熟练人类参与者。优化是指在既定约束下改进指定分数或目标。这类环境通常为智能体提供了直接比较不同尝试并持续改进的方法。
即使智能体不负责选择更广泛的研究议程,这种优势也具有实际意义。研究人员可以委托其完成实现工作,同时保留对实验优先级的责任。更强的实现能力可以提高团队完成工作的总量。
与人类专家的比较仍比“普遍优于人类”的主张更为有限。METR 承认,其招募的参与者是否能在各自专业领域代表前沿实验室员工,仍存在不确定性。随着任务时长增加,招募同时具备必要专业知识和可用时间的人员变得更加困难。
在存在更大规模历史对照群体的场景中,结果也为卓越的人类表现保留了位置。METR 发现,模型在编程优化竞赛中排名靠前,但最佳人类参与者通常仍然领先。在训练脚本优化中,顶尖贡献者同样实现了超越最强智能体运行结果的改进。
OpenAI 于 11 月 18 日发布的研究加速说明,提供了来自实验室内部的相关、由公司自行报告的视角。该说明报告称,受委派研究任务的成功率正在上升,但不同活动之间存在显著差异。人类仍是其所描述开发过程的核心。
这些证据支持研究工作流中自动化程度不均衡的图景。它并不能为 METR 的结果提供可互换的验证。内部工作场所任务、基准任务和回顾性成功评估采用不同方法,也捕捉不同条件。
对于 Anthropic、OpenAI 及其他开发者而言,更困难的问题是:当实现工作变得更容易后会发生什么?智能体能否识别出哪项实验会有意义地减少不确定性?当积极结果源于薄弱测试时,它们能否察觉?
企业买家在评估用于技术工作的智能体时,也面临类似区别。一项拥有清晰验收测试的成功演示,能够支持该具体使用场景。但它对于目标模糊、需求变化或后果延迟的任务,提供的证据较少。
METR 时间跨度更新提高了这些主张所需的证据标准,同时并未否定其基础能力提升。对自主研究的有说服力描述,需要同时提供关于方向、评估和执行的证据。编程表现是这一论述的重要组成部分,但该报告并未证明它已构成完整图景。
强大的编程能力并未解决判断力问题
METR 最具启示性的失败,出现在模型必须决定何种评估才有价值的时候。
一项 TH2 任务要求智能体创建一项评估,以协助 METR 判断模型能力。这不仅要求编写功能正常的软件。所提出的测试还必须回答一个 METR 认为有价值的问题。
根据能力评估发现,没有一项由智能体创建的任务足以作为有价值的新评估被纳入报告。一些输出已接近实用,显示出相对于较弱模型的进步。但评分系统内的提升,并未转化为 METR 选择采用的工作成果。
智能体通常偏好可自动评分的优化任务。即便后续实验明确要求涉及短期反馈不佳的决策任务,它们仍继续这样做。这种行为暴露出一个错位:产出可衡量的挑战,与识别有信息价值的研究问题之间并不相同。
METR 还报告称,尽管拥有互联网访问权限,智能体并未独立调查该机构认为什么类型的任务最有价值。研究人员没有在拟议评估背后观察到新颖的威胁建模或特别有洞见的假设。这些是在受测设置下的观察结果,而非模型永久缺乏此类能力的证据。
这种区别十分具体。一项评估可以正确运行,却依然无法告诉研究人员他们需要了解的内容。其实现质量和研究价值是两种不同属性,尽管两者都会影响最终结果。
第二项实验考察模型能否判断其他模型产出的评估。更强的评审模型在评估较弱创作者时,与人类评分的一致性更高。当创作者实力相当或更强时,评审模型倾向于给出过于宽松的分数。
这一发现使一种常见的弱监督解决方案变得更复杂:让另一个 AI 审查工作成果。审查者可以识别明显缺陷,却可能错过更具迷惑性的错误。因此,作者与审查者之间的一致意见并不能独立证明质量。
METR 为这一模式提供了不止一种解释。模型可能缺乏评估这些任务所需的判断力,或者更强的创作者可能产出会误导较弱评审者的结果。实验并未最终区分这两种可能性。
更广泛的机制涉及反馈。强化学习,即在评分系统下奖励结果的训练方式,受益于能够表明哪些尝试有效的有用信号。编程和优化通常能通过测试或测得的表现提供这类信号。
开放式研究可能延迟这种反馈,或使获取反馈的成本高昂。一项看似有前景的提议,可能要经过大量实验后才会失败。一个看似没有产出的方向,可能在研究人员发现被忽略的假设时被证明有价值。
该报告并未证明判断力和编程能力是根本不同的能力。METR 在一些机器学习优化任务中观察到模型具备有用判断力的证据。这些成功案例仍保留了一种可能性:能力迁移的范围可能比较弱的判断结果所暗示的更广。
因此,这一反转是具体的:出色的执行能力并不会自动验证系统对自身工作的评估。模型可以持续改进,而这种评估仍可能不可靠。对于自主研究而言,这些能力之间的关系,与任何单项分数同样重要。
构建更好的测试正变得更加困难
扩展后的评估暴露出一个测量问题:真实反馈通常成本高昂、获取缓慢,或依赖专家。
METR 引入生命周期成本,作为对反复创建、运行和评分一项评估所需工作量的粗略估计。该指标包括开发和质量保证,以及执行和评估。它旨在捕捉仅凭人类任务时长无法反映的约束。
两项任务可能需要相近的人力投入,却带来截然不同的评估负担。其中一项可能以可自动检验的答案结束;另一项则可能需要专家审查推理过程、评估缺失背景信息,或判断一项研究贡献是否重要。
其他负担还包括复杂环境、计算需求、监控以及漫长的反馈周期。测试还必须防范奖励黑客行为,即利用评分规则漏洞、却未实现其预期目标的行为。更强的模型可能暴露出早期评估未曾预见的捷径。
在 METR 的数据集中,在控制人类完成任务所需时间后,预估生命周期成本更高的任务往往对模型更难。这种关联表明,低成本评估可能遗漏与难度相关的重要维度。但这并不能证明成本本身导致了更弱的表现。
METR 使用经过其研究人员评估校准的模型评审器来估算生命周期成本。这些估算反映了该组织自身的经验与约束条件。前沿实验室可能面临不同成本,而模型能力的变化也可能改变评估的经济性。
报告还发现,其任务中高成本和低成本子集的改进速率相近。这一限定很重要。当前在高成本评估中的较差表现,并不意味着这些评估上的进展已经停滞。
人类参考测量也带来另一项局限。直接的人类基准仅支撑了报告中 9% 的人类时间估算,其余估算则依赖专家判断、公开证据和外推。
这会影响读者应如何把握高难度任务所标注工时的可信度。预估时长仍可提供有用信息,但它与观察到的完成情况并不具备相同的证据基础。系统性的估算误差可能影响不同任务组之间的比较。
人类对比同样包含 AI 辅助。METR 允许参与者使用 Sonnet 5 进行实现,部分原因是为了支持招募,并适应既有工作习惯。因此,所得基准不应被描述为未借助辅助的人类表现。
难以验证的任务会引入额外的主观性。一项拟议评估是否有价值,部分取决于 METR 的研究优先级及其对相关风险的看法。该组织承认,这些判断可能出错。
哲学批判任务提出了一个相关问题:究竟谁的判断会成为参照。模型是依据专家评分进行评估的,而一致性可能取决于专家是谁,以及他们可投入的时间。这使结果具有参考价值,但并不能将其变成对人类判断的全面衡量。
这些注意事项进一步强化了 METR 先前提出的时间跨度局限性:基准分数在被用于工作场景或安全性主张之前,需要结合背景来解读。更新后的任务集拓宽了证据范围,同时也增加了不确定性。更广的覆盖和更干净的测量并不总是同时到来。
图表无法为研究起飞标定日期
持续的指数级进步并不能证明 AI 系统将在何时能够独立加速自身的发展。
诱人的外推方式,是从测得的翻倍时间出发,将曲线延伸至越来越长的任务。这类预测可以说明趋势保持不变时可能意味着什么,但无法证明相同的任务、方法和关系会持续具有代表性。
任务选择已经影响了 11 月报告中的拟合趋势。METR 在分析扩展任务集的不同子集时得出了不同结果。研究人员讨论了多种可能解释,包括当模型开始通过较新的任务时显现出的难度分布变化。
METR 还引入了 METR Capability Index,这是一个使用项目反应理论构建的综合指标;项目反应理论是一种将模型能力与任务难度联系起来的统计方法。这为追踪受测系统之间的表现提供了另一种方式,但并未消除对建模选择的依赖。
在该指数上,METR 没有发现其测试的公开前沿模型存在强烈的加速或减速迹象。在某些条件下,它观察到不确定的、与开发者相关的变化。这些发现对方法论选择较为敏感,因此限制了对增长速率变化作出强有力主张的空间。
指数级进步与加速进步之间的区别在这里很重要。一项指标可以在稳定的间隔内翻倍,而其翻倍间隔并不会缩短。仅凭一条上升曲线,无法证明一个新近增强的反馈循环已经出现。
研究自动化还带来一个因果问题。在实验室使用 AI 的同时观察到模型变得更强,并不能揭示若没有这种辅助,进展本会如何展开。METR 明确指出,缺失的对照使得无法对这一趋势作出清晰归因。
公开发布所揭示的信息也有限。公开模型未必代表实验室内部可用的最强系统。发布时间上的差异,可能使检测底层开发速度变化的尝试更加复杂。
判断能力方面的发现同样支持不同解释。研究品味,即选择有前景的问题和实验的能力,可能会限制自主研究。另一种可能是,在更易验证的工作上取得足够强的表现,或许能加速开发,同时由人类继续选择方向。
MIT Technology Review 的判断力鸿沟分析描述了研究人员之间的这种分歧。Sayash Kapoor 认为,研究品味可能是一个重要瓶颈;Najoung Kim 则强调,将观察到的改进加以外推仍存在不确定性。
这些观点并未解决问题,但指出了当前证据尚未回答的部分。当前判断能力的弱点是相关观察结果。若将其视为永久性障碍,则需要报告并未提供的额外论证。
METR 自身的立场,对安抚和警示都保持谨慎。它表示,公开证据无法排除未来几年内 AI 研究大幅加速的可能性。这是在陈述尚未排除的可能性,而不是给出日期或概率预测。
因此,METR 的时间跨度更新既不支持“全面自主研究即将到来”的倒计时,也不保证人类控制将长期持续。它记录了在不断变化的评估框架中取得的显著进步。下一步推论需要关于研究过程本身的证据。
比下一条爆红曲线更重要的三个信号
下一批有价值的证据,应检验更强的执行能力是否能带来更好的研究选择、可信的审查和可持续的结果。
第一个信号,是由智能体设计的评估或研究提案能否在独立专家审查后被采纳。METR 的评估创建任务提供了一个具体参照点。如果专家使用这些输出,是因为它们回答了有价值的问题,那么未来结果就会更具说服力。
评估应区分技术上正确的产物,与能够改变研究决策的贡献。更多审查者和更广泛的任务覆盖将有助于检验,这种实用性是否超越单一组织的偏好。反复成功将削弱“研究品味仍是主要约束”的论点。
若能力持续提升却未获采纳,则会支持一种更有限的解释。智能体可能会更擅长产出看似合理的评估,却依然不擅长识别真正有信息价值的评估。这将保留精致执行与有用方向之间的鸿沟。
第二个信号,是 AI 审查者是否能对同等强大或更强模型的作品形成更好的校准。校准意味着审查者的评估能可靠对应实际质量。11 月的发现为这一问题提供了具体的实验基础。
一项有价值的后续研究,是在更广泛的产物范围内,将模型评分与独立专家评估进行比较。若在高难度输出上达成更好的一致性,将增强委派更多审查工作的理由。若持续存在高估,则会削弱“只需增加 AI 评审,就能监督更强 AI 作者”的主张。
即使智能体从未完全独立完成整个研究项目,这个问题仍然重要。团队已经需要决定哪些输出值得关注、哪些需要修订。听起来很自信、却漏掉缺陷的审查,可能只是转移而非消除人类工作负担。
第三个信号,是配备更强人类参考和延迟结果检验的更广泛评估。更多直接基准将提升对预估任务时长的信心。评估某项输出投入使用后发生了什么,将检验短期分数是否捕捉了持久价值。
对于实验室报告,关键区别在于开展更多活动,还是产出更好的研究。额外的代码或实验可能推动进展,但其价值取决于它们回答的问题。将智能体贡献与经验证结果关联起来的证据,将强化自主研究的论据。
这些是未来几个月的观察重点,而非已宣布的发布承诺。单独一次新模型发布无法解决这些问题。真正重要的变化,是获得更强证据,将能力测量与这些测量所代表的决策和结果联系起来。
对于在技术工作中使用 AI 的团队而言,实际应对方式是保留这种联系。将原始任务、验收标准、输出和专家评估一并保存。当一个表面成功的结果遇到新要求时,可搜索的知识库可以支持后续比较。
请将 METR 的时间跨度更新与其曲线背后的任务和局限一同阅读。在将其轨迹应用到自己的工作之前,请先明确何为成功,以及由谁来验证。区分能够立即测试的任务,与后果会在日后才显现的决策。然后问问自己:你的证据衡量的是已完成的工作、有用的工作,还是仅仅一份令人信服的输出?即使模型不断改进,这些区别仍将具有价值。下一项值得登上头条的分数确实值得关注,但还有一项更安静的结果同样重要:一个智能体选择了值得研究的问题,给出了可靠答案,并经受住独立审查。你当前的评估实际测试了这条链中的哪一环?



