Mercor AI 基准测试覆盖让 90% 的美国工作时长处于未知地带
根据该公司最新发布的经济地图，Mercor AI 基准测试覆盖让大约 90% 的美国工作时长几乎没有获得有意义的代表性。这一发现挑战了许多关于人工智能与就业论断背后的核心假设：模型分数可能看起来很亮眼，却对美国各地大多数实际工作几乎无从说明。
Mercor 将 29 项智能体基准测试映射至美国劳动力市场中 923 种职业涵盖的 18,797 项任务。仅有 924 项任务达到其覆盖门槛。只有 208 种职业至少有一项任务由五条或更多基准提示覆盖。
这一缺口并不意味着 AI 无法完成其余工作，而是说明研究者尚未充分衡量它是否能够完成这些工作。这一区别对制定自动化决策的雇主、评估职业风险的劳动者，以及预测劳动力冲击的政策制定者都至关重要。
在线讨论迅速呈现出这一分歧。一些读者将该地图视为 AI 经济影响范围仍然有限的证据；另一些人则认为，缺失的基准测试反映的是衡量工作的积压，而非能力边界。
因此，真正的较量并非 AI 与人类劳动之间的较量，而是基准测试带来的信心与复杂工作现实之间的较量。Mercor 的地图表明，支撑全经济范围自动化预测的证据，仍远比许多笃定的预测所暗示的要薄弱。
Mercor AI 基准测试覆盖衡量的是测试，而非 AI 的极限
这一核心数字描述的是衡量缺口，而不是 AI 无法完成的工作比例。
Mercor 构建了其所谓的美国经济基准地图。该项目将 29 项 AI 评估中的提示，与美国劳工部职业分类体系中的任务描述相连接。
这些评估侧重于智能体任务。智能体任务要求模型完成一项交付成果或工作流程，而非回答一个事实性问题。例如编辑电子表格、解决软件问题，或准备一份专业分析。
基准地图显示，在 18,797 项职业任务中，有 924 项具备充分代表性。Mercor 将一项任务定义为已覆盖，是指 AI 评审将其关联到所选基准测试中至少五条提示。
这一规则得出了鲜明的结果：923 种职业中，仅有 208 种包含至少一项通过五条提示门槛的任务。22 个职业大类中，有 6 个没有任何职业符合条件。
不同领域之间的覆盖程度也存在显著差异。计算机和数学类职业中，36 种职业有 29 种获得代表；商业和金融运营类为 48 种中的 33 种，法律类职业则为 7 种中的 5 种。
经济中的其他部分则要稀薄得多。医疗从业者职业中，89 种仅有 12 种获得代表。教育和图书馆工作在 62 种职业中覆盖 9 种，建筑和工程则在 56 种职业中覆盖 19 种。
这些数据不应被解读为模型表现分数。即使受评模型表现不佳，某种职业也可能被覆盖。反过来，即使商业系统已经协助人们完成某项任务，该任务也可能仍显示为未覆盖。
覆盖度所表明的，是纳入的某项基准测试是否提供了足够的提示，以支持有限的评估。它是现有测试的清单，而不是当前 AI 所能完成的一切工作的清单。
这一区别回应了公开讨论中的一种批评。餐厅自动化、语音点餐或仓储机器人，即使没有出现在 Mercor 所选的基准测试集合中，也依然可能存在。它们的缺席并不会抹去已经部署的系统。
同样的谨慎原则也适用于反方向。模型通过与某项任务相关的提示，并不证明它能够替代相应的劳动者。工作岗位结合了判断、协调、实体操作、异常处理和制度责任。
一项法律基准测试或许会评估合同起草，却遗漏客户咨询、谈判、监督或法庭工作。衡量一项可见的交付成果，无法捕捉雇主雇用律师时所购买的完整能力组合。
Mercor 明确将其初始清单定位为暂定版本。该公司表示，随着更多具有经济相关性的评估出现，这张地图将继续扩展。这一限制使结果不那么确定，但也强化了核心发现。
即便经历多年快速的基准测试生产，评估生态系统仍只观察到经济中的狭窄切面。因此，关于广泛劳动力替代的说法，远远超出了现有测试所能支撑的范围。
为何 AI 评估集中于高价值的数字化工作
基准测试集中于数字化、成本高、可重复且相对容易评分的工作。
地图中的盲点并非随机分布。Mercor 发现，被归类为受语言模型影响的任务，出现在其基准测试集合中的可能性大约高出六倍。
这种模式不难理解。研究者希望评估能够揭示先进模型之间的差异。数字化知识工作提供了易获取的输入、可复现的环境，以及软件或专家评审者能够检查的输出。
软件工程之所以成为早期目标，是因为程序通常可以自动测试：代码要么能够编译、通过测试，要么产生定义明确的输出。这些反馈循环让评估和模型改进变得更容易。
金融分析也会产生熟悉的数字化产物。基准测试可以提供源文件、规定假设条件，并要求生成电子表格或演示文稿。评审者随后可以比较计算、结构与结论。
实体工作和人际工作则带来更难的衡量问题。一条提示无法完整复现拥挤的课堂、不可预测的维修现场，或与家人进行的一场敏感谈话。
官方 O*NET 数据库有助于研究者描述此类工作，但其任务陈述并不是基准测试环境。它们能够指出职责，却无法自动生成真实的输入、工具、约束条件和评分规则。
Mercor 的分析还发现，来自工资总额较高职业的任务获得的覆盖更多。即使考虑了预计的 AI 暴露程度，这一关系依然存在。
这种激励在经济上是理性的。自动化高成本职业的一部分工作，比为较小劳动力市场构建评估更容易带来明确的潜在回报。客户也更有理由资助与高薪酬相关的测试。
任务重要性带来了另一种选择效应。在同一职业内部，被评为最重要的任务获得基准测试覆盖的可能性，大约是最不重要任务的六到十倍。
优先处理重要工作听起来很合理。然而，一份工作往往依赖许多使其主要交付成果得以实现的小型活动，包括收集背景信息、确认需求、协调审批、识别异常以及修复误解。
基准测试可能捕捉到流程末端出现的文档，但它很少捕捉决定该文档是否正确、及时、可信且可用的组织性工作。
这类似于 Hacker News 讨论中提出的门卫问题。开门看似是核心任务，直到自动化揭示该工作人员还提供了指路、安全意识和非正式协助。
知识工作也包含类似的隐性职能。产品经理并不只是撰写需求文档，这一角色还包括协调相互冲突的需求、记住此前的决策、发现缺失的证据，以及促成各方承诺。
AI 可以加速可见的产物，同时让周边约束保持不变。在某些情况下，更快的生成反而会增加审核工作，因为团队必须核实更多看似合理的输出。
这正是为什么个人或团队知识库可能比又一个孤立的生成工具更重要。瓶颈往往在于找回背景并验证决策，而不是再产出一份草稿。
因此，基准测试的集中分布同时反映了技术可行性和市场激励。它展示的是评估构建者如今能够在哪些领域创建可信测试，而不是经济转型明天必须止步于何处。
这一 90% 的发现来自多层估算
Mercor 的结果结合了官方劳动力数据与模型生成的映射，因此每一层都增加了有用的结构，也带来了额外的不确定性。
该项目始于 O*NET，即描述职业、劳动者特征和工作任务的联邦数据库。Mercor 使用了 923 种职业及其关联的 18,797 条任务陈述。
随后，研究者将基准测试提示与这些任务相连接。Mercor 表示，当活动存在重叠时，一名 LLM 评审可以将一条提示分配给多项职业任务。
该公司根据其自身 APEX 基准测试的人类专家标注，对这一流程进行了验证。不过，这一验证适用于 29 项评估中的一个子集，并不一定覆盖每一条纳入的提示。
Mercor 将覆盖定义为五条映射后的提示。这一门槛避免把一个示例视为充分代表，但对于复杂任务而言，五个项目仍只能提供有限证据。
一位讨论参与者以社会工作为例指出了这个问题。13 条提示在技术上可能覆盖一项咨询职责，但它们无法代表每一位客户、每项法律约束、每种情绪动态或每个不利结果。
要得出 90% 的估算，还需要另一步。O*NET 记录任务的重要性和频率，但并不直接提供每名劳动者在每项任务上投入的完整工时分配。
因此，Mercor 使用了借助语言模型估算任务层级工作时间份额的研究。它将这些份额与就业和工资数据结合，以近似估算美国工作时长的分布情况。
职业工资总额由预估就业人数和平均工资计算得出。在将这些总额转换为劳动力指标时，该模型假设每周工作 40 小时。
这构成了一张连贯的经济地图，但并非直接的全国时间使用调查。最终百分比取决于任务定义、预估时间份额、基准测试选择、提示映射以及五条提示规则。
Mercor 承认存在多项限制。其清单并不完整，任何遗漏的基准测试都会降低表面覆盖度。该公司还限制了研究较多职业大类的代表比例，以避免软件工程在集合中占据主导地位。
这一决定提升了广度，却降低了热门类别中测得的深度。排除饱和的基准测试，也可能掩盖模型已经表现良好的任务。
如果纳入这些基准测试，又会产生不同的问题：简单或不现实的评估可能夸大表面经济覆盖度，却无法提供有关部署的有用证据。
选择标准同样引入了判断。“经济现实性”听起来客观，但研究者仍必须决定一条提示是否像是在企业内部实际开展的工作。
因此，90% 这一数字应被视为由明确方法论生成的估算。它不是人口普查结果，也不是经济的固定属性。
然而，这些不确定性并不意味着该项目毫无意义。即使进行大幅修订，评估格局仍将不均衡。将覆盖率从 10% 提升至 15% 或 20%，也无法实现对整个经济体的可见性。
更站得住脚的结论更为狭窄，却也更具影响力。现有的智能体基准测试无法支持人们对美国绝大多数工作时间作出有把握的判断。
这一结论应当改变读者解读排行榜分数提升的方式。分数上升可以证明模型在已测试领域取得进展，却可能仍有数以千计的其他任务未经检验。
更贴近现实的基准测试，仍无法覆盖完整工作
新的评估正变得更贴近现实，但在选定职业中的真实性，不等于对经济体的代表性覆盖。
基准测试领域早已不再局限于冷知识问答和学术考试。较新的测试要求模型撰写报告、操作软件、分析专业材料，并完成多步骤任务。
OpenAI 的 GDPval evaluation 正体现了这一变化。它涵盖九个行业中的 44 种职业，并要求模型产出可与专业成果进行对照评判的工作成果。
完整的 GDPval 集合包含 1,320 项任务。OpenAI 从具有经济重要性的行业中选择职业，重点关注与主要薪酬规模相关的知识工作。
与衡量孤立的推理问题相比，这种方法具有更强的经济相关性。它也呈现出 Mercor 所指出的集中趋势：第一版偏重高价值、可通过数字形式表达的工作。
软件测试在更窄的层面上也显示出相同模式。它们可以衡量智能体能否修复代码仓库中的问题，但结果无法涵盖在职工程师的每一项职责。
工程师需要调查含糊不清的事故、协商技术债务、审查变更、支持同事，并在信息不完整的情况下作出决策。其中大量工作依赖长期积累的组织背景。
METR 的 time-horizon research 增加了另一项有用指标。它估计智能体在某一给定成功概率下能够完成的任务时长。
METR 也警告说，这些结果不应被解读为等同于正常雇佣关系中的工时。评估任务通常包含开始工作所需的信息，而员工则会利用先前的对话和隐性知识。
这种差异正是 Mercor 故事的核心。基准测试将工作隔离出来，以便研究人员进行评分；真实组织则将工作整合在人、系统、历史和不断变化的优先级之中。
模型或许能完成定义明确的任务，但在要求仍然隐含时可能失败。它可以生成一份看似可信的电子表格，却遗漏只有资深分析师才知道的业务规则。
部署还会带来基准分数常常忽略的成本。员工必须准备输入、授予系统访问权限、审查输出、处理故障、记录问责责任，并决定何时需要升级至人工处理。
模型的输出也会改变下游工作。更快的代码生成会增加进入审查和测试环节的代码量；更快的内容生成则会带来更多需要事实核查和审批的材料。
这也是为何测得的提升并不总能直接转化为组织生产率。自动化一个环节后，注意力会转向剩余流程中最慢的约束。
实体任务进一步扩大了这种差距。remote-work estimate 的研究结论指出，美国有 37% 的工作可以完全在家完成。其余工作包含传统语言模型基准测试难以复现的实体操作部分。
机器人技术最终或许会让这些活动更容易评估。然而，实体工作的基准测试必须呈现感知、操控、安全性、环境变化，以及从意外状况中恢复的能力。
模拟中的成功并不自动证明系统能在医院、工厂、厨房或公共道路上安全运行。失败的代价也可能与数字沙箱中的错误答案大相径庭。
因此，前进方向不只是增加提示词。基准测试设计者需要更丰富的环境、更长的工作流、衡量人机协作的指标，以及任务表现与经济价值之间更清晰的联系。
这张地图对雇主和劳动者意味着什么
这张地图削弱了对自动化的笃定预测，同时强化了开展更聚焦于具体工作流评估的必要性。
雇主不应从前沿模型在综合排行榜上的排名开始。更有用的问题是，该模型能否在真实条件下完成组织的实际任务。
这种评估要从拆解工作流开始。团队需要识别输入、工具、依赖关系、审批要求、常见例外情况，以及错误结果可能带来的后果。
例如，理赔处理人员可能会审查与基准测试输入相似的文件。但真实工作流还涉及缺失记录、保单差异、监管期限、欺诈信号、客户沟通和升级处理。
在一项干净任务上的表现，几乎无法说明系统在整个链条中的可靠性。雇主必须测试每一个关键转换环节，尤其是错误会变得代价高昂或不可逆的地方。
Mercor 的数据同样表明，不应将职业视为不可分割的整体。AI 的采用通常会先改变任务构成，而不是直接消除一份完整的工作。
一名员工可能减少撰写初稿的时间，转而投入更多时间核验证据。另一种角色可能会转向客户沟通、例外处理，或自动化系统之间的协调。
这种重新分配仍可能影响就业。如果一人能够完成更多工作，组织可能减少招聘或重新分配员工。不过，其影响取决于需求、流程约束和监督成本。
劳动者也应以同样的任务层面思维看待职业风险。一个职业获得大量基准覆盖，并不意味着它必然消失；但它会面临更快的实验推进，因为供应商能够衡量并改进相关能力。
软件开发人员、金融分析师和律师都处于这一高度观察区域。他们的工作会产生数字化产物，吸引基准测试投资，并提供支持快速迭代的反馈。
覆盖较少的职业并非获得永久保护。它们只是面临更大的即时不确定性。基准测试的稀缺性使得人们无法朝任何一个方向得出强有力的结论。
这张地图也挑战了对低覆盖率的一种常见解读。缺少测试并不能证明一项任务具有独特的人类属性；它可能意味着该任务难以定义、评分、数字化或获得资金支持。
这些障碍在商业层面依然重要。无法可靠评估的能力，很难被采购、治理、承保或大规模部署。
对企业采购方而言，最佳应对方式是使用内部案例进行受控评估。团队应将模型输出与现有工作进行比较，衡量审查时间，记录故障类型，并追踪收益能否贯穿完整流程。
他们还应将增强与自主性分开测试。即使模型无法独立负责整个工作流，只要它能帮助专家更快完成工作，依然可以创造价值。
反过来，在基准测试中单独表现良好的模型，进入企业后可能几乎没有带来增益。员工花在准备提示词、检查输出和修复集成故障上的时间，可能超过节省下来的时间。
对于政策制定者而言，Mercor 的地图凸显了一个证据问题。监管、培训投资和劳动力预测需要的不只是关于广泛模型智能的说法。
公共机构需要覆盖具有代表性职业的透明评估。这些测试应包括实体劳动、面向公众的服务、低薪岗位，以及问责比精美输出更重要的任务。
因此，这张地图最有价值的信息既不是安慰，也不是警报。它要求机构在作出不可逆决策之前，先进行更好的测量。
三个信号将显示盲区是否正在缩小
AI 劳动研究的下一阶段将由覆盖广度、部署证据和对完整工作流的可信测试来评判。
第一个信号是 Mercor 自身地图的扩展。该公司将当前涵盖 29 个基准测试的指数描述为起点，并邀请研究人员提交更多评估。
关注新增内容是否真正扩大职业覆盖范围。另一套编程测试可能会加深人们在熟悉领域的证据，却无法减少整个经济体中更广泛的不确定性。
更有力的更新应当加入针对教育、医疗支持、行政管理、熟练技工、交通运输和服务业的可信基准测试。它还应报告在替代覆盖阈值下，90% 这一估计是否发生变化。
如果扩展后的集合仍使数字接近当前水平，那么测量问题就是结构性的。研究人员可能难以将人类的大量工作转化为可重复、可评分的智能体任务。
若该数字大幅下降，则会削弱这一标题性结论，却能改善证据基础。这将表明，最初结果更多反映了基准测试的选择，而非持久的评估障碍。
第二个信号是独立的工作场所验证。模型开发者和基准测试创建者正越来越多地宣称，模型能在选定任务上达到专业水平。
这些说法需要与部署结果进行比较。有用的证据包括总完成时间、人工审查投入、修正率、例外发生频率和下游质量。
关键的衡量单位是完整工作流，而不是生成的产物。如果 AI 更快完成初稿，却延长审查和审批时间，组织只是转移了工作，而非消除了工作。
若多家组织持续获得生产率提升，将强化已测试能力能够迁移至真实运营的说法。若结果仅限于严格控制的试点项目，基准成功与经济影响之间的差距仍将存在。
第三个信号是在纯数字知识工作之外的评估进展。语言模型可以指导工具，而机器人系统可以将规划与实体行动连接起来。
有意义的证据需要多样化环境和透明的故障报告。机器人在一个经过准备的环境中成功，并不能证明其能在家庭、医院、仓库或公共空间中可靠运行。
研究人员也应衡量人机协作。大多数短期内的系统都将与员工共同工作，因此增强质量与自主完成同样重要。
有用的基准测试应检验 AI 是否帮助人们作出更好的决策，而不只是看它是否生成一个答案。它应包括上下文检索、不确定性沟通、纠错和升级处理。
这些信号之所以重要，是因为 Mercor AI 基准测试覆盖缺口不会仅凭更高的模型分数而消失。只有当评估覆盖更多经济活动，并能够预测真实工作场所的结果时，这一缺口才会缩小。
对于正在判断应对下一份自动化预测抱有多大信心的读者，请问三个问题：测试了哪些职业任务，需要多少人工支持，以及测得的收益是否经受住了真实部署的考验？
在这些答案成为常态之前，关于 AI 与就业的广泛论断仍将领先于证据。关注这张地图的扩展，要求提供工作流层面的结果，并将每一个排行榜都视为透过一扇狭窄窗口看到的景象。
