Whatmodel AI 基准审计发现实验室声明与独立测试之间存在 6.4% 差距
whatmodel 的 AI 基准审计报告了一项可量化的矛盾：AI 实验室公布的分数，平均比独立测试者的对应结果高出 6.4%。该分析涵盖 180 个模型和 103 项基准测试中的 611 组比较。其核心发现引人注目，但并不能证明存在系统性的分数虚高。
该项目比较同一模型在同一测试中的结果，随后衡量开发者结果与外部结果之间的相对差异。在 375 组比较中，实验室报告的数字更高。独立测试者在 216 组中领先，另有 20 组结果完全持平。
这一反差关乎基准数字究竟能向买家、开发者和研究人员如实说明什么。模型分数往往看起来像客观的产品规格，但结果可能高度依赖提示词、软件测试框架、推理预算、测试版本，以及开发者选择公布哪些评估结果。
这使实验室发布材料站在一边，可复现的独立评估站在另一边。真正的争议并非实验室是否伪造结果，而是在不同条件下得出的结果是否应被直接视为可比。
Whatmodel AI 基准审计以同类条件进行匹配比较
该审计最重要的贡献，是尝试比较完全相同的模型和基准测试组合，而非混合无关排行榜的结果。
据其创建者称，该项目从 1,629 项公开基准结果入手，识别出 611 组匹配对：模型开发者和外部机构均报告了相应分数。这些配对涵盖 103 项准确率基准测试中的 180 个模型。
每组比较代表一个模型在一项指定测试中的表现。开发者结果与来自排行榜、研究论文或另一家 AI 实验室的结果并列展示。当任一方提供多个符合条件的结果时，whatmodel 会采用该方的中位数。
标题中的数字来自相对计算。审计将独立分数从实验室分数中减去，再除以独立分数，并将结果转换为百分比。每个匹配对的权重相同。
因此，实验室分数为 60、独立分数为 50 时，会得出 20% 的相对差异。该计算包含负差异和持平结果。独立分数为零的比较会被排除，因为无法以该基线计算相对百分比。
在符合条件的配对中，实验室结果平均高出 6.4%。相对差异的中位数则小得多，为 1.2%。均值与中位数之间的差距很重要，因为数量有限的大幅差距可能会拉高平均值。
报告中的均值 95% 置信区间为 3.8% 至 9.5%。该项目通过对完整模型进行重采样而非将每项结果视为独立样本来生成该区间。这一选择承认，同一模型的多项基准结果可能共享相同的设计决策。
该审计还提供了绝对比较。在全部 611 组配对中，实验室在各基准原始尺度上的中位优势为 0.8 个百分点。将平局纳入分母计算后，实验室在 61% 的配对中取得更高分数。
移除平局后，实验室结果在 63% 的分歧中更高。该比例来自 375 项实验室领先结果和 216 项独立测试领先结果。项目报告称，这项指标的 95% 区间为 59% 至 68%。
这些统计数据描述的是所收集样本中的关联关系。它们并不表明每个开发者都将性能夸大了 6.4%，也不能预测新模型、新实验室或新基准测试的差距。
交互式比较让这一限制清晰可见。个别差异会朝两个方向分布，外部测试者有时会报告显著更强的性能。读者可以查看成对来源，而不只是依赖平均值。
这种透明度使该项目区别于仅展示少数差异截图的做法。比较页面列出模型、开发者、基准测试、配对分数、差异及底层来源，也按测试和模型开发者分别汇总。
更广义的 whatmodel 项目是一个开源排行榜和评估数据库。其数据仓库包含基准记录、来源元数据、评分代码、验证报告和许可证声明。其代码采用 MIT 许可证，而编译后的数据采用 CC BY-SA 4.0。
这种开放性让分析可供审计，但开源代码并不会自动验证每一项分类。贡献者可以检查来源如何归属、模型如何匹配，以及重复测量如何被归并。他们也可以通过项目的贡献流程对可疑配对提出质疑。
最好将这一结果理解为对公开声明的有据可查审计。它将一种常见怀疑转化为可检验的估计，同时保留指向底层证据的链接。其张力始于标题数字结束之处：看似相同的基准标签，可能掩盖了不同的实验。
AI 基准分数差距集中于灵活性较高的测试
6.4% 的平均值掩盖了一个更有价值的发现：基准设计似乎与分歧规模密切相关。
若干成熟测试在实验室与外部结果之间几乎没有变化。MMLU 和 HumanEval 的中位差距为零。WinoGrande 的中位差异为负 0.1 分，而 ARC Challenge 为负 0.6 分。
这些基准测试并非不受实现差异影响。不过，其成熟的格式和广泛采用的评估工具，能够减少每位评估者需要自行决定的环节。当模型版本和指标一致时，更标准化的测试理应产生更可比的结果。
在执行选择构成结果一部分的评估中，情况则发生变化。SWE-bench Verified 在 13 组匹配对中记录了实验室 9.0 分的中位优势，其中 92% 的配对由实验室取得更高分数。
SWE-bench Verified 用于评估 AI 系统能否解决真实的软件问题。在这种场景下，模型并非独立行动。其工具、提示词、重试策略、上下文选择和智能体框架都可能实质性地影响分数。
测试框架是指呈现任务、管理工具并记录结果的软件层。两项评估可以使用相同的模型和基准测试，却采用不同的框架。因此，其最终百分比可能反映的是模型—系统组合，而不只是模型本身。
编程基准 MBPP 同样在 13 组配对中显示实验室 9.0 分的中位优势。GSM8K 在 19 组比较中显示 3.3 分优势。AIME 2024 和 AIME 2025 的中位差距分别为 3.8 分和 2.6 分。
推理评估还会引入另一种变动来源。评估者可以改变采样回答的数量、允许的 token 预算，或选取最终答案的方法。更多推理投入可以提高报告结果，却不改变底层模型。
少样本提示带来了相关问题。评估者会在要求模型解决任务之前提供示例。不同的示例、格式选择和答案提取规则都可能改变表现，即使每个结果都带有同一个基准名称。
这一机制有助于解释，为何实验室与独立基准结果会出现分歧，而双方都未必存在计算错误。开发者通常更了解其模型偏好的提示词和服务配置。外部评估者则可能在竞品模型之间采用标准化设置。
开发者结果能够回答：“该系统在优化设置下能表现多好？”外部结果则能够回答：“该模型在通用评估协议下表现如何？”这两个问题都合理，但它们的答案不能互换。
选择性报告又增加了一层因素。实验室可以运行许多评估，并公布最能展现某次发布优势的结果。这种做法无需修改任何分数，却会改变公众所看到的样本。
whatmodel 数据集包含的是已公布结果，而不是每个开发者进行过的所有测试的随机样本。因此，6.4% 这一数字衡量的是现有记录中的差距，无法估计实验室决定不披露的结果。
基准版本也可能发生漂移。一项测试可能获得修正后的题目、扩展的子集、污染控制措施或不同的评分脚本。发布表格中看似相同的标签，可能指向实质不同的数据。
审计指出，差距是在每项测试自身尺度上以百分点衡量，而非 whatmodel 综合排行榜分数的差异。这一区别避免读者将十个百分点的基准差距解读为普适的十个百分点能力优势。
分布情况也警示人们，不应只关注极端案例。巨大的不匹配容易成为有说服力的社交媒体帖子，但大多数配对结果彼此更接近。相较标题中的均值，中位数所呈现的绝对模式更为克制。
不过，集中的分歧具有商业重要性。编程智能体和推理系统属于买家最需要可靠比较的类别，也是在评估设置最可能施加重大影响的类别。
因此，选择编程模型的开发者应审视完整的评估系统。模型版本、测试框架、工具权限、重试上限和评分规则都应纳入比较。一项醒目的百分比分数遗漏了太多未说明的背景。
实验室声明与独立结果回答的是不同问题
主要冲突并非诚实测试者对阵不诚实实验室，而是优化展示与可比测量之间的差异。
模型开发者有充分理由为一次发布寻找最佳可行配置。他们了解推荐的系统提示词、工具接口、推理控制和推断设置。他们的评估可能揭示通用框架无法捕捉的表现。
独立测试者追求的是不同目标。他们通常在多家提供商之间保持提示词、预算和评分规则不变。这种一致性可能牺牲针对特定模型的优化，却能为买家提供更清晰的比较基线。
whatmodel AI 基准审计检验了敌对竞争评估是否能够解释整体模式。它将中立来源与竞争实验室发布的结果分开。中立来源包括排行榜、Epoch AI，以及未发布被比较模型的论文。
在涉及中立测试者的 236 组配对中，开发者报告的结果有 56% 更高。在来自竞争实验室发布文件的 446 组配对中，开发者有 63% 领先。
这些类别存在重叠，因为同一个模型和测试可能拥有多项外部测量。因此，该项目考察了 272 个案例，其中竞争对手和中立方均评估了同一模型与测试。竞争对手的分数低于中立测试者 131 次，高于中立测试者 130 次。
竞争对手与中立方之间的中位差异为零。这一结果削弱了一种简单说法，即竞争者会持续压低彼此分数。它并不能消除所有竞争因素，但将焦点重新指向评估设置和发布选择。
压力落在每一家将基准测试表作为直接产品比较依据的组织身上。OpenAI、Google、Meta、Anthropic、Alibaba Cloud、DeepSeek、Mistral AI 以及规模较小的开发者，都身处一个由排行榜主张塑造的市场。强劲的发布分数可能在独立测试跟上之前就影响采用决策。
这项审计提供了按开发者划分的摘要，但这些数字需要谨慎解读。不同开发者的样本量和基准测试组合各不相同。一家公司可能在稳定的学术测试中拥有大量比较，而另一家公司则主要出现在变化较大的智能体评估中。
该项目明确将按开发者划分的分组描述为粗略概览。即便拥有规模可观的样本集合，也无法完全控制模型发布时间、基准测试类型、发布策略或可复现权重的可得性。基于这些中位数得出的公司排名，会夸大数据本身能够支持的结论。
恰当的回应是改进溯源信息，而不是建立一张所谓违规者的新排行榜。溯源记录结果来自何处、运行的是哪个模型版本，以及分数是通过何种流程得出的。缺少这些信息，基准测试数字就会脱离其对应的实验。
最初的模型卡框架要求在报告模型性能和预期用途的同时，也报告评估流程。随着评估纳入智能体、工具、评判器以及可调节的推理强度，这一原则变得更为重要。
现代评估结果所需的信息不应只有模型名称和测试标签。它还应注明模型快照、提示词格式、测试修订版本、指标、推理预算、采样参数、评测框架版本和运行次数。任何排除项或失败尝试同样值得披露。
近期关于评估卡的研究，将可比性和溯源性视为两个独立信号。其作者考察了数千个模型和基准测试中的报告实践。他们认为，原始分数报告往往得以保留，但围绕它的实验设置却仍不完整。
这一缺口带来了熟悉的用户体验。买家看到两个模型相差数个百分点，随后发现其中一个获得了更多推理 token，或使用了专用智能体。排名看似精确，但其背后的问题并不稳定。
采购团队应将开发者分数视为：在有据可查的条件下能够达到的性能证据。独立结果则是在另一评估方条件下的性能证据。二者都不能自动代表某家公司内部生产环境中的实际表现。
一项有价值的内部评估应从真实任务、具有代表性的文档和明确的失败成本开始。公开基准测试可以缩小候选范围，但无法衡量每个组织的全部工作流。检索质量、延迟、权限和人工审核的重要性，往往高于学术分数上的微小差距。
对研究者而言，这项审计再次强调了发布足够信息以供复现的必要性。对开发者而言，它鼓励在多个独立评测框架中开展实验。对用户而言，它将默认问题从“哪个分数是正确的？”转变为“每个分数是由什么设置产生的？”
这种转变并不能为模糊报告开脱。如果实验室在未公开相关条件的情况下宣传一个数字，读者就无法判断该结果是否可复现。即使技术上有效的分数，在关键背景被隐藏时，仍可能造成误导性的比较。
6.4% 这一发现无法证明什么
该审计识别出一种报告模式，但其设计无法判定意图、普遍偏差或真实世界中的产品质量。
第一个限制在于选择偏差。该数据集包含的是已发布、被发现、获得许可并完成匹配的结果。它并不包含每一次内部评估运行、每个失败实验，或从模型发布公告中被省略的每项测试。
发布选择可能会抬高观察到的实验室平均值。开发者自然会在发布材料中突出优势。独立研究者也可能选择能够暴露弱点、检验热门主张，或适合其现有基础设施的基准测试。
第二个限制是可比性。相同的模型名称和基准测试标签，并不能保证实验完全相同。服务商侧模型可能发生变化，开放权重可能采用不同模板，评估代码也可能以不同方式实现指标。
该项目尝试保留基准测试版本和聚合细节等区分信息。其比较页面也承认某些情况下窗口或聚合方法未被说明。这些标签揭示了不确定性，却无法重建缺失的配置。
第三个限制涉及权重。每一个符合条件的配对比较都以相同权重计入 6.4% 的均值。因此，针对小型学术模型的一次比较，与涉及广泛部署的商业系统的一次比较，在统计权重上完全相同。
同样，拥有大量模型配对的基准测试会贡献更多观测值，而模型配对较少的基准测试贡献更少。这一方法描述的是所收集到的比较集合，并不代表市场份额、用户影响或各项测试的相对重要性。
第四个限制是观测值之间的依赖性。同一模型的多个配对可能共享架构、训练数据、提示词和发布实践。该审计通过对完整模型进行重采样，为其不确定性区间处理这一问题。
这一统计选择改进了分析，但无法消除所有依赖关系。同一模型家族中的模型可能共享设计和评估流水线。跨论文复制的结果也可能在来源之间形成隐藏关联。
第五个限制在于相对百分比差异的使用。当独立基线较低时，相对计算结果可能很大。这有助于解释为何均值会超过中位数，即使许多绝对差距仍然不大。
读者应将 6.4% 的均值、1.2% 的相对差异中位数和 0.8 分的差距中位数结合起来看待。没有任何单一统计量能够完整描述这一分布。方向性计数则提供了另一种视角，显示各方领先的频率。
第六个限制是，独立测试者也会获得更高分。在非平局配对中，外部测试者领先了 216 次。其中一些差异较大，表明实验室报告并不始终定义性能的上限。
因此，最有力的结论比标题所暗示的更为有限。在这份已发布且完成匹配的数据集中，实验室分数往往更高。这种模式在评估流程可调节的测试中最为明显。
这些发现并不能证明存在造假。它们无法判断差异是源于优化、版本漂移、随机采样、实现错误，还是选择性披露。要判定意图，需要该项目并不掌握的内部记录。
whatmodel AI 基准测试审计同样无法判断哪个分数更能预测用户的实际部署表现。经过优化的实验室设置可能接近产品推荐配置。标准化的外部评测框架则可能更能代表跨服务商采购场景。
独立测试也有自身风险。通用评估方可能使用了不佳的提示词、过时的端点、不正确的聊天模板，或不足的推理预算。当协议测试了错误的运行条件时，可复现性并不保证相关性。
基准测试质量又增加了一层不确定性。AI Index findings描述了一些常用评估中的快速饱和、被“刷分”的担忧，以及大量无效问题比例。即便分数被完美复现，也仍可能衡量的是一项存在缺陷的测试。
数据污染可能进一步削弱解读。如果基准测试问题或其近似变体进入训练数据，高性能可能反映的是熟悉程度，而非普适能力。公开测试集尤其容易受到影响，因为它们会在代码仓库和生成数据集中传播。
一些较新的评估会保留部分内容不公开，或持续更新问题以限制暴露。然而，这些防御措施也使复现更加困难。该领域面临透明审查与维持未见测试集之间的权衡。
该审计的开放许可支持对其自身选择进行审查。研究者可以复现计算、检查来源、提出修正，并构建替代性摘要。这一过程很重要，因为该分析本身也应接受它要求实验室达到的标准。
更有力的后续研究将按基准测试家族、评估方类型、模型可访问性和已记录的设置相似度对比较进行分层。它还可以将固定权重模型与不断变化的 API 产品区分开来。这些划分有助于识别分歧的来源。
另一项有价值的扩展，是在相同的公开评测框架下比较成对结果。这类实验可以将模型版本变化与评估方选择区分开来。重复运行也能显示，表面上的分歧有多少来自采样方差。
在这些证据到来之前，读者应避免两种相反的错误。他们不应将每一项开发者基准测试都视为营销虚构，也不应将一张精美的基准测试表视为独立于其设置的中立测量。
三项信号将表明基准测试报告是否正在改善
下一阶段并非再得出一个标题式的平均值，而是看实验室和评估方是否披露足够细节，使结果真正具备可比性。
第一项信号，是模型卡和技术报告中更丰富的配置报告。一份有用的披露应明确说明确切的模型快照、测试修订版本、提示词、评测框架、指标、推理预算、采样设置和运行次数。
如果主要实验室持续发布这些字段，审计的解读将更容易得到检验。外部评估方可以先复现优化配置，再将其与标准化设置比较。在匹配条件下仍持续存在的差距，将加强对报告偏差的担忧。
如果披露仍然不完整，当前发现的重要性就会增加。缺失的设置信息将继续迫使买家比较实验条件不确定的数字。基准测试表将仍然更接近产品主张，而非可移植的测量结果。
第二项信号，是在中立评估系统中进行复现。独立团队应使用通用协议和开发者推荐配置，对相同模型重新运行测试。发布两类结果将有助于区分优化带来的收益与更广泛的能力。
这种设计比选择任一方更能有效化解实验室与独立基准测试之间的争议。一个模型可能在其原生评测框架下表现最佳，却在标准化约束下仍然较弱。用户应当看到这两种结果。
重复评估还应保留失败、排除项和各次运行之间的变异性。仅报告成功的汇总结果可能掩盖运行不稳定性。智能体系统尤其需要这种处理，因为工具调用和长轨迹会引入额外的失败点。
如果中立复现缩小了 AI 基准测试分数差距，设置差异将成为最主要的解释。如果在配置匹配后差距依然存在，对选择性披露或报告实践的担忧将加剧。无论哪种结果，都会改善证据基础。
第三项信号，是买家评估 AI 产品方式的变化。采购团队可以开始在接受基准测试主张之前要求提供结果溯源信息。他们也可以要求在具有代表性的内部工作上进行评估，而不是仅依赖公开排行榜。
对于编码助手而言，这可能包括在受控权限下处理组织自身代码仓库中的任务。对于研究助手而言，则可能涉及从可信文档中寻找证据并保留引用。客服系统需要具备领域准确性、升级处理能力以及一致的政策执行能力。
这些评估应记录提示词、模型版本、检索设置和人工判断。团队可以将这些背景保存在可搜索的知识工作流中，而不是将评分与其背后的文档和决策割裂开来。
真实的采用数据将揭示基准测试中的小幅领先是否重要。一个在学术测试中获胜的模型，仍可能在可靠性、集成成本或任务完成率上落败。反过来，一个强大的生产系统可能依赖于模型单独基准测试所未涵盖的编排能力。
当外部评分与发布声明显著不一致时，也应关注实验室如何回应。公布复现方案、解释配置差异或修正表格，都将增强信任。沉默或更改标签，则会让底层比较悬而未决。
还应关注排行榜运营方是否将评估元数据作为一等数据保存。没有流程说明的分数，应被明确视为不完整。筛选器可以区分经过优化、标准化以及独立复现的结果。
whatmodel 项目可以通过长期追踪修订和存在争议的配对比较作出贡献。其开放数据模型让贡献者能够审查来源，而不是将排行榜视为不可质疑的权威。这种设计欢迎纠正，而这正是可信测量的特征。
whatmodel AI 基准审计并未最终判定 AI 实验室是否夸大了模型性能。它表明，在一个规模可观的匹配样本中，它们公布的数字系统性地更高。它还指出，最大的分歧通常出现在哪些领域。
实际应对方式很直接：应将基准分数视为有据可查的实验结果，而非模型的固定属性。要询问运行的是哪个版本、可使用哪些工具、获得了多少推理资源，以及由谁选择测试。
开发者可以通过开放仓库复现这些比较并报告修正。采购方可以在决定采用某个模型前要求进行匹配评估。研究人员可以检验 6.4% 的模式在更严格的控制下是否依然存在。
你下一次看到基准测试声明时，应立即提出一个问题：另一位评估者能否重现该数字背后的条件？在答案成为常规之前，实验室声明与独立测试之间的差距仍将是每次模型比较的一部分。
