Gemini 4 Argon ARC-AGI-3 得分达 97.5%，但标准测试讲述了不同的故事

Google 的 Gemini 4 Argon 在 ARC Prize 的供应商适配器测试框架下，ARC-AGI-3 得分达到 97.5%。同一模型在标准测试框架下得分为 49.8%。这 47.7 个百分点的差距，才是真正的重点。

ARC Prize 在其基准测试系列中测试了六种配置后，公布了经验证的结果。Gemini 4 Argon 在高推理设置下，ARC-AGI-1 得分 98.5%，ARC-AGI-2 得分 91.3%。这些结果让 Google DeepMind 跻身三代测试中领先实验室之列。

然而，ARC-AGI-3 衡量的是一个交互式系统，而非回答静态问题的孤立模型。其测试框架控制信息在操作之间如何保留，以及长历史记录如何管理。OpenAI 的 GPT-6 Astra 仍是最具参考价值的对比对象，因为它同样通过供应商适配器取得了超过 95% 的成绩。

这一差异改变了开发者和企业买家应如何解读这一标题。97.5% 的结果支持 Google 对持续、长程推理能力的说法。但它并不意味着 Argon 能通过每一种接口或部署架构提供同等表现。

因此，Gemini 4 Argon 的基准测试结果与其说是一场简单的胜利，不如说展示了模型能力如今究竟存在于何处。它越来越多地存在于模型、记忆、上下文管理、API 行为和 agent 运行时共同构成的系统中。

Gemini 4 Argon ARC-AGI-3 结果在两种测试框架间分化

ARC Prize 验证了一项出色的结果，但它验证的是同一系统体验中截然不同的两个版本。

经验证的评分卡显示，在低推理设置和供应商适配器测试框架下，Gemini 4 Argon 在 ARC-AGI-3 上取得了 97.5% 的成绩。在该配置下，中等和高推理设置的成绩均为 97.3%。

标准测试框架则呈现出不同的模式。低推理设置得分为 49.8%，中等推理设置为 46.3%。ARC Prize 没有在图表中发布可比的高推理数据点，因为该次运行完成的任务过少。

这一结果有两点不同寻常。首先，提高标注的推理等级并未改善供应商适配器的得分。低推理设置以微弱优势领先其他两种配置。

其次，供应商适配器的得分几乎是标准测试框架的两倍。如此巨大的差异不能被视为普通的评估噪声。它表明，被测试系统能够记住和复用什么，发生了结构性变化。

ARC Prize 将标准测试框架定义为一个供应商中立的接口。它允许模型在环境中持续保留由模型自行选择的笔记。

供应商适配器可以在请求之间保留不透明的推理状态。当历史记录接近上下文限制时，它还可以压缩长时间交互。这样，模型便能复用早先的工作，而不必从可见笔记中重新构建完整推理过程。

这很重要，因为 ARC-AGI-3 并不会抛出一个熟悉的问题并要求单一回答。模型进入一个陌生的交互环境，观察状态、选择动作，并查看结果。它必须在避免浪费操作的同时推断规则和目标。

如果系统记得某个假设为何失败，失败的假设仍然有价值。只有相关观察结果能保留足够久、并影响后续决策时，一次成功的实验才有意义。

标准测试框架要求模型通过选定笔记将这种连续性外化。供应商适配器则将更多连续性保留在供应商系统内部。两种配置使用的都是 Gemini 4 Argon，但它们暴露出的模型持续认知状态程度不同。

ARC Prize 表示，API 问题也影响了标准评估。在低推理设置下，55 个半私有任务中完成了 42 个。中等推理完成了 46 个任务，而高推理仅完成了 19 个。

报告的得分仍覆盖全部 55 个任务。未完成任务会影响结果，尽管已获得的部分分数会被保留。因此，49.8% 是一个真实公布的结果，但它也反映了一次并不完美的测试运行。

这一限定并不会抹去测试框架间的差距。中等配置完成的任务多于低推理配置，但得分仍只有 46.3%。与此同时，每一种供应商适配器配置均保持在 97% 以上。

正确的标题并非一个分数真实、另一个分数无效。ARC Prize 验证了两者。正确结论是，Gemini 4 Argon 的 ARC-AGI-3 结果高度依赖周边系统如何在多次操作之间维持推理。

为什么 ARC-AGI-3 让记忆成为测试的一部分

ARC-AGI-3 将上下文管理从实现细节转变为可衡量的能力。

ARC-AGI-1 和 ARC-AGI-2 使用静态视觉推理任务。系统接收用于建立隐含变换规则的示例，然后将推断出的规则应用于新的网格。这些测试强调抽象和泛化，而无需经历长时间的环境操作序列。

ARC-AGI-3 则以陌生的交互世界取代了这种被动形式。agent 不会获得详细说明书。它必须进行实验、解读反馈、修正判断，并最终发现获胜方法。

官方的 ARC-AGI-3 benchmark 聚焦于不确定性下的适应能力。人类往往可以将关于物体、移动、因果关系和目标的日常直觉迁移到这些世界中。AI 系统则必须从观察中重建相当的知识。

ARC Prize 的技术设计为这一探索设置了操作预算。如果 agent 花费过多步数随机试探，即使解决了环境也并不足够。因此，该基准同时评估进展和操作效率。

技术报告将上下文管理描述为核心挑战。环境帧使用 64×64 网格，反复携带每一次观察结果会迅速耗尽可用上下文。

一个称职的 agent 需要的不只是庞大的原始上下文窗口。它必须识别哪些变化重要，将动作与影响关联起来，保留假设，并舍弃无关细节。这与操作浏览器、代码库或业务系统的 agents 面临的问题很接近。

设想一个正在调查间歇性测试失败的编程 agent。它可能检查日志、更改配置、重新运行测试、比较输出，并回到早先的假设。若失去了这些操作之间的因果链，agent 可能重复工作，或接受错误解释。

企业研究 agent 在跨文档工作时也面临同样的问题。它必须在保留来源的同时，区分既定事实与暂时性解释。仅有长输入容量并不能保证正确证据仍能持续产生影响。

ARC-AGI-3 将这些问题压缩进受控环境中。这些世界是人为构造的，但从顺序反馈中学习的需求却很容易辨认。这使该基准比单轮考试更贴近 agent 行为。

它也让比较变得更困难。在静态基准中，提示词和生成答案定义了被测试系统的大部分内容。在交互式基准中，编排决策会在数十甚至数百步中不断累积。

系统可能需要决定哪些内容进入下一次提示词，哪些成为持久笔记，以及何时应总结较早的历史记录。它还可能需要处理失败的 API 调用，同时避免破坏自身状态。

这些决策通常在基础模型之外完成。但它们直接影响模型是否显得具备持续推理能力。

Google 为长轨迹任务设计了 Argon。其模型公告称，该模型支持一百万 token 的输出上限，并面向复杂的多步骤工作。Google 还提到它在软件工程、研究和防御性网络安全中的应用。

除非在每个领域都经过独立评估，否则这些仍是公司的说法。不过，供应商适配器的结果与一个更狭义的判断一致：Argon 能从保留的推理状态中受益。

标准测试框架则暴露了另一面。一个围绕持续内部轨迹构建的模型，在被迫通过更薄的、供应商中立的接口运行时，可能失去大部分优势。

这正是 ARC-AGI-3 测试框架对比的重要性所在。它提出的问题是：这种能力会随着模型名称一起迁移，还是依赖于特定的交付技术栈。

核心竞争是供应商原生状态与可移植 agents 之争

最重要的竞争已不只是 Google 对阵 OpenAI，而是供应商原生连续性对阵可移植编排。

供应商原生状态让模型能够使用与其推理系统共同设计的功能。保留的推理过程可以保存那些难以或代价高昂地用普通文本表达的内部工作。压缩机制则可以在保留由供应商机制选定的信息的同时，缩减冗长历史记录。

这种方法可以用更少的应用侧工程工作交付更高性能。开发者通过受支持的接口发送操作，而供应商管理更多长期推理过程。

代价则是依赖性。如果 agent 的性能依赖不透明状态，开发者就无法通过其他供应商完整检查、导出或复现该状态。即使可见提示词看似可移植，工作流也可能被绑定到单一 API。

标准测试框架代表了一种更易迁移的架构。模型可以编写跨回合保留的笔记，但该接口不依赖供应商特有的内部状态。开发者能够检查这些笔记，并将类似模式应用于其他模型。

这种透明性并不保证性能相同。Gemini 4 Argon 的标准得分表明，可见笔记未能保留 Argon 在这些环境中所需的足够信息。模型可能在反复交互中丢失了假设、因果关系或计划。

显式笔记本也可能变得嘈杂。如果 agent 记录过多，后续提示词会被陈旧观察结果填满。记录过少，重要发现又会消失。

供应商压缩可以解决这种平衡问题，但其决策过程不那么可见。高分告诉用户，完整系统在评估条件下有效运作。它并不揭示压缩过程保留了哪些信息的全部细节。

ARC Prize 的测试政策承认，两种测试框架回答的是不同的问题。该组织分别报告它们，而不是将其视为可互换的实现方式。

标准测试框架考察的是模型通过最小化、供应商中立接口时的表现。供应商适配器考察的则是模型与其创建者提供的上下文管理功能配合时的表现。

这两个问题都并不简单。对于希望拥有议价能力、可审计性和后备供应商的买家而言，可移植性很重要。对于需要在困难工作流中获得最佳可用结果的团队而言，原生性能很重要。

OpenAI 的 GPT-6 Astra 提供了最清晰的竞争参照。其供应商适配器配置在 ARC-AGI-3 排行榜上仍领先于 Argon。其标准得分也高于 Argon 公布的标准结果，尽管比较时必须考虑 Argon 的未完成运行。

官方排行榜进一步凸显了区分不同配置的重要性。ARC Prize 会标注标准结果和提供商适配器结果，并说明它们保留的是不同形式的状态。

这种结构给所有前沿实验室都带来了压力。提供商不能再只发布一个智能体分数，而不解释产生该分数的运行时环境。采购方应询问，结果是否使用了原生状态、外部工具、重复采样、私有记忆或任务专用脚手架。

这种压力同样延伸至独立智能体平台。它们的价值主张通常在于让模型可互换，同时在 API 之上增加记忆、工具和工作流控制能力。

如果提供商原生适配器持续产生如此巨大的差距，通用编排层将面临艰难选择。它们可以保持可移植性，但接受较低的峰值性能；也可以构建深度集成，从而降低实际可互换性。

开发者不应认为这种选择是永久的。最初作为专用运行框架功能出现的能力，可能会进入标准 API。随着团队逐渐了解智能体需要保留什么，显式记忆系统也可能得到改进。

目前，Gemini 4 Argon 让这种分野变得异常清晰。该模型在一种接口下看似接近饱和，在另一种接口下却远未达到饱和。

这种差距比单一排名更具信息量。它表明，模型选择与智能体架构已成为不可分割的采购决策。

97.5% 分数无法证明什么

经验证的基准测试分数，是关于某项既定测试的有力证据，而非自主智能的通用证书。

ARC Prize 在半私有任务上验证前沿分数，以减少直接过拟合。测试项目会在数据保留保护措施下发送至提供商 API，结果还包括任务级评估信息。

这一流程比在公开测试上自行报告的分数更可信。它限制了实验室直接针对完整评估集进行调优的能力。

验证并不会扩大该结论的适用范围。Gemini 4 Argon 是在指定的运行框架、推理设置、评分方法和行动预算下取得了 97.5%。正如标准分数所示，改变这些条件就可能改变结果。

ARC-AGI-3 环境也属于特定领域。它们测试的是在基于网格的交互世界中的探索与适应能力。真实业务工作流还会加入模糊指令、变化的权限、不可靠的网站、相互冲突的文档，以及错误操作带来的后果。

模型可以在该基准中表现出色，却仍可能难以应对成功标准尚不明确的企业工作流。反过来，为稳定业务流程优化的智能体即使在抽象环境中得分不高，也可能创造价值。

未完成的标准运行带来了另一项不确定性。ARC Prize 将缺失覆盖归因于 API 问题，但仅凭公开结果，采购方无法判断类似中断在生产环境中会发生多频繁。

长时间运行的智能体需要具备恢复行为。它们必须知道失败请求能否安全重试、重试后状态是否仍然存在，以及中断的工具操作是否已经造成外部变更。

这些运营属性并非次要因素。一个推理正确却会在网络故障后丢失状态的智能体，可能不如恢复行为可预测的较弱模型实用。

97.5% 的结果也不能证明更高的推理投入始终有帮助。Argon 的低档设置略高于其中档和高档提供商适配器配置。这个微小差异可能反映的是任务动态，而非普遍规律，但它提醒我们，不能把更多推理等同于更好的结果。

团队应根据自身的延迟、可靠性和质量要求测试推理设置。最昂贵或耗时最长的轨迹并不会自动成为最佳配置。

ARC Prize 的原始基准框架也区分了通用模型能力与任务专用运行框架工程。其技术报告警告，围绕已知公开环境设计的运行框架可能会抬高性能，却无法迁移到未知领域。

提供商适配器并未被描述为针对 ARC 的手工编码求解器。它使用的是通用上下文管理功能。即便如此，读者仍应避免将较高的交互式分数解读为模型已达到人类级通用智能。

最有力且站得住脚的解读更为狭窄：当其推理状态能通过 Google 的适配器设计持续保留时，Gemini 4 Argon 能在半私有 ARC-AGI-3 任务上表现得极其出色。

第二个站得住脚的结论是，同一种能力无法通过 ARC Prize 的标准接口顺畅迁移。这究竟反映了模型弱点、记笔记行为不匹配、API 不稳定性，还是多种因素共同作用，仍未得到解答。

企业评估应复现测试的两面。团队可以比较提供商的原生智能体接口，以及显式存储计划和证据的可移植实现。

他们应衡量任务完成情况、重复工作、故障后的恢复能力以及保留证据的质量。对于知识密集型工作流，可追溯的 AI knowledge base 可通过保留可检查的源材料来补充模型记忆。

这并不能替代推理状态。它会创建一份独立记录，让用户在模型的内部连续性不透明时仍可进行审计。

因此，47.7 分的差异是开展更好评估的理由，而非放弃基准测试的理由。它揭示了单一分数原本会掩盖的部署变量。

三个信号将表明该结果能否迁移

下一步证据必须表明，Argon 的适配器优势能否经受更广泛测试、运营故障和真实部署的检验。

第一个信号是完成标准运行框架复测。在报告的 API 问题解决后，ARC Prize 应能重新运行全部 55 项半私有任务。

完整运行将确定 49.8% 的结果中有多少来自缺失的任务覆盖。如果 Argon 仍维持在接近该水平，存在真实架构差距的论据将更有说服力。

如果标准分数大幅上升，原先的比较就需要修正。这将表明，扩大已公布差异的因素是服务可靠性，而不只是记忆设计。

第二个信号是其他实验室在可比运行框架下的表现。OpenAI 已提供主要参考，但更多经验证结果将显示，大幅适配器增益是否普遍存在于各类前沿模型中。

如果 Anthropic、xAI 或其他提供商也呈现类似模式，提供商原生状态将看起来像高级智能体的通用特征。届时，行业将需要把运行框架选择视为标准报告字段。

如果其他模型在两种运行框架下保持稳定，Argon 的差距将显得更具模型特异性。届时，Google 将面临改善可移植的基于笔记的连续性，或更清楚说明适配器要求的压力。

第三个信号是来自长时间运行生产工作流的证据。Google 表示，Argon 正在软件工程、研究和网络安全领域接受测试。这些领域可以揭示，保留推理是否能在受控游戏之外改善结果。

有价值的报告应包括多步骤完成率、人工干预频率、中断调用后的恢复能力，以及用户必须撤销的操作比例。平均基准分数无法替代这些运营测量指标。

开发者还应关注 Google 是否会开放更多对压缩和保留推理的控制。允许用户检查摘要、设定保留策略或导出持久状态的接口，将减少一部分可移植性和治理方面的担忧。

如果没有这类控制，采购方虽然获得了性能，却必须信任隐藏的记忆过程。这种安排或许适合低风险任务，但对于受监管或安全敏感工作则更难获得批准。

因此，Gemini 4 Argon 的 ARC-AGI-3 分数应先改变评估实践，再改变任何人对智能的定义。单凭模型名称已不足以描述被测试的产品。

比较智能体系统的团队应记录模型版本、推理级别、运行框架、记忆策略、上下文压缩方法和故障恢复行为。他们还应保留用于重大决策的证据。

97.5% 的分数展示了在 Google 首选的状态管理路径可用时，Argon 能做到什么。49.8% 的分数则展示了当这一路径改变时，性能可能消失多少。

哪一个结果更重要，取决于所采购的系统。实际的下一步，是测试你的应用将使用的确切接口，然后询问其记忆能否在完整工作流中保持准确、可检查且可恢复。