DuoCook 基准测试：领先 AI 模型仅完成 26.2% 的订单

DuoCook 基准测试让 AI 负责管理一个虚拟厨房，其中表现最强的受测模型平均仅完成了 26.2% 的订单。这一结果挑战了关于自主助手的一项实用假设：理解任务应当能够转化为组织完成任务所需工作的能力。

这篇 10 月 22 日发布的预印本描述了一个受 Overcooked 启发的环境，而非对这款商业游戏的直接测试。一个能够处理图像和文本的视觉语言模型同时控制两名厨师。核心矛盾在于：如何在选择看似合理的单项操作与完成相互依赖的工作负载之间取得平衡。

包括 MindAgent 和 Collab-Overcooked 在内的早期系统，已经让虚拟厨房成为测试 AI 智能体协作的场景。DuoCook 则为深入审视执行过程增添了新的理由。对于开发者和采购者而言，有价值的问题是：助手能以多高的可靠性将其决策转化为已完成的工作。

DuoCook 基准测试实际衡量什么

这一结果针对的是特定界面下的协同任务执行，因此其含义取决于测试的运作方式。

研究人员在五个类别的 20 张地图上评估了四个模型。GPT-6-Astra 在报告的完成率结果中领先；其他模型的平均完成率为 8.8% 至 11.2%。DuoCook benchmark 提供结构化信息和导航辅助，并在模型推理期间暂停模拟。

这些细节有助于界定这一结论。AI 烹饪基准测试可以检验感知、移动、调度和协作的不同组合。组合方式的变化，会改变低分能够向读者说明什么。难以识别食材的系统，所面临的工程问题不同于反复以错误顺序分配工作的系统。

设想一个假想厨房：一名厨师准备蔬菜，另一名管理锅具。每项分配单独来看都很合理。然而，这些蔬菜可能属于一份无法在截止时间前完成的订单。与此同时，这口锅可能占用了制作一道更简单菜品所需的设备。

关键决策涉及这些活动之间的关系。有效的控制器必须考虑一项操作促成什么、延迟什么，以及其产出是否仍有价值。识别出正确食材只是这一决策的一部分。

这正是该完成率数字值得在娱乐价值之外获得关注的原因。完成的订单提供了一种读者无需解读复杂说明便能理解的结果。厨房要么获得所需的工作序列，要么没有。

不过，读者不应将 26.2% 解读为普适的 AI 成功率。该数字概括的是在受评测任务集上的表现，并不描述每一种可能的厨房、每一种智能体架构，或受测模型的每一个版本。

它也没有说明人类在同一界面下会有怎样的表现。一个看起来熟悉的游戏可能会引发直觉上的比较，但实验设计未必支持这种比较。人类使用该商业游戏的经验，并不会自动构成可匹配的基线。

更有用的解读应当更狭窄，也更具体。在研究人员设定的条件下，从作出决策到完成分配的工作负载之间，仍存在很大差距。这一差距为后续实验提供了可具体研究的对象。

这也改变了令人印象深刻的演示应当证明什么。对下一步的有说服力解释，并不足以证明执行的可靠性。评估需要一路追踪至最终结果，包括早期选择造成的后果。

对于关注自主软件的读者而言，这一区别正是故事的起点。厨房为一个更广泛的评估问题提供了可见的形式：局部合理的行为能否产生用户要求的结果。

未完成订单为何给智能体开发者带来压力

实际压力落在那些承诺助手无需持续人工干预即可管理依赖关系的团队身上。

助手可以提出有用建议，同时把协作协调留给用户。一旦它承担执行责任，标准就会改变。它必须在中间决策、干扰和相互竞争的需求中，始终保持用户的目标不偏离。

想象一名助手正在准备项目更新。它需要收集源材料、识别变更、处理相互矛盾的陈述，并产出一份文档。每个阶段看似都可能成功，但整体任务仍可能没有完成。

收集到的文档可能已经过时。正确的摘要可能遗漏会改变建议的决策。一份精心润色的草稿可能在有人需要它的会议结束后才送达。这些都是假设性示例，但它们厘清了组件质量与工作流质量之间的差异。

厨房的类比在这一层面变得有用。它的关联性来自依赖关系，而不是声称烹饪与办公室工作具有相同难度。两者都可能要求控制器判断：在另一项操作变得有意义之前，哪些事情必须先发生。

对开发者来说，这意味着需要采用要求更高的验收测试。模型给出看似合理的指令后，任务仍应继续处于评估之中。测试应持续到环境确认所要求的结果已经存在。

这种方法也会改变团队诊断失败的方式。未完成的任务可能源于错误观察、无效命令、不佳优先级，或错失恢复机会。将所有这些情况都视为笼统的推理失败，会使改进变得更困难。

产品团队还面临一项与责任有关的设计选择。他们需要明确助手何时独立行动、何时验证进展，以及何时寻求帮助。这些决策决定了错误是保持在可控范围内，还是会影响后续工作。

可见的检查点能让工作流更易于监督。例如，助手可以在启动一项依赖操作前，确认所需输入是否存在。该提议是对协作协调问题的一种工程回应，而非本研究已经确立的结论。

采购者同样应询问：一次演示把哪些管理工作留给了人。有人可能会悄然修复缺失输入、重置失败步骤，或选择下一个目标。这些干预可能很有价值，但应当被纳入性能说明。

因此，即使更广泛的商业影响仍不确定，评估设计所面临的压力已是当下的问题。团队可以在宣称具备通用自主性之前，先界定完成标准并记录干预需求。

知识工作者可以提出一个更简单的问题：当原始计划不再符合现实情况时，会发生什么？助手对这一时刻的处理，可能比其初始回答的自信程度更重要。

当用户委托的是结果而非过程时，AI 智能体协作就成为产品要求。相关证据必须展示系统如何处理未完成的工作，而不只是它如何令人信服地描述前方的工作。

看似合理的下一步并不保证任务完成

核心的反转在于，一项操作本身可以是正确的，却仍可能损害整体目标。

早期研究为这一差异提供了有用背景。MindAgent framework 探索了语言模型作为 CuisineWorld——一个虚拟烹饪环境——中的协调者。其作者报告了调度能力，以及示范、提示和反馈带来的改进。

这项工作为厨房评估提供了建设性的视角。较弱的结果并不要求人们得出语言模型无法实现协作协调的结论。它反而可以推动围绕其指令、反馈和控制结构开展实验。

然而，存在改进空间并不能解决某个特定系统是否可靠的问题。提出的方法需要在明确陈述的条件下，针对已完成的任务进行评估。更好的解释与更好的结果仍然是两项不同的主张。

Collab-Overcooked study 考察了这一问题的另一个部分。其作者报告称，系统在目标理解方面表现强劲，但在主动协作和持续适应方面存在不足。该基准测试采用面向过程的评估，以考察最终结果之外的行为。

这些发现有助于确立主要比较：识别应当发生什么，与维持让它发生的行为之间的区别。DuoCook 属于这场讨论，尽管其集中式控制器不同于涉及独立控制队友的系统。

一个假设性示例可以使这一差异更具体。假设控制器正确识别出汤还需要一种食材。派一名厨师去取看起来很有帮助。然而，这一趟可能延误另一份订单，而该订单剩余的准备工作已经完成。

控制器随后面临的是调度决策，即关于工作时机和分配的选择。最佳答案取决于周围的工作负载。仅凭菜谱知识无法解决这一问题。

同样的问题也会在一项操作改变另一名工作人员的选择时出现。预留设备可以简化一项任务，却阻碍其他工作的推进。让两名工作人员都投入同一目标，可以加快准备速度，却可能让配送无人处理。

这些示例说明，评估孤立操作为何可能错过核心难点。一项决策的价值，部分取决于它使哪些后续操作成为可能。当环境在执行过程中发生变化时，这种关系会更难评估。

这里还存在恢复问题。一旦早先的假设失效，继续沿用原计划可能浪费更多精力。胜任的控制器需要有办法识别出其预定序列已不再服务于目标。

对于工程团队而言，这意味着应在相同工作负载下比较不同方法。通用模型可以搭配显式任务跟踪、资源预留或独立的调度组件。这些都是需要测试的提议，而不是论文已经确立的修复方案。

这种比较应保留面向用户的结果。如果新增组件在需要更少干预的同时提升完成率，这很重要。如果它只是产生更详尽的中间推理，其实际价值仍未得到解决。

这正是该研究为智能体构建者提出有益挑战的地方。目标是将判断与整个任务过程中的执行相连接，包括合理选择彼此冲突的那些时点。

新增记忆带来另一项决策问题

记忆必须改善控制器的决策；仅保留更多信息本身并不能证明存在这种益处。

DuoCook 实验还比较了共享笔记本与保留近期操作历史的条件。报告的得分影响因模型而异：Claude 和 Qwen 的平均表现有所改善，而 GPT 和 Gemini 则下降。所有模型的平均模型调用开销均有所上升。

这使一种熟悉的设计直觉变得更复杂。当助手丢失工作进展时，增加记忆听起来像是直接的回应。然而，记忆系统会引入关于记录什么、检索什么以及何时修订的决策。

设想一条假设性的笔记，称某个工作站正被占用。这一观察在写下时可能是准确的。如果情况发生变化，除非控制器进行检查或更新，否则同一条笔记可能会成为障碍。

问题涉及观察结果与当前环境之间的关系。一条被记住的陈述需要具备足够的上下文，让助手判断它是否仍然适用。否则，持久化可能保留错误，或延长过时信息的生命周期。

因此，开发者应当区分存储与已验证状态。存储保存信息。已验证状态表示系统已针对当前任务核查过的内容。一个设计可以包含大量记录，却依然缺少对当前进展的可靠描述。

这一区分同样适用于日常知识工作流。一份会议记录可能准确捕捉了某项决定，但后续消息可能改变它。正在准备建议的助手需要识别这种关系，而不是将两项陈述都视为同样具有时效性。

一个可搜索的知识库可以帮助人们定位供审查的源材料。然而，检索相关文档与自主协调实时工作流需要不同的证据。这项厨房实验并不评估 remio，也不对其功能得出结论。

对智能体设计者而言，这项研究提出了一项聚焦的比较方式：在启用和不启用拟议记忆功能的情况下测试同一工作流。尽可能保持其他条件一致，然后检查完成结果及所需的额外工作。

评估还应审查记忆改变结果的情形。汇总平均值可以揭示差异，却无法解释原因。阅读观察与行动的序列，有助于识别某条被记住的陈述是否支持了有用的决策。

替代性解释也需要关注。额外上下文可能改变模型理解指令或确定信息优先级的方式。仅凭性能差异并不能确定是哪种机制造成了它。

恰当的结论应当是有条件的：记忆是一种价值取决于其实现和使用方式的组件。笔记本可以帮助控制器维持连续性，但其效用必须经得起与更简单替代方案的比较。

对买家而言，这意味着要询问宣传中的记忆功能究竟改善了什么。记住偏好、检索旧文档，以及跟踪不断变化的任务，是不同的能力。每一种能力都值得接受与其用途相匹配的评估。

为什么排名仍属初步结论

这些发现值得进一步研究，但研究设计限制了对稳定排名和工作场所可靠性的结论。

每个模型在每张地图和每种记忆条件下只运行一次。作者还表示，当前论文材料中缺少支持性回合日志和分析脚本。这些限制约束了对可重复性以及所报告故障的详细诊断。

匹配测试仍然可以提供有用的观察。为系统提供可比的起始条件，有助于使报告的差异具有可解释性。然而，单次观察无法揭示模型在同一场景再次运行时的行为一致性。

对于在产品之间做选择的买家而言，一致性是决策的一部分。一个有时能完成任务、有时会停滞的系统，与一个限制可预测的系统相比，会带来不同的监督负担。排行榜平均分无法完整描述这种负担。

环境究竟衡量什么，是另一个问题。OvercookedV2 research认为，早期协调场景中的失败可能反映出训练期间对所遇情形的覆盖不足。其作者引入了一些旨在构建要求更高的协调场景的变化。

这是一种方法论视角，而非对 DuoCook 的直接批评。它提醒读者，可见的失败并不会自动揭示其根本原因。不同的实验干预可能会对最初看似相似的行为给出不同解释。

例如，一个控制器可能因误解界面而陷入困境。另一个可能理解界面，却选择了无效的调度方式。第三个可能需要一个熟悉的示例，才能应用原本可用的知识。

这些假设性解释需要不同的补救措施。它们也说明，较低的完成数字应当开启调查，而非结束调查。关于原因的强有力主张需要专门设计的实验来区分替代解释。

泛化构成了另一条边界。泛化是指在用于开发或评估系统的情形之外仍能成功完成任务。固定厨房套件中的结果本身无法确立其在无关工作中的表现。

Overcooked Generalisation Challenge专门评估与陌生伙伴在陌生环境中的合作。其作者报告了这一组合挑战中的困难。因此，它考察的是一个不同于集中控制两个角色的维度。

这些研究方向应当相互补充，而不应被压缩为单一排名。管理共享资源的控制器与适应独立队友的智能体，面对的是相关但不同的要求。它们的得分需要在各自的设置中解读。

模型名称也需要谨慎对待。GPT-6-Astra、Claude、Gemini 和 Qwen 指的是本文比较中接受评估的系统。这些结果并未确立它们在各类应用中的能力具有普适排序。

最有力且可辩护的结论仍然是具体的：受测设置揭示了大量尚未完成的工作，并提出了值得复现的问题。关于通用智能、人类替代或不可避免的商业失败的更广泛主张，都会超出已有证据的范围。

什么会让下一轮结果更具说服力

下一步有价值的发展包括可重复的结果、更清晰的失败解释，以及在原始厨房套件之外的成功测试。

未来几个月，首先值得关注的信号是在匹配条件下的重复评估。后续运行应显示领先模型能否保持优势，以及结果的变化幅度有多大。稳定的结果会加强当前比较；不稳定的结果则会削弱对排名的信心。

记忆方面的发现也是如此。如果报告中的收益和下降能够复现，开发者就会有更坚实的依据来研究模型特定行为。如果它们经常反转，原始平均值就应得到更审慎的解读。

重复评估也能帮助读者区分令人印象深刻的一次回合与可靠的系统。成功演示是某种行为能够发生的有用证据。但它对用户能否持续期待这种行为提供的信息较少。

第二个信号是详细执行记录和可复现分析的可用性。轨迹，即记录下来的观察与行动序列，将帮助研究人员审查进展在哪里停止。支持性材料还可让其他人核查报告的汇总结果是如何计算的。

这些记录应使竞争性解释能够得到检验。失败之前是否出现了错误观察？有效指令是否在错误的时机到达？某条被记住的陈述是否与当前情况冲突？

答案将有助于判断下一项实验应改变感知、调度、反馈还是记忆。它们也会减少通过“推理能力差”等宽泛标签解释每一次失败的诱惑。

第三个信号是在陌生环境和可比实际工作流上的改进。更强的结果应当在布局、依赖关系或资源约束发生变化时仍保持完成能力。这将加强一种观点：改进能够超越原始示例。

仅限于熟悉地图的提升仍然有用，但它支持的是更狭窄的主张。开发者应区分让系统适应已知测试，与提升其处理新情形的能力。

实际比较也应遵循同样的逻辑。工作场所试点需要自己的任务定义、完成标准和干预记录。无论试点涉及研究、文档准备还是软件运营，烹饪结果都不能替代这种评估。

对用户而言，合理的回应是明确终点。说明委派任务结束时必须具备什么，以及哪些条件需要审查。这会为助手及其评估者提供更清晰的目标。

审查下一项 DuoCook 基准测试结果时，应从标题数字一路追踪到已完成的工作。检查比较是否采用匹配条件，重复运行是否支持排名，以及详细记录是否解释了改进。然后询问系统在环境变化时如何表现。在将更长的工作流交给助手之前，也应将这些问题应用于助手演示。一次令人信服的下一步行动可能很有用，但可靠的委派需要一系列能够达成所要求结果的行动。什么证据能够表明，一个助手可以完成你的任务、在计划失败时恢复，并让你承担更少的协调工作？