Sakana AI 报告递归自我改进取得进展，但监督仍是制约因素
Sakana AI 已通过集体智能完成两轮递归自我改进训练。在依赖同一个共享模型的情况下，其报告称研究表现有所增强。其名为 MASS 的新型多智能体自监督方法，将协调的智能体工作转化为该模型自身的训练数据。结果并非自主智能爆炸，而是一项受控实验：检验 AI 团队能否为其共享的底层模型创造有用的经验。
核心矛盾存在于这个循环内部。MASS 要求一个模型完成任务、组织智能体、评估工作成果，并从筛选出的结果中学习。这一设计降低了对更强外部监督者的依赖，但也可能让一个盲点影响整个流程的每个阶段。
实验以 Qwen3.6-27B 为起点，聚焦金融、机器人和制药领域的开放式研究任务。两轮训练后，所得模型在多项相关研究基准上有所提升。不过，其在两项软件工程基准上的表现略有下降，揭示了这些结果的重要边界。
这种参差不齐的结果，使 MASS 与对自我改进 AI 的更广泛主张区分开来。Sakana AI 已提供证据表明，在限定的研究场景中，集体轨迹能够更高效地训练模型。但它尚未证明递归改进能够无限持续、适用于所有场景，或在缺乏独立监督时仍然安全。
MASS 将团队协作转化为训练信号
重要变化在于，多智能体协作不再随着答案产出而结束。
大多数多智能体系统会在推理阶段调用多个模型实例。协调器会拆分任务、分配角色、汇总结果，并组装最终回答。额外的协调可以改善答案，但底层模型权重保持不变。
MASS 将这项工作延伸到后训练阶段。其智能体会生成完整轨迹，其中包含消息、工具调用、中间产物和结果。系统对这些轨迹进行排序，选出最优示例，并利用它们对共享模型进行微调。
研究人员将其称为多智能体自监督。同一语言模型同时承担执行者、工作流优化器和评估者的角色。尽管独立模型实例可以处理执行过程的不同部分，但它们使用相同的底层权重。
这一区别很重要。该系统并非组合多个拥有不同知识或目标、且经独立训练的模型，而是要求同一模型的副本自行组织，再将筛选出的行为蒸馏回共同的权重中。
这一过程包含两个相互连接的循环。内循环在保持模型权重固定的情况下搜索更好的工作流；外循环则利用由选定工作流生成的轨迹训练模型。
工作流是组织团队的、基于提示词的计划。它规定智能体角色、指令、所需输出以及通信顺序。MASS 可以在搜索过程中修改该计划，而无需改动模型本身。
对于每个训练任务，系统都会保留一个冠军工作流。候选团队执行任务后，模型将其工作区与冠军工作流的输出进行比较。优化器随后依据这一判断修订工作流。
一旦系统找到优选工作流，就会针对每项任务运行该工作流 18 次。模型通过两两比较对生成的工作区进行排序。Bradley-Terry 模型将这些偏好转化为每个工作区的分数。
MASS 每项任务最多保留 16 条轨迹。其中 15 条可用于提供训练示例，另有 1 条留作验证。在微调之前，工作流文本会从协调器的初始训练提示词中移除。
这一移除具有明确目的：它鼓励模型根据任务本身推断应如何组织工作。研究人员并非只是教它复述固定的团队结构。
外循环采用低秩适应（LoRA），即在微调期间仅更新有限的一组模型参数。协调器和子智能体的对话都会成为训练目标。更新后的模型随后作为下一轮循环的执行者、优化器和评估者回归系统。
此次发布使核心实验可供审查，也让其范围格外清晰。MASS 是围绕选定任务和受控模型更新构建的研究流水线，而非一个持续自行重写的已部署系统。
通过集体智能进行的递归自我改进带来不均衡增益
MASS 的改进最明显地出现在其评估任务与生成训练数据的研究工作相似之处。
实验在一个编码智能体环境中，以 Qwen3.6-27B 为起点。其合成任务集包含金融、机器人和制药领域的 12 项研究任务。每项任务均要求编写代码、进行定量分析并撰写报告。
其中九项任务被指定用于训练，但最终只有八项贡献了训练数据。三项任务——每个领域各一项——被排除在微调、验证和检查点选择之外。
外部评审者在未参与 MASS 训练循环的情况下衡量进展。Sakana AI 表示，GPT-5.5 和 Claude Opus 4.8 对已完成的工作区进行了比较。它们的判断为这一主要由 Qwen 模型引导的流程提供了外部评估。
在三项保留的合成任务上，第一轮模型在与基础模型的比较中赢得了 53.9%。第二轮模型达到 69.9%，并在与第一轮模型的比较中赢得了 60.8%。
训练任务上的结果更强。第一轮模型对比基础模型的胜率为 65.6%，第二轮则达到 82.5%。训练与保留任务之间的这种表现差距符合预期，但仍然重要。
公开基准提供了更广泛的测试。Sakana AI 报告称，第二轮模型每个输出 token 的得分达到基础模型的 1.2 至 1.6 倍。这些增益出现在 MLR-Bench、DSBench、ScienceAgentBench 和 AstaBench E2E-Hard 上。
底层分数呈现出更细致的图景。MLR-Bench 从基础模型的 1.71 升至两轮训练后的 2.25，其论文交付率从 57% 提高至 76%。
ScienceAgentBench 从 28.8% 提高至 31.7%。AstaBench 从 0.053 升至 0.067，报告交付率则从 50% 提高至 76%。
DSBench 的变化仅为从 0.473 到 0.482。由于效率计算还考虑了输出长度，这一较小的绝对变化背后对应着更高的每 token 得分比率。
两项软件工程基准则出现倒退。Terminal-Bench 2.0 从 0.375 降至 0.352，SWE-bench Verified 从 0.626 降至 0.611。
它们的每 token 得分比率分别达到基础模型结果的 0.96 倍和 0.94 倍。这些下降直接挑战了任何关于 MASS 造就了普遍更强模型的说法。
最可能的解释是任务对齐问题。训练集强调包含代码、证据和报告的开放式研究工作，并不包括类似代码库调试或终端操作的软件工程任务。
Sakana AI 表示，加入软件工程任务可能有助于弥补这一差距。在另一轮训练对其进行检验之前，这仍只是一项假设。扩大任务组合也可能在不同能力之间造成干扰，而非带来均匀提升。
公开基准的设计还带来另一项限定。MASS 以每个输出 token 的得分报告效率，这有助于评估富有成效的推理，但并未纳入生成这些改进输出所需的全部成本。
工作流搜索、重复执行、模型比较、数据生成和评估都会消耗计算资源。报告中的监督 token 总量也不包括输入 token 和若干上游成本。
因此，结果具有意义，但其范围比简单的效率标题所暗示的更窄。MASS 似乎能够生成信息密度更高的训练示例。它是否降低总体开发成本，则需要对搜索和筛选流水线进行完整核算。
真正的机制是信息流，而非更多智能体人设
MASS 的收益似乎来自重构信息交换，而非为众多智能体赋予戏剧化身份。
多智能体系统通常以研究员、批评者、工程师或编辑等角色开始。这些标签有助于分工，但也可能停留在泛泛层面。一个名为“谨慎分析师”的角色几乎不携带任务特定信息。
MASS 搜索四类工作流组件：角色、指令、契约和跳转。契约定义智能体必须返回哪些证据或产物；跳转规定信息何时在智能体之间传递，或何时回到更早阶段。
在一个金融工作流中，不同智能体分别处理数据准备、特征构建、建模、回测、审计、核对和报告。数据智能体必须说明未来信息是否泄漏到了历史决策中。
这一契约针对的是一种具体失效模式。当模型意外使用未来数据时，金融回测可能看起来很成功。要求进行明确检查，能让后续智能体在接受结果前获得可审查的证据。
Sakana AI 分析了工作流组件在搜索过程中的变化。其发现，任务信息越来越集中于契约和通信顺序；随着时间推移，角色和通用指令承载的信息则有所减少。
这项分析的样本较小，视比较对象而定，仅涵盖八至九项任务。其互信息估计描述的是工作流文本，而不是执行期间交换的全部消息。因此，这一模式应被视为一条研究线索。
即便存在这一限制，它仍为 Sakana AI MASS 提供了有用解释。该系统通过发现每个智能体必须确立什么、必须向后传递什么，以及何时应由另一智能体审查这些内容来实现改进。
早期的多智能体辩论研究表明，模型实例可以通过交换答案和批评来改善推理。MASS 将这一理念从临时的推理行为延伸至监督训练。
该方法还训练了两种不同形式的行为。协调器轨迹展示如何拆解宽泛工作并协调专家；子智能体轨迹则展示如何完成边界清晰、输出要求明确的任务。
这一组合似乎比训练冗长的单智能体轨迹更具信息密度。在 Sakana AI 的比较中，一个多智能体学生模型在处理 2,880 万个监督 token 后达到 68.3% 的胜率。
最大的单智能体学生模型在处理 4,200 万个 token 后达到 64%。按这一衡量方式，多智能体模型以少 31% 的监督 token 获得了更高结果。
这一比较并未将委派隔离为唯一原因。各组采用了不同的工作流和验证指令。在训练示例被选出前，团队执行平均还生成了约 2.4 倍的 token。
外部评委在 85.1% 的对比中更偏好多智能体工作，而非单智能体输出。在十组轨迹长度相近的配对中，团队输出仍赢得了 80% 的对比。
这些结果表明，除了团队结构，筛选质量同样重要。MASS 并不会从每一次智能体交流中学习。它会生成大量候选项，让模型对其排序，并在偏好的子集上进行训练。
这一机制类似于一个过滤器，将成本高昂的集体工作转化为集中的经验教训。它以额外的搜索和评估成本，换取更优质的监督示例。
这一权衡对开发者具有实际意义。一个有效的 AI 团队不只是同一提示词的多个副本。它需要与任务相匹配的明确证据约定、审查阶段和信息路由规则。
当人类协作开展 AI 辅助研究时，同样的原则也适用。一个可搜索的知识库只有在贡献者以其他人可检查的形式保留证据、背景和决策时才有帮助。
MASS 将这种组织设计的一部分自动化。其更深层的主张是，协调本身可以成为一种可学习的能力。模型并非只通过一个临时团队完成更好的工作，它还会从团队成功的行为模式中吸收经验。
同一个模型仍在批改自己的作业
多智能体自监督最显著的优势，也正是其尚未解决的最大风险。
MASS 使用同一个共享模型，分别充当任务求解器、工作流优化器和循环内评估器。这种同质化设计检验了模型是否能在不依赖一个永久更强的教师模型的情况下实现改进。
但它也会造成相关性失败。如果模型误解了一项任务，每个智能体都可能复制这种误解。评估器随后可能奖励执行器产生的同一种错误。
反复循环会提高风险。存在缺陷的轨迹可能被接受为更优方案、被选入训练数据，并被纳入下一代模型。更新后的评估器可能会对这一共同错误更加确信。
Sakana AI 公开将共享盲点列为核心安全问题。其项目概览认为，随着能力增长，自我评估必须保持可被纠正的开放性。
外部评委有助于衡量这一实验，但无法解决部署问题。GPT-5.5 和 Claude Opus 4.8 始终处于训练信号之外。因此，它们的存在提供了一种真正自主的闭环可能缺乏的校验。
MASS 报告称，在三代模型中，与这些外部评委的一致率从 73% 提升至 93%。这表明，在这些任务上，内部评估器与更强评委的判断更加一致。
一致并不等同于正确。两个评估器可能共享假设，奖励表面完善但存在缺陷的报告，或者漏掉需要真实世界实验才能发现的错误。对于开放式研究而言，这一区别尤其重要。
与递归自我改进所暗示的范围相比，基准测试套件也较为紧凑。后训练阶段仅保留了三项合成任务作为测试。两个完整循环能够证明迭代的存在，但无法证明无限期的递归进展。
社区质疑主要集中于这一缺口。一些 Hacker News 评论者认为，这项工作更接近于改进智能体协调，而非不受约束的递归自我改进。还有人质疑，一个看似递归的过程为何在两轮后停止。
这种批评指出了一个真实的命名问题。严格意义上的递归自我改进，往往意味着一个系统能够自主改变负责创造其后继版本的机制。而 MASS 则是在固定实验管线内，将人工设计的工作流搜索与监督微调交替进行。
模型会影响工作流、训练数据和评估决策。人类仍然定义架构、任务套件、优化方法、基准协议和循环边界，也提供计算基础设施。
称 MASS 为递归是可以辩护的，因为每一代更新后的模型都会帮助生成并筛选下一代模型的训练数据。但称其为开放式自我改进，则夸大了实验所能证明的内容。
优化器质量构成另一项限制。Sakana AI 测试了将 GPT-5.5 纳入工作流搜索循环、同时保留基础 Qwen 模型作为执行器的配置。
仅将 GPT-5.5 用作评估器，带来的提升有限。将其同时用作评估器和优化器后，在五次搜索迭代内便为全部 12 项任务找到了获胜工作流。
完全同质化的闭环最终为 12 项任务中的 11 项找到了获胜工作流，但最多需要 13 次迭代。Sakana AI 将此解读为：优化器可能比评估器成为更大的瓶颈。
如果优化器无法将有效批评转化为更好的流程，再好的批评也没有用。这一结果将关注点从评分准确性转向模型修订复杂工作流的能力。
搜索稳定性仍然较弱。Sakana AI 的工作流结果存在波动，强劲的迭代之后可能出现大幅倒退。找到一个好的工作流，并不保证下一次修订会保留它。
这些限制让结果更有意思，而非更没有价值。MASS 揭示了同质化改进闭环在观察下会在哪里失效。它为迁移、评委一致性、优化器强度和工作流不稳定性提供了可测量指标。
集体智能并不能消除监督问题
由相同模型组成的团队可以拓宽搜索范围，但无法保证独立判断。
集体智能通常从参与者之间的差异中获得力量。人类团队带来不同的经历、激励机制、专业知识和机构角色。这些差异能够暴露单个人可能忽略的错误。
MASS 使用同一个共享模型的多个实例。随机采样和专门分工创造了行为差异，但每个智能体都继承了相同的权重和大部分相同的训练历史。
这种架构仍然可以产生有用的多样性。不同智能体探索不同路径，处理不同的中间证据，并相互批评。然而，它们的分歧并不能证明真正的独立性。
在不可验证任务上，这一问题更加突出。Sakana AI 用这一术语指代那些没有自动化、基于规则的成功信号的工作。一份研究报告可以逻辑连贯、证据充分，却仍含有未被发现的概念性错误。
模型评估器可能偏好符合自身风格或推理习惯的输出。在这些选择上进行训练，可能会强化评估器的偏好，却不会强化其与现实的接触。
这是一个更广泛的可扩展监督问题。随着智能体执行人类难以评估的工作，开发者需要较弱的监督者来监控更强的系统。能力更强的模型评委会有所帮助，但也会将评估权力进一步从人类手中移开。
OpenAI 的可监控性研究发现，相较于仅观察行动和最终答案，推理轨迹能揭示更多关于智能体行为的信息。该研究也指出，可监控性并不完整，并且取决于智能体和监控者双方。
这对 MASS 很重要，因为其训练示例包含丰富的轨迹。消息、工具调用和中间产物创造了更多检查机会，同时也扩大了细微错误可能隐藏的范围。
直接优化可见的推理会带来另一种危险。模型可能学会哪些解释更容易获得认可，却不改变导致失败的行为。监督最终奖励的便是易读的合理化，而非可靠的工作。
Sakana AI 并未声称已经解决这一问题。其论文警告称，同一种弱点可能同时损害模型行为，以及旨在纠正该行为的机制。
因此，独立检查仍然不可或缺。这些检查可以包括外部模型、人类专家、可执行测试、可信数据管线、对抗性评估以及延迟的真实世界验证。
没有任何单一检查能覆盖所有失败模式。代码可以成功运行，却实现了错误的目标。报告可以引用真实证据，却遗漏相互矛盾的结果。多个模型也可能因为共享训练偏差而达成一致。
MASS 最有前景的近期应用，或许是具有可验证中间步骤的有边界研究。金融管线可以测试按时间顺序划分的数据集。机器人实验可以检查仿真输出。药学分析可以强制执行数据和计算约定。
最终目标越具主观性，自我判断作为唯一信号就越不可靠。战略、科学创新、政策建议和安全分析，都依赖模型共识无法裁定的价值判断或证据。
Anthropic 对递归自我改进的讨论同样将监督、验证和核查置于未来 AI 发展的核心位置。即使技术路径不同，所面临的共同压力也很明确。
如果 AI 要承担更多用于改进 AI 的工作，监督就不能再是事后考虑。评估系统必须与能力系统同步发展。MASS 为研究这场竞赛提供了一个有用的试验平台。
接下来的三个信号将决定 MASS 实际证明了什么
下一阶段必须检验持续性、迁移性和纠错能力，而不是重复最吸引眼球的结果。
第一个信号是，改进能否在更多循环中持续。两轮可以证明重复发生，但不能证明通过集体智能实现了持续的递归自我改进。
第三和第四个循环应衡量收益是持续、趋于平台期，还是出现逆转。研究人员还应报告，随着模型改进，工作流搜索成本如何变化。
若在稳定的外部评估下持续获得提升，将强化递归这一主张。若出现平台期，则表明模型已耗尽其任务分布内可获得的经验。若发生退步，则可能暴露累积性的评委错误或训练干扰。
第二个信号是迁移到原始研究套件之外的领域。Terminal-Bench 2.0 和 SWE-bench Verified 上的下降提供了一个严苛基线。
如果该方法学到了可迁移的协调能力，加入软件工程任务应当提升这些基准表现。若收益只在直接进行领域特定训练后才出现，MASS 看起来就更像一种高效的专门化方法。
这依然具有价值。它只是将主张从广泛的自我改进收窄为更好的任务条件化后训练。
一项有说服力的迁移测试还应保留在金融、机器人和药学领域的表现。否则，新能力可能只是替代旧能力，而非与之叠加。
第三个信号是，系统能否发现并逆转一个共享盲点。研究人员可以引入隐藏的评估陷阱、相互矛盾的证据，或那些表面一致的共识会导向错误结论的任务。
成功不仅仅意味着外部评委发现失败。同质化闭环应当能够识别问题、修订其工作流，并避免在有缺陷的轨迹上训练。
这一测试将把能力主张与控制联系起来。它将展示：当所有智能体都从相似假设出发时，集体智能能否产生纠错压力。
在将 Sakana AI MASS 视为通用方案之前，评估该系统的组织应首先关注这些信号。目前的结果支持在证据密集、边界明确的研究工作流中开展实验，但并不支持从具有重大后果的决策中移除人工审查。
更大的启示已经显现：更优秀的智能体团队能够生成更高质量的训练数据，而这些经验可以沉淀进模型权重中。但每一项提升，都取决于团队如何定义成功。
只有当这一循环能够识别自身共同犯下的错误时，借助集体智能实现的递归自我改进才值得信赖。在允许这样的系统为下一轮训练挑选证据之前，你的组织会要求哪些独立核查机制？
