KataGo 研究探究围棋网络如何学习对称性

KataGo 发布了一项涵盖五个模型的研究，对数据增强的一项基本机器学习假设提出了挑战。随机旋转和反射可以让输出保持一致，但网络的内部概念未必会变得均匀对称。

该研究考察 KataGo 如何表征棋盘八种空间朝向下的围棋局面。围棋规则在四种旋转和四种镜像旋转下保持不变。KataGo 使用随机朝向进行训练，但其受测模型的架构并未全程强制这种对称性。

这一差异构成了核心冲突。数据增强教会模型哪些答案应当保持稳定，而架构等变性则约束模型应如何进行计算。KataGo 的结果表明，即使两者都能带来超人类棋力，它们也可能形成截然不同的内部组织。

研究还比较了卷积网络与较新的 transformer 模型。两类模型都学习到了显著的对称性，但似乎会在不同位置打破并恢复这种对称性。transformer 的注意力头产生了研究中最奇特的结果：部分注意力头组织成了类似六边形的方向性家族。

这项工作是一项可解释性研究，并非新的 KataGo 版本或棋力基准测试。其实验和文章主要是在细致的人类指导下由 AI 完成。这种不同寻常的来源，既令研究颇具趣味，也使其格外依赖可复现性。

KataGo 在五个已发布网络内部测量对称性

该研究要回答的是：对称性是否只存在于 KataGo 的答案中，还是也存在于生成答案的内部表征中。

KataGo 维护者 David Wu 于 2026 年 8 月 1 日发布了这项研究。他将其介绍为一项小型调查，旨在了解围棋网络究竟是学习与朝向无关的概念，还是为每个方向分别记忆相关概念。

这一区别很重要，因为围棋规则提供了一个清晰的实验环境。一个围棋局面经过有效旋转或反射后，在策略上仍然完全相同。坐标会发生变化，但气、连接、目数、提子和合法后续变化都会随棋盘一同变换。

KataGo 在训练期间采用随机八重增强。每个训练批次都会获得一个随机选定的棋盘朝向。模型反复从不同方向看到等价局面，但普通层仍可自由地以不同方式处理这些方向。

研究人员评估了五个已发布的检查点。其中包括两种规模的卷积网络、一个采用 SGD 训练的卷积网络对照模型，以及两个 transformer 模型。因此，该比较涵盖了架构、模型规模和一种优化器变化。

测试集包含从职业棋局中抽取的 100 个标准 19×19 棋盘局面。研究人员将这些局面的变换版本输入每个网络，随后在考虑空间坐标应如何旋转或反射后，对内部通道和注意力头进行了比较。

这一性质被称为等变性。当输入发生变换时，如果表征也发生相应且可预测的变换，那么该表征就是等变的。不变性要求更严格，因为表征本身必须保持不变。

围棋策略不能在每个空间输出上都简单地保持不变。如果棋盘旋转，推荐落子也应随之旋转。只要空间位置保持一致地变换，内部特征图仍可表征与朝向无关的概念。

该项目的对称性研究考察了每个模型内部多个位置上的这一行为。它测量卷积网络中的单个通道，以及 transformer 中的单个注意力头。

这比只检查最终策略的一致性更具信息量。两个模型可以推荐几乎相同的落子，却使用截然不同的内部算法。一个模型可以复用共同表征，另一个则可能维持多个朝向特定的组件，并在后续汇合。

该仓库包含数据、报告、脚本、图表和检查点下载说明。其文档化流程分析全部八种变换，并提供了重新生成已发布图表所需的材料。

研究人员报告称，一次完整的 transformer 分析精确复现了 1,520 个已存储的内层数组。深层注意力与相关性测量结果在声明的 0.0000002 容差范围内一致。在该复现检查中，没有任何通道或注意力头改变分类。

这些检查并不能独立验证科学解释本身。但相较于没有代码、数据或模型标识符的图表，它们确实建立了更完善的审计线索。

这一事件的重要性来自其测量的对象。KataGo 并非仅仅询问增强是否能改善泛化能力，而是检查一个训练后的系统在哪些位置跨越不同朝向共享概念，又在哪些位置保留方向性差异。

为什么这一机器学习前沿问题超越了围棋

KataGo 将关于归纳偏置的抽象争论，转化为一项具有精确已知对称性的测试。

归纳偏置是指导模型学习何种解的一种内置偏好。卷积通过共享滤波器提供了与平移相关的偏置。标准卷积不会自动要求对旋转和反射做等价处理。

数据增强提供了一种更宽松的方式。训练并不限制模型的计算过程，而是提供变换后的样本，并惩罚不一致的预测。模型从数据中学习到，朝向不应改变策略答案。

另一种选择是显式等变架构。这类模型会在定义好的变换群中共享参数，约束特征按照已知规则进行变换。

Cohen 和 Welling 在其群等变网络研究中形式化了这一方法。他们的群卷积将权重共享扩展至包括四分之一圈旋转和反射在内的变换。

其优势不只是形式上的美感。模型不必针对每一种允许的变换，独立重新发现同一种关系。这可以降低样本需求，并让模型在变换下的行为更可预测。

代价是自由度降低。当数据管线、边界条件、传感器或任务包含有意义的不对称性时，严格对称可能会成为错误的约束。模型或许会受益于暂时打破这一规则。

围棋让这种权衡变得格外直观。其抽象规则遵循棋盘的二面体对称性，即四种旋转与反射的组合。然而，有用的局部计算仍可能具有方向性。

一个网络在考察某种棋形时，可能会在中间操作中区分北方与东方。后续层可以将这些方向性特征组合为与朝向无关的判断。因此，对称的输出并不要求每一项内部操作都对称。

这一观察对两种简单叙事提出了质疑。

第一种认为，增强应使传统模型在各处都有效地对称。KataGo 的内部测量并不支持这种均一的结论。

第二种认为，必须将对称性硬编码，才能获得可复用的对称概念。据报告，这些网络无需这种架构保证，也学习到了显著的内部等变性。

有价值的问题介于这两种主张之间。研究人员需要了解哪些对称性会自然涌现，哪些会分裂为特征家族，以及这些碎片会在哪里重新结合。

这一机器学习前沿问题适用于所有变换能够保留意义的领域。医学图像、天文巡天、卫星场景、分子、机器人技术和物理模拟都包含几何结构。

在这些领域中，开发者通常需要在更大的增强数据集与专门的等变层之间作出选择。KataGo 表明，这一选择不仅影响基准准确率，也会影响内部组织。

这可能影响可靠性。一个学习了八种相关捷径的系统，或许会在常见输入上给出一致结果，却在训练分布之外以不同方式失效。拥有共享表征的系统，其独立漂移的途径更少。

该研究并未证明 KataGo 中对称性更强的特征更加安全。它提供了可用于检验这一假设的测量结果。

它也为可解释性研究人员提供了一个受控环境。语言模型包含不确定的语义关系和存在争议的评估标签。围棋则提供了精确的变换，以及对应棋盘点之间的客观映射。

这种清晰性有助于分离两个困难的问题。研究人员可以先测试某个表征是否遵循已知对称性，随后再探究该表征承载了何种策略概念。

卷积网络与 Transformers 以不同方式打破对称性

核心结果并非一种架构学习了对称性、另一种失败了，而是它们将不对称性置于不同的内部组件中。

据报告，KataGo 的卷积模型发展出了许多在变换后局面中表现等变的通道。一个与某种策略模式相关的通道，可以随着棋盘旋转或反射而跟随该模式。

不过，卷积网络并非均匀对称。一些特征仍然对朝向敏感。规模更大的卷积模型还呈现出项目所称的轻微“非对称性雾霭”，而非在完美通道与失效通道之间形成简单划分。

这种雾霭很重要，因为学习到的对称性不一定是二元的。一个特征可以在大多数局面上表现一致，却在少数局面中略有偏离。它也可以将占主导地位的对称信号与较小的方向性成分结合起来。

采用 SGD 训练的对照模型有助于检验，这种组织方式是否只属于某一特定优化路径。优化器会影响网络在许多训练损失相近的解中最终抵达哪一个。

研究纳入了这一对照，但并未将优化器选择作为主要解释。架构带来了更显著的报告差异。

Transformers 通过注意力分布空间计算。一个注意力头会在棋盘位置之间分配权重，使一个位置能够从其他位置汇集信息。

KataGo 的 transformers 学习到了具有不同对称性行为的注意力头。一些注意力头在变换下仍保持高度一致。另一些则似乎形成了成员对应不同方向的群组。

这比八种彼此无关的记忆化解法更具结构性。如果旋转输入会将一个注意力头的行为映射为另一个注意力头的行为，那么该群组便构成一个轨道。单个注意力头具有方向性，而整个家族共同遵循棋盘的对称性。

这种安排类似于一支专家团队。一个组件处理某一方向的关系，另一个处理其旋转后的对应关系，后续计算再将它们组合起来。

研究仓库报告了卷积网络与 transformer 在对称性于何处被打破方面存在显著差异。它还记录了对非等变特征的轨道分析。

有一项更正后的结果值得关注。早期分析中存在符号抵消错误，曾表明某些成对符号通道缺少旋转后的对应物。更正后的计算发现了一个封闭、携带符号的四成员轨道。

这项更正增强了项目的透明度，同时削弱了任何关于该工作流毫无错误的说法。当前代码库标明了存在缺陷的报告，并引导读者查看修正版本。

真正孤立的特征与轨道成员之间的区别十分重大。孤立特征意味着各自独立学习，缺乏可识别的变换规则。轨道则表明模型在多个组成部分之间编码了对称性。

符号变化又增加了一层复杂性。变换后的特征可以表示相同结构，同时反转其激活符号。下游权重可能忽略这一符号，也可能利用成对组件重建原始关系。

这正是简单的通道相关性可能造成误导的原因。研究人员必须测试置换、符号和空间变换。否则，一个有组织的等变表征可能看上去并不一致。

这一发现也令 horizon machinelearning 关于“共享概念”的讨论变得更复杂。共享并不要求单个神经元或通道在每种方向上都表示相同含义。

一个概念可以分布在一组结构化单元之中。该表征仍可复用，因为变换会将这组单元映射回其自身。

这种解读与等变网络领域的更广泛研究一致，但 KataGo 并未采用形式上等变的 Transformer 架构。这种组织是从训练信号和模型可用的计算结构中涌现出来的。

这并不表明 Transformer 会自然发现每一个相关群。该实验涉及五个 KataGo 检查点、一种游戏，以及一组有限的变换。

它确实表明，内部不对称可以是有组织的，而非任意的。这是该研究最具影响力的逆转。

六边形注意力模式是最奇特的线索

据称，若干 Transformer 注意力头排列成类似六边形的方向性结构，尽管围棋棋盘是方格网，且具有八重棋盘对称性。

乍看之下，六边形似乎不应出现在方形围棋棋盘上。棋盘支持水平、垂直和对角关系，而其全局对称性则涉及四分之一旋转和镜像。

研究图表展示了具有偏好位移模式的注意力头。这些模式描述了一个头相对于被查询棋盘位置倾向于关注何处。

在某些层中，相关的头占据了构成六部分组织的方向性角色。作者将其描述为六边形排列的注意力头。

这并不意味着 Transformer 发现了一个字面意义上的六边形围棋棋盘。它表明，学习到的方向基底并未复刻人类对该任务最直观的分解方式。

神经网络可以选择能高效支持下游计算的内部坐标，而不必匹配人类标签体系。即使各个组成部分难以直接赋予语义名称，一个基底仍然可能很有用。

因此，六边形模式更像是一条线索，而非已被解码的算法。它表明，注意力头通过比独立特征学习更具结构性的几何关系进行协调。

研究人员考察了单个局面、平均位移轮廓、征子和劫相关示例。征子是一种沿棋盘对角线延伸的强制吃子序列。劫则是一种重复性的局部争斗，规则禁止立即重复棋盘局面。

这两种情形都需要跨距离的关系。它们为方向性注意力提供了合理测试，因为局部棋子可能依赖遥远的后续变化或提劫限制。

代码库包含针对每个注意力头的征子消融实验。消融会移除或抑制某个组件，以观察输出如何变化。这类测试超越了视觉相似性，但仍需要谨慎解读。

如果移除一个头改变了对征子的评估，并不能证明该头专门实现了征子计算。注意力头彼此交互，而受损的表征可能影响多项任务。

同样，一个沿某个方向关注的头，可能承载与几何方向无关的内容。注意力权重展示的是通信模式，而非传输信息的完整内容。

这一限制在机制可解释性研究中十分常见。清晰的可视化可能诱导人们讲述比证据更强的语义故事。

KataGo 的工作通过呈现相关性、轨道结构和精选干预来应对这一风险。其结论仍然比完整逆向工程棋局决策过程更为克制。

不过，这一模式仍有价值，因为出乎意料的规律性能够催生新的实验。研究人员可以测试这种六头排列是否会在不同训练随机种子、模型规模或其他棋盘游戏中出现。

他们还可以训练一个具有显式二面体等变性的 Transformer。将其注意力头与 KataGo 的学习结构进行比较，将揭示六边形基底是否在补偿缺失的架构约束。

另一项测试是在特定训练阶段之后移除数据增强。如果该结构仍然存在，或许说明模型建立内部算法后，对称性会自我强化。

第三项测试是改变棋盘形状。KataGo 支持矩形和非标准棋盘，但当前研究聚焦于职业 19 路棋局。矩形棋盘会移除部分方形对称性，同时保留镜像和半周旋转关系。

如果同样的六部分组织在这一变化后依然存在，就不利于“直接编码棋盘对称群”的解释。如果它发生重组，几何解释将获得支持。

因此，注意力结果之所以有趣，是因为它开启了一个可操作的研究计划。它并不是研究人员如今已经理解 KataGo 完整推理过程的证据。

可复现代码并不能消除验证缺口

这项研究的可检视性异常高，但其高度依赖 AI 的生产过程要求更多而非更少的独立复现。

Wu 表示，在大量人类监督下，AI 完成了几乎所有实验、实现和写作。公开代码库将 Claude 列为主要生成系统。

这一披露改变了读者应如何评估该工作的方式。它并不会自动否定这些发现，但确实提升了独立代码审查、全新实验设计以及在原始工作流之外复现的重要性。

AI 生成的分析可能产生内部一致的错误。同一个错误假设可能进入代码、文档、图表和文字，从而制造出彼此印证的表象。

符号抵消的更正就是一个具体例子。最初的流程得出了关于旋转对应物的错误结论。对抗性审查发现了问题，而更正后的分析改变了解读。

该项目称，有五名独立审查者根据原始数据重新计算了文章数值。它还称，已针对发布的检查点和一个纯 Python 输入特征化器进行了端到端复现。

这些都是有意义的保障措施。然而，这些审查者似乎属于项目的 AI 辅助流程，而非独立研究团队。因此，这一说法应被理解为内部对抗性审计。

样本也限制了泛化能力。一百个职业棋局可以揭示强烈的重复结构，但并不能代表每一种合法围棋局面。

职业对局集中于在策略上合理的局面。罕见棋形、对抗性布局、小棋盘、大棋盘以及人工构造的对称局面，可能产生不同的内部行为。

模型选择构成了另一道边界。五个检查点支持架构比较，但无法分离卷积网络与 Transformer 之间的每一个差异因素。

训练历史、参数数量、优化日程、特征流水线和检查点成熟度都可能影响表征。受控实验应在重复随机种子下训练设置匹配的架构。

等变性评分本身也包含分析选择。研究人员必须选择归一化方式、匹配阈值、空间对齐规则，以及处理符号或置换的方法。

不同指标可能会以不同方式划分处于边界的通道。报告中提到的“非对称性薄雾”使这种敏感性尤其值得关注。

棋力带来了另一项复杂因素。KataGo 的公开项目称其模型位列最强的开源围棋系统之列，但棋力并不保证广泛的内部可靠性。

此前研究人员训练了对抗性策略，在超人类设置下对 KataGo 取得了据称超过 97% 的胜率。这些攻击利用的是非同寻常的循环结构，而非普通职业对局。

这段历史并不与对称性发现矛盾。它说明，干净的平均行为不应被混同为全面的理解。

模型可以为常见局面学习优雅的变换结构，同时仍会在罕见布局上失败。内部规律性与对抗鲁棒性是相关问题，但不能相互替代。

关于近似等变性的研究也提供了另一项警示。2023 年的一项等变性分析发现，微小的架构细节可能破坏精确对称性，并削弱对未见变换的泛化能力。

该研究还发现，在数据的对称性并不完全符合网络假设时，放宽精确等变性有时会有所帮助。更广泛的教训是，对称性约束涉及可量化的权衡。

对于 KataGo 而言，所有八种测试变换在标准方形棋盘规则下都有效。然而，输入特征、棋盘边界、历史编码和下游搜索仍值得分别检查。

因此，当前研究应被视为一项可复现的研究主张。它提供代码和可证伪的测量，但独立研究人员尚未确定其结论能够在多大范围内迁移。

这种框架比起因其由 AI 生成而直接否定该工作，或不加审视地接受其视觉模式，都更有用。

研究人员接下来应关注什么

三个后续信号将表明，KataGo 发现的是学习表征的一般属性，还是仅仅是检查点特有的奇观。

第一个信号是跨训练随机种子的独立复现。另一个团队应在设置匹配、分别训练的卷积和 Transformer 模型上重新运行这些测量。

重复出现的轨道结构将增强“架构塑造对称性破缺位置”的主张。不同随机种子之间的巨大差异则表明，报告中的结构只是众多解法之一。

第二个信号是与显式等变性的受控比较。研究人员可以训练一个群等变围棋网络，并将其效率、棋力、校准和内部组织与仅采用数据增强的模型进行比较。

该实验将直接检验主要对手。它可能表明，硬编码对称性会消除冗余学习，或者会移除有用的方向性计算。

这种比较不应只衡量最终 Elo。训练样本效率、推理成本、变换后局面的一致性，以及在对抗性棋盘上的表现，将揭示真正的权衡。

第三个信号是对已发现特征轨道进行因果干预。研究人员应扰动完整的方向性家族，而非一次只删除一个注意力头。

如果移除整个轨道会在任务的所有变换版本中持续造成损害，那么几何解释就更具说服力。如果影响仍然零散分布，这个轨道或许只描述了表象，而未能捕捉功能。

征子与劫争测试提供了有用的起点，但未来研究应纳入预注册的局面集合。这样可以降低在观察注意力模式后再挑选案例的风险。

研究人员还应测试矩形棋盘以及刻意设计的非对称规则。这些设定能够揭示，学习到的特征究竟追踪了真实的任务对称性，还是仅仅反映了数据增强流程。

对开发者而言，实际启示应当保持审慎。数据增强即使没有由架构强制规定，也能促成具有重要意义的内部结构。

然而，输出结果的一致性并不能说明模型如何组织问题。若方向一致性会影响安全性或可靠性，开发者还需要内部测量、变换测试和对抗性评估。

对可解释性团队而言，KataGo 提供了一种值得借鉴的研究打包方式。该项目将易于理解的文章与脚本、测量数据、原始报告、更正说明和复现指引连接起来。

评估 AI 辅助研究的团队可以借鉴这种模式。将可搜索的本地报告保存在工程知识库中，有助于审阅者将结论追溯到实验与修订记录。

更广泛的机器学习问题仍未有定论。神经网络能够在未被赋予严格架构规则的情况下学习对称性，但它们并不一定通过完全对称的组件来表达这种能力。

KataGo 最有意思的结果在于其介于两者之间的状态。其网络似乎在构建可复用的对称概念，同时也形成了组织良好的方向专用特征。

这让下一步变得明确：研究人员不应只问模型是否对称，而应开始测试这种对称性在何处、以何种方式，以及在什么输入条件下成立。

独立复现能否得到相同的特征轨道与六边形注意力家族？答案将决定这是一项紧凑的 KataGo 个案研究，还是一张可复用的、用于解读学习几何结构的地图。