KataGoの研究、囲碁ネットワークが対称性をどう学習するかを探る

KataGoは、データ拡張に関する機械学習の基本的な前提に疑問を投げかける、5モデルの研究を公開した。ランダムな回転と反射によって出力の一貫性は保てるが、ネットワーク内部の概念まで一様に対称的になるとは限らない。

この研究は、KataGoが盤面の8つの空間的な向きにまたがって囲碁の局面をどのように表現するかを調べている。囲碁のルールは、4つの回転と4つの反射を伴う回転の下で変わらない。KataGoはランダム化された向きで学習するが、検証対象のモデルはアーキテクチャ全体を通じてその対称性を強制していない。

この違いが中心的な論点を生む。データ拡張は、どのような答えが安定しているべきかをモデルに教える。一方、アーキテクチャ上の等変性は、モデルが計算を行う方法を制約する。KataGoの結果は、どちらも超人的な棋力につながる場合であっても、この2つの経路が内部構造を大きく異ならせうることを示唆している。

研究では、畳み込みネットワークと新しいtransformerモデルも比較した。両方の系統がかなりの対称性を学習しているものの、それを崩し、回復する場所は異なるようだ。transformerのattention headは、この研究で最も奇妙な結果を示した。一部は六角形を思わせる方向別のファミリーを形成していた。

この取り組みは解釈可能性に関する研究であり、新しいKataGoのリリースや棋力ベンチマークではない。実験と記事は、詳細な人間の指示のもと、主にAIによって作成された。この異例の制作過程により、この研究は興味深い一方で、再現性への依存度も高いものとなっている。

KataGo、公開済み5ネットワーク内部の対称性を測定

この研究が問うのは、対称性がKataGoの回答だけに存在するのか、それとも回答を生み出す内部表現にも存在するのかという点だ。

KataGoのメンテナーであるDavid Wuは、2026年8月1日にこの研究を公開した。彼はこれを、囲碁ネットワークが向きに依存しない概念を学習するのか、それとも方向ごとに関連する概念を別々に記憶するのかを調べる小規模な調査として紹介した。

この違いが重要なのは、囲碁のルールが明快な実験環境を提供するためだ。有効な回転や反射を施しても、囲碁の局面は戦略的には同一のままである。座標は変わるが、呼吸点、連結、地、取り、合法的な継続手は盤面とともに変換される。

KataGoは学習中に確率的な8通りのデータ拡張を用いる。各学習バッチにはランダムに選ばれた盤面の向きが与えられる。モデルは異なる方向から見た等価な局面を繰り返し観測するが、通常の層はそれらの方向を異なる方法で処理できるままである。

研究者らは、公開済みの5つのチェックポイントを評価した。これには2種類の畳み込みネットワークのサイズ、SGDで学習した畳み込みネットワークのコントロール、2つのtransformerモデルが含まれる。したがって比較対象は、アーキテクチャ、モデル規模、そして1つの最適化手法の違いをカバーしている。

テストセットには、標準的な19路盤で行われたプロ棋譜から抽出した100局面を含めた。研究者らは、それらの局面を変換したバージョンを各ネットワークに通した。その後、空間座標がどのように回転・反射すべきかを考慮したうえで、内部チャネルとattention headを比較した。

この性質は等変性と呼ばれる。入力を変換したとき、表現もそれに対応して予測可能な形で変換されるなら、その表現は等変的である。不変性はさらに厳格で、表現自体が変化しないことを意味する。

囲碁の方策は、すべての空間出力において単純に不変であることはできない。盤面が回転すれば、推奨手もそれに合わせて回転すべきだからだ。内部の特徴マップは、その空間的位置が一貫して変換されるなら、向きに依存しない概念を表現できる。

このプロジェクトの対称性研究は、各モデル内部の複数の地点でこの挙動を調べている。畳み込みネットワークでは個々のチャネルを、transformerでは個々のattention headを測定する。

これは最終的な方策の一致だけを確認するよりも有益だ。2つのモデルはほぼ同じ手を推奨できる一方で、内部では大きく異なるアルゴリズムを使っている可能性がある。一方は共通の表現を再利用し、もう一方は複数の向き固有の構成要素を維持したのち、後段で収束させることがある。

リポジトリには、データ、レポート、スクリプト、図、チェックポイントのダウンロード手順が含まれる。文書化されたパイプラインは8つすべての変換を分析し、公開された図を再生成するために必要な素材を提供する。

研究者らによると、transformerの完全な分析では、保存された内部層配列1,520件を完全に再現した。深いattentionと相関の測定値は、明記された0.0000002の許容差内で一致した。この再現性確認では、分類が変わったチャネルやheadはなかった。

こうした確認は、科学的解釈を独立に検証するものではない。ただし、コード、データ、モデル識別子のないグラフよりも強力な監査証跡を確立している。

この出来事の重要性は、何を測定したかにある。KataGoは、データ拡張が汎化を改善するかどうかを問うだけではなかった。学習済みシステムが向きをまたいで概念を共有する場所と、方向ごとの違いを保持する場所を調べた。

機械学習のフロンティアにある問いが囲碁を超える理由

KataGoは、帰納バイアスをめぐる抽象的な議論を、正確で既知の対称性を用いた検証へと変えている。

帰納バイアスとは、モデルがどの解を学ぶかを導く組み込みの選好のことだ。畳み込みは、共有フィルタを通じて並進に関連するバイアスを与える。標準的な畳み込みは、回転や反射を等価に扱うことを自動的には課さない。

データ拡張は、より緩やかなアプローチを提供する。モデルの計算を制限する代わりに、学習時に変換済みの例を提示し、一貫しない予測にペナルティを課す。モデルは、向きによって戦略的な答えが変わるべきではないという証拠から学ぶ。

代替案は、明示的に等変なアーキテクチャだ。このようなモデルは、定義された変換群にわたってパラメータを共有し、既知の規則に従って特徴が変換されるよう制約する。

CohenとWellingは、群等変ネットワークに関する研究でこのアプローチを定式化した。彼らの群畳み込みは、重み共有を4分の1回転や反射を含む変換へと拡張する。

利点は単なる美的なものではない。モデルは、許可された変換ごとに同じ関係を独立に再発見する必要がない。これにより、必要なサンプル数を減らし、変換に対する挙動をより予測可能にできる。

その代償は自由度の低下だ。データパイプライン、境界条件、センサー、またはタスクに意味のある非対称性がある場合、厳密な対称性は誤った制約になりうる。モデルは一時的にその規則を破ることで恩恵を受ける可能性がある。

囲碁は、このトレードオフを特に見えやすくする。その抽象的なルールは、反射と4つの回転から成る盤面の二面体対称性を尊重する。それでも、有用な局所計算は方向依存でありうる。

あるネットワークは形を調べる際、中間処理で北と東を区別するかもしれない。後の層は、そうした方向別の特徴を組み合わせ、向きに依存しない判断にできる。したがって、対称的な出力は、すべての内部処理が対称的であることを必要としない。

この観察は、2つの単純な説明に疑問を投げかける。

1つ目は、データ拡張によって従来型モデルも事実上あらゆる場所で対称的になるはずだという説明だ。KataGoの内部測定は、そのような一様な結論を支持していない。

2つ目は、再利用可能な対称的概念を得るには対称性をハードコードしなければならないという説明だ。報告によれば、これらのネットワークはそのようなアーキテクチャ上の保証なしに、かなりの内部等変性を学習している。

有益な問いは、その2つの主張の間にある。研究者は、どの対称性が創発し、どの対称性が特徴のファミリーへと分裂し、その断片がどこで再結合するのかを知る必要がある。

この機械学習のフロンティアにある問題は、変換が意味を保つあらゆる領域に当てはまる。医用画像、天文サーベイ、衛星画像、分子、ロボティクス、物理シミュレーションには、いずれも幾何学的構造が含まれる。

これらの分野では、開発者はしばしば、より大規模な拡張データセットと専用の等変層のどちらを選ぶかを検討する。KataGoは、その選択がベンチマーク精度だけでなく、内部構造にも影響することを示唆している。

これは信頼性に影響しうる。8つの関連する近道を学んだシステムは、一般的な入力では一致していても、学習分布外では異なる形で失敗する可能性がある。共有表現を持つシステムでは、独立してずれる経路が少なくなる。

この研究は、KataGoのより対称的な特徴がより安全だと立証するものではない。その仮説を検証可能にする測定を提供している。

また、解釈可能性の研究者に制御された環境を与える。言語モデルには不確かな意味関係や、議論のある評価ラベルが含まれる。囲碁は正確な変換と、対応する盤上の点の間にある客観的な対応関係を提供する。

この明確さは、難しい2つの問いを切り分ける助けになる。研究者はまず、表現が既知の対称性を尊重しているかを検証できる。その後で、その表現がどのような戦略的概念を担っているのかを調べられる。

ConvnetsとTransformersは異なる形で対称性を崩す

中心的な結果は、一方のアーキテクチャが対称性を学習し、もう一方が失敗したということではない。非対称性を異なる内部構成要素に配置していたことだ。

KataGoの畳み込みモデルは、変換された局面にまたがって等変的に振る舞う多くのチャネルを発達させたと報告されている。戦略的パターンに関連するチャネルは、盤面の回転や反射に合わせてそのパターンを追跡できる。

ただし、畳み込みネットワークが一様に対称的だったわけではない。一部の特徴は向きに敏感なままだった。より大きな畳み込みモデルも、完全に対称的なチャネルと壊れたチャネルに単純に分かれるのではなく、プロジェクトが「非対称性の霞」と表現する軽度の傾向を示した。

この霞が重要なのは、学習された対称性が必ずしも二値的ではないためだ。特徴は、大半の局面では一貫して振る舞いながら、一部ではわずかに逸脱することがある。また、支配的な対称信号と、より小さな方向成分を組み合わせることもある。

SGDで学習したコントロールは、この構造が特定の最適化経路だけに属するものかを検証する助けになる。最適化手法は、似た学習損失を持つ多くの解の中から、ネットワークがどの解に到達するかへ影響する。

この研究にはそのコントロールが含まれるが、最適化手法の選択を主な説明にはしていない。報告されたより明確な違いは、アーキテクチャによって生じた。

transformerは、attentionを通じて空間的な計算を分散させる。attention headは盤面上の位置間に重みを割り当て、ある位置が他の位置から情報を集められるようにする。

KataGoのtransformerは、異なる対称性の挙動を持つattention headを学習した。一部のheadは変換後も密接に整合していた。別のheadは、メンバーが異なる方向に対応するグループとして現れた。

これは、無関係な8つの記憶済み解よりも構造化された結果だ。入力を回転させることで、あるheadの挙動が別のheadへ対応付けられるなら、そのグループは軌道として機能する。個々のheadは方向依存だが、そのファミリー全体では盤面の対称性を尊重する。

この配置は、専門家チームに似ている。ある構成要素が一方向の関係を扱い、別の構成要素がその回転対応を扱い、後の計算がそれらを組み合わせられる。

研究リポジトリは、対称性が崩れる場所における畳み込みとtransformerの明確な差を報告している。また、非等変的な特徴の軌道分析も文書化している。

ある訂正結果には注目する価値がある。初期の分析には符号相殺の誤りがあり、符号が対になる一部のチャネルには回転後の対応物がないことが示唆されていた。訂正後の計算では、符号を伴う4要素からなる閉じた軌道が見つかった。

この訂正はプロジェクトの透明性を高める一方で、ワークフローが無誤謬だったという主張を弱める。現在のリポジトリは問題のあった報告を特定し、読者を訂正版へ案内している。

真に孤立した特徴と、軌道の一員である特徴の違いは大きい。孤立した特徴は、認識可能な変換規則を伴わない個別学習を示唆する。軌道は、モデルが複数の構成要素にまたがって対称性を符号化していることを示す。

符号変化はさらに別の層を加える。変換された特徴は、活性化の符号を反転させながらも同じ構造を表現できる。下流の重みはその符号を無視する場合もあれば、対になった構成要素を使って元の関係を再構築する場合もある。

これが、単純なチャネル相関が誤解を招きうる理由だ。研究者は置換、符号、空間変換を検証しなければならない。そうしなければ、整然とした等変表現が一貫性を欠くように見えてしまう。

この発見は、「共有された概念」をめぐる機械学習上の議論も複雑にする。共有は、単一のニューロンやチャネルがあらゆる向きで同じ意味を持つことを必要としない。

概念は、構造化された複数のユニットに分散して存在しうる。変換によってその集合が自己へ写されるため、表現は再利用可能であり続ける。

この解釈は等変ネットワークに関する幅広い研究と整合するが、KataGoは形式的に等変なtransformerアーキテクチャを用いていなかった。この組織化は、訓練信号とモデルが利用可能な計算構造から生じた。

これは、transformerが関連するあらゆる群を自然に発見することを示すものではない。この実験が対象とするのは、5つのKataGoチェックポイント、1つのゲーム、そして有限個の変換である。

しかし、内部の非対称性が恣意的ではなく組織化されうることは示している。これこそが、この研究における最も重要な逆転である。

六角形のAttentionパターンは最も奇妙な手がかりだ

Goの盤面は正方格子で8通りの対称性を持つにもかかわらず、複数のtransformerヘッドが六角形に似た方向構造へ配置されていたと報告されている。

一見すると、六角形は正方形のGo盤にはそぐわない。盤面は水平、垂直、対角の関係を支持し、全体の対称性には90度回転と反射が含まれる。

研究の図は、特定のオフセットパターンを好むattentionヘッドを示している。これらのパターンは、照会された盤面位置に対して、ヘッドが相対的にどこを見る傾向があるかを表す。

いくつかの層では、関連するヘッドが6分割の組織を形作る方向的役割を担っていた。著者らはこれを六角形に配置されたattentionヘッドと表現している。

これは、transformerが文字どおり六角形のGo盤を発見したことを意味しない。学習された方向基底が、タスクに対する最も直感的な人間の分解と一致しなかったことを示している。

ニューラルネットワークは、人間のラベル集合に対応しなくても、下流の計算を効率的に支援する内部座標を選択できる。個々の構成要素に直接的な意味的名称を与えにくくても、基底は有用でありうる。

したがって六角形パターンは、復号されたアルゴリズムではなく手がかりとして機能する。これは、attentionヘッドが独立した特徴学習よりも構造化された幾何学を通じて協調していることを示唆する。

研究者らは個々の局面、平均オフセットプロファイル、シチョウ、そしてコウに関する例を調べた。シチョウは、盤面を斜めに横切って進む強制的な取りの連鎖である。コウは、盤面の即時反復を禁じるルールによって制約される、局所的な反復戦である。

どちらの状況でも、距離を隔てた関係が必要になる。局所の石が遠方での継続手順や取り返しの制約に依存しうるため、方向性を持つattentionのもっともらしい検証対象となる。

リポジトリには、ヘッドごとのシチョウ・アブレーションが含まれている。アブレーションとは、出力の変化を観察するために構成要素を除去または抑制する手法である。このようなテストは視覚的な類似を超えるが、依然として慎重な解釈が必要だ。

あるヘッドを除去してシチョウの評価が変化したとしても、そのヘッドがシチョウの読みを排他的に実装している証拠にはならない。attentionヘッドは相互に作用し、表現の損傷は複数のタスクに影響しうる。

同様に、ある方向に沿って見るヘッドが、幾何学的方向とは無関係な内容を担っている可能性もある。attention重みが示すのは通信パターンであり、そこで伝達される情報の全体ではない。

この制約は、メカニスティック・インタープリタビリティ全般でよく知られている。明瞭な可視化は、証拠が支持する以上に強い意味論的な物語を招きかねない。

KataGoの研究は、相関、軌道構造、選択的な介入を提示することで、このリスクに対処している。その結論は、プレイの完全なリバースエンジニアリングよりも限定的なままである。

それでも、このパターンには価値がある。予想外の規則性は新たな実験を生み出せるからだ。研究者は、この6ヘッド構成が異なる訓練シード、モデル規模、あるいは他のボードゲームでも現れるかを検証できる。

また、明示的な二面体等変性を持つtransformerを訓練することもできる。そのヘッドをKataGoの学習済み構造と比較すれば、この六角形基底が欠けているアーキテクチャ上の制約を補っているのかが明らかになる。

別の検証として、特定の訓練段階以降にデータ拡張を取り除く方法がある。構造が維持されるなら、モデルが内部アルゴリズムを確立した後には、対称性が自己強化的になる可能性がある。

3つ目の検証では盤面形状を変更する。KataGoは長方形や非標準の盤面にも対応しているが、現在の研究はプロ棋士の19路盤局面に焦点を当てている。長方形の盤面は一部の正方形対称性を取り除く一方で、反射と180度回転の関係を保持する。

同じ6分割の組織がこの変更後も存続すれば、盤面の対称群を直接符号化しているという解釈には反する。再編成されれば、幾何学的解釈への支持が強まる。

したがってattentionの結果が興味深いのは、扱いやすい研究プログラムを開くからである。研究者が現在KataGoの完全な推論過程を理解している証拠ではない。

再現可能なコードでも検証上の隔たりはなくならない

この研究は非常に検証しやすいが、AIを大きく用いた制作プロセスだからこそ、独立した再現研究の必要性は減るのではなく増している。

Wuによれば、大幅な人間の監督のもと、AIが実験、実装、執筆のほぼすべてを担ったという。公開リポジトリは、Claudeを主要な生成システムとして特定している。

この開示は、読者が研究を評価する方法を変える。それだけで発見を自動的に失格にするものではない。しかし、独立したコードレビュー、新たな実験設計、元のワークフロー外での再現の重要性を高める。

AI生成の分析では、内部整合性のある誤りが生じうる。同じ誤った仮定がコード、文書、図、文章に入り込み、合意があるように見せる可能性がある。

符号相殺の訂正は具体例である。初期パイプラインは、回転後の対応物について誤った結論を生み出した。敵対的レビューが問題を発見し、訂正された分析は解釈を変えた。

プロジェクトは、5人の独立したレビュアーが生データから記事内の値を再計算したと報告している。また、公開済みチェックポイントと純粋なPython入力featurizerに対するエンドツーエンドの再現も報告している。

これらは意味のある安全策だ。しかし、レビュアーは独立した研究グループというより、プロジェクトのAI支援プロセスの一部であるように見える。したがって、この主張は内部の敵対的監査として読むべきである。

サンプルも一般化を制限する。100局のプロ棋士の局面は強い反復構造を明らかにできるが、合法なGo局面のすべてを代表するわけではない。

プロの対局は、戦略的にもっともらしい局面に集中する。非典型的な盤面状態、敵対的な配置、小盤、大盤、人工的に対称な局面では、異なる内部挙動が生じる可能性がある。

モデル選択も別の境界を作る。5つのチェックポイントはアーキテクチャ比較を支えるが、畳み込みネットワークとtransformerを隔てるすべての要因を切り分けることはできない。

訓練履歴、パラメータ数、最適化スケジュール、特徴パイプライン、チェックポイントの成熟度はすべて表現に影響しうる。統制された実験では、対応するアーキテクチャを複数のランダムシードで訓練する必要がある。

等変性スコア自体にも分析上の選択が組み込まれている。研究者は正規化、対応付けの閾値、空間アラインメントの規則、符号や置換を扱う方法を選ばなければならない。

別の指標では、境界的なチャネルの分け方が異なる可能性がある。報告された「非対称性の霞み」は、この感度を特に重要にする。

棋力も別の複雑さをもたらす。KataGoの公開プロジェクトは、そのモデルを最強クラスのオープンソースGoシステムとして説明しているが、強さは広範な内部信頼性を保証しない。

先行研究者は、超人的な設定のKataGoに対して、報告上97％を超える勝率を達成した敵対的ポリシーを訓練した。これらの攻撃は、通常のプロ棋士の対局ではなく、非典型的な循環構造を利用した。

この履歴は対称性に関する発見と矛盾しない。整然とした平均的挙動を包括的な理解と混同すべきでない理由を示している。

モデルは一般的な局面に対して洗練された変換構造を学習しても、まれな配置では失敗しうる。内部の規則性と敵対的ロバスト性は関連する問いだが、交換可能なものではない。

近似等変性に関する研究も、もう一つの警告を与える。2023年の等変性分析では、小さなアーキテクチャ上の詳細が厳密な対称性を崩し、未知の変換への一般化を低下させうることが示された。

同研究は、データの対称性がネットワークの仮定と完全には一致しない場合、厳密な等変性を緩めることが有効となるケースも見いだした。より広い教訓は、対称性制約には測定可能なトレードオフが伴うということだ。

KataGoでは、テストされた8つの変換はいずれも標準的な正方形盤ルールのもとで有効である。しかし、入力特徴、盤端、履歴エンコーディング、下流の探索については、なお個別の検証が必要だ。

したがって現在の研究は、再現可能な研究上の主張として扱うべきである。コードと反証可能な測定を提供しているが、その結論がどこまで広く移転可能かは、独立した研究者によってまだ確立されていない。

この枠組みは、研究をAI生成として退けることや、視覚パターンを額面どおり受け入れることより有用である。

研究者が次に注視すべきこと

KataGoが学習済み表現の一般的性質を見つけたのか、それともチェックポイント固有の珍しさを見つけたのかは、3つの追跡シグナルによって明らかになる。

第1のシグナルは、訓練シードをまたぐ独立した再現である。別のグループが、設定を揃えた別個に訓練された畳み込みモデルとtransformerモデルで測定を再実行すべきだ。

軌道構造が繰り返し確認されれば、アーキテクチャが対称性の破れ方を形作るという主張は強まる。シード間で大きな変動があれば、報告された構造は数ある解の一つにすぎないことが示唆される。

第2のシグナルは、明示的な等変性を用いた統制比較である。研究者は群等変Goネットワークを訓練し、その効率、棋力、キャリブレーション、内部組織を、データ拡張のみを用いるモデルと比較できる。

この実験は主要な対立仮説を直接検証する。ハードコードされた対称性が冗長な学習を排除するのか、それとも有用な方向性計算を取り除くのかを示しうる。

比較では最終Eloだけでなく測定すべきだ。訓練サンプル効率、推論コスト、変換された局面間の一貫性、敵対的盤面での性能が、実際のトレードオフを明らかにする。

第3のシグナルは、発見された特徴軌道への因果的介入である。研究者は、一度に一つのattentionヘッドを削除するのではなく、完全な方向性ファミリーを摂動させるべきだ。

タスクの変換後バージョン全体で、ある軌道を取り除くと一貫して性能が損なわれるなら、幾何学的な解釈はより強固になる。影響が散発的なままであれば、その軌道は機能を捉えず、見た目だけを表している可能性がある。

ラダーとコウのテストは有用な出発点だが、今後の研究では事前登録された局面セットも含めるべきだ。これにより、アテンションパターンを確認した後で例を選ぶリスクを減らせる。

研究者は長方形の盤面や、意図的に非対称なルールも検証すべきだ。こうした設定により、学習された特徴が真のタスク対称性を追跡しているのか、それとも単に拡張パイプラインを反映しているだけなのかを明らかにできる。

開発者にとっての実務的な教訓は、慎重に受け取るべきものだ。データ拡張は、アーキテクチャがその構造を強制していなくても、重要な内部構造を促すことができる。

ただし、出力の一貫性だけでは、モデルが問題をどのように構成したかは分からない。方向の一貫性が安全性や信頼性に影響する場合、内部計測、変換テスト、敵対的評価が必要になる。

解釈可能性チームにとって、KataGoは研究成果のパッケージングにおける有用な手本を示している。このプロジェクトは、読みやすい記事をスクリプト、計測データ、生レポート、訂正、再現手順と結び付けている。

AI支援研究を評価するチームは、このパターンを参考にできる。検索可能なローカルレポートをエンジニアリング・ナレッジベースに保持すれば、レビュー担当者が主張を実験や改訂までたどるのに役立つ。

より広い機械学習上の問いは、依然として未解決だ。ニューラルネットワークは厳格なアーキテクチャ上の規則を与えられなくても対称性を学習できるが、必ずしもそれを均一に対称なコンポーネントとして表現するとは限らない。

KataGoの最も興味深い結果は、その中間にある。ネットワークは、再利用可能な対称概念を、体系化された方向特化の専門家と並行して構築しているように見える。

これにより、次の段階は明確になる。研究者は、モデルが対称かどうかだけを問うのをやめ、その対称性がどこで、どのように、どの入力の下で成り立つのかを検証し始めるべきだ。

独立した追試でも、同じ特徴軌道と六角形のアテンション・ファミリーが再現されるだろうか。その答えによって、これは簡潔なKataGoのケーススタディにとどまるのか、それとも学習された幾何学を解釈するための再利用可能な地図となるのかが決まる。