KataGo 연구, 바둑 네트워크가 대칭성을 학습하는 방식 탐구

KataGo가 데이터 증강에 관한 머신러닝의 기본 가정에 도전하는 5개 모델 연구를 공개했다. 무작위 회전과 반사는 출력을 일관되게 만들 수 있지만, 네트워크 내부 개념까지 균일하게 대칭적이 되는 것은 아니다.

이 연구는 KataGo가 바둑판의 8가지 공간 방향에 걸쳐 바둑 포지션을 어떻게 표현하는지 살펴본다. 바둑 규칙은 네 번의 회전과 네 번의 반사 회전에도 변하지 않는다. KataGo는 무작위 방향으로 학습하지만, 테스트된 모델의 아키텍처 전반에 이 대칭성이 강제되지는 않는다.

이 차이가 핵심적인 긴장을 만든다. 데이터 증강은 어떤 답변이 안정적으로 유지돼야 하는지를 모델에 가르치는 반면, 아키텍처 등변성은 모델이 계산을 수행하는 방식을 제약한다. KataGo의 결과는 두 방식 모두 초인적 기력으로 이어질 수 있지만, 내부 조직은 크게 달라질 수 있음을 시사한다.

연구는 합성곱 네트워크와 최신 트랜스포머 모델도 비교한다. 두 계열 모두 상당한 대칭성을 학습하지만, 서로 다른 지점에서 이를 깨고 복구하는 것으로 보인다. 트랜스포머 어텐션 헤드는 연구에서 가장 기이한 결과를 냈다. 일부는 육각형을 닮은 방향성 계열로 조직됐다.

이 작업은 새로운 KataGo 릴리스나 기력 벤치마크가 아니라 해석 가능성 연구다. 실험과 글은 상세한 인간의 지시에 따라 상당 부분 AI로 제작됐다. 이러한 이례적인 출처는 연구를 흥미롭게 만드는 동시에 재현성에 유난히 크게 의존하게 한다.

KataGo, 공개된 5개 네트워크 내부의 대칭성 측정

이 연구는 대칭성이 KataGo의 답변에만 존재하는지, 아니면 답변을 만드는 데 쓰이는 표현 내부에도 존재하는지를 묻는다.

KataGo 관리자인 David Wu는 2026년 8월 1일 이 연구를 공개했다. 그는 이를 바둑 네트워크가 방향과 무관한 개념을 학습하는지, 아니면 각 방향에 대해 관련 개념을 따로 암기하는지를 살펴보는 작은 조사라고 소개했다.

이 구분은 바둑 규칙이 깔끔한 실험 환경을 제공하기 때문에 중요하다. 바둑 포지션은 유효한 회전이나 반사 후에도 전략적으로 동일하게 유지된다. 좌표는 바뀌지만, 활로, 연결, 집, 따냄, 합법적 수순은 바둑판과 함께 변환된다.

KataGo는 학습 중 확률적 8배 증강을 사용한다. 각 학습 배치에는 무작위로 선택된 바둑판 방향이 적용된다. 모델은 서로 다른 방향에서 동등한 포지션을 반복적으로 보지만, 일반 레이어는 그 방향들을 다르게 처리할 자유를 유지한다.

연구진은 공개된 체크포인트 5개를 평가했다. 여기에는 두 가지 크기의 합성곱 네트워크, SGD로 학습한 합성곱 대조 모델, 그리고 두 개의 트랜스포머 모델이 포함됐다. 따라서 비교는 아키텍처, 모델 규모, 그리고 하나의 옵티마이저 변형을 포괄했다.

테스트 세트는 표준 19x19 바둑판에서 프로 기보로부터 추출한 100개 포지션으로 구성됐다. 연구진은 이 포지션들의 변환된 버전을 각 네트워크에 통과시켰다. 이후 공간 좌표가 회전 또는 반사되는 방식을 고려해 내부 채널과 어텐션 헤드를 비교했다.

이 성질을 등변성이라고 한다. 입력을 변환했을 때 표현도 그에 대응해 예측 가능한 방식으로 변환된다면, 그 표현은 등변적이다. 불변성은 표현 자체가 변하지 않아야 하므로 더 엄격하다.

바둑 정책은 모든 공간 출력에서 단순히 불변일 수 없다. 바둑판이 회전하면 추천 수 역시 함께 회전해야 한다. 내부 특징 맵은 공간 위치가 일관되게 변환된다면 여전히 방향과 무관한 개념을 표현할 수 있다.

이 프로젝트의 대칭성 연구는 각 모델 내부의 여러 지점에서 이런 동작을 조사한다. 합성곱 네트워크에서는 개별 채널을, 트랜스포머에서는 개별 어텐션 헤드를 측정한다.

이는 최종 정책의 일치 여부만 확인하는 것보다 더 많은 정보를 제공한다. 두 모델은 거의 동일한 수를 추천하면서도 매우 다른 내부 알고리즘을 사용할 수 있다. 한 모델은 공통 표현을 재사용할 수 있지만, 다른 모델은 이후 수렴하는 여러 방향 특화 구성 요소를 유지할 수 있다.

저장소에는 데이터, 보고서, 스크립트, 그림, 체크포인트 다운로드 지침이 포함돼 있다. 문서화된 파이프라인은 8가지 변환을 모두 분석하며, 공개된 그림을 재생성하는 데 필요한 자료를 제공한다.

연구진은 전체 트랜스포머 분석에서 저장된 내부 레이어 배열 1,520개를 정확히 재현했다고 보고했다. 심층 어텐션 및 상관관계 측정값은 명시된 0.0000002의 허용 오차 내에서 일치했다. 이 재현성 검사에서 분류가 바뀐 채널이나 헤드는 없었다.

이러한 검사는 과학적 해석을 독립적으로 검증하지는 않는다. 다만 코드, 데이터, 모델 식별자 없이 제시된 차트보다 더 강력한 감사 추적을 확립한다.

이 사건의 중요성은 무엇을 측정했는지에서 나온다. KataGo는 증강이 일반화 성능을 높이는지에만 묻지 않았다. 학습된 시스템이 방향 간에 개념을 공유하는 지점과 방향적 구분을 유지하는 지점을 들여다봤다.

머신러닝의 지평선 질문이 바둑을 넘어 확장되는 이유

KataGo는 귀납적 편향에 대한 추상적 논쟁을 정확히 알려진 대칭성을 갖춘 실험으로 바꾼다.

귀납적 편향은 모델이 어떤 해법을 학습할지 안내하는 내재적 선호다. 합성곱은 공유 필터를 통해 변환과 관련된 편향을 제공한다. 표준 합성곱은 회전과 반사를 동등하게 처리하도록 자동으로 강제하지 않는다.

데이터 증강은 더 느슨한 접근법을 제공한다. 모델의 계산을 제한하는 대신, 학습 과정에서 변환된 예시를 제시하고 일관되지 않은 예측에 불이익을 준다. 모델은 방향이 전략적 답을 바꿔서는 안 된다는 증거로부터 학습한다.

대안은 명시적으로 등변적인 아키텍처다. 이러한 모델은 정의된 변환 그룹 전반에 걸쳐 파라미터를 공유하며, 특징이 알려진 규칙에 따라 변환되도록 제약한다.

Cohen과 Welling은 군 등변 네트워크 연구에서 이 접근법을 공식화했다. 이들의 군 합성곱은 가중치 공유를 90도 회전과 반사를 포함한 변환으로 확장한다.

장점은 단지 미학적인 것이 아니다. 모델은 허용된 변환마다 같은 관계를 독립적으로 재발견할 필요가 없다. 이는 필요한 샘플 수를 줄이고 변환 상황에서 동작을 더 예측 가능하게 만들 수 있다.

대가는 자유도 감소다. 데이터 파이프라인, 경계 조건, 센서 또는 과제에 의미 있는 비대칭성이 있다면 정확한 대칭성은 잘못된 제약이 될 수 있다. 모델은 일시적으로 규칙을 깨는 편이 이로울 수 있다.

바둑은 이 상충 관계를 유난히 뚜렷하게 드러낸다. 바둑의 추상적 규칙은 반사와 결합된 네 번의 회전으로 이루어진 바둑판의 이면체 대칭성을 따른다. 그러나 유용한 국소 계산은 여전히 방향성을 가질 수 있다.

어떤 형태를 살피는 네트워크는 중간 연산에서 북쪽과 동쪽을 구분할 수 있다. 이후 레이어는 이런 방향성 특징을 결합해 방향과 무관한 판단을 만들 수 있다. 따라서 대칭적인 출력이 모든 내부 연산의 대칭성을 요구하는 것은 아니다.

이 관찰은 두 가지 단순한 서사에 의문을 제기한다.

첫째는 증강이 일반적인 모델을 사실상 모든 곳에서 대칭적으로 만들어야 한다는 주장이다. KataGo의 내부 측정은 이처럼 균일한 결론을 뒷받침하지 않는다.

둘째는 재사용 가능한 대칭 개념을 얻으려면 대칭성을 하드코딩해야 한다는 주장이다. 보도에 따르면 이 네트워크들은 그러한 아키텍처적 보장 없이도 상당한 내부 등변성을 학습했다.

유용한 질문은 이 두 주장 사이에 있다. 연구자들은 어떤 대칭성이 출현하는지, 어떤 대칭성이 특징 계열로 분화하는지, 그리고 그 조각들이 어디서 다시 결합하는지를 알아야 한다.

이 머신러닝의 지평선 문제는 변환이 의미를 보존하는 모든 영역에 적용된다. 의료 영상, 천문 관측, 위성 장면, 분자, 로보틱스, 물리 시뮬레이션은 모두 기하학적 구조를 포함한다.

이 분야의 개발자들은 종종 더 큰 증강 데이터세트와 특화된 등변 레이어 사이에서 선택한다. KataGo는 이 선택이 벤치마크 정확도뿐 아니라 내부 조직에도 영향을 준다고 시사한다.

이는 신뢰성에 영향을 줄 수 있다. 서로 연관된 8개의 지름길을 학습한 시스템은 일반 입력에서는 일치하지만 학습 분포 밖에서는 서로 다르게 실패할 수 있다. 공유 표현을 가진 시스템은 독립적으로 벗어날 수 있는 방식이 더 적다.

이 연구는 KataGo의 더 대칭적인 특징이 더 안전하다는 점을 입증하지는 않는다. 다만 이 가설을 검증 가능하게 하는 측정치를 제공한다.

또한 해석 가능성 연구자에게 통제된 환경을 제공한다. 언어 모델에는 불확실한 의미 관계와 논쟁적인 평가 레이블이 존재한다. 바둑은 정확한 변환과 대응하는 바둑판 점 사이의 객관적 매핑을 제공한다.

이러한 명확성은 어려운 두 질문을 분리하는 데 도움이 된다. 연구자들은 먼저 표현이 알려진 대칭성을 따르는지 검증할 수 있다. 이후 그 표현이 어떤 전략적 개념을 담고 있는지 조사할 수 있다.

Convnets와 Transformers는 서로 다르게 대칭성을 깬다

핵심 결과는 한 아키텍처는 대칭성을 학습하고 다른 하나는 실패했다는 것이 아니라, 비대칭성을 서로 다른 내부 구성 요소에 배치했다는 점이다.

KataGo의 합성곱 모델은 변환된 포지션 전반에서 등변적으로 작동하는 많은 채널을 발달시킨 것으로 보고됐다. 전략적 패턴과 연관된 채널은 바둑판이 회전하거나 반사될 때 그 패턴을 따라갈 수 있었다.

하지만 합성곱 네트워크가 균일하게 대칭적인 것은 아니었다. 일부 특징은 방향에 민감하게 유지됐다. 더 큰 합성곱 모델은 완벽하게 대칭적인 채널과 그렇지 않은 채널의 단순한 구분 대신, 프로젝트가 설명한 약한 “비대칭 안개”도 보였다.

이 안개는 학습된 대칭성이 반드시 이진적이지 않다는 점에서 중요하다. 특징은 대부분의 포지션에서 일관되게 작동하면서도 일부에서는 조금씩 벗어날 수 있다. 또한 지배적인 대칭 신호와 더 작은 방향성 구성 요소를 결합할 수도 있다.

SGD로 학습한 대조 모델은 이 조직이 특정 최적화 경로에만 속하는지를 검증하는 데 도움이 된다. 옵티마이저는 유사한 학습 손실을 가진 수많은 해법 가운데 네트워크가 어떤 해법에 도달할지를 좌우한다.

연구에는 이 대조 모델이 포함돼 있지만, 옵티마이저 선택을 주된 설명으로 만들지는 않는다. 보고된 더 뚜렷한 차이는 아키텍처에서 나타났다.

트랜스포머는 어텐션을 통해 공간 계산을 분산한다. 어텐션 헤드는 바둑판 위치들 사이에 가중치를 부여해, 한 위치가 다른 위치들로부터 정보를 수집할 수 있게 한다.

KataGo 트랜스포머는 뚜렷한 대칭 동작을 보이는 어텐션 헤드를 학습했다. 일부 헤드는 변환 상황에서도 긴밀하게 정렬된 상태를 유지했다. 다른 헤드는 각 구성원이 서로 다른 방향에 대응하는 그룹으로 나타났다.

이는 서로 무관한 8개의 암기된 해법보다 더 구조화된 결과다. 입력을 회전했을 때 한 헤드의 동작이 다른 헤드의 동작으로 매핑된다면, 이 그룹은 궤도를 이룬다. 개별 헤드는 방향성을 띠지만, 그 계열 전체는 바둑판의 대칭성을 존중한다.

이 구조는 전문가 팀과 닮았다. 한 구성 요소가 한 방향의 관계를 처리하고, 다른 구성 요소가 회전된 대응 관계를 처리하며, 이후 계산이 이들을 결합할 수 있다.

연구 저장소는 대칭성이 깨지는 지점에서 합성곱과 트랜스포머 사이에 뚜렷한 차이가 있다고 보고한다. 또한 비등변적 특징에 대한 궤도 분석도 문서화한다.

한 가지 수정된 결과는 주목할 만하다. 초기 분석에는 부호 상쇄 오류가 있었고, 이로 인해 특정 부호 쌍 채널에는 회전된 대응 채널이 없다는 결론이 제시됐다. 수정된 계산에서는 부호를 유지하는 4개 구성원의 닫힌 궤도가 발견됐다.

이 수정은 프로젝트의 투명성을 높이는 한편, 워크플로가 오류 없이 진행됐다는 주장은 약화한다. 현재 리포지터리는 오류가 있던 보고서를 명시하고, 독자를 수정본으로 안내한다.

진정으로 고립된 특징과 궤도 구성원 사이의 차이는 크다. 고립된 특징은 식별 가능한 변환 규칙 없이 별도로 학습됐음을 시사한다. 반면 궤도는 모델이 여러 구성 요소에 걸쳐 대칭성을 인코딩했음을 시사한다.

부호 변화는 또 다른 층위를 더한다. 변환된 특징은 활성화 부호를 반전하면서도 동일한 구조를 나타낼 수 있다. 다운스트림 가중치는 그 부호를 무시하거나, 쌍을 이루는 구성 요소를 사용해 원래 관계를 재구성할 수 있다.

이 때문에 단순한 채널 상관관계는 오해를 부를 수 있다. 연구자들은 순열, 부호, 공간 변환을 검증해야 한다. 그렇지 않으면 잘 조직된 등변 표현도 일관성 없이 보일 수 있다.

이 발견은 “공유된 개념”을 둘러싼 머신러닝 분야의 논쟁도 복잡하게 만든다. 공유는 모든 방향에서 하나의 뉴런이나 채널이 같은 의미를 가져야 한다는 뜻은 아니다.

하나의 개념은 구조화된 유닛 집합 전반에 분산될 수 있다. 변환이 그 집합을 자기 자신으로 사상하기 때문에 표현은 재사용 가능하게 유지된다.

이 해석은 등변 네트워크에 관한 폭넓은 연구와 맞닿아 있지만, KataGo는 형식적으로 등변인 transformer 아키텍처를 사용하지 않았다. 이러한 조직은 학습 신호와 모델에 उपलब्ध한 계산 구조에서 나타났다.

이는 transformer가 모든 관련 그룹을 자연스럽게 발견한다는 사실을 보여주지는 않는다. 이 실험은 KataGo 체크포인트 5개, 하나의 게임, 유한한 변환 집합에 관한 것이다.

다만 내부 비대칭성이 임의적인 것이 아니라 조직화될 수 있음을 보여준다. 이것이 이 연구에서 가장 중요한 관점 전환이다.

육각형 Attention 패턴은 가장 기이한 단서다

Go의 정사각 격자와 8중 보드 대칭성에도 불구하고, 여러 transformer 헤드가 육각형을 닮은 방향성 구조로 배치된 것으로 보고됐다.

첫눈에 육각형은 정사각형 Go 보드와 어울리지 않아 보인다. 보드는 수평, 수직, 대각선 관계를 지원하며, 전역 대칭성에는 90도 회전과 반사가 포함된다.

연구의 그림은 선호되는 오프셋 패턴을 가진 attention 헤드를 보여준다. 이 패턴은 헤드가 질의된 보드 위치를 기준으로 어디를 바라보는 경향이 있는지를 설명한다.

일부 레이어에서는 서로 관련된 헤드들이 6개 부분으로 이뤄진 방향성 역할을 차지했다. 저자들은 이를 육각형으로 배치된 attention 헤드라고 설명한다.

이는 transformer가 문자 그대로 육각형 Go 보드를 발견했다는 뜻은 아니다. 학습된 방향성 기저가 인간이 가장 직관적으로 나누는 작업 분해를 따르지 않았음을 나타낸다.

신경망은 인간의 레이블 집합과 일치하지 않더라도 다운스트림 계산을 효율적으로 지원하는 내부 좌표를 선택할 수 있다. 개별 구성 요소에 직접적인 의미 이름을 붙이기 어렵더라도 기저는 유용할 수 있다.

따라서 육각형 패턴은 해독된 알고리즘이 아니라 단서로 기능한다. 이는 attention 헤드가 독립적인 특징 학습보다 더 구조화된 기하를 통해 조율된다는 점을 시사한다.

연구자들은 개별 위치, 평균 오프셋 프로필, 사다리, 패 관련 사례를 살폈다. 사다리는 보드를 가로질러 대각선으로 진행되는 강제 포획 수순이다. 패는 즉각적인 보드 반복을 금지하는 규칙으로 제한되는 반복적 국지 전투다.

두 상황 모두 거리를 가로지르는 관계를 요구한다. 국지적인 돌이 멀리 떨어진 수순이나 재포획 제약에 의존할 수 있으므로, 방향성 attention을 검증하는 그럴듯한 시험 사례가 된다.

리포지터리에는 헤드별 사다리 ablation이 포함돼 있다. Ablation은 출력이 어떻게 달라지는지 관찰하기 위해 구성 요소를 제거하거나 억제하는 방식이다. 이러한 검증은 시각적 유사성을 넘어가지만, 여전히 신중한 해석이 필요하다.

한 헤드를 제거했을 때 사다리 평가가 바뀐다고 해서 그 헤드가 사다리 읽기만을 전적으로 구현한다는 증거는 아니다. Attention 헤드는 상호작용하며, 손상된 표현은 여러 과제에 영향을 줄 수 있다.

마찬가지로 특정 방향을 바라보는 헤드가 기하학적 방향과 무관한 내용을 담고 있을 수도 있다. Attention 가중치는 완전한 전달 정보를 보여주는 것이 아니라 소통 패턴을 보여준다.

이 한계는 기계론적 해석 가능성 연구 전반에서 익숙한 문제다. 명확한 시각화는 증거가 뒷받침하는 수준보다 더 강한 의미론적 이야기를 불러올 수 있다.

KataGo 연구는 상관관계, 궤도 구조, 선별된 개입을 제시함으로써 이 위험을 다룬다. 결론 역시 전체 플레이를 완전히 역설계했다는 주장보다 더 제한적이다.

그럼에도 이 패턴은 예상치 못한 규칙성이 새로운 실험을 만들어낼 수 있다는 점에서 가치가 있다. 연구자들은 6개 헤드 배치가 학습 시드, 모델 크기, 다른 보드 게임 전반에서 나타나는지 검증할 수 있다.

명시적 이면체 등변성을 갖춘 transformer를 학습시키는 방법도 있다. 그 헤드를 KataGo의 학습된 구조와 비교하면, 육각형 기저가 누락된 아키텍처 제약을 보완하는지 확인할 수 있다.

또 다른 검증은 특정 학습 단계 이후 augmentation을 제거하는 것이다. 구조가 유지된다면, 모델이 내부 알고리즘을 확립한 뒤 대칭성이 자기 강화될 가능성이 있다.

세 번째 검증은 보드 형태를 바꾸는 것이다. KataGo는 직사각형 및 비표준 보드를 지원하지만, 현재 연구는 프로 기사들의 19x19 형세에 초점을 맞춘다. 직사각형 보드는 일부 정사각형 대칭성을 제거하면서도 반사와 180도 회전 관계는 유지한다.

같은 6개 부분 조직이 이 변화 뒤에도 유지된다면, 보드의 대칭군을 직접 인코딩했다는 해석에는 불리한 근거가 된다. 재조직된다면 기하학적 해석은 더 힘을 얻게 된다.

따라서 attention 결과가 흥미로운 이유는 다룰 수 있는 연구 프로그램을 열어주기 때문이다. 이는 연구자들이 이제 KataGo의 완전한 추론 과정을 이해한다는 증거는 아니다.

재현 가능한 코드가 검증 공백을 없애지는 않는다

이 연구는 유난히 면밀히 살펴볼 수 있지만, AI 비중이 높은 제작 과정은 독립적 재현의 필요성을 줄이기보다 높인다.

Wu는 상당한 인간 감독 아래 AI가 거의 모든 실험, 구현, 집필을 수행했다고 말한다. 공개 리포지터리는 Claude를 주요 생성 시스템으로 명시한다.

이 공개는 독자가 연구를 평가하는 방식을 바꾼다. 그렇다고 결과의 신뢰성을 자동으로 떨어뜨리는 것은 아니다. 다만 독립적인 코드 검토, 새로운 실험 설계, 원래 워크플로 밖에서의 재현이 더 중요해진다.

AI가 생성한 분석은 내부적으로 일관된 오류를 만들 수 있다. 같은 잘못된 가정이 코드, 문서, 그림, 산문에 들어가면서 합의가 존재하는 듯한 인상을 만들 수 있다.

부호 상쇄 수정은 구체적인 사례다. 초기 파이프라인은 회전된 대응 채널에 대해 잘못된 결론을 냈다. 적대적 검토가 문제를 찾아냈고, 수정된 분석은 해석을 바꿨다.

프로젝트는 독립된 검토자 5명이 원시 데이터에서 기사 수치를 재계산했다고 보고한다. 또한 공개된 체크포인트와 순수 Python 입력 featurizer를 사용한 엔드투엔드 재현도 보고한다.

이는 의미 있는 안전장치다. 그러나 검토자들은 독립적인 연구 그룹이라기보다 프로젝트의 AI 보조 과정에 속한 것으로 보인다. 따라서 이 주장은 내부 적대적 감사로 읽어야 한다.

표본도 일반화에 제약을 둔다. 프로 기사 100국의 형세는 강한 반복 구조를 드러낼 수 있지만, 모든 합법적인 Go 상태를 대표하지는 않는다.

프로 기보는 전략적으로 그럴듯한 형세에 집중된다. 이례적인 보드 상태, 적대적 배치, 작은 보드, 큰 보드, 인위적으로 대칭적인 형세는 다른 내부 행동을 낳을 수 있다.

모델 선택 역시 또 다른 경계다. 체크포인트 5개는 아키텍처 비교를 뒷받침하지만, convolutional network와 transformer를 구분하는 모든 요인을 분리할 수는 없다.

학습 이력, 파라미터 수, 최적화 일정, 특징 파이프라인, 체크포인트 성숙도는 모두 표현에 영향을 줄 수 있다. 통제된 실험이라면 반복된 무작위 시드에 걸쳐 조건을 맞춘 아키텍처를 학습시켜야 한다.

등변성 점수 자체에도 분석적 선택이 반영된다. 연구자들은 정규화, 매칭 임계값, 공간 정렬 규칙, 부호나 순열을 처리하는 방법을 선택해야 한다.

다른 지표는 경계선상의 채널을 다르게 분류할 수 있다. 보고된 “비대칭 안개”는 이런 민감성을 특히 중요하게 만든다.

플레이 강도도 또 다른 복잡성을 낳는다. KataGo의 공개 프로젝트는 해당 모델을 가장 강력한 오픈소스 Go 시스템 중 하나로 설명하지만, 강도가 광범위한 내부 신뢰성을 보장하지는 않는다.

이전 연구자들은 적대적 정책을 학습시켜 초인적 설정의 KataGo를 상대로 97%가 넘는 것으로 보고된 승률을 달성했다. 이 공격은 일반적인 프로 대국이 아니라 이례적인 순환 구조를 악용했다.

이 이력은 대칭성 발견과 모순되지 않는다. 이는 깔끔한 평균적 행동을 포괄적 이해와 혼동해서는 안 되는 이유를 보여준다.

모델은 일반적인 형세에서는 우아한 변환 구조를 학습하면서도, 드문 배치에서는 실패할 수 있다. 내부 규칙성과 적대적 견고성은 관련된 질문이지만 서로 대체 가능한 것은 아니다.

근사적 등변성 연구는 또 다른 경고를 제공한다. 2023년 등변성 분석은 작은 아키텍처 세부 사항이 정확한 대칭성을 깨고 보지 못한 변환에 대한 일반화 성능을 낮출 수 있음을 발견했다.

그 연구는 데이터의 대칭성이 네트워크의 가정과 완벽하게 일치하지 않을 때, 정확한 등변성을 완화하는 편이 도움이 되는 사례도 발견했다. 더 넓은 교훈은 대칭성 제약에 측정 가능한 상충관계가 따른다는 것이다.

KataGo의 경우, 표준 정사각형 보드 규칙 아래에서는 테스트한 8개 변환이 모두 유효하다. 그럼에도 입력 특징, 보드 경계, 이력 인코딩, 다운스트림 탐색은 각각 개별 검증이 필요하다.

따라서 현재 연구는 재현 가능한 연구 주장으로 다뤄야 한다. 코드와 반증 가능한 측정치를 제공하지만, 독립 연구자들은 그 결론이 얼마나 폭넓게 전이되는지 아직 확립하지 못했다.

이러한 틀은 연구가 AI로 생성됐다는 이유만으로 배척하거나 시각적 패턴을 액면 그대로 받아들이는 것보다 더 유용하다.

연구자들이 다음에 주목해야 할 점

세 가지 후속 신호는 KataGo가 학습된 표현의 일반적 속성을 발견했는지, 아니면 체크포인트 특유의 흥미로운 현상에 그쳤는지를 보여줄 것이다.

첫 번째 신호는 학습 시드를 바꾼 독립적 재현이다. 다른 그룹은 조건을 맞춘 별도 학습 convolutional 모델과 transformer 모델에서 측정을 다시 수행해야 한다.

반복된 궤도 구조는 아키텍처가 대칭성이 깨지는 위치를 형성한다는 주장을 강화할 것이다. 시드 간 편차가 크다면, 보고된 구조는 여러 해법 중 하나일 뿐임을 시사할 것이다.

두 번째 신호는 명시적 등변성을 갖춘 통제 비교다. 연구자들은 군 등변 Go 네트워크를 학습시키고, 그 효율성, 강도, 보정, 내부 조직을 augmentation만 사용한 모델과 비교할 수 있다.

이 실험은 핵심 경쟁 가설을 직접 검증할 것이다. 하드코딩된 대칭성이 중복 학습을 없애는지, 혹은 유용한 방향성 계산을 제거하는지 보여줄 수 있다.

비교는 최종 Elo 이상을 측정해야 한다. 학습 샘플 효율성, 추론 비용, 변환된 형세 간 일관성, 적대적 보드에서의 성능이 실제 상충관계를 드러낼 것이다.

세 번째 신호는 발견된 특징 궤도에 대한 인과적 개입이다. 연구자들은 한 번에 attention 헤드 하나를 삭제하기보다 완전한 방향성 계열을 교란해야 한다.

전체 오비트를 제거했을 때 변환된 과제의 성능이 일관되게 손상된다면, 기하학적 해석의 설득력은 더 커진다. 반대로 효과가 흩어져 있다면, 해당 오비트는 기능을 포착하지 못한 채 외형만 설명하는 것일 수 있다.

사다리와 패 테스트는 유용한 출발점이지만, 향후 연구에는 사전 등록된 포지션 세트도 포함되어야 한다. 이렇게 하면 주의 패턴을 살핀 뒤 사례를 골라내는 위험을 줄일 수 있다.

연구자들은 직사각형 보드와 의도적으로 비대칭적인 규칙도 시험해야 한다. 이러한 설정은 학습된 특성이 실제 과제 대칭을 추적하는지, 아니면 단지 증강 파이프라인을 반영하는지를 드러낼 수 있다.

개발자에게 주는 실용적 교훈은 신중하게 받아들일 필요가 있다. 데이터 증강은 아키텍처가 그러한 구조를 강제하지 않더라도, 모델 내부에 의미 있는 구조를 형성하도록 유도할 수 있다.

하지만 일관된 출력만으로는 모델이 문제를 어떻게 구성했는지 알 수 없다. 방향 일관성이 안전성이나 신뢰성에 영향을 미친다면, 개발자에게는 내부 측정, 변환 테스트, 적대적 평가가 필요하다.

해석 가능성 팀에 KataGo는 연구 패키징의 유용한 모델을 제시한다. 이 프로젝트는 접근하기 쉬운 글과 함께 스크립트, 측정 데이터, 원시 보고서, 수정 사항, 재현 지침을 연결한다.

AI 지원 연구를 평가하는 팀도 이 방식을 참고할 수 있다. 검색 가능한 로컬 보고서를 engineering knowledge base에 보관하면 검토자가 주장과 실험, 수정 이력을 연결해 추적하는 데 도움이 된다.

더 넓은 machinelearning의 질문은 여전히 열려 있다. 신경망은 엄격한 아키텍처 규칙을 부여받지 않아도 대칭성을 학습할 수 있지만, 이를 반드시 균일하게 대칭적인 구성 요소로 표현하는 것은 아니다.

KataGo의 가장 흥미로운 결과는 그 중간 지대에 있다. 이 네트워크들은 정돈된 방향 특화 요소와 함께 재사용 가능한 대칭 개념을 구축하는 것으로 보인다.

따라서 다음 단계는 분명하다. 연구자들은 모델이 대칭적인지 여부만 묻는 데서 멈추고, 그 대칭성이 어디에서, 어떻게, 어떤 입력에서 성립하는지 검증하기 시작해야 한다.

독립적인 재현 연구에서도 동일한 특성 오비트와 육각형 주의 패밀리가 발견될까? 그 답은 이것이 간결한 KataGo 사례 연구에 그칠지, 아니면 학습된 기하를 해석하기 위한 재사용 가능한 지도가 될지를 결정할 것이다.