Nick Cammarata의 초위치 도전은 90% 뉴런 주장에 달려 있다

Nick Cammarata는 표본으로 조사한 Qwen3-32B 뉴런 극점의 약 90%가 하나의 주된 역할을 한다는 눈길을 끄는 추정치로 초위치 이론에 도전장을 던졌다. 그의 2026년 10월 에세이는 신경망이 해석 가능성 연구자들이 가정했던 것보다 훨씬 더 체계적으로 조직돼 있다고 주장한다. 그러나 이 수치는 예비 감사에서 나온 것이며, 초기 독립 재검증에서는 더 낮은 결과가 나왔다.

이 논쟁은 하나의 백분율을 넘어선다. Cammarata는 연구자들이 혼란스러운 신경망 행동의 핵심 설명으로 초위치를 정립하는 데 기여한 사례들을 잘못 해석했다고 말한다. 그는 서로 관련된 기능이 임의로 함께 압축된 것이 아니라 공통된 계산적 역할에서 성장한다는 재귀적 일반화를 대안으로 제시한다.

이 주장은 모델 활동을 더 깔끔한 특징으로 분해하는 연구 전략에 정면으로 도전한다. OpenAI와 Anthropic은 이를 위해 자동화된 설명, 희소 오토인코더, 회로 추적 기법을 개발해 왔다. Cammarata의 대안은 모델 고유의 뉴런에서 출발해, 소위 혼란이 제한된 도구에서 비롯됐는지를 묻는다.

90% 주장은 출발 가정을 바꾼다

중요한 변화는 해석 가능성 점수 하나가 향상됐다는 점이 아니라, Cammarata가 연구자들에게 다시 고유 뉴런에서 출발하라고 요구한다는 데 있다.

Cammarata는 자신의 65분짜리 연구 에세이를 동료 심사를 거친 논문이 아니라 작업 가설이라고 부른다. 이 에세이는 새로운 실험, 인터랙티브 시각화, 역사적 재해석, 그리고 신경망이 스스로를 조직하는 방식에 관한 더 넓은 이론을 결합한다.

그의 예비 Qwen3-32B 감사는 뉴런 극점에 초점을 맞춘다. 극점은 뉴런의 한 방향 측면으로, 강한 양의 활동 또는 강한 음의 활동을 포괄한다. 두 방향이 서로 다른 계산 효과를 뒷받침할 수 있으므로 이 구분은 중요하다.

Goodfire의 추정치는 조사한 극점 중 약 90%에 하나의 핵심 역할을 부여한다. 약 7%는 서로 관련된 두 가지 역할을 하는 것으로 보고됐으며, 2%에서 4%는 설명되지 않은 채 남아 있다. Cammarata는 이 비율이 임계값, 모델 깊이, 회로 밀도, 그리고 하나의 역할에 대한 정의에 좌우된다고 명시적으로 말한다.

따라서 이 분석은 모든 모델의 90%가 완전히 이해됐음을 입증하지 않는다. 연구자들이 개별 뉴런에서 모든 행동을 예측할 수 있음을 보여주지도 않는다. 또한 해석 가능성을 해결된 문제로 바꾸지도 않는다.

대신 이 수치는 더 좁은 명제를 뒷받침한다. 연구자들이 더 나은 도구로 강한 활성화를 조사하면, 표본으로 조사한 뉴런 극점 대부분은 일관된 기능을 중심으로 조직된 것으로 보인다. 더 작은 관련 분기가 존재할 수는 있지만, 그것이 관련 없는 개념들의 임의적 결합을 뜻하지는 않는다.

Cammarata는 Qwen3-32B 뉴런 하나에 대해 1억 개의 토큰을 조사했다고 보고한다. 이 가운데 활성화 범위의 강한 절반에 도달한 토큰은 약 160개에 불과했다. 그는 이 분포를 근거로 약한 활동이 뉴런의 가장 강한 반응과 같은 해석적 비중을 가져서는 안 된다고 주장한다.

이 선택은 방법론적 분열을 만든다. 지배적인 인과 행동에 초점을 맞춘 연구자는 희미한 활성화를 영향력이 낮은 잔여물로 간주해 배제할 수 있다. 다른 연구자는 같은 활동을 숨겨진 보조 기능의 증거로 볼 수 있다.

이 에세이는 Qwen3-32B와 Qwen3.6-35B-A3B 전반에서 무작위로 선택한 1,000건의 뉴런 조사도 제시한다. 이 보고서는 활성화 맥락, 출력 효과, 연결, 개입을 살핀다. 이는 상관관계가 있는 텍스트 사례만을 바탕으로 한 레이블을 넘어서는 것을 목표로 한다.

공개된 한 회로는 여러 Qwen3-32B 뉴런을 진단 관련 답변과 연결한다. 작은 그룹을 제거하면 모델의 다음 진단 추측이 바뀐다고 보고된다. 다른 사례들은 뉴런을 답변의 유보적 표현, 사용자 신뢰도, 문화적으로 특수한 연상과 연결한다.

이러한 개입은 레이블만으로 얻는 정보보다 더 유익하다. 어떤 주제 주변에서 활성화되는 뉴런은 단지 다른 과정과 상관관계가 있을 수 있다. 이를 변경하고 출력을 측정하면 해당 뉴런이 계산에 참여한다는 증거를 제공한다.

그렇더라도 국소적 인과 증거가 90%라는 전체 추정치를 자동으로 검증하는 것은 아니다. 이 갤러리는 Qwen3-32B 내부 유닛의 극히 일부만 다룬다. 그 설명 역시 의미적 일관성에 관해 판단하는 자동화 에이전트에 부분적으로 의존한다.

Cammarata는 또 다른 한계도 인정한다. 언어 모델 작업을 다루는 기술 동반 논문은 아직 완전한 실험 설명을 제공하지 않았다. 공개 에세이는 상당한 증거를 제시하지만, 문서화된 발견과 더 큰 추측을 함께 섞고 있다.

이 구분은 독자들이 제목을 해석하는 방식을 이끌어야 한다. Nick Cammarata의 초위치 도전은 실험으로 뒷받침되는 진지한 연구 제안이다. 이는 지배적인 관점에 대한 도전으로 남아 있으며, 이를 대체하는 확정된 결론은 아니다.

유명한 고양이-자동차 뉴런이 중요한 이유

Cammarata의 주장은 단지 더 새로운 모델에서 더 깔끔한 뉴런을 찾는 것이 아니라, 해석 가능성 연구가 가장 널리 알려진 사례들을 잘못 이해했음을 보여주는 데 달려 있다.

중요한 사례 중 하나는 초기 이미지 분류 네트워크인 InceptionV1의 뉴런 4e:55다. 연구자들은 고양이 얼굴과 자동차 앞부분에 대한 반응을 관찰했다. 이 조합은 임의적으로 보였고, 다의성의 기억에 남는 사례가 됐다.

다의성은 겉보기에는 관련 없어 보이는 여러 개념에 반응하는 유닛을 설명한다. 초위치는 하나의 설명을 제공한다. 네트워크는 표현을 겹쳐 사용함으로써 이용 가능한 차원보다 더 많은 특징을 나타낸다. 희소한 특징은 서로 거의 간섭하지 않을 때 용량을 공유할 수 있다.

Cammarata는 이러한 해석을 형성하는 데 도움을 준 2020년 회로 연구의 공동 저자였다. 이 이력은 그의 입장 전환에 이례적인 무게를 부여한다. 그는 자신의 과거 입장에 영향을 준 증거를 다시 검토하고 있다.

그의 새로운 해석은 시각적 구조에서 시작한다. 고양이 얼굴과 자동차 앞부분은 흔히 비슷한 V자형 기하 구조를 지닌다. 따라서 이 뉴런은 관련 없는 두 객체 범주를 저장하는 대신 유용한 구성을 감지하는 것일 수 있다.

이 차이는 작게 들리지만, 뉴런이 무엇을 표현하는지 바꾼다. 고양이-자동차 유닛은 임의적인 개념 압축을 시사한다. V자형 감지기는 공유된 구조를 가진 사례 전반에 걸친 일반적인 시각적 일반화를 시사한다.

Cammarata는 앞선 연구의 또 다른 회로에도 비슷한 검토를 적용한다. 이 회로는 자동차 정보를 여러 개의 개 관련 뉴런으로 퍼뜨리는 것으로 보였다. 연구자들은 이 패턴을 고차원 조합 전반에 숨겨진 정보로 해석했다.

새 에세이는 하류의 어떤 것도 소위 숨겨진 코드를 읽지 않는다고 주장한다. Cammarata는 이제 이 패턴을 일반적인 조합과 일반화로 본다. 그는 예상되는 초위치 구조를 가진 또 다른 공개된 실제 네트워크 회로를 찾지 못했다고 말한다.

이는 초위치에 대한 수학적 반증은 아니다. 두 번째로 문서화된 회로가 없다는 사실은 관찰이 제한됐음을 반영할 수 있다. 그러나 하나의 초기 사례를 현대 네트워크의 대표 사례로 취급하는 수사적 힘은 약화시킨다.

아키텍처도 논증에 들어온다. InceptionV1의 마지막 층은 한때 특히 해석하기 까다로워 보였다. Cammarata는 그 혼란의 상당 부분을 아키텍처 병목, 후반 층의 오버플로, 오해를 부르는 이미지를 생성한 시각화 방법에 돌린다.

그는 9만 2,000개, 706만 개, 2,860만 개의 파라미터를 가진 ConvNeXt 이미지 모델을 재학습했다. 이는 약 300배의 규모 범위를 나타낸다. 그는 이 모델들이 그 규모 전반에서 대체로 이해 가능한 상태를 유지했다고 말한다.

에세이는 또한 일반적인 아키텍처 개선으로 수정된 설정에서 마지막 층 뉴런의 99%에서 100%를 쉽게 해석할 수 있게 됐다고 보고한다. Cammarata에 따르면 핵심 비교에서는 모델 크기와 학습 데이터를 일정하게 유지했다.

이 결과는 용량 압박에 관한 다른 설명을 뒷받침한다. 뉴런 수가 적으면 모델은 여러 종류의 자동차를 하나의 뉴런이 담당하는 것처럼 더 넓은 범주를 학습할 수 있다. 여유가 더 있으면 그러한 넓은 범주는 더 좁은 전문 영역으로 분리될 수 있다.

이 과정은 네트워크가 관련 없는 개념을 함께 숨길 것을 요구하지 않는다. 용량이 확장됨에 따라 분류 체계가 더 세밀해지는 것과 닮았다. 범주들은 계산적 이력을 통해 계속 연결된 상태를 유지한다.

Cammarata는 이 과정을 재귀적 일반화라고 부른다. 뉴런은 일관된 역할에서 시작한 뒤 철자, 형태, 맥락, 회로 기능을 통해 연결된 분기를 획득한다. 따라서 겉보기에 혼합된 활성화도 내부 계보를 지닐 수 있다.

한 언어 사례는 관련된 어미와 연결되고 궁극적으로 Miyazaki라는 이름으로 이어지는 문자 조각에서 시작한다. 표면적인 조사는 그 활성화를 무관한 것으로 분류할 수 있다. 층을 따라가면 점점 더 구체적인 인식이 이어지는 구조화된 순서가 드러난다.

따라서 핵심적인 전환은 기술적일 뿐 아니라 역사적이기도 하다. 연구자들을 뉴런에서 멀어지게 했던 사례들이 이제는 직접적인 뉴런 연구를 뒷받침할 수 있다. 더 나은 관찰은 학습된 네트워크를 바꾸지 않고도 해석을 바꾼다.

Nick Cammarata의 초위치 도전은 부분적으로 이러한 재분석의 성패에 달려 있다. 다른 연구자들이 이를 재현한다면, 분야는 정전적 사례들이 실제로 무엇을 입증했는지 재고해야 한다. 재현에 실패한다면 뉴런에 대한 기존의 신중한 태도는 정당성을 유지할 것이다.

Nick Cammarata의 초위치 도전은 희소 오토인코더를 겨냥한다

핵심 경쟁은 모델의 고유 메커니즘을 연구하는 방식과 그 활성화를 새로운 특징 사전으로 분해하는 방식 사이에 있다.

초위치 연구는 개별 뉴런이 설명 단위로서 종종 신뢰하기 어려워 보였기 때문에 영향력을 얻었다. 연구자들은 희소 오토인코더, 즉 SAE로 대응했다. 이 보조 모델은 대체로 비활성 상태인 더 큰 특징 집합을 사용해 신경 활동을 재구성한다.

이 접근법은 밀집된 활성화를 더 해석하기 쉬운 구성 요소 목록으로 바꾸는 것을 목표로 한다. 이는 네트워크가 이용 가능한 차원보다 더 많은 희소 특징을 표현할 수 있음을 보여준 토이 모델 증거와 밀접하게 연관돼 있다. 이러한 실험은 통제된 조건에서 초위치가 발생하는 명확한 메커니즘을 제시한다.

Cammarata는 토이 모델이 쓸모없다고 주장하지 않는다. 그의 이의는 단순화된 환경에서 학습된 네트워크로의 전이에 관한 것이다. 설계된 환경에서 나타나는 메커니즘이 현대 언어 모델을 반드시 지배하는 것은 아니다.

그는 또한 추출된 특징 사전이 모델의 고유한 조직을 보존하는지 의문을 제기한다. 모든 재구성에는 희소성, 특징 수, 학습 데이터, 허용 가능한 오류에 관한 선택이 들어간다. 그 결과의 특징은 이해하기 쉬울 수 있지만, 원래 계산에서 벗어날 수도 있다.

연구자들이 재구성을 주된 연구 대상으로 사용할 때 이러한 우려는 더 심각해진다. SAE는 유용한 패턴을 드러낼 수 있지만 정확한 행동에 필요한 정보를 놓칠 수 있다. 또한 하나의 고유 메커니즘을 여러 학습된 특징으로 분할할 수도 있다.

Anthropic은 희소 표현을 사용해 언어 모델 내부의 개념을 매핑해 왔다. 2024년 특징 매핑 연구는 장소, 사람, 코드, 편향, 안전 관련 행동과 관련된 패턴을 식별했다. 이후 회로 연구는 추출된 특징들을 모델 계산 전반에 연결했다.

Cammarata는 이와 유사한 회로를 고유 Qwen3-32B 뉴런에서 때때로 복원할 수 있다고 주장한다. 그의 사례들은 뉴런 그룹 간의 정보를 추적하고, 이를 제거한 뒤 변화를 측정한다. 그는 이를 분해가 항상 필요한 첫 단계는 아니라는 증거로 제시한다.

이견은 단순히 뉴런 대 피처의 대립이 아니다. 양측 모두 활성화 사례, 인과적 개입, 자동화된 라벨링, 회로 분석을 활용한다. 진짜 쟁점은 어떤 표현에 우선순위를 둘 것인가에 있다.

분해 우선 접근을 택하는 연구자는 본래의 활성화가 뒤얽혀 있다고 보고, 더 깔끔한 기저를 찾는다. 반면 Cammarata는 본래의 모델 자체를 핵심 과학적 연구 대상으로 본다. 그는 직접 조사에서 구체적인 필요성이 드러난 뒤에야 추가 표현을 사용할 것이다.

이 차이는 오류 처리 방식에도 영향을 미친다. 재구성된 회로는 피처 집합이 포착하지 못한 행동을 설명하기 위해 오차항이 필요할 수 있다. 본래 뉴런으로 구성한 회로는 재구성 손실을 피하지만, 인간의 설명은 여전히 불완전하거나 틀릴 수 있다.

확장성에도 영향을 준다. 자동화를 활용하더라도 수백만 개 뉴런을 매핑하는 일은 벅차 보인다. 그러나 희소 사전에는 그보다 더 많은 피처가 포함될 수 있으며, 각 피처에는 라벨링, 평가, 그리고 후속 행동과의 연결이 필요하다.

Cammarata는 AI 연구 에이전트가 이 방정식을 바꾸는 요인이라고 본다. 에이전트는 뉴런 라벨을 제안하고, 테스트를 생성하며, 귀속 그래프를 검토하고, 실패한 설명을 수정할 수 있다. 이후 인간 연구자는 특이한 메커니즘과 논쟁적인 사례에 집중할 수 있다.

OpenAI는 2023년에 GPT-4에게 GPT-2 뉴런을 설명하도록 요청하며 관련 방향을 탐색했다. 자동화된 뉴런 연구는 모델 전반에 걸쳐 설명을 생성하고 점수를 매겼다. OpenAI는 대부분의 설명이 낮은 점수를 받았으며, 특히 더 큰 모델과 후반 레이어에서 그 경향이 두드러졌다고 보고했다.

Cammarata는 그 역사를 단순히 뉴런이 지저분하다는 이야기와는 다르게 해석한다. 그는 이전 방법들이 종종 시뮬레이터에게 정확한 활성화를 예측하게 했다고 말한다. 이러한 채점 방식은 뉴런의 핵심 역할에는 거의 중요하지 않은 미세한 세부 사항을 놓쳤다는 이유로 설명에 불이익을 줄 수 있다.

어텐션은 또 다른 복잡성을 만든다. 어떤 주제와 연관된 뉴런은 어텐션 헤드가 문맥 정보를 그 위치에 배치했기 때문에 구두점 근처에서 활성화될 수 있다. 뉴런이 일관된 회로 기능을 수행하더라도, 시뮬레이터는 그 설명을 부정확하다고 판단할 수 있다.

따라서 Cammarata는 여러 형태의 증거를 선호한다. 여기에는 높은 활성화 사례, 생성된 반례, 출력 가중치, 연결된 뉴런, 학습 체크포인트, 개입이 포함된다. 어느 하나의 지표만으로 설명의 정확성을 결정할 수는 없다.

이러한 더 폭넓은 과정은 사전 구축보다는 실험 생물학에 가깝다. 연구자들은 구성 요소에 관한 가설을 세우고, 이를 교란하며, 연결된 구조를 검토하고, 설명을 다듬는다. Cammarata는 주변 지도가 채워질수록 일관성이 드러난다고 주장한다.

그가 선호하는 비유는 매듭이 아니라 도시다. 지도 없이 보면 도시는 혼란스러워 보일 수 있지만, 구역과 도로는 서로 연관된 목적을 수행한다. 이를 추상적인 조각으로 잘라내면 이해 가능하게 만드는 조직 구조가 가려질 수 있다.

그의 설명이 지지를 얻더라도 희소 오토인코더가 사라지지는 않을 것이다. 대규모 활성화 공간을 탐색하거나 원하는 패턴을 분리하는 데는 계속 유용할 수 있다. 압박을 받는 것은 계산을 연구하기 전에 모든 네트워크를 반드시 풀어헤쳐야 한다는 주장이다.

Nick Cammarata의 중첩성 도전에 대한 더 강한 버전은 네트워크가 이미 조직화의 상당 부분을 수행했다는 것이다. 그렇다면 해석 가능성은 복구 문제가 아니라 매핑 문제가 된다. 이는 상당한 연구 노력을 본래 회로 쪽으로 돌릴 수 있다.

독립 재검증, 핵심 수치에 압박을 가하다

첫 공개 재검증은 일부 뉴런 수준 구조를 뒷받침하지만, 더 엄격한 정의 아래에서는 Goodfire의 90% 수치를 재현하지 못한다.

독립 연구 그룹 IRSI는 에세이 공개 직후 여러 주장을 검토했다. 사전 등록 재검증은 Goodfire의 요약, Qwen3-32B 뉴런 표본, 무작위 방향, 의도적으로 혼합한 유닛을 평가했다.

세 개의 AI 분류기는 Qwen3-32B 뉴런 500개에 대한 Goodfire의 서면 설명을 검토했다. 8개 레이어 그룹 전체에서 결과를 균형 조정한 뒤, 다수결은 설명된 극의 78.3%를 하나의 주된 역할을 가진 것으로 분류했다. 보고된 95% 구간은 75.5%에서 81.1%였다.

이 결과는 Goodfire의 약 90% 추정치보다 낮지만, 거의 0에 가까운 수준으로 붕괴한 것은 아니다. 외부 분류 과정에서도 의미론적 일관성이 자주 나타난다는 점을 시사한다. 동시에 평가자가 다른 기준을 사용하면 결과가 크게 달라진다는 사실도 보여 준다.

IRSI 자체 대시보드 기반 라벨러는 더 엄격한 결과를 냈다. 무작위로 표본 추출한 뉴런 가운데 57%~65%를 단일 역할 유닛으로 표시했다. 같은 시스템은 Goodfire가 선별한 갤러리의 뉴런 약 70%를 그렇게 분류했다.

조사팀은 이 도구가 Goodfire보다 더 엄격한 기준을 사용할 가능성이 높다고 경고했다. 이 절차는 의도적으로 심어 둔 두 역할 혼합물의 약 5분의 1도 단일 역할 유닛으로 잘못 분류했다. 이러한 오류 때문에 어느 추정치가 현실에 더 가까운지에 대한 명확한 판정은 어렵다.

무작위 방향과의 비교에서는 엇갈린 증거가 나왔다. 더 큰 사후 표본에서는 무작위 뉴런의 65%가 단일 역할 라벨을 받았고, 무작위 방향은 31%였다. 34%포인트 차이는 연구자들이 계획한 기준을 넘었다.

그러나 사전 등록 표본에는 뉴런이 48개뿐이었다. 이 표본의 26%포인트 격차는 30%포인트 기준에 미치지 못했다. 더 큰 표본은 시사적인 지지를 제공하지만, 사전 등록된 확인으로 간주되지는 않는다.

레이어 위치는 결과를 더욱 복잡하게 했다. 한 사후 분석에서 초기 레이어의 무작위 뉴런과 무작위 방향은 비슷한 단일 역할 비율을 보였다. 모델의 다른 부분에서는 구분이 더 뚜렷해졌다.

이러한 발견은 해석 가능성을 깔끔한 백분율 하나로 표현하기 어려운 이유를 드러낸다. 연구자들은 어떤 활성화를 셀지, 관련된 하위 기능을 함께 묶을지, 음수와 양수 극에 별도 라벨을 부여할지를 결정해야 한다. 각각의 선택이 결과에 영향을 준다.

자동 채점기는 또 다른 불확실성을 더한다. 대규모 언어 모델은 잡음이 많은 패턴에도 유창한 설명을 만들어 낼 수 있다. 익숙한 범주에 맞지 않는 유효한 구조를 거부할 가능성도 있다.

재검증의 일부에서는 블라인드 처리가 불완전했다. 한 분류기는 약 0.85의 AUC 점수로 뉴런 대시보드와 무작위 방향 대시보드를 구별할 수 있었다. 일부 AI 라벨러는 사전 등록 문서를 본 상태였지만, 다른 라벨러는 보지 못했다.

Goodfire가 공개한 갤러리는 별도의 선택 문제를 낳는다. 에세이는 두 모델에 걸쳐 무작위로 선택한 조사 1,000건을 설명한다. 그러나 요약을 읽는 외부 평가자들은 전체 측정 파이프라인을 독립적으로 완전히 재현하지는 않는다.

이 감사는 완전한 모델 이해가 아니라 뉴런의 극을 측정한다. 모델은 개별적으로 일관된 유닛을 포함하면서도, 설명하기 어려운 상호작용에 의존할 수 있다. 어텐션, 잔차 스트림, 비선형 게이트, 분산 회로는 뉴런 수준 이상의 복잡성을 만들 수 있다.

읽기 쉬운 구성 요소가 안전한 시스템을 보장하지는 않는다. 엔지니어들은 특정 의사결정 과정에서 어떤 회로가 중요한지 여전히 식별해야 한다. 또한 프롬프트, 언어, 미세 조정, 배포 조건에 따라 그러한 회로가 어떻게 달라지는지도 판단해야 한다.

90% 뉴런 통찰 역시 기만이나 위험한 계획이 명백한 라벨 아래 드러날 것임을 증명하지는 않는다. 위험한 행동은 낯선 회로로 배열된 평범한 구성 요소를 통해 나타날 수 있다. 깔끔한 부품이 불투명한 전체를 만들 수도 있다.

Cammarata는 이 반론의 일부를 예상한다. 그의 에세이는 연구자들이 주변 생태계를 연구할 때 뉴런을 더 쉽게 해석할 수 있다고 주장한다. 연결, 어텐션 패턴, 인과적 개입은 그럴듯한 설명의 범위를 제한한다.

이는 완성된 안전 방법이 아니라 연구 프로그램이다. 설득력 있는 설명이 아니라 인과적 정확성을 보상하는 표준화된 평가가 필요하다. 또한 여러 모델 계열, 아키텍처, 학습 체제 전반의 테스트도 필요하다.

현재 에세이는 여러 논증 수준을 아우르기 때문에 기술 동반 논문이 중요할 것이다. 비전 결과, 언어 사례, 학습 이론은 서로를 뒷받침한다. 그러나 아직 외부 팀이 직접 재현할 수 있는 단일 벤치마크를 이루지는 못한다.

따라서 회의적인 입장도 정확성을 유지해야 한다. 증거는 이 에세이를 일화적이라고 일축할 근거가 되지 않는다. 그렇다고 AI 해석 가능성이 해결되었다고 선언할 근거도 되지 않는다.

합리적인 해석은 그 두 극단 사이에 있다. 본래 뉴런은 여러 테스트에서 무작위 방향보다 더 구조화된 모습을 보인다. 단일 역할 뉴런의 정확한 비율은 여전히 정의, 표본 추출, 평가 방법에 민감하다.

재귀적 일반화는 신경망 학습에 대한 다른 이론을 제시한다

더 깊은 제안은 임의적인 피처 패킹을, 관련된 계산 역할이 함께 성장하는 방식을 설명하는 발달적 관점으로 대체한다.

중첩성은 주로 용량을 저장 문제로 본다. 네트워크는 사용 가능한 차원보다 더 많은 유용한 피처를 가지므로, 희소 표현을 겹쳐 놓는다. 낮은 충돌률은 모델이 단순한 뉴런당 하나의 피처 시스템보다 더 많은 정보를 보존할 수 있게 한다.

재귀적 일반화는 학습 동역학을 중심으로 문제를 설명한다. 뉴런은 관련 사례와 인접 회로가 만들어 내는 그래디언트를 통해 발달한다. 새로운 역할은 기존 기계가 이미 유용한 출발점을 제공하는 곳에서 형성된다.

이 관점에서 광범위한 자동차 뉴런은 용량이 커짐에 따라 특화된 자동차 메커니즘으로 나뉠 수 있다. 철자 패턴 뉴런은 같은 조각을 공유하는 이름이나 단어를 위한 분기를 획득할 수 있다. 이러한 역할에는 임의적 결합이 아니라 추적 가능한 계보가 있다.

Cammarata는 약하고 무관한 피처가 까다로운 경로에 놓인다고 주장한다. 이들은 학습 손실에 거의 기여하지 못하면서 밀집한 약한 활성화의 간섭을 견뎌야 한다. 반면 관련된 확장은 확립된 회로를 재사용하고 더 일관된 그래디언트 지원을 받을 수 있다.

그는 이 과정을 회로 경쟁과 그래디언트 기아 같은 개념으로 설명한다. 경쟁하는 메커니즘은 남은 오류를 줄이기 위해 경쟁한다. 한 경로가 어떤 기능을 학습하면, 덜 효율적인 대안에서 유용한 그래디언트를 빼앗을 수 있다.

이 이론은 검증 가능한 예측을 낳는다. 드문 사실은 충돌 가능성이 낮다는 이유만으로 선택된 무관한 차원이 아니라, 해당 주제와 관련된 회로를 통해 전달되어야 한다. 학습 체크포인트는 의미론적 또는 기능적으로 연결된 메커니즘에서 분기가 성장하는 모습을 보여야 한다.

이 제안은 더 크고 더 잘 학습된 모델이 일부 측면에서는 더 쉽게 매핑될 수 있다고도 예측한다. 더 큰 용량은 더 좁은 역할의 뉴런을 허용하고, 주변 회로는 추가적인 해석 문맥을 제공한다. 규모는 부품 수를 늘리지만 각 부품 내부의 모호성은 줄일 수 있다.

이 결론은 흔한 직관에 반한다. 더 큰 모델은 더 많은 파라미터를 포함하므로 이해하기 어렵게 보인다. Cammarata는 작업량과 작업의 성격을 구분한다.

큰 도시는 마을보다 더 큰 지도가 필요하다. 그러나 모든 건물이 여러 목적을 수행하는 빽빽한 정착지보다, 전문화된 구역을 식별하기가 더 쉬울 수 있다. 구성 요소가 많다고 해서 반드시 개념적 얽힘도 더 큰 것은 아니다.

현대 아키텍처도 이러한 조직화에 기여할 수 있다. Cammarata는 더 깊은 레이어의 학습을 돕고 후반 레이어의 과부하를 막는 개선을 강조한다. 이러한 변화는 해석 가능성이 아니라 모델 성능을 위해 도입됐지만, 더 깔끔한 내부 특화를 만들 수 있다.

어텐션을 둘러싼 논증은 여전히 불완전하다. 언어 모델에는 다층 퍼셉트론 뉴런보다 어텐션 헤드가 훨씬 적다. 각 헤드는 광범위한 라우팅 패턴에 참여할 수 있어, 헤드 하나당 역할 하나라는 설명은 그다지 그럴듯하지 않다.

잔차 스트림은 많은 구성 요소의 기여를 결합한다는 점에서 또 다른 과제를 제시한다. 일관된 뉴런은 여러 신호가 상호작용하는 공유 공간에 정보를 기록할 수 있다. 네이티브 뉴런을 이해한다고 해서 그러한 결합 표현을 연구할 필요가 사라지는 것은 아니다.

재귀적 일반화는 의미 있는 계보와 사후적 서사를 구분해야 한다. 연구자들은 두 개념을 함께 본 뒤 그 사이의 연결을 만들어낼 수 있는 경우가 많다. 강력한 증거를 위해서는 예측, 홀드아웃 테스트, 인과적 개입이 필요하다.

학습 체크포인트는 유망한 경로 중 하나다. 두 기능이 실제로 발달의 역사를 공유한다면, 연구자들은 시간이 지나며 그 분기가 형성되는 모습을 관찰해야 한다. 그 순서는 임의의 설명이 예측하는 것보다 더 자주 여러 학습 실행에서 반복돼야 한다.

모델 간 비교는 또 다른 검증 수단을 제공한다. 서로 다른 시드로 학습된 유사 과제는 개별 뉴런이 정확히 정렬되지 않더라도 관련된 계산적 모티프를 만들어야 한다. 반복되는 구조는 학습이 메커니즘을 예측 가능하게 조직한다는 주장을 강화할 것이다.

이 이론에는 적대적 사례도 필요하다. 연구자들은 면밀히 조사한 뒤에도 가장 강한 기능이 서로 관련 없는 뉴런을 의도적으로 찾아야 한다. 그러한 실패는 재귀적 일반화가 끝나는 지점과 진정한 중첩이 시작되는 지점을 드러낼 것이다.

Cammarata는 반대 관점에 까다로운 과제를 제시한다. 실제 네트워크 내부에서 설득력 있는 중첩 회로를 찾아내라는 것이다. 그러한 회로는 관련 없는 기능들을 압축하고, 다운스트림 메커니즘이 결합된 표현을 읽어내는 모습을 보여야 한다. 상관관계만으로는 충분하지 않다.

동일한 기준은 깔끔한 네트워크라는 주장에도 적용돼야 한다. 설득력 있는 설명은 라벨을 만들 때 사용한 사례를 넘어 활성화와 개입을 예측해야 한다. 관련 연결을 식별하고 이를 반증하도록 설계된 테스트를 견뎌야 한다.

재귀적 일반화가 성립한다면 연구자들은 더 명확한 다이어그램 이상을 얻게 된다. 해석 가능성을 학습과 연결하는 이론을 얻게 된다. 이 연결은 엔지니어가 완성된 모델만 검사하는 대신 원치 않는 메커니즘이 형성되는 과정을 모니터링할 수 있게 할 수 있다.

더 좁은 범위의 개입도 가능해질 수 있다. 팀은 유해한 회로를 키우는 환경, 데이터셋 패턴 또는 강화 신호를 식별할 수 있다. 그런 다음 모든 해석 가능성 도구를 다시 학습시키지 않고도 그 원인을 조정할 수 있다.

이러한 가능성은 여전히 후속적 함의에 머문다. 현재 증거는 배포 보장이 아니라 표적 실험을 뒷받침한다. 기업 구매자와 개발자는 읽기 쉬운 뉴런이라는 주장을 안전성 인증서로 받아들여서는 안 된다.

지식 노동자에게 즉각적인 관련성은 간접적이지만 분명하다. 모델 제공업체들은 신뢰, 감사, 거버넌스를 뒷받침하기 위해 해석 가능성 주장을 점점 더 활용하고 있다. 구매자는 그러한 주장이 상관관계, 인과 회로, 또는 포괄적인 행동 범위 중 무엇을 설명하는지 알아야 한다.

Nick Cammarata의 중첩 도전은 이 구분을 더욱 선명하게 만든다. 이는 모델의 네이티브 조직을 다시 살펴볼 가치가 있음을 시사한다. 그렇다고 그 메커니즘이 실제로 무엇을 하는지 검증할 의무가 사라지는 것은 아니다.

세 가지 신호가 이 도전의 성립 여부를 결정할 것이다

다음 단계에서는 야심 찬 작업 가설을 재현 가능한 측정치, 경쟁 설명, 모델 수준의 안전성 테스트로 전환해야 한다.

첫 번째 신호는 언어 모델 뉴런에 관한 예고된 기술 논문이다. 이 논문은 샘플링, 임계값, 자동화 에이전트 프롬프트, 개입 방법, 실패 사례를 문서화해야 한다. 코드와 활성화 데이터를 공개하면 독립 팀이 Qwen3-32B 분석을 다시 실행할 수 있다.

사전에 명시된 여러 정의에서 약 90%에 가까운 결과가 나온다면 핵심 주장은 강화될 것이다. 합리적인 정의들 사이에서 큰 편차가 나타난다면, 관심은 헤드라인 수치에서 네이티브 뉴런이 무작위 방향보다 우수하다는 더 제한적인 발견으로 이동할 것이다.

논문은 Goodfire가 1,000건의 뉴런 조사를 어떻게 선정하고 평가했는지도 명확히 해야 한다. 무작위 표본 추출은 레이어와 활성화 밀도 전반에서 재현 가능해야 한다. 음의 극과 양의 극도 일관되게 다뤄야 한다.

두 번째 신호는 아키텍처 전반에 걸친 독립 복제다. 연구자들은 서로 다른 조직이 학습한 모델을 포함해 밀집형 및 mixture-of-experts 언어 모델을 테스트해야 한다. 비전 결과만으로는 트랜스포머 회로가 언어와 추론을 어떻게 표현하는지 결론낼 수 없다.

복제 연구는 이전 모델과 최신 모델을 모두 포함해야 한다. 아키텍처 개선이 더 깔끔한 뉴런을 설명한다면, 그 차이는 체계적으로 나타나야 한다. 연구자들은 특정 설계 변경을 측정 가능한 해석 가능성 향상과 연결할 수 있어야 한다.

모델 간 실험은 규모도 검증할 수 있다. Cammarata는 Kimi K3를 포함해 수조 개 매개변수에 이르는 모델에서 유사한 패턴을 보고했지만, 세부 내용은 후속 연구로 미뤘다. 외부 확인은 이러한 조직이 하나의 Qwen 모델을 넘어 지속되는지 보여줄 것이다.

세 번째 신호는 네이티브 뉴런 설명과 분해 우선 설명 간의 직접 대결이다. 두 접근법은 동일한 홀드아웃 프롬프트를 사용해 같은 행동을 분석해야 한다. 평가자는 인과적 충실도, 재구성 오류, 범위, 연구 비용을 비교해야 한다.

유용한 벤치마크에는 일반 지식, 다국어 처리, 장기 추론, 거부 행동, 적대적 프롬프트가 포함될 것이다. 표적 개입을 예측하는 설명에 보상해야 한다. 자연어 수준의 그럴듯함만으로 결과를 결정해서는 안 된다.

네이티브 뉴런이 더 적은 오류와 보조 가정으로 회로를 설명한다면 신뢰도를 얻을 것이다. 희소 표현은 뉴런 수준 분석이 놓치는 인과 구조를 꾸준히 드러낸다면 여전히 우위를 유지할 것이다.

연구자들은 하이브리드 방법도 검토해야 한다. 네이티브 뉴런은 기본 지도를 정의하고, 희소 특징은 잔차 스트림 내부의 이례적 활동을 찾는 데 도움을 줄 수 있다. 증거는 하나의 보편적 표현보다는 역할 분담을 뒷받침할 수 있다.

안전성 평가는 여전히 가장 어려운 시험이다. 방법론은 코퍼스에서 자주 나타나는 패턴뿐 아니라 드물거나 적대적인 행동 중에 중요한 메커니즘도 탐지해야 한다. 배포 조건에서 핵심 회로가 보이지 않는다면 깔끔한 뉴런 라벨은 큰 의미가 없다.

공개 논의는 두 가지 성급한 결론을 피해야 한다. 하나는 90% 추정치가 블랙박스 문제를 해결했다는 주장이다. 다른 하나는 독립 연구에서 더 낮은 결과가 나오면 전체 제안이 무의미해진다는 주장이다.

더 중요한 가능성은 그 사이에 있다. 해석 가능성 연구자들은 모델 자체 뉴런의 가치를 과소평가하는 동시에 보편적 분해의 필요성을 과대평가했을 수 있다. 이러한 편향을 바로잡으면 실험, 도구, 연구비 우선순위가 달라질 것이다.

Cammarata의 개인적 입장 변화는 논쟁에 추진력을 더하지만, 권위가 결론을 내릴 수는 없다. 그가 회로 연구에서 맡았던 이전 역할은 이 비판을 역사적으로 중요하게 만든다. 새로운 설명이 승리할지는 재현 가능한 인과 증거가 결정해야 한다.

개발자들은 이 순서대로 동반 논문, 모델 간 복제 연구, 회로 벤치마크의 정면 비교를 지켜봐야 한다. 이 신호들을 함께 보면 설득력 있는 연구 에세이와 AI 해석 가능성의 지속적인 전환을 구분할 수 있다.

실용적 질문은 이제 분명하다. 독립 팀이 기존 특징 분해보다 네이티브 뉴런을 활용해 모델 행동을 더 잘 예측하고 제어할 수 있는가? 가능하다면 Nick Cammarata의 중첩 도전은 엔지니어링 프로그램이 될 것이다. 그렇지 않다면 90% 뉴런 통찰은 모델 안전성의 새 기반이 아니라 측정에 관한 가치 있는 경고로 남을 것이다.