Nick Cammarataのスーパー・ポジションへの異議は「ニューロンの90%」という主張に基づく
Nick Cammarataは、サンプル抽出したQwen3-32Bのニューロン極性のおよそ90%には主な役割が一つある、という注目すべき推定でスーパー・ポジション理論に異議を唱えた。2026年10月の同氏のエッセイは、ニューラルネットワークは解釈可能性の研究者が想定していたよりはるかに秩序立っていると論じる。ただし、この数値は予備的な監査に基づくものであり、初期段階の独立再検証ではより低い結果が出ている。
論争は一つの割合にとどまらない。Cammarataは、混乱したニューラルネットワークの挙動を説明する中心的な概念としてスーパー・ポジションを確立する一助となった事例を、研究者たちが誤読したと述べる。代わりに同氏は再帰的汎化を提案する。これは、関連する機能が恣意的に詰め込まれるのではなく、共有された計算上の役割から発展するという考え方だ。
この主張は、モデルの活動をより明確な特徴へ分解することを軸に構築された研究戦略に直接異を唱えるものだ。OpenAIとAnthropicは、この課題のために自動化された説明、スパース・オートエンコーダー、回路追跡手法を開発してきた。Cammarataの代替案はモデル本来のニューロンから出発し、想定されてきた混乱が限られたツールに起因していたのかを問う。
90%という主張が出発点の前提を変える
重要な変化は、解釈可能性のスコアが一つ改善したことではない。Cammarataは、研究者が再び本来のニューロンから始めるべきだと考えている。
Cammarataは、65分の研究エッセイを査読済み論文ではなく、作業仮説と位置づけている。そこでは新たな実験、インタラクティブな可視化、歴史的な再解釈、そしてニューラルネットワークが自らをどのように組織するかに関する幅広い理論が組み合わされている。
同氏による予備的なQwen3-32B監査は、ニューロン極性に焦点を当てる。極性とはニューロンの一方向の側面であり、強く正または強く負の活動を対象とする。この区別は、二つの方向が異なる計算効果を支えうるため重要だ。
Goodfireの推定では、調査した極性のおよそ90%に主要な役割が一つ割り当てられている。約7%には関連する役割が二つあるとされ、2%から4%は説明不能なままだという。Cammarataは、これらの割合が閾値、モデルの深さ、回路密度、そして「一つの役割」の定義に左右されると明示している。
したがって、この分析は、あらゆるモデルの90%が完全に理解されたことを示すものではない。個々のニューロンから全ての挙動を予測できることも示していない。解釈可能性を解決済みの問題に変えるものでもない。
むしろ、この数値が支えるのはより限定的な命題だ。より良いツールで強い活性化を調べると、サンプル化されたニューロン極性の大半は一貫した機能を中心に組織されているように見える。より小さな関連分岐が存在しても、無関係な概念が恣意的に組み合わされていることを意味しない。
Cammarataは、Qwen3-32Bの一つのニューロンについて1億トークンを調べたと報告している。その活性化範囲の強い半分に達したトークンは約160個にすぎなかった。同氏はこの分布を用いて、弱い活動にニューロンの最も強い応答と同じ解釈上の重みを与えるべきではないと論じる。
この選択は方法論上の分断を生む。支配的な因果的挙動に焦点を当てる研究者は、かすかな活性化を影響の小さい残余として無視するかもしれない。別の研究者は同じ活動を、隠れた二次機能の証拠と見なす可能性がある。
このエッセイは、Qwen3-32BとQwen3.6-35B-A3Bにわたる無作為抽出のニューロン調査1,000件も提示している。これらの報告は、活性化の文脈、出力への効果、接続、介入を検証する。相関するテキスト例だけに基づくラベル付けを超えることが狙いだ。
表示されたある回路では、複数のQwen3-32Bニューロンが診断に関連する回答へ接続されている。少数のグループを除去すると、モデルの次の診断予測が変化すると報告されている。ほかの例では、ニューロンが回答の慎重表現、ユーザーの確信、文化固有の連想に結び付けられている。
こうした介入は、ラベルだけより多くの情報をもたらす。ある主題の周辺で活性化するニューロンは、単に別の過程と相関しているだけかもしれない。それを変更して出力を測定すれば、その計算に参加している証拠となる。
それでも、局所的な因果証拠が90%という推定全体を自動的に裏付けるわけではない。ギャラリーが扱うのはQwen3-32Bの内部ユニットのごく一部だ。説明の一部は、意味的な一貫性について判断する自動化エージェントにも依存している。
Cammarataは別の限界も認めている。言語モデルの研究を扱う技術的な補足論文は、まだ実験の全容を示していない。公開エッセイは相当な証拠を提供しているが、文書化された発見とより大きな推測を混在させている。
この区別は、読者が見出しをどう解釈すべきかの指針となる。Nick Cammarataのスーパー・ポジションへの異議は、実験に裏付けられた本格的な研究提案だ。それは既存の見方に対する挑戦であり、確定した代替理論ではない。
著名な「猫と車」のニューロンが重要な理由
Cammarataの主張は、新しいモデルでより明確なニューロンを見つけるだけでなく、解釈可能性研究が最も有名な事例を誤解していたことを示せるかどうかにかかっている。
重要な事例の一つは、初期の画像分類ネットワークInceptionV1におけるニューロン4e:55だ。研究者は猫の顔と車の前部に対する応答を観察した。この組み合わせは恣意的に見え、ポリセマンティシティの印象的な例となった。
ポリセマンティシティとは、一つのユニットが一見無関係に見える複数の概念に応答する状態を指す。スーパー・ポジションはその説明の一つを提示する。ネットワークは、利用可能な次元数を超える特徴を、その表現を重ね合わせることで表すというものだ。スパースな特徴は、互いに干渉することが少なければ容量を共有できる。
Cammarataは、この解釈の形成に寄与した2020年の回路研究の共著者でもある。その経緯は、同氏の立場の転換に特別な重みを与える。同氏は、自身の以前の立場にも影響した証拠を再検討している。
新たな解釈は視覚的構造から始まる。猫の顔と車の前部には、しばしば似たV字型の幾何学的形状が含まれる。したがってこのニューロンは、無関係な二つの物体カテゴリーを保存するのではなく、有用な構成を検出している可能性がある。
この違いは小さく聞こえるが、ニューロンが何を表現しているかを変える。猫と車のユニットは、恣意的な概念の詰め込みを示唆する。V字形状の検出器は、共有構造を持つ例の間での通常の視覚的汎化を示唆する。
Cammarataは、以前の研究にあった別の回路にも同様の精査を適用している。その回路は、車に関する情報を複数の犬関連ニューロンへ広げているように見えた。研究者はこのパターンを、高次元の組み合わせに隠された情報と解釈した。
新しいエッセイは、下流には想定された隠れたコードを読み取るものがないと論じる。Cammarataはいま、このパターンを通常の合成と汎化として扱っている。同氏は、期待されるスーパー・ポジション構造を持つ、公開済みの実ネットワーク回路をほかに見つけていないと述べている。
これはスーパー・ポジションの数学的反証ではない。二つ目の文書化された回路がないことは、観測の限界を反映している可能性がある。しかし、一つの初期事例を現代のネットワークの代表として扱うことの修辞的な説得力は弱まる。
アーキテクチャもこの議論に加わる。InceptionV1の最終層は、かつて特に解釈が難しいように見えた。Cammarataは、その混乱の多くをアーキテクチャ上のボトルネック、後段層でのオーバーフロー、誤解を招く画像を生成した可視化手法に帰している。
同氏は、92,000、706万、2,860万のパラメータを持つConvNeXt画像モデルを再学習させた。これはおよそ300倍の規模差に相当する。同氏によれば、モデルはこれらの規模を通じて概して解読可能なままだった。
エッセイはさらに、通常のアーキテクチャ改善により、改訂された設定では最終層ニューロンの99%から100%が容易に解釈可能になったと報告している。Cammarataによれば、中心的な比較ではモデルサイズと学習データは一定に保たれた。
この結果は、容量圧力に関する異なる説明を支持する。ニューロンが少ない場合、モデルは一つのニューロンが複数の種類の車を扱うような、より広いカテゴリーを学ぶかもしれない。余地が大きくなれば、そうした広いカテゴリーはより狭い専門的なものに分離できる。
この過程では、ネットワークが無関係な概念を一緒に隠す必要はない。これは、容量が拡大するにつれて分類体系がより詳細になることに似ている。カテゴリーは計算上の履歴を通じてつながり続ける。
Cammarataはこの過程を再帰的汎化と呼ぶ。ニューロンは一貫した役割から始まり、その後、綴り、形状、文脈、回路機能を通じてつながる分岐を獲得する。したがって見かけ上の混合にも、内的な系譜がありうる。
ある言語の例は、関連する語尾につながり、最終的にMiyazakiという名前へ至る文字断片から始まる。表面的な検査では、その活性化は無関係に分類されるかもしれない。層を追うと、次第に具体化する認識の構造化された連鎖が明らかになる。
中心的な転換は、技術的であると同時に歴史的でもある。研究者をニューロンから遠ざけた事例が、いまや直接的なニューロン研究を支持する可能性がある。学習済みネットワークを変えずとも、より良い観測が解釈を変える。
Nick Cammarataのスーパー・ポジションへの異議は、こうした再分析によっても成否が左右される。他の研究者が再現できれば、この分野はその代表的事例が実際に何を示していたのかを再考しなければならない。再現できなければ、ニューロンに対する当初の慎重論は正当化され続けるだろう。
Nick Cammarataのスーパー・ポジションへの異議はスパース・オートエンコーダーを標的にする
主な対立は、モデル固有の機構を研究することと、その活性化を新たな特徴辞書へ分解することの間にある。
スーパー・ポジション研究が影響力を得たのは、個々のニューロンが説明の単位としてしばしば信頼できないように見えたためだ。研究者はスパース・オートエンコーダー、すなわちSAEで対応した。これらの補助モデルは、ほとんどが非活性のより大きな特徴集合を用いてニューラル活動を再構成する。
この手法は、密な活性化をより解釈しやすい構成要素の一覧へ変えることを目指す。これは、ネットワークが利用可能な次元数より多くのスパースな特徴を表現できることを示したトイモデルの証拠と密接に関連している。これらの実験は、制御された条件下でスーパー・ポジションの明確な機構を示している。
Cammarataは、トイモデルが無用だとは主張していない。同氏の異論は、単純化された設定から学習済みネットワークへの転用に関するものだ。設計された環境で現れる機構が、現代の言語モデルを必ずしも支配するとは限らない。
同氏はまた、抽出された特徴辞書がモデル本来の組織を保存しているのかにも疑問を呈している。あらゆる再構成には、スパース性、特徴数、学習データ、許容誤差に関する選択が伴う。得られる特徴は理解可能であっても、元の計算から離れている可能性がある。
研究者が再構成を主な研究対象として使う場合、この懸念はさらに深刻になる。SAEは有用なパターンを明らかにできる一方、正確な挙動に必要な情報を取りこぼす可能性がある。また、一つの本来の機構を複数の学習済み特徴に分割することもある。
Anthropicは、スパース表現を用いて言語モデル内部の概念をマッピングしてきた。同社の2024年の特徴マッピング研究では、場所、人、コード、バイアス、安全性に関わる挙動に関連するパターンが特定された。後の回路研究では、抽出された特徴がモデルの計算をまたいで接続された。
Cammarataは、同等の回路をQwen3-32B本来のニューロンから回復できる場合があると論じる。同氏の事例は、ニューロン群の間で情報を追跡し、それらを除去した後の変化を測定している。これは、分解が常に必要な最初の手順ではないことを示す証拠として提示されている。
意見の対立は、単純にニューロン対特徴量という構図ではない。両陣営とも活性化の例、因果的介入、自動ラベリング、回路分析を用いている。本当の問いは、どの表現を優先するかにある。
分解を先行させる研究者は、ネイティブの活性化を絡み合ったものとみなし、よりクリーンな基底を探す。一方、Cammarataはネイティブのモデルそのものを主要な科学的対象と捉える。追加の表現を用いるのは、直接的な調査によって明確な必要性が確認された後に限るべきだという立場だ。
この違いは、誤差の扱いにも影響する。再構成された回路には、特徴集合が取りこぼす挙動を説明するための誤差項が必要になる場合がある。ネイティブなニューロン回路には再構成損失がないが、人間による説明がなお不完全だったり誤っていたりする可能性は残る。
スケーラビリティにも影響する。自動化があっても数百万個のニューロンをマッピングすることは途方もなく見える。だがスパース辞書にはさらに多くの特徴量が含まれることがあり、それぞれにラベル付け、評価、下流の挙動との接続が必要となる。
Cammarataは、AI研究エージェントがこの方程式を変える要因だと考えている。エージェントはニューロンのラベルを提案し、テストを生成し、アトリビューショングラフを調べ、失敗した説明を改訂できる。人間の研究者は、異例のメカニズムや見解が分かれる事例に集中できるようになる。
OpenAIは2023年、GPT-4にGPT-2のニューロンを説明させることで、関連する方向性を探った。同社のニューロン自動研究では、モデル全体にわたり説明を生成して採点した。OpenAIは、特に大規模モデルや後段の層で、大半の説明のスコアが低かったと報告している。
Cammarataは、この経緯を、ニューロンが単に雑然としているという話とは異なる形で解釈する。彼によれば、従来の手法ではしばしば、シミュレーターに正確な活性化を予測させていた。この種の採点は、ニューロンの主要な役割にはほとんど関係しない弱い細部を説明が取りこぼした場合にも、不利に働きうる。
Attentionは別の複雑さを生む。ある主語に関連するニューロンが句読点の近くで発火するのは、attention headがそこへ文脈情報を配置したためかもしれない。ニューロンが首尾一貫した回路上の機能を持っていても、シミュレーターは説明を不正確だと判断する可能性がある。
そのためCammarataは、複数の形式の証拠を重視する。高活性化の例、生成された反例、出力重み、接続されたニューロン、学習チェックポイント、介入などだ。単一の指標で説明の正しさを決めることはできない。
この広範なプロセスは、辞書の構築というより実験生物学に近い。研究者は構成要素について仮説を立て、それを摂動させ、接続された構造を調べ、説明を洗練させる。Cammarataは、周囲の地図が埋まるにつれ首尾一貫性が現れると論じる。
彼が好む比喩は、結び目ではなく都市だ。都市は地図なしには混乱して見えるが、地区や道路には相互に関連した役割がある。都市を抽象的な断片に切り分けると、理解可能にしている組織構造が見えなくなるかもしれない。
彼の説明が支持を集めても、スパースオートエンコーダーが消えるわけではない。大規模な活性化空間を探索したり、望むパターンを分離したりするうえで有用であり続ける可能性がある。圧力がかかるのは、計算を研究する前に研究者がすべてのネットワークを解きほぐさなければならない、という主張だ。
Nick Cammarataによる重ね合わせへの異議のより強い版は、ネットワークが組織化の大部分をすでに実行しているとする。そうなると解釈可能性は、回復の問題ではなくマッピングの問題になる。これは研究努力の相当部分をネイティブ回路へ振り向けることになるだろう。
独立した再検証が見出しの数値に圧力をかける
初の公開再検証はニューロンレベルの構造を一定程度支持したが、より厳格な定義の下ではGoodfireの90%という数値を再現していない。
独立研究グループのIRSIは、公開直後にこのエッセイの複数の主張を検証した。同グループの事前登録済み再検証では、Goodfireの要約、Qwen3-32Bのニューロン、ランダムな方向、意図的に混合したユニットを評価した。
3つのAI分類器が、Qwen3-32Bの500ニューロンについてGoodfireが記した説明をレビューした。8つの層グループ間で結果を均衡化した後、多数決では説明された極性の78.3%が、主な役割を1つ持つと分類された。報告された95%区間は75.5%から81.1%だった。
この結果はGoodfireによる約90%の推定を下回るが、ほぼゼロへの崩壊を意味するものではない。外部の分類プロセスでも、意味的な首尾一貫性が頻繁に現れることを示唆している。同時に、評価者が異なる基準を使うと結果が大きく動くことも示している。
IRSI独自のダッシュボードベースのラベラーは、より厳しい結果を出した。ランダムに抽出したニューロンのうち、1つの役割を持つユニットと判定したのは57%から65%だった。同じシステムでは、Goodfireがキュレーションしたギャラリーのニューロンの約70%をそのように分類した。
調査者らは、自分たちの計測器がGoodfireより厳しい基準を用いている可能性が高いと警告した。また、この手順は、埋め込まれた2役割の混合ユニットのおよそ5分の1を1役割のユニットとして誤分類した。こうした誤りのため、どちらの推定が現実に近いかについて明確な結論を出すことはできない。
ランダムな方向との比較では、証拠は一様ではなかった。より大きな事後的サンプルでは、ランダムなニューロンの65%が1役割ラベルを受けたのに対し、ランダムな方向では31%だった。この34ポイントの差は、研究者が事前に設定した閾値を上回った。
ただし、事前登録済みのサンプルに含まれたニューロンは48個にすぎなかった。その26ポイントの差は、30ポイントの閾値に届かなかった。より大きなサンプルは示唆的な支持を提供するが、事前登録済みの確認とは見なされない。
層の位置は結果をさらに複雑にした。ある事後分析では、初期層においてランダムなニューロンとランダムな方向の1役割率は似通っていた。この区別はモデル内の別の場所でより明確になった。
これらの知見は、明快な解釈可能性の割合を示すことの難しさを露呈している。研究者は、どの活性化を数えるのか、関連する下位機能をまとめるべきか、負と正の極性に別々のラベルを与えるべきかを決めなければならない。どの選択も結果に影響する。
自動採点者は別の不確実性を加える。大規模言語モデルは、ノイズの多いパターンについて流暢な説明を作り出せる。また、よく知られたカテゴリに収まらない有効な構造を却下する可能性もある。
再検証の一部ではブラインド化が不完全だった。ある分類器は、ニューロンのダッシュボードとランダム方向のダッシュボードを、約0.85のAUCスコアで区別できた。一部のAIラベラーは事前登録も確認していたが、確認していないものもあった。
Goodfireが公開したギャラリーは、別の選択上の問題を生む。このエッセイは、2つのモデルにわたりランダムに選んだ1,000件の調査を記述している。しかし要約を読む外部評価者は、測定パイプライン全体を独立して再現しているわけではない。
この監査が測るのはニューロンの極性であり、モデル全体の理解ではない。モデルには個別に首尾一貫したユニットが含まれていても、説明が難しい相互作用に依存している可能性がある。Attention、残差ストリーム、非線形ゲート、分散回路は、ニューロンレベルを超えた複雑さを生み出しうる。
読みやすい構成要素が、安全なシステムを保証するわけではない。エンジニアは、特定の判断時にどの回路が重要かを特定する必要がある。それらの回路が、プロンプト、言語、ファインチューニング、デプロイ条件によってどう変化するかも判断しなければならない。
90%のニューロンという洞察も、欺瞞や危険な計画が明白なラベルの下に現れることを証明するものではない。危険な挙動は、見慣れない回路に配置された通常の構成要素を通じて生まれる可能性がある。クリーンな部品から、不透明な全体が生じうる。
Cammarataはこの異論の一部を予見している。彼のエッセイは、研究者が周囲の生態系を調べるとニューロンは解釈しやすくなると論じる。接続、attentionパターン、因果的介入が、もっともらしい説明を制約する。
これは研究プログラムであり、完成済みの安全手法ではない。説得力のある説明ではなく因果的な正確さに報いる標準化評価が必要だ。また、複数のモデルファミリー、アーキテクチャ、学習レジームにまたがるテストも必要となる。
現在のエッセイは複数の論点レベルにまたがっているため、技術的な付随論文は重要になる。そのビジョンの結果、言語の例、学習理論は相互に支え合っている。しかし、それらはまだ外部チームが直接再現できる単一のベンチマークを形成していない。
したがって、懐疑的な立場も正確であるべきだ。この証拠は、このエッセイを逸話的だとして退けることを正当化しない。同時に、AI解釈可能性が解決されたと宣言することも正当化しない。
妥当な読み方は、その両極の間にある。ネイティブなニューロンは、複数のテストにおいてランダムな方向よりも構造化されているように見える。1役割ニューロンの正確な割合は、定義、サンプリング、評価方法に依然として左右される。
再帰的汎化がニューラル学習の別の理論を提示する
このより深い提案は、恣意的な特徴量の詰め込みを、関連する計算上の役割がともに成長する仕組みについての発達的説明に置き換える。
重ね合わせは、能力を主にストレージの問題として捉える。ネットワークには利用可能な次元数より多くの有用な特徴があるため、スパース表現を重ね合わせる。衝突率が低ければ、単純な1ニューロン1特徴システムより多くの情報をモデルは保持できる。
再帰的汎化は、この問題を学習ダイナミクスの観点から捉える。ニューロンは、関連する例や近傍の回路が生む勾配を通じて発達する。新たな役割は、既存の機構がすでに有用な出発点を提供している場所で形成される。
この見方では、広範な車のニューロンは、能力が増すにつれて特化した車のメカニズムへ分岐できる。スペリングパターンのニューロンは、同じ断片を共有する名前や単語のための枝を獲得できる。こうした役割には、恣意的な組み合わせではなく追跡可能な系譜がある。
Cammarataは、弱く無関係な特徴には困難な道筋があると論じる。学習損失にはほとんど寄与しないまま、高密度な弱い活性化による干渉を生き残らなければならない。対照的に、関連する拡張は確立済みの回路を再利用し、より一貫した勾配の支援を受けられる。
彼はこのプロセスを、回路レースや勾配飢餓といった概念で説明する。競合するメカニズムは、残る誤差を減らそうと競争する。ある経路が機能を学習すると、より効率の低い代替案から有用な勾配を奪うことがある。
この理論は検証可能な予測を生む。希少な事実は、衝突の可能性が低いという理由だけで選ばれた無関係な次元ではなく、その主題に関連する回路を通るはずだ。学習チェックポイントでは、意味的または機能的に接続されたメカニズムから枝が伸びる様子が明らかになるはずである。
この提案はまた、より大規模でよく学習されたモデルが、ある点ではマッピングしやすくなる可能性を予測する。より多くの能力によってニューロンは狭い役割に特化でき、周囲の回路は追加の解釈的文脈を提供する。規模は部品数を増やすが、各部品内の曖昧さを減らしうる。
この結論は一般的な直感に反する。より大きなモデルは、より多くのパラメータを含むため理解が難しいように見える。Cammarataは、作業量と作業の性質を分けて考える。
大都市には村より大きな地図が必要だ。その専門化された地区は、それでも、すべての建物が複数の役割を果たす窮屈な集落より特定しやすいかもしれない。構成要素が多いことは、必ずしも概念的な絡み合いが大きいことを意味しない。
現代のアーキテクチャも、その組織化に寄与している可能性がある。Cammarataは、より深い層の学習を助け、後段の層でのオーバーフローを防ぐ改善を強調する。こうした変更は解釈可能性のためではなくモデル性能のために採用されたが、よりクリーンな内部特化を生み出す可能性がある。
Attentionをめぐる議論はなお不完全だ。言語モデルに含まれるattention headの数は、多層パーセプトロンのニューロンよりはるかに少ない。各headは広範なルーティングパターンに関与できるため、1 head・1役割という説明はもっともらしくない。
残差ストリームは、多数のコンポーネントからの寄与を組み合わせるため、別の課題をもたらす。コヒーレントなニューロンは、複数のシグナルが相互作用する共有空間へ書き込むことができる。ネイティブニューロンを理解しても、そうした複合表現を研究する必要がなくなるわけではない。
再帰的汎化では、意味のある系譜と後付けの物語も区別しなければならない。研究者は、二つの概念を並べて見た後で、それらの間につながりを作り出せることが多い。強い証拠には、予測、ホールドアウトテスト、因果介入が必要となる。
学習チェックポイントは有望な経路の一つを提供する。二つの機能が本当に発達上の履歴を共有しているなら、研究者はその分岐が時間とともに形成される様子を観測できるはずだ。その系列は、恣意的な説明が予測するよりも高い頻度で、学習ランごとに再現されるべきである。
モデル横断の比較も別の検証となる。異なるシードで学習された類似タスクでは、個々のニューロンが完全には対応しなくても、関連する計算モチーフが生じるはずだ。繰り返し現れる構造は、学習がメカニズムを予測可能な形で組織化するという主張を強める。
この理論には敵対的な事例も必要だ。研究者は、慎重に調査しても最も強い機能同士が無関係のままであるニューロンを、意図的に探すべきだ。こうした失敗は、再帰的汎化の終点と真のスーパー・ポジションの始点を明らかにする。
Cammarataは対立する見方に厳しい課題を突きつける。実際のネットワーク内で、説得力のあるスーパー・ポジション回路を見つけることだ。その回路は無関係な機能を詰め込み、下流の機構がその複合表現を読み取ることを示す必要がある。相関だけでは不十分である。
同じ基準は、クリーンネットワーク仮説にも適用されるべきだ。説得力のある説明は、そのラベルを作るために使われた例を超えて、活性化と介入を予測しなければならない。関連する接続を特定し、それを反証するために設計されたテストにも耐える必要がある。
再帰的汎化が成り立つなら、研究者が得るのは明瞭な図解だけではない。解釈可能性と学習を結ぶ理論を得ることになる。そのつながりにより、完成したモデルを検査するだけでなく、望ましくないメカニズムがどのように形成されるかをエンジニアが監視できるようになるかもしれない。
より限定的な介入も可能になるかもしれない。チームは、有害な回路を生み出す環境、データセットのパターン、あるいは強化シグナルを特定できる可能性がある。その後、解釈可能性ツールをすべて再学習させることなく、その源を調整できる。
こうした可能性は、なお下流の含意にとどまる。現時点の証拠が支持するのは、導入保証ではなく、焦点を絞った実験である。企業の購入担当者や開発者は、読み取り可能なニューロンという主張を安全性の証明書として扱うべきではない。
ナレッジワーカーにとって、直接性は低いものの、目先の関連性は実在する。モデル提供者は、信頼、監査、ガバナンスを支えるために、解釈可能性に関する主張をますます用いている。購入者は、それらの主張が相関を説明しているのか、因果回路を説明しているのか、あるいは行動を包括的にカバーしているのかを知る必要がある。
Nick Cammarataのスーパー・ポジションへの挑戦は、その区別を鮮明にする。モデル固有の組織構造を改めて検討する価値があることを示唆している。ただし、それらのメカニズムが実際に何をするのかを検証する義務をなくすものではない。
この挑戦が成り立つかを決める三つのシグナル
次の段階では、野心的な作業仮説を、再現可能な測定、競合する説明、モデルレベルの安全性テストへと転換すべきだ。
第一のシグナルは、言語モデルのニューロンに関する予定された技術論文である。そこでは、サンプリング、閾値、自動化エージェントへのプロンプト、介入手法、失敗事例を記録する必要がある。コードと活性化データを公開すれば、独立したチームがQwen3-32Bの分析を再実行できる。
事前に規定された複数の定義で90%近い結果が得られれば、中心的な主張は強まる。妥当な定義の間で大きなばらつきが見られれば、注目は見出しの割合から、ネイティブニューロンがランダムな方向を上回るという、より限定的な発見へ移るだろう。
論文では、Goodfireが1,000件のニューロン調査をどのように選び、評価したのかも明確にしなければならない。ランダムサンプリングは、層や活性化密度をまたいで再現可能であるべきだ。負の極と正の極には、一貫した扱いが必要となる。
第二のシグナルは、アーキテクチャをまたぐ独立した再現実験である。研究者は、異なる組織が学習したモデルを含め、密な言語モデルとMixture-of-Experts言語モデルを検証すべきだ。視覚モデルでの結果だけでは、Transformer回路が言語や推論をどのように表現するかを決着させられない。
再現実験には、旧世代と新世代の両方のモデルを含めるべきである。アーキテクチャの改善がよりクリーンなニューロンを説明するなら、その差は体系的に現れるはずだ。研究者は、特定の設計変更を測定可能な解釈可能性の向上に結びつけられるべきである。
モデル横断の実験は、スケールも検証できる。Cammarataは、後続の研究で詳細を示すとして、Kimi K3を含む数兆パラメータ規模のモデルでも類似のパターンを報告している。外部からの確認により、こうした組織化が一つのQwenモデルを超えて持続するかが分かるだろう。
第三のシグナルは、ネイティブニューロンによる説明と分解優先の説明との直接対決である。両アプローチは、同じホールドアウトプロンプトを使って同じ挙動を分析すべきだ。評価者は、因果的忠実度、再構成誤差、カバレッジ、研究コストを比較する必要がある。
有用なベンチマークには、一般的な知識、多言語処理、長い推論、拒否行動、敵対的プロンプトを含めるべきだ。標的を定めた介入を予測できる説明を評価すべきである。自然言語としてもっともらしいことだけで結果を決めてはならない。
ネイティブニューロンは、より少ない誤差と補助的な仮定で回路を説明できれば、信頼性を高めるだろう。ニューロンレベルの分析が見落とす因果構造をスパース表現が一貫して明らかにするなら、その優位性は維持される。
研究者はハイブリッド手法も調べるべきだ。ネイティブニューロンが主要な地図を定義し、スパース特徴が残差ストリーム内の異常な活動の位置特定を助ける可能性がある。証拠は、一つの普遍的表現ではなく、役割分担を支持するかもしれない。
安全性評価は、依然として最も難しい検証である。手法は、コーパス内で頻出するパターンだけでなく、まれな挙動や敵対的な挙動の際に重要となるメカニズムを検出しなければならない。実運用条件下で重要な回路が見えないままであれば、クリーンなニューロンラベルにはほとんど意味がない。
公開討論では、早すぎる二つの結論を避けるべきだ。一つは、90%という推定値がブラックボックス問題を解決したというもの。もう一つは、独立した検証でより低い結果が出れば、提案全体が無意味になるというものだ。
より重大な可能性は、その中間にある。解釈可能性の研究者は、モデル自身のニューロンの価値を過小評価し、普遍的な分解の必要性を過大評価してきた可能性がある。この偏りを正せば、実験、ツール、資金配分の優先順位が変わるだろう。
Cammarata自身の見解転換は議論に勢いを与えるが、権威だけで決着をつけることはできない。回路研究における彼の以前の役割は、この批判を歴史的に重要なものにしている。新たな説明が勝つかどうかは、再現可能な因果的証拠によって決まらなければならない。
開発者は、まず関連論文、次にモデル横断の再現実験、そして回路ベンチマークの直接比較を、この順で注視すべきだ。これらのシグナルを合わせれば、説得力のある研究エッセイと、AI解釈可能性における持続的な転換を区別できる。
実務上の問いは今や明確だ。独立したチームは、既存の特徴分解よりも優れた形で、ネイティブニューロンを使ってモデルの挙動を予測し制御できるのか。できるなら、Nick Cammarataのスーパー・ポジションへの挑戦はエンジニアリングプログラムになる。できなければ、90%のニューロンという洞察は、モデル安全性の新たな基盤ではなく、測定に関する貴重な警告として残る。
