Nick Cammarata 对叠加挑战的核心是一项 90% 神经元主张

Nick Cammarata 以一项引人注目的估计挑战了叠加理论：在抽样的 Qwen3-32B 神经元极点中，约 90% 只有一项主要职责。他在 2026 年 10 月发表的文章认为，神经网络的组织程度远高于可解释性研究人员此前的假设。然而，这一数字来自初步审计，而早期独立复测得出了更低的结果。

这场争议不止关乎某一个百分比。Cammarata 表示，研究人员误读了那些帮助确立叠加理论、并将其作为解释复杂神经行为核心理论的案例。他转而提出递归泛化：相关功能源于共享的计算角色，而非被任意塞进同一个单元。

这一主张直接挑战了将模型活动分解为更清晰特征的研究策略。OpenAI 和 Anthropic 已为此开发自动化解释、稀疏自编码器和电路追踪方法。Cammarata 的替代路径从模型原生神经元出发，追问所谓的混乱是否只是工具有限所致。

这项 90% 主张改变了起始假设

关键变化不在于某项可解释性评分有所提升，而在于 Cammarata 希望研究人员重新从原生神经元出发。

Cammarata 将其时长 65 分钟的研究文章称为工作假设，而非同行评审论文。文章结合了新实验、交互式可视化、历史性重新解读，以及关于神经网络如何自我组织的更广泛理论。

他对 Qwen3-32B 进行的初步审计聚焦于神经元极点。极点是神经元的一个方向性侧面，涵盖强烈正向或强烈负向活动。这一区分很重要，因为两个方向可能支持不同的计算效应。

Goodfire 的估计认为，约 90% 的受检极点拥有一项主要职责。据称约 7% 有两项相关职责，另有 2% 至 4% 仍无法解释。Cammarata 明确表示，这些百分比取决于阈值、模型深度、电路密度以及对“一项职责”的定义。

因此，这项分析并未证明每个模型的 90% 都已得到充分理解。它也没有显示研究人员能从单个神经元预测所有行为，更未将可解释性变成一个已经解决的问题。

相反，这一数字支持了一个更有限的命题：当研究人员借助更好的工具检查强激活时，大多数抽样神经元极点似乎围绕某个连贯功能组织。较小的相关分支可以存在，而不意味着不相关概念被任意组合在一起。

Cammarata 报告称，他为 Qwen3-32B 的一个神经元检查了 1 亿个 token。只有约 160 个 token 达到了其激活范围较强的一半。他据此认为，弱活动不应与神经元最强响应具有同等的解释权重。

这种选择造成了方法论分歧。关注主导性因果行为的研究人员，可能会将微弱激活视为影响不大的残留而忽略；另一位研究人员则可能将同样的活动视为隐藏次级功能的证据。

文章还展示了针对 Qwen3-32B 和 Qwen3.6-35B-A3B 的 1,000 项随机抽取神经元研究。这些报告检查激活语境、输出效应、连接和干预，旨在超越仅依据相关文本示例作出的标签。

其中一个展示的电路将多个 Qwen3-32B 神经元连接到与诊断相关的回答。据称，移除一个小型神经元组会改变模型的下一项诊断猜测。其他示例则将神经元与回答中的保留表达、用户信心以及具有特定文化背景的关联联系起来。

这些干预比单独的标签更具信息量。一个围绕某个主题激活的神经元，可能只是与另一个过程相关；改变它并衡量输出，能够提供其参与计算的证据。

不过，局部因果证据并不会自动验证完整的 90% 估计。这一图库只覆盖了 Qwen3-32B 内部单元中的极小一部分。其解释也部分依赖自动化代理对语义连贯性作出的判断。

Cammarata 还承认另一项限制：涵盖语言模型工作的技术配套论文尚未提供完整实验说明。公开文章提供了相当多的证据，但其中混合了有据可查的发现与更大的推测。

这一差异应当引导读者如何理解标题。Nick Cammarata 对叠加理论的挑战，是一项由实验支持的严肃研究提案。它仍是对主流图景的挑战，而非已经确立的替代方案。

为什么著名的猫与汽车神经元很重要

Cammarata 的论证取决于证明可解释性研究误解了其最知名的案例，而不只是从较新的模型中找到更清晰的神经元。

一个重要例子是 InceptionV1——一个早期图像分类网络——中的神经元 4e:55。研究人员观察到它会对猫脸和汽车前脸作出响应。这种组合看似任意，因此成为多义性的一个令人印象深刻的案例。

多义性描述的是一个会对数个表面上无关概念作出响应的单元。叠加提供了一种解释：网络通过重叠表示来表达比可用维度更多的特征。当稀疏特征很少相互干扰时，它们可以共享容量。

Cammarata 是 2020 年电路研究的共同作者，该研究帮助塑造了这一解读。这段经历让他的立场转变格外有分量。他正在重新审视那些影响了自己早期立场的证据。

他的新解读始于视觉结构。猫脸和汽车前脸往往具有相似的 V 形几何结构。因此，该神经元或许检测的是一种有用构型，而非存储两个无关的物体类别。

这种差异听起来很小，但它改变了神经元所代表的内容。一个猫与汽车单元意味着任意的概念打包；一个 V 形检测器则意味着在具有共享结构的示例之间进行常规视觉泛化。

Cammarata 将类似的审查应用于早期工作中的另一条电路。该电路似乎将汽车信息分散至多个与狗相关的神经元中。研究人员将这种模式解读为隐藏在高维组合中的信息。

新文章认为，下游没有任何部分读取这段所谓的隐藏编码。Cammarata 现在将这一模式视为普通的组合与泛化。他说，自己尚未发现另一条已发表的、具有预期叠加结构的真实网络电路。

这并非对叠加理论的数学证伪。缺少第二条有记录的电路，可能只是观察有限所致。不过，这削弱了将一个早期案例视为现代网络代表的修辞力量。

架构也进入了论证。InceptionV1 的最后一层曾显得尤其难以解释。Cammarata 将其中大部分困惑归因于架构瓶颈、后续层中的溢出，以及会生成误导性图像的可视化方法。

他重新训练了参数量分别为 92,000、706 万和 2,860 万的 ConvNeXt 图像模型。这代表了约 300 倍的规模范围。他表示，这些模型在上述规模下仍大体易于理解。

文章进一步报告称，在经修订的设置中，常规架构改进使最后一层 99% 至 100% 的神经元都能被轻易解释。Cammarata 表示，核心比较中模型规模和训练数据保持不变。

这一结果支持了关于容量压力的另一种解释。神经元较少时，模型可能学习更宽泛的类别，例如一个神经元涵盖多种汽车；空间更充裕时，这些宽泛类别可以分离为更狭窄的专家单元。

这一过程不要求网络把无关概念隐藏在一起。它更像是一套分类体系随着容量扩展而变得更加细致。这些类别通过自身的计算历史保持关联。

Cammarata 将这一过程称为递归泛化。一个神经元始于连贯的角色，随后获得通过拼写、形状、语境或电路功能相连的分支。因此，一个表面上的混合体可以拥有内在谱系。

一个语言案例从字符片段开始，连接到相关词尾，最终指向名字 Miyazaki。表面检查可能会将其激活归类为无关；沿着层级追踪，则会揭示一连串结构化、愈发具体的识别过程。

因此，这一核心转变既是历史性的，也是技术性的。那些促使研究人员远离神经元的案例，如今可能反而支持直接研究神经元。更好的观察改变了解读，而无需改变经过训练的网络。

Nick Cammarata 对叠加理论的挑战能否成立，部分将取决于这些重新分析。如果其他研究人员能够复现它们，该领域就必须重新思考其经典案例究竟证明了什么；如果无法复现，针对神经元的原有谨慎态度仍将合理。

Nick Cammarata 对叠加理论的挑战瞄准稀疏自编码器

核心竞争在于：是研究模型的原生机制，还是将其激活分解为一套新的特征词典。

叠加研究之所以获得影响力，是因为单个神经元常常看似无法作为可靠的解释单位。研究人员因此转向稀疏自编码器，即 SAE。这些辅助模型使用一组更大、且大多数时间不活跃的特征来重建神经活动。

这种方法旨在将密集激活转化为更容易解释的组件列表。它与玩具模型证据密切相关，后者表明网络能够表达比可用维度更多的稀疏特征。这些实验为受控条件下的叠加提供了清晰机制。

Cammarata 并不认为玩具模型没有价值。他的异议在于，从简化环境迁移到训练后网络的过程。一个在专门设计环境中出现的机制，未必在现代语言模型中占主导地位。

他还质疑，提取出的特征词典是否保留了模型原生的组织结构。每一次重建都会涉及稀疏性、特征数量、训练数据和可接受误差等选择。由此产生的特征可能易于理解，却仍可能偏离原始计算。

当研究人员把重建结果作为主要研究对象时，这种担忧会变得更严重。SAE 可以揭示有用模式，却可能遗漏精确行为所需的信息；它也可能将一个原生机制拆分为多个习得特征。

Anthropic 已利用稀疏表示绘制语言模型内部的概念图谱。其 2024 年特征映射研究识别出涉及地点、人物、代码、偏见及安全相关行为的模式。后续电路研究则将提取出的特征连接到跨越模型计算的过程之中。

Cammarata 认为，类似的电路有时可以从原生 Qwen3-32B 神经元中恢复出来。他的示例追踪了神经元组之间的信息，并测量移除它们后发生的变化。他将其作为证据，说明分解并不总是必要的第一步。

这种分歧并不只是神经元与特征之争。双方都会使用激活示例、因果干预、自动标注和电路分析。真正的问题在于，哪一种表征应被置于优先地位。

以分解为先的研究者会将原生激活视为纠缠状态，并寻找更清晰的基底。Cammarata 则把原生模型当作主要科学研究对象。只有在直接研究发现具体需求后，他才会使用额外的表征。

这一区别会影响对误差的处理。重建出的电路可能需要用误差项解释其特征集合遗漏的行为。原生神经元电路避免了重建损失，尽管人类对它的解释仍可能不完整或有误。

它也会影响可扩展性。即使有自动化辅助，绘制数百万个神经元的地图看起来依然艰巨。然而，稀疏字典可能包含更多特征，而每个特征都需要标注、评估，并与下游行为建立关联。

Cammarata 认为，AI 研究代理是改变这一局面的关键因素。代理可以提出神经元标签、生成测试、检查归因图，并修订失败的解释。人类研究人员随后可以专注于异常机制和存在争议的案例。

OpenAI 在 2023 年探索了一个相关方向：让 GPT-4 解释 GPT-2 的神经元。其自动化神经元研究为整个模型生成并评估了解释。OpenAI 报告称，大多数解释得分较低，尤其是在更大的模型和更靠后的层中。

Cammarata 对这段历史的理解不同于“神经元很混乱”这样简单的叙述。他说，早期方法往往要求一个模拟器预测精确激活。这种评分方式可能会因为解释遗漏了对神经元主要作用影响不大的微弱细节而予以惩罚。

注意力机制带来了另一层复杂性。与某个主语相关联的神经元，可能会在标点符号附近激活，因为某个注意力头将上下文信息放置在那里。即便该神经元具有连贯的电路功能，模拟器也可能判定这一解释不准确。

因此，Cammarata 倾向于采用多种证据形式，包括高激活示例、生成的反例、输出权重、相连神经元、训练检查点和干预。没有单一指标能够决定某个解释是否正确。

这一更广泛的过程更接近实验生物学，而非字典构建。研究人员会对一个组件提出假设、扰动它、检查相连结构，并不断完善解释。Cammarata 认为，随着周边地图逐渐完善，连贯性会随之显现。

他更倾向的比喻是城市，而不是绳结。没有地图时，城市看起来可能杂乱无章，但其街区和道路服务于彼此关联的功能。将其切分为抽象碎片，反而可能掩盖让它变得可理解的组织结构。

如果他的观点获得支持，稀疏自编码器也不会消失。它们仍可用于搜索庞大的激活空间，或隔离所需的模式。真正受到挑战的是这样一种主张：研究人员必须先解开每个网络的纠缠，才能研究其计算过程。

Nick Cammarata 对叠加挑战的更强版本认为，网络本身已经完成了很大一部分组织工作。于是，可解释性变成了一个绘图问题，而不是一个恢复问题。这将把大量研究精力重新导向原生电路。

一项独立复测令核心数字承压

首次公开复测支持部分神经元层面的结构，但在更严格的定义下，未能复现 Goodfire 的 90% 数字。

独立研究团队 IRSI 在文章发表后不久检验了其中的若干主张。其预注册复测评估了 Goodfire 的摘要、抽样的 Qwen3-32B 神经元、随机方向，以及刻意混合的单元。

三名 AI 分类器审阅了 Goodfire 对 500 个 Qwen3-32B 神经元的书面描述。在八个层组之间平衡结果后，它们的多数投票将 78.3% 的已描述极性分类为具有一项主要职责。报告的 95% 区间为 75.5% 至 81.1%。

这一结果低于 Goodfire 约 90% 的估计，但并未跌至接近零。它表明，在外部分类流程下，语义连贯性经常出现。它也显示，当评估者采用不同标准时，结果会发生显著变化。

IRSI 自己基于仪表盘的标注器给出了更严格的结果。它将随机抽样神经元中的 57% 至 65% 标记为单一职责单元。同一系统则将 Goodfire 精选图库中的约 70% 神经元归为这一类别。

研究人员警告称，他们的工具可能采用了比 Goodfire 更严格的标准。他们的流程还将大约五分之一植入的双职责混合单元误分类为单一职责单元。这些错误使人们无法对哪项估计更接近现实作出明确判断。

与随机方向的比较给出了混合证据。在规模更大的事后样本中，65% 的随机神经元获得了单一职责标签，而随机方向为 31%。这 34 个百分点的差距超过了研究人员预设的阈值。

不过，预注册样本仅包含 48 个神经元。其 26 个百分点的差距未达到 30 个百分点的阈值。更大样本提供了启发性支持，但不能算作预注册确认。

层位置进一步复杂化了结果。在一项事后分析中，早期层的随机神经元和随机方向获得了相近的单一职责比例。在模型的其他位置，这一区别则更为明显。

这些发现揭示了任何简明的可解释性百分比背后的困难。研究人员必须决定哪些激活应被纳入、相关子功能是否应归为一类，以及负极和正极是否应获得独立标签。每一项选择都会影响结果。

自动评分器又增加了一层不确定性。大语言模型可以针对噪声模式生成流畅的解释。它们也可能拒绝不符合熟悉类别的有效结构。

复测的部分环节未完全实现盲法。一名分类器能够以接近 0.85 的曲线下面积得分，将神经元仪表盘与随机方向仪表盘区分开来。部分 AI 标注器也看过预注册方案，尽管其他标注器没有。

Goodfire 发布的图库带来了另一个选择问题。文章描述了对两个模型中 1,000 次随机选择调查的结果。然而，阅读这些摘要的外部评估者并未独立重建整个测量流程。

这项审计测量的是神经元极性，而不是对完整模型的理解。模型可以包含各自连贯的单元，但仍依赖难以解释的交互。注意力、残差流、非线性门控和分布式电路，都可能在神经元层面之上形成复杂性。

可读的组件并不保证系统安全。工程师仍需识别哪些电路在特定决策中发挥作用。他们必须确定这些电路如何随提示词、语言、微调和部署条件而变化。

90% 神经元这一洞见也不能证明，欺骗或不安全规划会以显而易见的标签呈现。危险行为可能通过以陌生电路方式排列的普通组件涌现。清晰的部件可以构成不透明的整体。

Cammarata 已预见到这一反对意见的一部分。他的文章认为，当研究人员研究神经元周围的生态系统时，神经元会变得更容易解释。连接、注意力模式和因果干预会约束合理解释的范围。

这是一项研究计划，而不是已完成的安全方法。它需要标准化评估，以奖励因果准确性而非具有说服力的描述。它还需要覆盖多种模型家族、架构和训练机制的测试。

技术配套论文将非常重要，因为当前文章跨越了多个论证层面。其视觉结果、语言示例和学习理论彼此支持，但尚未构成一个外部团队可直接复现的单一基准。

因此，怀疑立场应保持准确。现有证据不足以将这篇文章斥为轶事，也不足以宣布 AI 可解释性已经得到解决。

合理的解读介于这两个极端之间。在多项测试中，原生神经元似乎比随机方向更具结构性。单一职责神经元的确切比例，仍然对定义、抽样和评估方法高度敏感。

递归泛化为神经学习提供了不同理论

这一更深层的提议以一种发展性解释取代任意的特征打包：相关计算角色如何共同成长。

叠加主要将容量视为一个存储问题。网络拥有的有用特征多于可用维度，因此会重叠稀疏表征。较低的碰撞率使模型能够保留比简单的一神经元一特征系统更多的信息。

递归泛化则围绕学习动力学来界定问题。神经元通过相关示例和邻近电路产生的梯度而发展。新的角色会在现有机制已提供有用起点的位置形成。

在这一视角下，随着容量增长，一个宽泛的汽车神经元可以分化为专门的汽车机制。一个拼写模式神经元可以为共享相同片段的名称或词语获得分支。这些角色具有可追溯的谱系，而不是任意配对。

Cammarata 认为，微弱且无关的特征面临艰难的路径。它们必须在密集的微弱激活干扰中存活，同时对训练损失贡献甚微。相关的扩展则可以复用既有电路，并获得更一致的梯度支持。

他使用电路竞速和梯度饥饿等概念来描述这一过程。相互竞争的机制竞相减少剩余误差。一旦某条路径学会一项功能，它就可能剥夺效率较低替代方案的有效梯度。

这一理论产生了可检验的预测。罕见事实应通过与其主题相关的电路传播，而不是穿过仅因碰撞概率较低而被选中的无关维度。训练检查点应显示，分支从语义上或功能上相连的机制中生长出来。

该提议还预测，更大、训练更充分的模型在某些方面可能更容易绘制地图。更大的容量允许更狭窄的神经元，而周边电路提供额外的解释性上下文。规模增加了部件数量，但可以减少每个部件内部的歧义。

这一结论违背了常见直觉。更大的模型似乎更难理解，因为它们包含更多参数。Cammarata 将工作量与工作的性质区分开来。

一座大城市需要比村庄更大的地图。它的专业化街区仍可能比拥挤的聚居地更容易识别，后者的每栋建筑都承担多种功能。更多组件并不必然意味着更多概念纠缠。

现代架构可能有助于形成这种组织。Cammarata 强调了有助于更深层学习并防止后层溢出的改进。这些变化是为模型性能而采用，并非为了可解释性，但它们可能产生更清晰的内部专业化。

围绕注意力机制的论证仍不完整。语言模型的注意力头数量远少于多层感知机神经元。每个注意力头都可能参与广泛的路由模式，因此“一头一职责”的描述不太可信。

残差流带来了另一项挑战，因为它们汇集了众多组件的贡献。一个连贯的神经元可以写入多个信号相互作用的共享空间。理解原生神经元，并不能消除研究这些组合表征的必要性。

递归泛化还必须区分有意义的谱系与事后叙事。研究人员在看到两个概念同时出现后，往往可以构建出二者之间的联系。强有力的证据需要预测、留出测试和因果干预。

训练检查点提供了一条颇具前景的路径。如果两种功能确实共享发展历史，研究人员应能观察到该分支随时间形成。这一序列应在多次训练运行中重复出现，其频率高于任意解释所预测的结果。

跨模型比较提供了另一项检验。在不同随机种子下训练的相似任务，应产生相关的计算模式，即使单个神经元无法精确对齐。反复出现的结构将强化这样一种主张：学习会以可预测的方式组织机制。

该理论还需要对抗性案例。研究人员应专门寻找那些在仔细调查后，其最强功能仍彼此无关的神经元。这些失败案例将揭示递归泛化的边界，以及真正的叠加从何处开始。

Cammarata 向相反观点提出了一项严苛挑战：在真实网络中找到一个令人信服的叠加电路。这样的电路应封装彼此无关的功能，并显示下游机制正在读取这一组合表征。仅有相关性并不足够。

同样的标准也应适用于“干净网络”论点。一个令人信服的解释必须能够预测超出用于形成其标签的示例之外的激活和干预结果。它应识别相关连接，并经受住旨在证伪它的测试。

如果递归泛化成立，研究人员获得的不只是更清晰的图示。他们将得到一套把可解释性与训练联系起来的理论。这种联系或许能让工程师监测不受欢迎的机制如何形成，而不只是检查已经完成训练的模型。

它还可能带来更精细的干预。团队可以识别滋养有害电路的环境、数据集模式或强化信号，然后在不重新训练每一种可解释性工具的情况下调整该来源。

这些可能性仍属于后续影响。当前证据支持的是有针对性的实验，而非部署保证。企业买家和开发者不应把“可读神经元”的主张视作安全认证。

对于知识工作者而言，其即时关联虽属间接，却真实存在。模型提供商越来越多地利用可解释性主张来支撑信任、审计与治理。买家需要了解，这些主张描述的是相关性、因果电路，还是全面的行为覆盖。

Nick Cammarata 对叠加的挑战强化了这一区分。它表明模型的原生组织方式值得重新审视。但这并不免除检验这些机制实际作用的责任。

三项信号将决定这一挑战是否成立

下一阶段应将雄心勃勃的工作假设转化为可复现的测量、竞争性解释和模型级安全测试。

第一个信号是即将发布的关于语言模型神经元的技术论文。它应记录采样方法、阈值、自动化代理提示词、干预方法和失败案例。发布代码与激活数据，将使独立团队能够重新运行对 Qwen3-32B 的分析。

若在多个预先规定的定义下得到接近 90% 的结果，将强化核心主张。若合理定义之间的结果差异很大，关注点将从这一醒目的百分比转向更狭义的发现：原生神经元优于随机方向。

论文还必须说明 Goodfire 如何选择和评估这 1,000 项神经元调查。随机采样应能在不同层和不同激活密度下复现。负极与正极需要得到一致处理。

第二个信号是跨架构的独立复现。研究人员应测试稠密语言模型和混合专家语言模型，包括由不同组织训练的模型。仅凭视觉结果无法解决 Transformer 电路如何表征语言和推理的问题。

复现应涵盖较旧和较新的模型。如果架构改进能够解释更干净的神经元，这种差异就应系统性地出现。研究人员应能将具体设计变更与可测量的可解释性提升联系起来。

跨模型实验也可以检验规模效应。Cammarata 报告称，在参数量达到数万亿的模型中也观察到类似模式，其中包括 Kimi K3，但细节留待后续工作披露。外部确认将表明，这种组织方式是否能超越单一 Qwen 模型而持续存在。

第三个信号是原生神经元解释与分解优先解释之间的直接较量。两种方法都应使用相同的留出提示词分析相同行为。评估者应比较因果保真度、重构误差、覆盖范围和研究成本。

一个有用的基准应包括一般知识、多语言处理、长链推理、拒答行为和对抗性提示词。它应奖励能够预测定向干预结果的解释。自然语言上的合理性不应单独决定结果。

如果原生神经元能以更小误差和更少辅助假设解释电路，其可信度将提升。如果稀疏表征能够持续揭示神经元层面分析遗漏的因果结构，它们仍将保有优势。

研究人员也应检视混合方法。原生神经元或许可以定义主地图，而稀疏特征有助于定位残差流中的异常活动。证据可能支持劳动分工，而非某一种通用表征。

安全评估仍是最艰难的检验。一种方法必须检测在罕见或对抗性行为中至关重要的机制，而不只是语料库中的高频模式。如果关键电路在部署条件下仍不可见，干净的神经元标签意义不大。

公共讨论应避免两个为时过早的结论。其一是认为 90% 的估计已经解决了黑箱问题。其二是认为较低的独立结果使整个提案失去意义。

更具影响力的可能性介于二者之间。可解释性研究人员或许低估了模型自身神经元的价值，同时高估了对通用分解的需求。纠正这种偏差将改变实验、工具和资金优先级。

Cammarata 的个人立场转变为这场辩论注入了动力，但权威无法定论。他早期在电路研究中的角色，使这项批评具有重要的历史意义。可复现的因果证据必须决定这一新说法能否胜出。

开发者应按顺序关注配套论文、跨模型复现以及正面比较电路基准。这些信号结合起来，能够区分一篇引人入胜的研究文章与 AI 可解释性的持久转向。

实际问题如今已经明确：独立团队能否利用原生神经元，比现有特征分解更好地预测和控制模型行为？如果可以，Nick Cammarata 对叠加的挑战将成为一项工程计划。如果不能，这一 90% 的神经元洞见仍将是关于测量的重要警示，而非模型安全的新基础。