O desafio à superposição de Nick Cammarata se baseia em uma alegação de 90% dos neurônios

Nick Cammarata desafiou a teoria da superposição com uma estimativa marcante: cerca de 90% dos polos de neurônios amostrados do Qwen3-32B têm uma função principal. Seu ensaio de outubro de 2026 argumenta que as redes neurais são muito mais organizadas do que os pesquisadores de interpretabilidade supunham. Ainda assim, o número vem de uma auditoria preliminar, e um teste independente inicial produziu um resultado menor.

A disputa vai além de uma única porcentagem. Cammarata afirma que os pesquisadores interpretaram mal os exemplos que ajudaram a estabelecer a superposição como explicação central para comportamentos neurais confusos. Em vez disso, ele propõe a generalização recursiva, em que funções relacionadas crescem a partir de um papel computacional compartilhado, em vez de serem agrupadas arbitrariamente.

Essa alegação desafia diretamente estratégias de pesquisa baseadas em decompor a atividade dos modelos em características mais claras. OpenAI e Anthropic desenvolveram explicações automatizadas, autoencoders esparsos e métodos de rastreamento de circuitos para essa tarefa. A alternativa de Cammarata parte dos neurônios nativos do modelo e pergunta se a suposta desordem decorreu de ferramentas limitadas.

A alegação de 90% muda a premissa inicial

A mudança importante não é a melhoria em uma pontuação de interpretabilidade, mas o fato de Cammarata querer que os pesquisadores comecem novamente pelos neurônios nativos.

Cammarata chama seu ensaio de pesquisa de 65 minutos de hipótese de trabalho, e não de artigo revisado por pares. Ele combina novos experimentos, visualizações interativas, reinterpretação histórica e uma teoria mais ampla sobre como as redes neurais se organizam.

Sua auditoria preliminar do Qwen3-32B concentra-se nos polos de neurônios. Um polo é um dos lados direcionais de um neurônio, abrangendo atividade fortemente positiva ou fortemente negativa. Essa distinção importa porque as duas direções podem sustentar efeitos computacionais diferentes.

A estimativa da Goodfire atribui a cerca de 90% dos polos examinados uma função principal. Aproximadamente 7% supostamente têm duas funções relacionadas, enquanto 2% a 4% continuam sem explicação. Cammarata afirma explicitamente que essas porcentagens dependem de limiares, profundidade do modelo, densidade de circuitos e da definição de uma única função.

Portanto, a análise não estabelece que 90% de cada modelo seja totalmente compreendido. Ela não mostra que os pesquisadores possam prever todo o comportamento a partir de neurônios individuais. Tampouco transforma a interpretabilidade em um problema resolvido.

Em vez disso, o número apoia uma proposição mais restrita. Quando os pesquisadores examinam ativações fortes com ferramentas melhores, a maioria dos polos de neurônios amostrados parece organizar-se em torno de uma função coerente. Ramificações menores relacionadas podem existir sem implicar combinações arbitrárias de conceitos não relacionados.

Cammarata relata ter examinado 100 milhões de tokens para um neurônio do Qwen3-32B. Apenas cerca de 160 tokens alcançaram a metade forte de sua faixa de ativação. Ele usa essa distribuição para argumentar que a atividade fraca não deve ter o mesmo peso interpretativo que as respostas mais fortes de um neurônio.

Essa escolha cria uma divisão metodológica. Um pesquisador focado no comportamento causal dominante pode desconsiderar ativações tênues como resíduo de baixo impacto. Outro pesquisador pode tratar a mesma atividade como evidência de funções secundárias ocultas.

O ensaio também apresenta 1.000 investigações de neurônios selecionados aleatoriamente nos modelos Qwen3-32B e Qwen3.6-35B-A3B. Esses relatórios examinam contextos de ativação, efeitos de saída, conexões e intervenções. O objetivo é ir além de rótulos baseados apenas em exemplos de texto correlacionados.

Um circuito exibido conecta vários neurônios do Qwen3-32B a uma resposta relacionada a diagnóstico. A remoção de um pequeno grupo supostamente altera a próxima hipótese diagnóstica do modelo. Outros exemplos conectam neurônios à modulação cautelosa de respostas, à confiança do usuário e a associações culturalmente específicas.

Essas intervenções são mais informativas do que um rótulo isolado. Um neurônio que é ativado em torno de um tema pode apenas se correlacionar com outro processo. Alterá-lo e medir a saída fornece evidência de que ele participa da computação.

Ainda assim, evidência causal local não valida automaticamente a estimativa completa de 90%. A galeria cobre uma fração mínima das unidades internas do Qwen3-32B. Suas explicações também dependem, em parte, de agentes automatizados que fazem julgamentos sobre coerência semântica.

Cammarata reconhece outra limitação. Um artigo técnico complementar sobre o trabalho com modelos de linguagem ainda não apresentou o relato experimental completo. O ensaio público oferece evidências consideráveis, mas mistura descobertas documentadas com uma conjectura mais ampla.

Essa distinção deve orientar a forma como os leitores interpretam a manchete. O desafio à superposição de Nick Cammarata é uma proposta de pesquisa séria, respaldada por experimentos. Ele continua sendo um desafio à visão predominante, não um substituto consolidado para ela.

Por que o famoso neurônio do gato e do carro importa

O caso de Cammarata depende de demonstrar que a pesquisa em interpretabilidade entendeu mal seus exemplos mais conhecidos, e não apenas de encontrar neurônios mais claros em modelos recentes.

Um exemplo importante é o neurônio 4e:55 no InceptionV1, uma rede inicial de classificação de imagens. Pesquisadores observaram respostas a rostos de gatos e à dianteira de carros. A combinação parecia arbitrária, tornando-se um exemplo memorável de polissemanticidade.

Polissemanticidade descreve uma unidade que responde a vários conceitos aparentemente não relacionados. A superposição oferece uma explicação: uma rede representa mais características do que dimensões disponíveis ao sobrepor suas representações. Características esparsas podem compartilhar capacidade quando raramente interferem umas nas outras.

Cammarata foi coautor do estudo sobre circuitos de 2020 que ajudou a moldar essa interpretação. Esse histórico confere peso incomum à sua mudança de posição. Ele está revisitando evidências que influenciaram sua própria visão anterior.

Sua nova leitura começa pela estrutura visual. Rostos de gatos e a dianteira de carros frequentemente contêm geometria em forma de V comparável. Portanto, o neurônio pode detectar uma configuração útil, em vez de armazenar duas categorias de objetos não relacionadas.

A diferença parece pequena, mas muda o que o neurônio representa. Uma unidade de gato e carro sugere um agrupamento arbitrário de conceitos. Um detector de forma em V sugere generalização visual comum entre exemplos com estrutura compartilhada.

Cammarata aplica escrutínio semelhante a outro circuito do trabalho anterior. O circuito parecia espalhar informações sobre carros por vários neurônios relacionados a cães. Os pesquisadores interpretaram esse padrão como informação oculta em uma combinação de alta dimensionalidade.

O novo ensaio argumenta que nada a jusante lê o suposto código oculto. Cammarata agora trata o padrão como composição e generalização comuns. Ele afirma não ter encontrado outro circuito publicado em rede real com a estrutura de superposição esperada.

Isso não é uma refutação matemática da superposição. A ausência de um segundo circuito documentado pode refletir observação limitada. No entanto, enfraquece a força retórica de tratar um exemplo inicial como representativo das redes modernas.

A arquitetura também entra na discussão. A camada final do InceptionV1 antes parecia especialmente difícil de interpretar. Cammarata atribui grande parte dessa confusão a gargalos arquiteturais, saturação nas camadas posteriores e métodos de visualização que geravam imagens enganosas.

Ele retreinou modelos de imagem ConvNeXt com 92.000, 7,06 milhões e 28,6 milhões de parâmetros. Isso representa uma faixa de tamanho de aproximadamente 300 vezes. Ele afirma que os modelos permaneceram amplamente legíveis nessas escalas.

O ensaio também relata que melhorias arquiteturais convencionais tornaram 99% a 100% dos neurônios da última camada facilmente interpretáveis em uma configuração revisada. O tamanho do modelo e os dados de treinamento foram mantidos constantes na comparação central, segundo Cammarata.

Esse resultado apoia uma explicação diferente para a pressão de capacidade. Com menos neurônios, os modelos podem aprender categorias mais amplas, como um neurônio cobrindo vários tipos de carros. Com mais espaço, essas categorias amplas podem se separar em especialistas mais restritos.

Esse processo não exige que a rede esconda conceitos não relacionados juntos. Ele se assemelha a uma taxonomia que se torna mais detalhada à medida que a capacidade se expande. As categorias permanecem conectadas por sua história computacional.

Cammarata chama esse processo de generalização recursiva. Um neurônio começa com um papel coerente e depois adquire ramificações conectadas por ortografia, forma, contexto ou função de circuito. Portanto, uma mistura aparente pode possuir uma linhagem interna.

Um exemplo de linguagem começa com fragmentos de caracteres que se conectam a terminações relacionadas e, por fim, ao nome Miyazaki. Uma inspeção superficial poderia classificar suas ativações como não relacionadas. Seguir as camadas revela uma sequência estruturada de reconhecimento cada vez mais específico.

A reversão central é, portanto, histórica e técnica. Os exemplos que afastaram os pesquisadores dos neurônios podem agora apoiar o estudo direto de neurônios. Uma observação melhor altera a interpretação sem mudar a rede treinada.

O desafio à superposição de Nick Cammarata se sustentará ou cairá, em parte, com essas reanálises. Se outros pesquisadores as reproduzirem, o campo terá de reconsiderar o que seus exemplos canônicos realmente demonstraram. Se falharem, a cautela original em relação aos neurônios continuará justificada.

O desafio à superposição de Nick Cammarata mira os autoencoders esparsos

A principal disputa é entre estudar os mecanismos nativos de um modelo e decompor suas ativações em um novo dicionário de características.

A pesquisa sobre superposição ganhou influência porque neurônios individuais frequentemente pareciam pouco confiáveis como unidades de explicação. Os pesquisadores responderam com autoencoders esparsos, ou SAEs. Esses modelos auxiliares reconstroem a atividade neural usando um conjunto maior de características predominantemente inativas.

A abordagem busca transformar uma ativação densa em uma lista de componentes mais interpretável. Ela está estreitamente associada a evidências de modelos de brinquedo que mostram que redes podem representar mais características esparsas do que dimensões disponíveis. Esses experimentos oferecem um mecanismo claro para a superposição em condições controladas.

Cammarata não argumenta que modelos de brinquedo sejam inúteis. Sua objeção diz respeito à transferência de ambientes simplificados para redes treinadas. Um mecanismo que aparece em um ambiente projetado não domina necessariamente um modelo de linguagem moderno.

Ele também questiona se um dicionário de características extraído preserva a organização nativa do modelo. Toda reconstrução introduz escolhas sobre esparsidade, número de características, dados de treinamento e erro aceitável. As características resultantes podem ser compreensíveis e ainda assim se afastar da computação original.

Essa preocupação se torna mais séria quando os pesquisadores usam a reconstrução como seu principal objeto de estudo. Um SAE pode revelar padrões úteis, mas deixar de captar informações necessárias para um comportamento exato. Ele também pode dividir um mecanismo nativo entre várias características aprendidas.

A Anthropic usou representações esparsas para mapear conceitos dentro de modelos de linguagem. Sua pesquisa de mapeamento de características de 2024 identificou padrões envolvendo lugares, pessoas, código, viés e comportamento relevante para a segurança. Trabalhos posteriores sobre circuitos conectaram características extraídas entre computações do modelo.

Cammarata argumenta que circuitos comparáveis às vezes podem ser recuperados a partir de neurônios nativos do Qwen3-32B. Seus exemplos rastreiam informações entre grupos de neurônios e medem mudanças após removê-los. Ele apresenta isso como evidência de que a decomposição nem sempre é uma primeira etapa necessária.

A divergência não é simplesmente neurônios versus features. Ambos os lados usam exemplos de ativação, intervenções causais, rotulagem automatizada e análise de circuitos. A verdadeira questão diz respeito a qual representação recebe prioridade.

Um pesquisador que parte da decomposição trata as ativações nativas como emaranhadas e busca uma base mais limpa. Cammarata trata o modelo nativo como o principal objeto científico. Ele usaria representações adicionais somente depois que a investigação direta identificasse uma necessidade específica.

Essa distinção afeta o tratamento de erros. Um circuito reconstruído pode exigir termos de erro para comportamentos que seu conjunto de features não captura. Um circuito de neurônios nativos evita a perda de reconstrução, embora sua explicação humana ainda possa ser incompleta ou incorreta.

Ela também afeta a escalabilidade. Mapear milhões de neurônios parece assustador, mesmo com automação. Dicionários esparsos podem conter ainda mais features, porém, e cada feature exige rotulagem, avaliação e conexão com o comportamento posterior.

Cammarata vê os agentes de pesquisa em IA como o fator que muda essa equação. Os agentes podem propor rótulos para neurônios, gerar testes, inspecionar gráficos de atribuição e revisar explicações que falharam. Pesquisadores humanos podem então se concentrar em mecanismos incomuns e casos contestados.

A OpenAI explorou uma direção relacionada em 2023 ao pedir ao GPT-4 que explicasse neurônios do GPT-2. Seu estudo automatizado de neurônios gerou e pontuou explicações em todo o modelo. A OpenAI relatou que a maioria das explicações teve pontuação baixa, especialmente em modelos maiores e camadas posteriores.

Cammarata interpreta esse histórico de forma diferente de uma simples narrativa sobre neurônios confusos. Ele afirma que os métodos anteriores frequentemente pediam a um simulador que previsse ativações precisas. Essa pontuação pode penalizar uma explicação por deixar de fora detalhes fracos que pouco importam para o papel principal de um neurônio.

A atenção cria outra complicação. Um neurônio associado a um sujeito pode disparar perto da pontuação porque uma cabeça de atenção colocou informações contextuais ali. Um simulador pode considerar a explicação imprecisa mesmo quando o neurônio tem uma função coerente no circuito.

Cammarata, portanto, favorece várias formas de evidência. Elas incluem exemplos de alta ativação, contraexemplos gerados, pesos de saída, neurônios conectados, checkpoints de treinamento e intervenções. Nenhuma métrica isolada decide se uma explicação está correta.

Esse processo mais amplo se assemelha mais à biologia experimental do que à construção de dicionários. Pesquisadores formulam uma hipótese sobre um componente, perturbam-no, inspecionam estruturas conectadas e refinam a interpretação. Cammarata argumenta que a coerência surge à medida que o mapa ao redor se completa.

Sua analogia preferida é uma cidade, não um nó. Uma cidade pode parecer confusa sem um mapa, mas seus bairros e vias servem a propósitos relacionados. Dividi-la em peças abstratas poderia ocultar a organização que a torna compreensível.

Autoencoders esparsos não desaparecerão se sua interpretação ganhar apoio. Eles podem continuar úteis para pesquisar grandes espaços de ativação ou isolar um padrão desejado. A pressão recai sobre as alegações de que pesquisadores precisam desembaraçar cada rede antes de estudar sua computação.

A versão mais forte do desafio de Nick Cammarata à superposição diz que a rede já realizou grande parte da organização. A interpretabilidade passa então a ser um problema de mapeamento, e não de recuperação. Isso redirecionaria um esforço substancial de pesquisa para circuitos nativos.

Um Reteste Independente Pressiona o Número de Destaque

O primeiro reteste público sustenta alguma estrutura no nível dos neurônios, mas não reproduz o índice de 90% da Goodfire sob definições mais rigorosas.

O grupo independente de pesquisa IRSI examinou várias alegações do ensaio pouco após sua publicação. Seu reteste pré-registrado avaliou os resumos da Goodfire, uma amostra de neurônios do Qwen3-32B, direções aleatórias e unidades deliberadamente mistas.

Três classificadores de IA revisaram as descrições escritas pela Goodfire para 500 neurônios do Qwen3-32B. Após equilibrar os resultados entre oito grupos de camadas, o voto majoritário classificou 78,3% dos polos descritos como tendo uma função principal. O intervalo de 95% relatado foi de 75,5% a 81,1%.

Esse resultado está abaixo da estimativa de aproximadamente 90% da Goodfire, mas não representa um colapso para perto de zero. Ele sugere que a coerência semântica aparece com frequência em um processo externo de classificação. Também mostra que o resultado muda substancialmente quando os avaliadores usam critérios diferentes.

O próprio rotulador do IRSI, baseado em dashboard, produziu um resultado mais rigoroso. Ele classificou de 57% a 65% dos neurônios amostrados aleatoriamente como unidades de uma função. O mesmo sistema classificou dessa forma cerca de 70% dos neurônios da galeria selecionada pela Goodfire.

Os investigadores alertaram que seu instrumento provavelmente usa um padrão mais rigoroso que o da Goodfire. Seu procedimento também classificou incorretamente cerca de um quinto das misturas inseridas de duas funções como unidades de uma função. Esses erros impedem um veredito claro sobre qual estimativa está mais próxima da realidade.

A comparação com direções aleatórias produziu evidências mistas. Na amostra maior, pós-hoc, 65% dos neurônios aleatórios receberam rótulos de uma função, em comparação com 31% das direções aleatórias. Essa diferença de 34 pontos superou o limiar planejado pelos pesquisadores.

No entanto, a amostra pré-registrada continha apenas 48 neurônios. Sua diferença de 26 pontos não atingiu o limiar de 30 pontos. A amostra maior oferece apoio sugestivo, mas não conta como confirmação pré-registrada.

A posição da camada complicou ainda mais o resultado. Nas camadas iniciais, neurônios aleatórios e direções aleatórias receberam taxas semelhantes de uma função em uma análise pós-hoc. A distinção ficou mais clara em outras partes do modelo.

Essas descobertas expõem a dificuldade por trás de qualquer percentual claro de interpretabilidade. Pesquisadores precisam decidir quais ativações contam, se subfunções relacionadas pertencem ao mesmo grupo e se polos negativos e positivos merecem rótulos separados. Cada escolha afeta o resultado.

Avaliadores automatizados acrescentam outra incerteza. Grandes modelos de linguagem podem produzir explicações fluentes para padrões ruidosos. Eles também podem rejeitar estruturas válidas que não se encaixam em categorias familiares.

O cegamento foi incompleto em partes do reteste. Um classificador conseguia distinguir dashboards de neurônios de dashboards de direções aleatórias com uma pontuação de área sob a curva próxima de 0,85. Alguns rotuladores de IA também haviam visto o pré-registro, embora outros não.

A galeria divulgada pela Goodfire cria uma questão separada de seleção. O ensaio descreve 1.000 investigações escolhidas aleatoriamente em dois modelos. Ainda assim, avaliadores externos que leem os resumos não recriam de forma independente todo o pipeline de medição.

A auditoria também mede polos de neurônios, não a compreensão completa do modelo. Um modelo pode conter unidades individualmente coerentes enquanto depende de interações que continuam difíceis de explicar. Atenção, fluxos residuais, portas não lineares e circuitos distribuídos podem criar complexidade acima do nível do neurônio.

Um componente legível não garante um sistema seguro. Engenheiros ainda precisam identificar quais circuitos importam durante uma decisão específica. Eles precisam determinar como esses circuitos mudam entre prompts, idiomas, fine-tuning e condições de implantação.

A descoberta de 90% dos neurônios também não prova que engano ou planejamento inseguro apareceriam sob um rótulo óbvio. Um comportamento perigoso pode emergir por meio de componentes comuns organizados em um circuito incomum. Partes limpas podem produzir um todo opaco.

Cammarata antecipa parte dessa objeção. Seu ensaio argumenta que os neurônios se tornam mais fáceis de interpretar quando os pesquisadores estudam seu ecossistema ao redor. Conexões, padrões de atenção e intervenções causais restringem as explicações plausíveis.

Esse é um programa de pesquisa, não um método de segurança concluído. Ele precisa de avaliações padronizadas que recompensem a precisão causal, e não descrições persuasivas. Também precisa de testes em várias famílias de modelos, arquiteturas e regimes de treinamento.

O artigo técnico complementar será importante porque o ensaio atual abrange vários níveis de argumentação. Seus resultados de visão, exemplos de linguagem e teoria da aprendizagem se apoiam mutuamente. Eles ainda não formam um benchmark único que equipes externas possam reproduzir diretamente.

A posição cética deve, portanto, permanecer precisa. As evidências não justificam descartar o ensaio como anedótico. Tampouco justificam anunciar que a interpretabilidade da IA foi resolvida.

Uma leitura razoável fica entre esses polos. Neurônios nativos parecem mais estruturados do que direções aleatórias em vários testes. A proporção exata de neurônios de uma função continua sensível a definições, amostragem e métodos de avaliação.

A Generalização Recursiva Oferece uma Teoria Diferente da Aprendizagem Neural

A proposta mais profunda substitui o empacotamento arbitrário de features por uma explicação desenvolvimental de como papéis computacionais relacionados crescem juntos.

A superposição enquadra a capacidade principalmente como um problema de armazenamento. Uma rede tem mais features úteis do que dimensões disponíveis, então ela sobrepõe representações esparsas. Baixas taxas de colisão permitem que o modelo preserve mais informação do que um sistema simples de uma feature por neurônio.

A generalização recursiva enquadra o problema em torno da dinâmica de aprendizagem. Os neurônios se desenvolvem por meio de gradientes gerados por exemplos relacionados e circuitos próximos. Novas funções se formam onde a maquinaria existente já fornece um ponto de partida útil.

Nessa visão, um neurônio amplo de carros pode se dividir em mecanismos especializados de carros à medida que a capacidade cresce. Um neurônio de padrões ortográficos pode adquirir ramificações para nomes ou palavras que compartilham os mesmos fragmentos. Essas funções têm uma linhagem rastreável, e não um pareamento arbitrário.

Cammarata argumenta que features fracas e não relacionadas enfrentam um caminho difícil. Elas precisam sobreviver à interferência de ativações fracas e densas enquanto contribuem pouco para a perda de treinamento. Extensões relacionadas podem, em vez disso, reutilizar circuitos estabelecidos e receber suporte de gradiente mais consistente.

Ele descreve esse processo usando ideias como corrida de circuitos e fome de gradiente. Mecanismos concorrentes disputam a redução do erro restante. Quando uma rota aprende uma função, ela pode privar alternativas menos eficientes de gradiente útil.

Essa teoria produz previsões testáveis. Fatos raros devem percorrer circuitos relacionados ao seu tema, e não dimensões não relacionadas escolhidas apenas porque colisões são improváveis. Checkpoints de treinamento devem revelar ramificações que crescem a partir de mecanismos conectados semanticamente ou funcionalmente.

A proposta também prevê que modelos maiores e melhor treinados podem se tornar mais fáceis de mapear em alguns aspectos. Mais capacidade permite neurônios mais estreitos, enquanto os circuitos ao redor fornecem contexto interpretativo adicional. A escala aumenta o número de partes, mas pode reduzir a ambiguidade dentro de cada parte.

Essa conclusão contraria uma intuição comum. Modelos maiores parecem mais difíceis de entender porque contêm mais parâmetros. Cammarata separa a quantidade de trabalho da natureza do trabalho.

Uma cidade grande exige um mapa maior do que uma vila. Seus bairros especializados ainda podem ser mais fáceis de identificar do que um assentamento apertado em que cada prédio serve a vários propósitos. Mais componentes não significam necessariamente mais emaranhamento conceitual.

Arquiteturas modernas podem contribuir para essa organização. Cammarata destaca melhorias que ajudam camadas mais profundas a aprender e evitam sobrecarga nas camadas finais. Essas mudanças foram adotadas pelo desempenho dos modelos, não pela interpretabilidade, mas podem produzir especialização interna mais limpa.

O argumento continua incompleto em relação à atenção. Modelos de linguagem contêm muito menos cabeças de atenção do que neurônios de perceptrons multicamadas. Cada cabeça pode participar de padrões amplos de roteamento, tornando menos plausível uma descrição de uma cabeça, uma função.

Os fluxos residuais apresentam outro desafio porque combinam contribuições de muitos componentes. Um neurônio coerente pode escrever em um espaço compartilhado onde vários sinais interagem. Compreender neurônios nativos não elimina a necessidade de estudar essas representações combinadas.

A generalização recursiva também deve distinguir linhagem significativa de narrativa retrospectiva. Pesquisadores frequentemente conseguem inventar uma conexão entre dois conceitos depois de vê-los juntos. Evidências robustas exigem previsões, testes com dados retidos e intervenções causais.

Checkpoints de treinamento oferecem uma rota promissora. Se duas funções de fato compartilham uma história de desenvolvimento, os pesquisadores devem observar a ramificação se formando ao longo do tempo. A sequência deve se repetir entre execuções de treinamento com mais frequência do que uma explicação arbitrária preveria.

A comparação entre modelos oferece outro teste. Tarefas semelhantes treinadas com seeds diferentes devem produzir motivos computacionais relacionados, mesmo quando neurônios individuais não se alinham exatamente. Estruturas recorrentes reforçariam a alegação de que o aprendizado organiza mecanismos de maneira previsível.

A teoria também precisa de casos adversariais. Pesquisadores devem procurar especificamente neurônios cujas funções mais fortes permaneçam não relacionadas após uma investigação cuidadosa. Essas falhas revelariam onde termina a generalização recursiva e começa a verdadeira superposição.

Cammarata estabelece um desafio exigente para a visão oposta: encontrar um circuito de superposição convincente dentro de uma rede real. Esse circuito deveria reunir funções não relacionadas e mostrar mecanismos posteriores lendo a representação combinada. Correlação por si só não seria suficiente.

O mesmo padrão deve se aplicar à tese da rede limpa. Uma explicação convincente precisa prever ativações e intervenções além dos exemplos usados para criar seu rótulo. Ela deve identificar conexões relevantes e sobreviver a testes projetados para refutá-la.

Se a generalização recursiva se sustentar, os pesquisadores ganharão mais do que diagramas mais claros. Ganharão uma teoria que conecta a interpretabilidade ao treinamento. Essa conexão pode permitir que engenheiros monitorem como mecanismos indesejados se formam, em vez de apenas inspecionar um modelo concluído.

Isso também poderia permitir intervenções mais precisas. Equipes poderiam identificar um ambiente, padrão de dados ou sinal de reforço que alimenta um circuito prejudicial. Em seguida, poderiam ajustar essa fonte sem retreinar todas as ferramentas de interpretabilidade.

Essas possibilidades continuam sendo implicações posteriores. As evidências atuais sustentam experimentos direcionados, não garantias de implantação. Compradores corporativos e desenvolvedores não devem tratar uma alegação de neurônio legível como um certificado de segurança.

Para trabalhadores do conhecimento, a relevância imediata é indireta, mas real. Provedores de modelos usam cada vez mais alegações de interpretabilidade para embasar confiança, auditoria e governança. Compradores precisam saber se essas alegações descrevem correlações, circuitos causais ou cobertura comportamental abrangente.

O desafio à superposição de Nick Cammarata torna essa distinção mais nítida. Ele sugere que a organização nativa do modelo merece uma nova análise. Não elimina a obrigação de testar o que esses mecanismos realmente fazem.

Três Sinais Decidirão se o Desafio se Sustenta

A próxima fase deve transformar uma hipótese de trabalho ambiciosa em medições reproduzíveis, explicações concorrentes e testes de segurança no nível do modelo.

O primeiro sinal é o prometido artigo técnico sobre neurônios de modelos de linguagem. Ele deve documentar amostragem, limiares, prompts de agentes automatizados, métodos de intervenção e casos de falha. A divulgação do código e dos dados de ativação permitiria que equipes independentes repetissem a análise do Qwen3-32B.

Um resultado próximo de 90% sob várias definições pré-especificadas fortaleceria a alegação central. Uma ampla variação entre definições razoáveis deslocaria a atenção do percentual de destaque para a constatação mais restrita de que neurônios nativos superam direções aleatórias.

O artigo também deve esclarecer como a Goodfire selecionou e avaliou as 1.000 investigações de neurônios. A amostragem aleatória deve ser reproduzível entre camadas e densidades de ativação. Polos negativos e positivos precisam receber tratamento consistente.

O segundo sinal é a replicação independente entre arquiteturas. Pesquisadores devem testar modelos de linguagem densos e de mistura de especialistas, incluindo modelos treinados por organizações diferentes. Resultados em visão, por si só, não podem resolver como circuitos de transformers representam linguagem e raciocínio.

A replicação deve incluir modelos mais antigos e mais novos. Se melhorias de arquitetura explicam neurônios mais limpos, a diferença deve aparecer sistematicamente. Pesquisadores devem conseguir conectar mudanças específicas de projeto a ganhos mensuráveis de interpretabilidade.

Experimentos entre modelos também podem testar a escala. Cammarata relata padrões semelhantes em modelos que alcançam trilhões de parâmetros, incluindo Kimi K3, com detalhes adiados para trabalhos futuros. Uma confirmação externa mostraria se a organização persiste além de um único modelo Qwen.

O terceiro sinal é uma disputa direta entre explicações baseadas em neurônios nativos e em decomposição primeiro. Ambas as abordagens devem analisar os mesmos comportamentos usando os mesmos prompts retidos. Avaliadores devem comparar fidelidade causal, erro de reconstrução, cobertura e custo de pesquisa.

Um benchmark útil incluiria conhecimento comum, processamento multilíngue, raciocínio longo, comportamento de recusa e prompts adversariais. Ele deve recompensar explicações que prevejam intervenções direcionadas. A plausibilidade em linguagem natural não deve decidir o resultado sozinha.

Neurônios nativos ganhariam credibilidade se explicassem circuitos com menos erro e menos suposições auxiliares. Representações esparsas manteriam a vantagem se revelassem de forma consistente estruturas causais que a análise em nível de neurônios não detecta.

Pesquisadores também devem examinar métodos híbridos. Neurônios nativos podem definir o mapa principal, enquanto recursos esparsos ajudam a localizar atividade incomum dentro dos fluxos residuais. As evidências podem sustentar uma divisão de trabalho, em vez de uma representação universal única.

A avaliação de segurança continua sendo o teste mais difícil. Um método deve detectar mecanismos relevantes durante comportamentos raros ou adversariais, e não apenas padrões frequentes em um corpus. Rótulos claros para neurônios significam pouco se circuitos críticos permanecerem invisíveis em condições de implantação.

A discussão pública deve evitar duas conclusões prematuras. Uma diz que a estimativa de 90% resolveu o problema da caixa-preta. A outra diz que um resultado independente inferior torna toda a proposta irrelevante.

A possibilidade mais consequente está entre essas duas posições. Pesquisadores de interpretabilidade podem ter subestimado o valor dos próprios neurônios de um modelo, ao mesmo tempo em que superestimaram a necessidade de decomposição universal. Corrigir esse viés mudaria experimentos, ferramentas e prioridades de financiamento.

A mudança de posição pessoal de Cammarata dá impulso ao debate, mas a autoridade não pode resolvê-lo. Seu papel anterior na pesquisa de circuitos torna a crítica historicamente importante. Evidências causais reproduzíveis devem determinar se a nova explicação prevalece.

Desenvolvedores devem acompanhar, nessa ordem, o artigo complementar, as replicações entre modelos e os benchmarks comparativos de circuitos. Juntos, esses sinais podem separar um ensaio de pesquisa persuasivo de uma mudança duradoura na interpretabilidade de IA.

A questão prática agora está clara: equipes independentes conseguem usar neurônios nativos para prever e controlar o comportamento de modelos melhor do que as decomposições de recursos existentes? Se conseguirem, o desafio à superposição de Nick Cammarata se tornará um programa de engenharia. Se não conseguirem, o insight dos 90% dos neurônios continuará sendo um alerta valioso sobre medição, e não uma nova base para a segurança de modelos.