El desafío de superposición de Nick Cammarata se apoya en una afirmación sobre el 90% de las neuronas

Nick Cammarata ha cuestionado la teoría de la superposición con una estimación llamativa: aproximadamente el 90% de los polos neuronales muestreados de Qwen3-32B tiene una función principal. Su ensayo de octubre de 2026 sostiene que las redes neuronales están mucho más organizadas de lo que suponían los investigadores de interpretabilidad. Sin embargo, la cifra procede de una auditoría preliminar, y una primera repetición independiente arrojó un resultado más bajo.

La disputa va más allá de un porcentaje. Cammarata afirma que los investigadores interpretaron erróneamente los ejemplos que ayudaron a establecer la superposición como explicación central del comportamiento neuronal confuso. En su lugar, propone la generalización recursiva, en la que funciones relacionadas surgen de un papel computacional compartido en vez de agruparse arbitrariamente.

Esta afirmación cuestiona directamente las estrategias de investigación basadas en descomponer la actividad de los modelos en características más limpias. OpenAI y Anthropic han desarrollado explicaciones automatizadas, autocodificadores dispersos y métodos de rastreo de circuitos para esa tarea. La alternativa de Cammarata parte de las neuronas nativas del modelo y pregunta si el supuesto desorden se debía a herramientas limitadas.

La afirmación del 90% cambia el supuesto de partida

El cambio importante no es que haya mejorado una puntuación de interpretabilidad, sino que Cammarata quiere que los investigadores vuelvan a empezar por las neuronas nativas.

Cammarata describe su ensayo de investigación de 65 minutos como una hipótesis de trabajo, no como un artículo revisado por pares. Combina nuevos experimentos, visualizaciones interactivas, reinterpretación histórica y una teoría más amplia sobre cómo se organizan las redes neuronales.

Su auditoría preliminar de Qwen3-32B se centra en los polos neuronales. Un polo es un lado direccional de una neurona, que abarca actividad fuertemente positiva o fuertemente negativa. Esta distinción importa porque ambas direcciones pueden producir efectos computacionales distintos.

La estimación de Goodfire asigna aproximadamente al 90% de los polos examinados una función principal. Según se informa, cerca del 7% tiene dos funciones relacionadas, mientras que entre el 2% y el 4% permanece sin explicación. Cammarata afirma explícitamente que estos porcentajes dependen de los umbrales, la profundidad del modelo, la densidad de circuitos y la definición de una función.

Por tanto, el análisis no establece que se comprenda por completo el 90% de cada modelo. No demuestra que los investigadores puedan predecir todo el comportamiento a partir de neuronas individuales. Tampoco convierte la interpretabilidad en un problema resuelto.

En cambio, la cifra respalda una proposición más limitada. Cuando los investigadores examinan activaciones fuertes con mejores herramientas, la mayoría de los polos neuronales muestreados parece organizarse en torno a una función coherente. Pueden existir ramas relacionadas más pequeñas sin implicar combinaciones arbitrarias de conceptos no relacionados.

Cammarata informa de que examinó 100 millones de tokens para una neurona de Qwen3-32B. Solo unos 160 tokens alcanzaron la mitad fuerte de su rango de activación. Utiliza esa distribución para sostener que la actividad débil no debería tener el mismo peso interpretativo que las respuestas más intensas de una neurona.

Esa decisión crea una división metodológica. Un investigador centrado en el comportamiento causal dominante podría descartar las activaciones tenues como residuos de bajo impacto. Otro podría considerar la misma actividad como evidencia de funciones secundarias ocultas.

El ensayo también presenta 1.000 investigaciones de neuronas seleccionadas aleatoriamente en Qwen3-32B y Qwen3.6-35B-A3B. Estos informes examinan contextos de activación, efectos en la salida, conexiones e intervenciones. Su objetivo es ir más allá de las etiquetas basadas únicamente en ejemplos de texto correlacionados.

Un circuito mostrado conecta varias neuronas de Qwen3-32B con una respuesta relacionada con un diagnóstico. Según se informa, eliminar un pequeño grupo cambia la siguiente conjetura diagnóstica del modelo. Otros ejemplos vinculan neuronas con la cautela en las respuestas, la confianza del usuario y asociaciones culturalmente específicas.

Esas intervenciones son más informativas que una etiqueta por sí sola. Una neurona que se activa en torno a un tema podría simplemente correlacionarse con otro proceso. Alterarla y medir la salida aporta evidencia de que participa en el cálculo.

Aun así, la evidencia causal local no valida automáticamente la estimación completa del 90%. La galería cubre una fracción diminuta de las unidades internas de Qwen3-32B. Sus explicaciones también dependen en parte de agentes automatizados que emiten juicios sobre la coherencia semántica.

Cammarata reconoce otra limitación. Un artículo técnico complementario sobre el trabajo con modelos de lenguaje aún no ha proporcionado el relato experimental completo. El ensayo público ofrece evidencia considerable, pero mezcla hallazgos documentados con una conjetura más amplia.

Esta distinción debería guiar la interpretación del titular. El desafío de superposición de Nick Cammarata es una propuesta de investigación seria respaldada por experimentos. Sigue siendo un desafío a la visión predominante, no un reemplazo consolidado de esta.

Por qué importa la famosa neurona del gato y el coche

El argumento de Cammarata depende de demostrar que la investigación sobre interpretabilidad entendió mal sus ejemplos más conocidos, no solo de encontrar neuronas más limpias en modelos recientes.

Un ejemplo importante es la neurona 4e:55 de InceptionV1, una de las primeras redes de clasificación de imágenes. Los investigadores observaron respuestas a rostros de gatos y a la parte delantera de coches. La combinación parecía arbitraria, lo que la convirtió en un ejemplo memorable de polisemia.

La polisemia describe una unidad que responde a varios conceptos aparentemente no relacionados. La superposición ofrece una explicación: una red representa más características que dimensiones disponibles mediante la superposición de sus representaciones. Las características dispersas pueden compartir capacidad cuando rara vez interfieren entre sí.

Cammarata fue coautor del estudio sobre circuitos de 2020 que contribuyó a dar forma a esta interpretación. Esa trayectoria concede un peso inusual a su cambio de postura. Está revisitando evidencia que influyó en su propia posición anterior.

Su nueva lectura comienza con la estructura visual. Los rostros de gatos y los frentes de coches suelen contener una geometría comparable en forma de V. Por lo tanto, la neurona podría detectar una configuración útil en lugar de almacenar dos categorías de objetos no relacionadas.

La diferencia parece pequeña, pero cambia lo que representa la neurona. Una unidad de gato y coche sugiere un empaquetado arbitrario de conceptos. Un detector de forma de V sugiere una generalización visual ordinaria entre ejemplos con estructura compartida.

Cammarata aplica un escrutinio similar a otro circuito del trabajo anterior. El circuito parecía distribuir información sobre coches entre varias neuronas relacionadas con perros. Los investigadores interpretaron ese patrón como información oculta en una combinación de alta dimensionalidad.

El nuevo ensayo sostiene que nada aguas abajo lee el supuesto código oculto. Cammarata ahora considera el patrón como composición y generalización ordinarias. Afirma no haber encontrado otro circuito publicado de una red real con la estructura de superposición esperada.

Esto no constituye una refutación matemática de la superposición. La ausencia de un segundo circuito documentado podría reflejar una observación limitada. Sin embargo, debilita la fuerza retórica de tratar un ejemplo temprano como representativo de las redes modernas.

La arquitectura también entra en el argumento. La capa final de InceptionV1 pareció en su momento especialmente difícil de interpretar. Cammarata atribuye gran parte de esa confusión a cuellos de botella arquitectónicos, desbordamiento en capas posteriores y métodos de visualización que generaban imágenes engañosas.

Reentrenó modelos de imagen ConvNeXt con 92.000, 7,06 millones y 28,6 millones de parámetros. Esto representa un rango de tamaño de aproximadamente 300 veces. Afirma que los modelos siguieron siendo ampliamente legibles en todas esas escalas.

El ensayo también informa de que mejoras arquitectónicas convencionales hicieron que entre el 99% y el 100% de las neuronas de la última capa fueran fácilmente interpretables en una configuración revisada. Según Cammarata, el tamaño del modelo y los datos de entrenamiento se mantuvieron constantes para la comparación central.

Ese resultado respalda una explicación distinta de la presión de capacidad. Con menos neuronas, los modelos podrían aprender categorías más amplias, como una neurona que cubre varios tipos de coches. Con más espacio, esas categorías amplias pueden separarse en especialistas más acotados.

Este proceso no requiere que la red oculte conceptos no relacionados juntos. Se parece a una taxonomía que se vuelve más detallada a medida que se expande la capacidad. Las categorías siguen conectadas por su historia computacional.

Cammarata denomina a ese proceso generalización recursiva. Una neurona comienza con una función coherente y después adquiere ramas conectadas mediante ortografía, forma, contexto o función de circuito. Por ello, una mezcla aparente puede poseer un linaje interno.

Un ejemplo lingüístico comienza con fragmentos de caracteres que se conectan con terminaciones relacionadas y, finalmente, con el nombre Miyazaki. Una inspección superficial podría clasificar sus activaciones como no relacionadas. Seguir las capas revela una secuencia estructurada de reconocimiento cada vez más específico.

Por tanto, la inversión central es tanto histórica como técnica. Los ejemplos que alejaron a los investigadores de las neuronas podrían ahora respaldar el estudio directo de estas. Una mejor observación cambia la interpretación sin modificar la red entrenada.

El desafío de superposición de Nick Cammarata se sostendrá o caerá en parte sobre estos nuevos análisis. Si otros investigadores los reproducen, el campo deberá reconsiderar qué demostraron realmente sus ejemplos canónicos. Si fracasan, la cautela original respecto a las neuronas seguirá estando justificada.

El desafío de superposición de Nick Cammarata apunta a los autocodificadores dispersos

La principal disputa enfrenta el estudio de los mecanismos nativos de un modelo con la descomposición de sus activaciones en un nuevo diccionario de características.

La investigación sobre superposición ganó influencia porque las neuronas individuales a menudo parecían poco fiables como unidades de explicación. Los investigadores respondieron con autocodificadores dispersos, o SAEs. Estos modelos auxiliares reconstruyen la actividad neuronal utilizando un conjunto mayor de características mayormente inactivas.

El enfoque busca convertir una activación densa en una lista más interpretable de componentes. Está estrechamente vinculado a la evidencia de modelos de juguete que muestra que las redes pueden representar más características dispersas que dimensiones disponibles. Esos experimentos ofrecen un mecanismo claro para la superposición en condiciones controladas.

Cammarata no sostiene que los modelos de juguete sean inútiles. Su objeción se refiere a la transferencia desde entornos simplificados a redes entrenadas. Un mecanismo que aparece en un entorno diseñado no domina necesariamente un modelo de lenguaje moderno.

También cuestiona si un diccionario de características extraído conserva la organización nativa del modelo. Toda reconstrucción introduce decisiones sobre dispersión, número de características, datos de entrenamiento y error aceptable. Las características resultantes pueden ser comprensibles y, aun así, apartarse del cálculo original.

Esa preocupación se vuelve más seria cuando los investigadores utilizan la reconstrucción como su principal objeto de estudio. Un SAE puede revelar patrones útiles y, al mismo tiempo, pasar por alto información necesaria para un comportamiento exacto. También puede dividir un mecanismo nativo entre varias características aprendidas.

Anthropic ha utilizado representaciones dispersas para mapear conceptos dentro de modelos de lenguaje. Su investigación de mapeo de características de 2024 identificó patrones relacionados con lugares, personas, código, sesgos y comportamiento relevante para la seguridad. Trabajos posteriores sobre circuitos conectaron características extraídas a través de los cálculos del modelo.

Cammarata sostiene que circuitos comparables a veces pueden recuperarse a partir de neuronas nativas de Qwen3-32B. Sus ejemplos rastrean información entre grupos de neuronas y miden cambios tras eliminarlas. Lo presenta como evidencia de que la descomposición no siempre es un primer paso necesario.

El desacuerdo no se reduce simplemente a neuronas frente a características. Ambos bandos utilizan ejemplos de activación, intervenciones causales, etiquetado automatizado y análisis de circuitos. La verdadera cuestión es qué representación recibe prioridad.

Un investigador que prioriza la descomposición considera que las activaciones nativas están entrelazadas y busca una base más limpia. Cammarata considera que el modelo nativo es el principal objeto científico. Solo utilizaría representaciones adicionales después de que la investigación directa identificara una necesidad específica.

Esta distinción afecta al tratamiento de errores. Un circuito reconstruido puede requerir términos de error para comportamientos que su conjunto de características no captura. Un circuito de neuronas nativas evita la pérdida de reconstrucción, aunque su explicación humana todavía puede ser incompleta o errónea.

También afecta a la escalabilidad. Mapear millones de neuronas parece abrumador, incluso con automatización. Sin embargo, los diccionarios dispersos pueden contener aún más características, y cada característica exige etiquetado, evaluación y conexión con el comportamiento posterior.

Cammarata considera que los agentes de investigación de IA son el factor que cambia esta ecuación. Los agentes pueden proponer etiquetas para neuronas, generar pruebas, inspeccionar gráficos de atribución y revisar explicaciones fallidas. Los investigadores humanos pueden entonces centrarse en mecanismos inusuales y casos controvertidos.

OpenAI exploró una dirección relacionada en 2023 al pedir a GPT-4 que explicara neuronas de GPT-2. Su estudio automatizado de neuronas generó y puntuó explicaciones en todo el modelo. OpenAI informó de que la mayoría de las explicaciones obtuvieron puntuaciones bajas, especialmente en modelos más grandes y capas posteriores.

Cammarata interpreta esa historia de forma distinta a la simple idea de neuronas desordenadas. Afirma que los métodos anteriores solían pedir a un simulador que predijera activaciones precisas. Esa puntuación puede penalizar una explicación por omitir detalles débiles que importan poco para la función principal de una neurona.

La atención introduce otra complicación. Una neurona asociada a un sujeto puede activarse cerca de signos de puntuación porque una cabeza de atención colocó allí información contextual. Un simulador podría considerar inexacta la explicación incluso cuando la neurona tiene una función coherente dentro del circuito.

Por ello, Cammarata prefiere varias formas de evidencia. Entre ellas se incluyen ejemplos de alta activación, contraejemplos generados, pesos de salida, neuronas conectadas, puntos de control del entrenamiento e intervenciones. Ninguna métrica individual decide si una explicación es correcta.

Este proceso más amplio se parece más a la biología experimental que a la construcción de diccionarios. Los investigadores formulan una hipótesis sobre un componente, lo perturban, inspeccionan las estructuras conectadas y refinan su interpretación. Cammarata sostiene que la coherencia surge a medida que se completa el mapa circundante.

Su analogía preferida es una ciudad en vez de un nudo. Una ciudad puede parecer confusa sin un mapa, pero sus distritos y carreteras cumplen propósitos relacionados. Dividirla en piezas abstractas podría ocultar la organización que la hace comprensible.

Los autoencoders dispersos no desaparecerán si su explicación gana respaldo. Pueden seguir siendo útiles para buscar en grandes espacios de activación o aislar un patrón deseado. La presión recae sobre la afirmación de que los investigadores deben desenredar cada red antes de estudiar su computación.

La versión más fuerte del desafío de Nick Cammarata a la superposición sostiene que la red ya ha realizado gran parte de la organización. La interpretabilidad pasa entonces a ser un problema de mapeo, en lugar de un problema de recuperación. Eso redirigiría un esfuerzo de investigación considerable hacia los circuitos nativos.

Una repetición independiente somete a presión la cifra principal

La primera repetición pública respalda cierta estructura a nivel de neurona, pero no reproduce la cifra del 90% de Goodfire bajo definiciones más estrictas.

El grupo de investigación independiente IRSI examinó varias afirmaciones del ensayo poco después de su publicación. Su repetición preregistrada evaluó los resúmenes de Goodfire, una muestra de neuronas de Qwen3-32B, direcciones aleatorias y unidades deliberadamente mezcladas.

Tres clasificadores de IA revisaron las descripciones escritas por Goodfire de 500 neuronas de Qwen3-32B. Tras equilibrar los resultados entre ocho grupos de capas, su voto mayoritario clasificó el 78,3% de los polos descritos como poseedores de una función principal. El intervalo del 95% informado osciló entre el 75,5% y el 81,1%.

Ese resultado está por debajo de la estimación aproximada del 90% de Goodfire, pero no supone un desplome hasta cerca de cero. Sugiere que la coherencia semántica aparece con frecuencia bajo un proceso de clasificación externo. También demuestra que el resultado cambia de forma sustancial cuando los evaluadores emplean criterios distintos.

El propio etiquetador basado en paneles de IRSI produjo un resultado más estricto. Marcó entre el 57% y el 65% de las neuronas seleccionadas aleatoriamente como unidades de una sola función. El mismo sistema clasificó así cerca del 70% de las neuronas de la galería seleccionada por Goodfire.

Los investigadores advirtieron de que su instrumento probablemente utiliza un estándar más estricto que Goodfire. Su procedimiento también clasificó erróneamente aproximadamente una quinta parte de las mezclas de dos funciones introducidas deliberadamente como unidades de una sola función. Esos errores impiden un veredicto claro sobre qué estimación se acerca más a la realidad.

La comparación con direcciones aleatorias produjo evidencia mixta. En la muestra más grande, posterior al análisis inicial, el 65% de las neuronas aleatorias recibió etiquetas de una sola función, frente al 31% de las direcciones aleatorias. Esa diferencia de 34 puntos superó el umbral previsto por los investigadores.

Sin embargo, la muestra preregistrada contenía solo 48 neuronas. Su diferencia de 26 puntos no alcanzó el umbral de 30 puntos. La muestra más grande ofrece apoyo sugerente, pero no cuenta como una confirmación preregistrada.

La posición de la capa complicó aún más el resultado. En las capas tempranas, las neuronas aleatorias y las direcciones aleatorias recibieron tasas similares de una sola función en un análisis posterior al análisis inicial. La distinción se hizo más clara en otras partes del modelo.

Estos hallazgos exponen la dificultad detrás de cualquier porcentaje limpio de interpretabilidad. Los investigadores deben decidir qué activaciones cuentan, si las subfunciones relacionadas deben agruparse y si los polos negativos y positivos merecen etiquetas separadas. Cada elección afecta al resultado.

Los evaluadores automatizados añaden otra incertidumbre. Los modelos de lenguaje grandes pueden producir explicaciones fluidas para patrones ruidosos. También podrían rechazar estructuras válidas que no encajan en categorías conocidas.

El cegamiento fue incompleto en partes de la repetición. Un clasificador pudo distinguir paneles de neuronas de paneles de direcciones aleatorias con una puntuación de área bajo la curva cercana a 0,85. Algunos etiquetadores de IA también habían visto el preregistro, aunque otros no.

La galería publicada por Goodfire plantea una cuestión de selección independiente. El ensayo describe 1.000 investigaciones elegidas aleatoriamente en dos modelos. Sin embargo, los evaluadores externos que leen los resúmenes no recrean de forma independiente todo el proceso de medición.

La auditoría también mide polos de neuronas, no la comprensión completa del modelo. Un modelo puede contener unidades individualmente coherentes mientras depende de interacciones que siguen siendo difíciles de explicar. La atención, los flujos residuales, las compuertas no lineales y los circuitos distribuidos pueden generar complejidad por encima del nivel de la neurona.

Un componente legible no garantiza un sistema seguro. Los ingenieros aún deben identificar qué circuitos importan durante una decisión específica. Deben determinar cómo cambian esos circuitos entre prompts, idiomas, ajuste fino y condiciones de despliegue.

La conclusión sobre el 90% de las neuronas tampoco demuestra que el engaño o la planificación insegura aparecerían bajo una etiqueta evidente. Un comportamiento peligroso podría surgir mediante componentes ordinarios organizados en un circuito desconocido. Partes limpias pueden producir un todo opaco.

Cammarata anticipa parte de esta objeción. Su ensayo sostiene que las neuronas se vuelven más fáciles de interpretar cuando los investigadores estudian el ecosistema que las rodea. Las conexiones, los patrones de atención y las intervenciones causales restringen las explicaciones plausibles.

Eso es un programa de investigación, no un método de seguridad completado. Necesita evaluaciones estandarizadas que premien la precisión causal en lugar de las descripciones persuasivas. También necesita pruebas en múltiples familias de modelos, arquitecturas y regímenes de entrenamiento.

El artículo técnico complementario será importante porque el ensayo actual abarca varios niveles de argumentación. Sus resultados de visión, ejemplos de lenguaje y teoría del aprendizaje se apoyan mutuamente. Aún no constituyen un único referente que equipos externos puedan reproducir directamente.

Por tanto, la posición escéptica debe mantenerse precisa. La evidencia no justifica descartar el ensayo como anecdótico. Tampoco justifica anunciar que la interpretabilidad de la IA ha sido resuelta.

Una lectura razonable se sitúa entre esos polos. Las neuronas nativas parecen más estructuradas que las direcciones aleatorias en varias pruebas. La proporción exacta de neuronas de una sola función sigue siendo sensible a las definiciones, el muestreo y los métodos de evaluación.

La generalización recursiva propone una teoría distinta del aprendizaje neuronal

La propuesta más profunda sustituye el empaquetado arbitrario de características por una explicación del desarrollo de cómo los roles computacionales relacionados crecen juntos.

La superposición plantea la capacidad principalmente como un problema de almacenamiento. Una red tiene más características útiles que dimensiones disponibles, por lo que superpone representaciones dispersas. Las bajas tasas de colisión permiten al modelo preservar más información que un simple sistema de una característica por neurona.

La generalización recursiva plantea el problema en torno a la dinámica del aprendizaje. Las neuronas se desarrollan mediante gradientes generados por ejemplos relacionados y circuitos cercanos. Las nuevas funciones se forman allí donde la maquinaria existente ya ofrece un punto de partida útil.

Según esta perspectiva, una neurona amplia relacionada con coches puede dividirse en mecanismos especializados para coches a medida que aumenta la capacidad. Una neurona de patrones ortográficos puede adquirir ramificaciones para nombres o palabras que comparten los mismos fragmentos. Estas funciones tienen un linaje rastreable en lugar de una asociación arbitraria.

Cammarata sostiene que las características débiles y no relacionadas afrontan un camino difícil. Deben sobrevivir a la interferencia de activaciones débiles densas mientras contribuyen poco a la pérdida de entrenamiento. En cambio, las extensiones relacionadas pueden reutilizar circuitos establecidos y recibir un apoyo de gradiente más consistente.

Describe este proceso mediante ideas como la competencia de circuitos y la inanición de gradiente. Los mecanismos que compiten corren para reducir el error restante. Una vez que una ruta aprende una función, puede privar a alternativas menos eficientes de gradiente útil.

Esa teoría produce predicciones comprobables. Los hechos poco frecuentes deberían desplazarse por circuitos relacionados con su tema, no por dimensiones no relacionadas elegidas solo porque las colisiones son improbables. Los puntos de control del entrenamiento deberían revelar ramificaciones que crecen a partir de mecanismos conectados semántica o funcionalmente.

La propuesta también predice que los modelos más grandes y mejor entrenados pueden resultar más fáciles de mapear en ciertos aspectos. Una mayor capacidad permite neuronas más estrechas, mientras que los circuitos circundantes proporcionan contexto interpretativo adicional. La escala incrementa el número de piezas, pero puede reducir la ambigüedad dentro de cada una.

Esa conclusión contradice una intuición común. Los modelos más grandes parecen más difíciles de entender porque contienen más parámetros. Cammarata separa la cantidad de trabajo de la naturaleza del trabajo.

Una ciudad grande requiere un mapa más grande que una aldea. Sus distritos especializados pueden seguir siendo más fáciles de identificar que un asentamiento abarrotado donde cada edificio cumple varios propósitos. Más componentes no significan necesariamente más entrelazamiento conceptual.

Las arquitecturas modernas podrían contribuir a esa organización. Cammarata destaca mejoras que ayudan a las capas más profundas a aprender y evitan la saturación de las capas finales. Esos cambios se adoptaron para el rendimiento del modelo, no para la interpretabilidad, pero pueden producir una especialización interna más limpia.

El argumento sigue incompleto en torno a la atención. Los modelos de lenguaje contienen muchas menos cabezas de atención que neuronas de perceptrones multicapa. Cada cabeza puede participar en patrones amplios de enrutamiento, lo que hace menos plausible una descripción de una cabeza, una función.

Los flujos residuales plantean otro desafío porque combinan contribuciones de muchos componentes. Una neurona coherente puede escribir en un espacio compartido donde interactúan varias señales. Comprender las neuronas nativas no elimina la necesidad de estudiar esas representaciones combinadas.

La generalización recursiva también debe distinguir un linaje significativo de una narrativa retrospectiva. Los investigadores a menudo pueden inventar una conexión entre dos conceptos después de verlos juntos. La evidencia sólida exige predicciones, pruebas con datos reservados e intervenciones causales.

Los puntos de control del entrenamiento ofrecen una vía prometedora. Si dos funciones comparten realmente una historia de desarrollo, los investigadores deberían observar cómo la rama se forma con el tiempo. La secuencia debería repetirse entre ejecuciones de entrenamiento con mayor frecuencia de la que predeciría una explicación arbitraria.

La comparación entre modelos ofrece otra prueba. Tareas similares entrenadas con distintas semillas deberían producir motivos computacionales relacionados, incluso cuando las neuronas individuales no se alineen exactamente. Las estructuras recurrentes reforzarían la afirmación de que el aprendizaje organiza los mecanismos de forma predecible.

La teoría también necesita casos adversariales. Los investigadores deberían buscar específicamente neuronas cuyas funciones más fuertes sigan sin relación tras una investigación cuidadosa. Esos fracasos revelarían dónde termina la generalización recursiva y comienza la verdadera superposición.

Cammarata plantea un reto exigente para la visión opuesta: encontrar un circuito de superposición convincente dentro de una red real. Dicho circuito debería empaquetar funciones no relacionadas y mostrar maquinaria posterior leyendo la representación combinada. La correlación por sí sola no bastaría.

El mismo estándar debería aplicarse a la tesis de las redes limpias. Una explicación convincente debe predecir activaciones e intervenciones más allá de los ejemplos utilizados para crear su etiqueta. Debe identificar conexiones relevantes y superar pruebas diseñadas para refutarla.

Si la generalización recursiva se sostiene, los investigadores obtendrán más que diagramas más claros. Obtendrán una teoría que conecte la interpretabilidad con el entrenamiento. Esa conexión podría permitir a los ingenieros supervisar cómo se forman mecanismos no deseados, en lugar de limitarse a inspeccionar un modelo terminado.

También podría permitir intervenciones más precisas. Los equipos podrían identificar un entorno, un patrón de datos o una señal de refuerzo que alimente un circuito perjudicial. Después podrían ajustar esa fuente sin volver a entrenar todas las herramientas de interpretabilidad.

Estas posibilidades siguen siendo implicaciones posteriores. La evidencia actual respalda experimentos dirigidos, no garantías de despliegue. Los compradores empresariales y los desarrolladores no deberían considerar una afirmación de neuronas legibles como un certificado de seguridad.

Para los trabajadores del conocimiento, la relevancia inmediata es indirecta pero real. Los proveedores de modelos utilizan cada vez más afirmaciones de interpretabilidad para respaldar la confianza, las auditorías y la gobernanza. Los compradores deben saber si esas afirmaciones describen correlaciones, circuitos causales o una cobertura integral del comportamiento.

El desafío de Cammarata sobre la superposición precisa esa distinción. Sugiere que la organización nativa del modelo merece una nueva revisión. No elimina la obligación de comprobar qué hacen realmente esos mecanismos.

Tres señales decidirán si el desafío se sostiene

La próxima fase debería convertir una ambiciosa hipótesis de trabajo en mediciones reproducibles, explicaciones alternativas y pruebas de seguridad a nivel de modelo.

La primera señal es el prometido artículo técnico sobre las neuronas de los modelos de lenguaje. Debería documentar el muestreo, los umbrales, los prompts de agentes automatizados, los métodos de intervención y los casos de fallo. La publicación del código y los datos de activación permitiría a equipos independientes repetir el análisis de Qwen3-32B.

Un resultado cercano al 90 % bajo varias definiciones preespecificadas reforzaría la afirmación central. Una amplia variación entre definiciones razonables desplazaría la atención del porcentaje principal hacia el hallazgo más limitado de que las neuronas nativas superan a las direcciones aleatorias.

El artículo también debe aclarar cómo Goodfire seleccionó y evaluó las 1.000 investigaciones de neuronas. El muestreo aleatorio debería ser reproducible entre capas y densidades de activación. Los polos negativo y positivo necesitan un tratamiento coherente.

La segunda señal es la replicación independiente en distintas arquitecturas. Los investigadores deberían probar modelos de lenguaje densos y de mezcla de expertos, incluidos modelos entrenados por organizaciones diferentes. Los resultados de visión por sí solos no pueden resolver cómo los circuitos de los transformers representan el lenguaje y el razonamiento.

La replicación debería incluir modelos tanto antiguos como nuevos. Si las mejoras de arquitectura explican neuronas más limpias, la diferencia debería aparecer de forma sistemática. Los investigadores deberían poder conectar cambios específicos de diseño con mejoras medibles de interpretabilidad.

Los experimentos entre modelos también pueden evaluar la escala. Cammarata informa patrones similares en modelos que alcanzan billones de parámetros, incluido Kimi K3, aunque los detalles se han pospuesto para trabajos posteriores. Una confirmación externa mostraría si la organización persiste más allá de un modelo Qwen.

La tercera señal es una confrontación directa entre las explicaciones basadas en neuronas nativas y las que priorizan la descomposición. Ambos enfoques deberían analizar los mismos comportamientos usando los mismos prompts reservados. Los evaluadores deberían comparar fidelidad causal, error de reconstrucción, cobertura y coste de investigación.

Un benchmark útil incluiría conocimiento ordinario, procesamiento multilingüe, razonamiento extenso, comportamiento de rechazo y prompts adversariales. Debería recompensar las explicaciones que predigan intervenciones dirigidas. La plausibilidad en lenguaje natural no debería decidir por sí sola el resultado.

Las neuronas nativas ganarían credibilidad si explican circuitos con menos error y menos supuestos auxiliares. Las representaciones dispersas conservarían la ventaja si revelan sistemáticamente estructuras causales que el análisis a nivel de neurona no detecta.

Los investigadores también deberían examinar métodos híbridos. Las neuronas nativas podrían definir el mapa principal, mientras que las características dispersas ayudan a localizar actividad inusual dentro de los flujos residuales. La evidencia puede respaldar una división del trabajo, en lugar de una representación universal.

La evaluación de seguridad sigue siendo la prueba más difícil. Un método debe detectar mecanismos que importan durante comportamientos raros o adversariales, no solo patrones frecuentes en un corpus. Las etiquetas limpias de neuronas significan poco si los circuitos críticos siguen siendo invisibles en condiciones de despliegue.

El debate público debería evitar dos conclusiones prematuras. Una sostiene que la estimación del 90 % ha resuelto el problema de la caja negra. La otra afirma que un resultado independiente inferior vuelve irrelevante toda la propuesta.

La posibilidad más trascendente se encuentra entre ambas. Es posible que los investigadores de interpretabilidad hayan subestimado el valor de las propias neuronas de un modelo y sobreestimado la necesidad de una descomposición universal. Corregir ese sesgo cambiaría los experimentos, las herramientas y las prioridades de financiación.

El cambio de opinión personal de Cammarata da impulso al debate, pero la autoridad no puede resolverlo. Su papel anterior en la investigación de circuitos hace que la crítica sea históricamente importante. La evidencia causal reproducible debe determinar si la nueva interpretación prevalece.

Los desarrolladores deberían seguir, en este orden, el artículo complementario, las replicaciones entre modelos y los benchmarks de circuitos comparativos. En conjunto, esas señales pueden distinguir un ensayo de investigación convincente de un cambio duradero en la interpretabilidad de la IA.

La cuestión práctica ahora está clara: ¿pueden equipos independientes utilizar neuronas nativas para predecir y controlar el comportamiento de los modelos mejor que las descomposiciones de características existentes? Si pueden, el desafío de Cammarata sobre la superposición se convertirá en un programa de ingeniería. Si no pueden, la idea del 90 % de neuronas seguirá siendo una valiosa advertencia sobre la medición, no una nueva base para la seguridad de los modelos.