La contestation de la superposition par Nick Cammarata repose sur une affirmation de 90 % de neurones

Nick Cammarata a contesté la théorie de la superposition avec une estimation frappante : environ 90 % des pôles neuronaux échantillonnés de Qwen3-32B auraient une fonction principale. Son essai d’octobre 2026 soutient que les réseaux neuronaux sont bien plus organisés que ne l’avaient supposé les chercheurs en interprétabilité. Ce chiffre provient toutefois d’un audit préliminaire, et une première contre-vérification indépendante a abouti à un résultat inférieur.

Le débat dépasse un simple pourcentage. Cammarata affirme que les chercheurs ont mal interprété les exemples ayant contribué à faire de la superposition une explication centrale des comportements neuronaux déroutants. Il propose à la place la généralisation récursive, selon laquelle des fonctions apparentées se développent à partir d’un rôle computationnel commun plutôt que d’être assemblées arbitrairement.

Cette affirmation remet directement en cause les stratégies de recherche fondées sur la décomposition de l’activité des modèles en caractéristiques plus nettes. OpenAI et Anthropic ont développé des explications automatisées, des autoencodeurs parcimonieux et des méthodes de traçage de circuits à cette fin. L’alternative de Cammarata part des neurones natifs du modèle et demande si le désordre supposé ne résultait pas d’outils limités.

L’affirmation des 90 % modifie l’hypothèse de départ

Le changement important n’est pas l’amélioration d’un score d’interprétabilité, mais le fait que Cammarata souhaite que les chercheurs repartent des neurones natifs.

Cammarata qualifie son essai de recherche de 65 minutes d’hypothèse de travail plutôt que d’article évalué par les pairs. Il combine de nouvelles expériences, des visualisations interactives, une réinterprétation historique et une théorie plus large de l’organisation des réseaux neuronaux.

Son audit préliminaire de Qwen3-32B se concentre sur les pôles neuronaux. Un pôle correspond à un côté directionnel d’un neurone, couvrant une activité fortement positive ou fortement négative. Cette distinction importe, car les deux directions peuvent produire des effets computationnels différents.

L’estimation de Goodfire attribue à environ 90 % des pôles examinés une fonction principale. Environ 7 % auraient deux fonctions liées, tandis que 2 % à 4 % resteraient inexpliqués. Cammarata précise explicitement que ces pourcentages dépendent des seuils, de la profondeur du modèle, de la densité des circuits et de la définition d’une fonction.

L’analyse n’établit donc pas que 90 % de chaque modèle est entièrement compris. Elle ne montre pas que les chercheurs peuvent prédire tous les comportements à partir de neurones individuels. Elle ne fait pas non plus de l’interprétabilité un problème résolu.

Le chiffre étaye plutôt une proposition plus restreinte. Lorsque les chercheurs examinent les activations fortes avec de meilleurs outils, la plupart des pôles neuronaux échantillonnés semblent s’organiser autour d’une fonction cohérente. De petites branches apparentées peuvent exister sans impliquer des combinaisons arbitraires de concepts sans rapport.

Cammarata indique avoir examiné 100 millions de tokens pour un neurone de Qwen3-32B. Seuls environ 160 tokens ont atteint la moitié forte de sa plage d’activation. Il s’appuie sur cette distribution pour soutenir que l’activité faible ne devrait pas avoir le même poids interprétatif que les réponses les plus fortes d’un neurone.

Ce choix crée une division méthodologique. Un chercheur centré sur le comportement causal dominant pourrait écarter les faibles activations comme des résidus à faible impact. Un autre pourrait considérer cette même activité comme la preuve de fonctions secondaires cachées.

L’essai présente également 1 000 études de neurones sélectionnés aléatoirement dans Qwen3-32B et Qwen3.6-35B-A3B. Ces rapports examinent les contextes d’activation, les effets sur les sorties, les connexions et les interventions. Ils visent à aller au-delà des étiquettes fondées uniquement sur des exemples textuels corrélés.

Un circuit présenté relie plusieurs neurones de Qwen3-32B à une réponse liée à un diagnostic. Retirer un petit groupe modifierait la prochaine hypothèse diagnostique du modèle. D’autres exemples relient des neurones aux précautions dans les réponses, à la confiance de l’utilisateur et à des associations culturellement spécifiques.

Ces interventions sont plus instructives qu’une simple étiquette. Un neurone qui s’active autour d’un sujet peut seulement être corrélé à un autre processus. Le modifier et mesurer la sortie fournit des éléments indiquant qu’il participe au calcul.

Néanmoins, des preuves causales locales ne valident pas automatiquement l’estimation globale de 90 %. La galerie ne couvre qu’une infime fraction des unités internes de Qwen3-32B. Ses explications dépendent aussi en partie d’agents automatisés qui évaluent la cohérence sémantique.

Cammarata reconnaît une autre limite. Un article technique complémentaire consacré au travail sur les modèles de langage n’a pas encore fourni le compte rendu expérimental complet. L’essai public apporte des éléments considérables, mais mêle des résultats documentés à une conjecture plus vaste.

Cette distinction devrait guider la lecture du titre. La contestation de la superposition par Nick Cammarata est une proposition de recherche sérieuse étayée par des expériences. Elle demeure une remise en cause de la vision dominante, et non un remplacement établi de celle-ci.

Pourquoi le célèbre neurone chat-et-voiture est important

L’argument de Cammarata dépend de sa capacité à montrer que la recherche en interprétabilité a mal compris ses exemples les plus connus, et pas seulement à trouver des neurones plus nets dans des modèles récents.

Un exemple important est le neurone 4e:55 dans InceptionV1, un ancien réseau de classification d’images. Les chercheurs ont observé des réponses à des visages de chats et à l’avant de voitures. Cette combinaison semblait arbitraire, ce qui en a fait un exemple mémorable de polysémanticité.

La polysémanticité décrit une unité qui répond à plusieurs concepts apparemment sans rapport. La superposition offre une explication : un réseau représente davantage de caractéristiques que de dimensions disponibles en superposant leurs représentations. Des caractéristiques parcimonieuses peuvent partager de la capacité lorsqu’elles interfèrent rarement.

Cammarata a cosigné l’étude sur les circuits de 2020 qui a contribué à façonner cette interprétation. Cet historique donne à son revirement un poids inhabituel. Il réexamine des éléments qui ont influencé sa propre position antérieure.

Sa nouvelle lecture commence par la structure visuelle. Les visages de chats et l’avant des voitures comportent souvent une géométrie en V comparable. Le neurone pourrait donc détecter une configuration utile plutôt que stocker deux catégories d’objets sans rapport.

Cette différence paraît minime, mais elle modifie ce que représente le neurone. Une unité chat-et-voiture suggère un assemblage arbitraire de concepts. Un détecteur de forme en V suggère une généralisation visuelle ordinaire entre des exemples partageant une structure commune.

Cammarata applique un examen similaire à un autre circuit issu des travaux antérieurs. Le circuit semblait diffuser des informations sur les voitures vers plusieurs neurones liés aux chiens. Les chercheurs avaient interprété ce motif comme une information cachée dans une combinaison de grande dimension.

Le nouvel essai soutient que rien en aval ne lit le code caché supposé. Cammarata considère désormais ce motif comme une composition et une généralisation ordinaires. Il affirme ne pas avoir trouvé d’autre circuit publié dans un réseau réel présentant la structure de superposition attendue.

Il ne s’agit pas d’une réfutation mathématique de la superposition. L’absence d’un second circuit documenté peut refléter des observations limitées. Elle affaiblit toutefois la force rhétorique qui consiste à traiter un premier exemple comme représentatif des réseaux modernes.

L’architecture entre également dans l’argument. La couche finale d’InceptionV1 semblait autrefois particulièrement difficile à interpréter. Cammarata attribue une grande part de cette confusion aux goulots d’étranglement architecturaux, à la saturation des couches ultérieures et à des méthodes de visualisation ayant généré des images trompeuses.

Il a réentraîné des modèles d’image ConvNeXt avec 92 000, 7,06 millions et 28,6 millions de paramètres. Cela représente une plage de taille d’environ 300 fois. Il affirme que les modèles sont restés globalement lisibles à toutes ces échelles.

L’essai indique en outre que des améliorations architecturales ordinaires ont rendu 99 % à 100 % des neurones de la dernière couche facilement interprétables dans une configuration révisée. Selon Cammarata, la taille du modèle et les données d’entraînement ont été maintenues constantes pour la comparaison centrale.

Ce résultat soutient une autre explication de la pression sur la capacité. Avec moins de neurones, les modèles pourraient apprendre des catégories plus larges, par exemple un neurone couvrant plusieurs types de voitures. Avec davantage d’espace, ces grandes catégories peuvent se séparer en spécialistes plus étroits.

Ce processus n’exige pas que le réseau dissimule ensemble des concepts sans rapport. Il ressemble à une taxonomie qui devient plus détaillée à mesure que la capacité augmente. Les catégories restent reliées par leur histoire computationnelle.

Cammarata appelle ce processus la généralisation récursive. Un neurone commence par un rôle cohérent, puis acquiert des branches reliées par l’orthographe, la forme, le contexte ou la fonction du circuit. Un mélange apparent peut donc posséder une filiation interne.

Un exemple linguistique commence par des fragments de caractères reliés à des terminaisons apparentées, puis finit par conduire au nom Miyazaki. Un examen de surface pourrait classer ses activations comme sans rapport. Le suivi des couches révèle une séquence structurée de reconnaissance de plus en plus spécifique.

Le renversement central est donc historique autant que technique. Les exemples qui avaient éloigné les chercheurs des neurones pourraient désormais soutenir leur étude directe. Une meilleure observation change l’interprétation sans modifier le réseau entraîné.

La contestation de la superposition par Nick Cammarata dépendra en partie de ces réanalyses. Si d’autres chercheurs les reproduisent, le domaine devra reconsidérer ce que ses exemples canoniques ont réellement démontré. Si elles échouent, la prudence initiale à l’égard des neurones restera justifiée.

La contestation de la superposition par Nick Cammarata vise les autoencodeurs parcimonieux

Le principal débat oppose l’étude des mécanismes natifs d’un modèle à la décomposition de ses activations dans un nouveau dictionnaire de caractéristiques.

La recherche sur la superposition a gagné en influence parce que les neurones individuels semblaient souvent peu fiables comme unités d’explication. Les chercheurs ont répondu avec des autoencodeurs parcimonieux, ou SAE. Ces modèles auxiliaires reconstruisent l’activité neuronale à l’aide d’un ensemble plus vaste de caractéristiques pour la plupart inactives.

L’approche vise à transformer une activation dense en une liste de composantes plus interprétables. Elle est étroitement associée à des résultats issus de modèles jouets montrant que les réseaux peuvent représenter davantage de caractéristiques parcimonieuses que de dimensions disponibles. Ces expériences offrent un mécanisme clair de superposition dans des conditions contrôlées.

Cammarata ne soutient pas que les modèles jouets sont inutiles. Son objection porte sur le transfert de contextes simplifiés vers des réseaux entraînés. Un mécanisme apparaissant dans un environnement conçu à dessein ne domine pas nécessairement un modèle de langage moderne.

Il se demande aussi si un dictionnaire de caractéristiques extrait préserve l’organisation native du modèle. Chaque reconstruction implique des choix concernant la parcimonie, le nombre de caractéristiques, les données d’entraînement et l’erreur acceptable. Les caractéristiques obtenues peuvent être compréhensibles tout en s’écartant du calcul d’origine.

Cette préoccupation devient plus sérieuse lorsque les chercheurs utilisent la reconstruction comme principal objet d’étude. Un SAE peut révéler des motifs utiles tout en manquant des informations nécessaires au comportement exact. Il peut aussi répartir un mécanisme natif entre plusieurs caractéristiques apprises.

Anthropic a utilisé des représentations parcimonieuses pour cartographier des concepts au sein de modèles de langage. Ses recherches de cartographie des caractéristiques de 2024 ont identifié des motifs liés aux lieux, aux personnes, au code, aux biais et à des comportements pertinents pour la sécurité. Des travaux ultérieurs sur les circuits ont relié des caractéristiques extraites à travers les calculs des modèles.

Cammarata soutient que des circuits comparables peuvent parfois être retrouvés à partir des neurones natifs de Qwen3-32B. Ses exemples suivent l’information entre des groupes de neurones et mesurent les changements après leur suppression. Il présente cela comme un élément montrant que la décomposition n’est pas toujours une première étape nécessaire.

Le désaccord ne se résume pas à une opposition entre neurones et caractéristiques. Les deux camps utilisent des exemples d’activation, des interventions causales, un étiquetage automatisé et l’analyse de circuits. La véritable question porte sur la représentation à laquelle accorder la priorité.

Un chercheur privilégiant la décomposition considère les activations natives comme enchevêtrées et cherche une base plus propre. Cammarata considère le modèle natif comme le principal objet scientifique. Il n’utiliserait des représentations supplémentaires qu’après qu’une investigation directe aurait identifié un besoin précis.

Cette distinction influe sur le traitement des erreurs. Un circuit reconstruit peut nécessiter des termes d’erreur pour des comportements que son ensemble de caractéristiques ne capture pas. Un circuit de neurones natifs évite la perte de reconstruction, même si son explication humaine peut rester incomplète ou erronée.

Elle influe également sur le passage à l’échelle. Cartographier des millions de neurones paraît intimidant, même avec l’automatisation. Les dictionnaires clairsemés peuvent toutefois contenir encore davantage de caractéristiques, et chacune exige un étiquetage, une évaluation et un lien avec le comportement en aval.

Cammarata considère les agents de recherche en IA comme le facteur qui modifie cette équation. Les agents peuvent proposer des étiquettes pour les neurones, générer des tests, examiner des graphes d’attribution et réviser des explications défaillantes. Les chercheurs humains peuvent alors se concentrer sur les mécanismes inhabituels et les cas contestés.

OpenAI a exploré une direction proche en 2023 en demandant à GPT-4 d’expliquer les neurones de GPT-2. Son étude automatisée sur les neurones a généré et évalué des explications dans l’ensemble du modèle. OpenAI a indiqué que la plupart des explications obtenaient de faibles scores, en particulier dans les modèles plus grands et les couches ultérieures.

Cammarata interprète cet historique autrement que comme une simple histoire de neurones désordonnés. Selon lui, les méthodes antérieures demandaient souvent à un simulateur de prédire des activations précises. Ce type d’évaluation peut pénaliser une explication parce qu’elle omet des détails faibles qui comptent peu pour le rôle principal d’un neurone.

L’attention crée une autre complication. Un neurone associé à un sujet peut s’activer près de la ponctuation parce qu’une tête d’attention y a placé des informations contextuelles. Un simulateur pourrait juger l’explication inexacte alors même que le neurone remplit une fonction cohérente dans le circuit.

Cammarata privilégie donc plusieurs formes de preuves. Elles incluent des exemples de forte activation, des contre-exemples générés, des poids de sortie, des neurones connectés, des points de contrôle d’entraînement et des interventions. Aucune métrique unique ne détermine si une explication est correcte.

Ce processus plus large ressemble davantage à la biologie expérimentale qu’à la construction de dictionnaires. Les chercheurs formulent une hypothèse sur un composant, le perturbent, examinent les structures connectées et affinent leur description. Cammarata soutient que la cohérence émerge à mesure que la carte environnante se complète.

Son analogie privilégiée est celle d’une ville plutôt que d’un nœud. Une ville peut paraître confuse sans carte, alors que ses quartiers et ses routes remplissent des fonctions liées. La découper en pièces abstraites pourrait masquer l’organisation qui la rend compréhensible.

Les autoencodeurs clairsemés ne disparaîtront pas si son analyse gagne en soutien. Ils peuvent rester utiles pour explorer de grands espaces d’activation ou isoler un motif recherché. La pression porte sur les affirmations selon lesquelles les chercheurs doivent démêler chaque réseau avant d’étudier son calcul.

La version la plus forte de la remise en cause de la superposition par Nick Cammarata affirme que le réseau a déjà accompli une grande partie de l’organisation. L’interprétabilité devient alors un problème de cartographie plutôt qu’un problème de récupération. Cela réorienterait d’importants efforts de recherche vers les circuits natifs.

Un retest indépendant met le chiffre phare sous pression

Le premier retest public étaye certaines structures au niveau des neurones, mais ne reproduit pas le chiffre de 90 % de Goodfire selon des définitions plus strictes.

Le groupe de recherche indépendant IRSI a examiné plusieurs affirmations de l’essai peu après sa publication. Son retest préenregistré a évalué les résumés de Goodfire, un échantillon de neurones de Qwen3-32B, des directions aléatoires et des unités délibérément mélangées.

Trois classificateurs d’IA ont examiné les descriptions écrites de Goodfire pour 500 neurones de Qwen3-32B. Après avoir équilibré les résultats entre huit groupes de couches, leur vote majoritaire a classé 78,3 % des pôles décrits comme ayant une fonction principale. L’intervalle à 95 % rapporté allait de 75,5 % à 81,1 %.

Ce résultat est inférieur à l’estimation d’environ 90 % de Goodfire, mais il ne s’effondre pas vers zéro. Il suggère que la cohérence sémantique apparaît fréquemment dans un processus de classification externe. Il montre aussi que le résultat varie sensiblement lorsque les évaluateurs utilisent des critères différents.

L’étiqueteur d’IRSI, fondé sur son propre tableau de bord, a produit un résultat plus strict. Il a désigné entre 57 % et 65 % des neurones échantillonnés aléatoirement comme des unités à fonction unique. Le même système a classé ainsi environ 70 % des neurones de la galerie sélectionnée par Goodfire.

Les enquêteurs ont averti que leur instrument applique probablement une norme plus stricte que Goodfire. Leur procédure a également mal classé comme unités à fonction unique environ un cinquième des mélanges à deux fonctions introduits volontairement. Ces erreurs empêchent de trancher clairement sur l’estimation la plus proche de la réalité.

La comparaison avec les directions aléatoires a fourni des éléments mitigés. Dans l’échantillon plus large, post hoc, 65 % des neurones aléatoires ont reçu des étiquettes de fonction unique, contre 31 % des directions aléatoires. Cet écart de 34 points a dépassé le seuil prévu par les chercheurs.

Toutefois, l’échantillon préenregistré ne contenait que 48 neurones. Son écart de 26 points n’a pas atteint le seuil de 30 points. L’échantillon plus large apporte un soutien évocateur, mais ne constitue pas une confirmation préenregistrée.

La position dans les couches a encore compliqué le résultat. Dans les premières couches, les neurones aléatoires et les directions aléatoires ont reçu des taux similaires de fonction unique dans une analyse post hoc. La distinction s’est révélée plus nette ailleurs dans le modèle.

Ces résultats mettent en lumière la difficulté qui se cache derrière tout pourcentage net d’interprétabilité. Les chercheurs doivent décider quelles activations comptent, si des sous-fonctions liées doivent être regroupées et si les pôles négatifs et positifs méritent des étiquettes distinctes. Chaque choix influe sur le résultat.

Les évaluateurs automatisés ajoutent une autre incertitude. Les grands modèles de langage peuvent produire des explications fluides pour des motifs bruités. Ils peuvent également rejeter des structures valides qui ne correspondent pas à des catégories familières.

L’aveuglement était incomplet dans certaines parties du retest. Un classificateur pouvait distinguer les tableaux de bord de neurones de ceux des directions aléatoires avec un score d’aire sous la courbe proche de 0,85. Certains étiqueteurs d’IA avaient également vu le préenregistrement, tandis que d’autres ne l’avaient pas vu.

La galerie publiée par Goodfire soulève une question distincte de sélection. L’essai décrit 1 000 enquêtes choisies aléatoirement sur deux modèles. Pourtant, les évaluateurs externes qui lisent les résumés ne recréent pas indépendamment l’ensemble du pipeline de mesure.

L’audit mesure également les pôles des neurones, et non la compréhension complète du modèle. Un modèle peut contenir des unités individuellement cohérentes tout en reposant sur des interactions qui restent difficiles à expliquer. L’attention, les flux résiduels, les portes non linéaires et les circuits distribués peuvent créer une complexité au-dessus du niveau des neurones.

Un composant lisible ne garantit pas un système sûr. Les ingénieurs doivent encore identifier les circuits qui comptent lors d’une décision précise. Ils doivent déterminer comment ces circuits évoluent selon les prompts, les langues, le fine-tuning et les conditions de déploiement.

L’observation des 90 % de neurones ne prouve pas non plus que la tromperie ou une planification dangereuse apparaîtraient sous une étiquette évidente. Un comportement dangereux pourrait émerger de composants ordinaires organisés dans un circuit inhabituel. Des parties propres peuvent produire un ensemble opaque.

Cammarata anticipe une partie de cette objection. Son essai soutient que les neurones deviennent plus faciles à interpréter lorsque les chercheurs étudient leur écosystème environnant. Les connexions, les motifs d’attention et les interventions causales contraignent les explications plausibles.

Il s’agit d’un programme de recherche, et non d’une méthode de sécurité achevée. Il nécessite des évaluations standardisées qui récompensent l’exactitude causale plutôt que des descriptions convaincantes. Il nécessite aussi des tests sur plusieurs familles de modèles, architectures et régimes d’entraînement.

L’article technique complémentaire sera important, car l’essai actuel couvre plusieurs niveaux d’argumentation. Ses résultats de vision, ses exemples linguistiques et sa théorie de l’apprentissage s’étayent mutuellement. Ils ne constituent pas encore un benchmark unique que des équipes externes peuvent reproduire directement.

La position sceptique doit donc rester précise. Les éléments disponibles ne justifient pas de rejeter l’essai comme anecdotique. Ils ne justifient pas non plus d’annoncer que l’interprétabilité de l’IA est résolue.

Une lecture raisonnable se situe entre ces deux pôles. Les neurones natifs semblent plus structurés que les directions aléatoires dans plusieurs tests. La proportion exacte de neurones à fonction unique reste sensible aux définitions, à l’échantillonnage et aux méthodes d’évaluation.

La généralisation récursive propose une théorie différente de l’apprentissage neuronal

La proposition plus profonde remplace l’empaquetage arbitraire de caractéristiques par une explication développementale de la manière dont des rôles computationnels liés croissent ensemble.

La superposition présente principalement la capacité comme un problème de stockage. Un réseau possède davantage de caractéristiques utiles que de dimensions disponibles ; il superpose donc des représentations clairsemées. De faibles taux de collision permettent au modèle de préserver davantage d’informations qu’un simple système à une caractéristique par neurone.

La généralisation récursive présente le problème autour de la dynamique d’apprentissage. Les neurones se développent grâce aux gradients générés par des exemples liés et des circuits proches. De nouveaux rôles se forment là où la machinerie existante offre déjà un point de départ utile.

Dans cette perspective, un neurone général associé aux voitures peut se diviser en mécanismes automobiles spécialisés à mesure que la capacité augmente. Un neurone de motifs orthographiques peut acquérir des branches pour des noms ou des mots partageant les mêmes fragments. Ces rôles possèdent une filiation traçable plutôt qu’un appariement arbitraire.

Cammarata soutient que des caractéristiques faibles et sans lien font face à un parcours difficile. Elles doivent survivre aux interférences d’activations faibles et denses tout en contribuant peu à la perte d’entraînement. Des extensions liées peuvent au contraire réutiliser des circuits établis et recevoir un soutien de gradient plus cohérent.

Il décrit ce processus à l’aide d’idées telles que la course des circuits et la famine de gradients. Des mécanismes concurrents s’affrontent pour réduire l’erreur restante. Lorsqu’une voie apprend une fonction, elle peut priver des alternatives moins efficaces de gradients utiles.

Cette théorie produit des prédictions testables. Les faits rares devraient circuler par des circuits liés à leur sujet, et non par des dimensions sans lien choisies uniquement parce que les collisions sont improbables. Les points de contrôle d’entraînement devraient révéler des branches se développant à partir de mécanismes connectés sémantiquement ou fonctionnellement.

La proposition prédit également que des modèles plus grands et mieux entraînés peuvent devenir plus faciles à cartographier à certains égards. Une capacité accrue permet des neurones plus étroits, tandis que les circuits environnants fournissent un contexte interprétatif supplémentaire. L’échelle augmente le nombre de composants, mais peut réduire l’ambiguïté au sein de chacun.

Cette conclusion va à l’encontre d’une intuition courante. Les modèles plus grands semblent plus difficiles à comprendre parce qu’ils contiennent davantage de paramètres. Cammarata distingue la quantité de travail de la nature de ce travail.

Une grande ville exige une carte plus vaste qu’un village. Ses quartiers spécialisés peuvent néanmoins être plus faciles à identifier qu’une agglomération exiguë où chaque bâtiment remplit plusieurs fonctions. Davantage de composants ne signifie pas nécessairement davantage d’enchevêtrement conceptuel.

Les architectures modernes pourraient contribuer à cette organisation. Cammarata met en avant des améliorations qui aident les couches profondes à apprendre et empêchent la saturation des couches tardives. Ces changements ont été adoptés pour les performances des modèles, et non pour l’interprétabilité, mais ils peuvent produire une spécialisation interne plus nette.

L’argument reste incomplet autour de l’attention. Les modèles de langage contiennent bien moins de têtes d’attention que de neurones de perceptrons multicouches. Chaque tête peut participer à de larges motifs de routage, ce qui rend moins plausible une description du type une tête, une fonction.

Les flux résiduels posent un autre défi, car ils combinent les contributions de nombreux composants. Un neurone cohérent peut écrire dans un espace partagé où plusieurs signaux interagissent. Comprendre les neurones natifs n’élimine pas la nécessité d’étudier ces représentations combinées.

La généralisation récursive doit également distinguer une filiation significative d’un récit rétrospectif. Les chercheurs peuvent souvent inventer un lien entre deux concepts après les avoir observés ensemble. Des preuves solides exigent des prédictions, des tests sur des données retenues et des interventions causales.

Les points de contrôle de l’entraînement offrent une piste prometteuse. Si deux fonctions partagent véritablement une histoire développementale, les chercheurs devraient observer la formation de la branche au fil du temps. Cette séquence devrait se répéter entre les entraînements plus souvent que ne le prédirait une explication arbitraire.

La comparaison entre modèles offre un autre test. Des tâches similaires entraînées avec différentes graines devraient produire des motifs computationnels apparentés, même si les neurones individuels ne s’alignent pas exactement. Des structures récurrentes renforceraient l’idée que l’apprentissage organise les mécanismes de manière prévisible.

La théorie doit aussi inclure des cas adverses. Les chercheurs devraient rechercher spécifiquement des neurones dont les fonctions les plus fortes restent sans lien après une enquête minutieuse. Ces échecs révéleraient où s’arrête la généralisation récursive et où commence la véritable superposition.

Cammarata lance un défi exigeant à la thèse opposée : trouver un circuit de superposition convaincant dans un réseau réel. Un tel circuit devrait regrouper des fonctions sans rapport et montrer une machinerie en aval lisant la représentation combinée. La corrélation seule ne suffirait pas.

La même exigence devrait s’appliquer à la thèse du réseau propre. Une explication convaincante doit prédire les activations et les interventions au-delà des exemples utilisés pour créer son étiquette. Elle doit identifier les connexions pertinentes et résister à des tests conçus pour la réfuter.

Si la généralisation récursive se confirme, les chercheurs obtiendront davantage que des diagrammes plus clairs. Ils disposeront d’une théorie reliant l’interprétabilité à l’entraînement. Ce lien pourrait permettre aux ingénieurs de surveiller la formation de mécanismes indésirables au lieu de n’inspecter qu’un modèle terminé.

Elle pourrait aussi permettre des interventions plus ciblées. Les équipes pourraient identifier un environnement, un motif de jeu de données ou un signal de renforcement qui alimente un circuit nuisible. Elles pourraient ensuite ajuster cette source sans devoir réentraîner tous les outils d’interprétabilité.

Ces possibilités restent des implications en aval. Les preuves actuelles justifient des expériences ciblées, et non des garanties de déploiement. Les acheteurs en entreprise et les développeurs ne devraient pas considérer l’affirmation de neurones lisibles comme un certificat de sécurité.

Pour les travailleurs du savoir, la pertinence immédiate est indirecte mais réelle. Les fournisseurs de modèles s’appuient de plus en plus sur des affirmations d’interprétabilité pour étayer la confiance, l’audit et la gouvernance. Les acheteurs doivent savoir si ces affirmations décrivent des corrélations, des circuits causaux ou une couverture comportementale complète.

Le défi de la superposition formulé par Nick Cammarata précise cette distinction. Il suggère que l’organisation native du modèle mérite un nouvel examen. Il ne dispense pas de l’obligation de tester ce que font réellement ces mécanismes.

Trois signaux détermineront si le défi tient la route

La prochaine phase devra transformer une hypothèse de travail ambitieuse en mesures reproductibles, explications concurrentes et tests de sécurité au niveau du modèle.

Le premier signal est l’article technique annoncé sur les neurones des modèles de langage. Il devrait documenter l’échantillonnage, les seuils, les prompts destinés aux agents automatisés, les méthodes d’intervention et les cas d’échec. La publication du code et des données d’activation permettrait à des équipes indépendantes de reproduire l’analyse de Qwen3-32B.

Un résultat proche de 90 % selon plusieurs définitions préspécifiées renforcerait l’affirmation centrale. Une forte dispersion entre des définitions raisonnables déplacerait l’attention du pourcentage phare vers le constat plus restreint selon lequel les neurones natifs surpassent les directions aléatoires.

L’article doit également préciser comment Goodfire a sélectionné et évalué les 1 000 investigations sur les neurones. L’échantillonnage aléatoire devrait être reproductible entre les couches et les densités d’activation. Les pôles négatifs et positifs doivent recevoir un traitement cohérent.

Le deuxième signal est une réplication indépendante entre architectures. Les chercheurs devraient tester des modèles de langage denses et à mélange d’experts, y compris des modèles entraînés par différentes organisations. Les résultats en vision ne peuvent à eux seuls trancher la manière dont les circuits des transformeurs représentent le langage et le raisonnement.

La réplication devrait inclure des modèles plus anciens comme plus récents. Si les améliorations d’architecture expliquent des neurones plus nets, la différence devrait apparaître de façon systématique. Les chercheurs devraient pouvoir relier des changements de conception précis à des gains mesurables d’interprétabilité.

Les expériences intermodèles peuvent également tester l’échelle. Cammarata rapporte des motifs similaires dans des modèles atteignant des milliers de milliards de paramètres, dont Kimi K3, avec des détails renvoyés à des travaux ultérieurs. Une confirmation externe montrerait si cette organisation persiste au-delà d’un seul modèle Qwen.

Le troisième signal est une confrontation directe entre les explications fondées sur les neurones natifs et celles privilégiant d’abord la décomposition. Les deux approches devraient analyser les mêmes comportements à l’aide des mêmes prompts retenus. Les évaluateurs devraient comparer la fidélité causale, l’erreur de reconstruction, la couverture et le coût de recherche.

Un benchmark utile inclurait les connaissances ordinaires, le traitement multilingue, le raisonnement long, le comportement de refus et les prompts adverses. Il devrait récompenser les explications qui prédisent des interventions ciblées. La plausibilité en langage naturel ne devrait pas décider seule du résultat.

Les neurones natifs gagneraient en crédibilité s’ils expliquaient les circuits avec moins d’erreurs et moins d’hypothèses auxiliaires. Les représentations creuses conserveraient l’avantage si elles révélaient systématiquement une structure causale que l’analyse au niveau des neurones ne détecte pas.

Les chercheurs devraient également examiner les méthodes hybrides. Les neurones natifs pourraient définir la carte principale, tandis que les caractéristiques creuses aideraient à localiser une activité inhabituelle dans les flux résiduels. Les preuves pourraient soutenir une division du travail plutôt qu’une représentation universelle unique.

L’évaluation de la sécurité demeure le test le plus difficile. Une méthode doit détecter les mécanismes qui comptent lors de comportements rares ou adverses, et pas seulement les motifs fréquents dans un corpus. Des étiquettes de neurones propres signifient peu si des circuits critiques restent invisibles dans les conditions de déploiement.

Le débat public devrait éviter deux conclusions prématurées. L’une affirme que l’estimation de 90 % a résolu le problème de la boîte noire. L’autre affirme qu’un résultat indépendant plus faible rend l’ensemble de la proposition sans intérêt.

La possibilité la plus importante se situe entre les deux. Les chercheurs en interprétabilité ont peut-être sous-estimé la valeur des propres neurones d’un modèle tout en surestimant la nécessité d’une décomposition universelle. Corriger ce biais changerait les expériences, les outils et les priorités de financement.

Le revirement personnel de Cammarata donne de l’élan au débat, mais l’autorité ne peut pas le trancher. Son rôle antérieur dans la recherche sur les circuits confère une importance historique à la critique. Des preuves causales reproductibles doivent déterminer si la nouvelle interprétation l’emporte.

Les développeurs devraient suivre, dans cet ordre, l’article complémentaire, les réplications intermodèles et les benchmarks comparatifs de circuits. Ensemble, ces signaux peuvent distinguer un essai de recherche convaincant d’un changement durable dans l’interprétabilité de l’IA.

La question pratique est désormais claire : des équipes indépendantes peuvent-elles utiliser les neurones natifs pour prédire et contrôler le comportement des modèles mieux que les décompositions de caractéristiques existantes ? Si oui, le défi de la superposition de Nick Cammarata deviendra un programme d’ingénierie. Sinon, l’enseignement des neurones à 90 % restera un avertissement précieux sur la mesure, et non une nouvelle base pour la sécurité des modèles.