Nick Cammaratas Superpositions-Herausforderung beruht auf einer 90-Prozent-Behauptung zu Neuronen

Nick Cammarata stellt die Superpositionstheorie mit einer bemerkenswerten Schätzung infrage: Rund 90 % der untersuchten Neuronenpole von Qwen3-32B hätten eine Hauptaufgabe. Sein Essay vom Oktober 2026 argumentiert, dass neuronale Netze weitaus geordneter seien, als Interpretierbarkeitsforscher angenommen hätten. Die Zahl stammt jedoch aus einer vorläufigen Prüfung, und ein früher unabhängiger Nachtest erzielte ein niedrigeres Ergebnis.

Der Streit geht über einen einzelnen Prozentsatz hinaus. Cammarata sagt, Forscher hätten die Beispiele fehlinterpretiert, die dazu beitrugen, Superposition als zentrale Erklärung für verwirrendes neuronales Verhalten zu etablieren. Er schlägt stattdessen rekursive Generalisierung vor, bei der verwandte Funktionen aus einer gemeinsamen rechnerischen Rolle entstehen, statt willkürlich zusammengepackt zu werden.

Diese Behauptung stellt Forschungsstrategien direkt infrage, die Modellaktivität in klarere Merkmale zerlegen. OpenAI und Anthropic haben dafür automatisierte Erklärungen, Sparse Autoencoder und Methoden zur Schaltkreisverfolgung entwickelt. Cammaratas Alternative setzt bei den nativen Neuronen des Modells an und fragt, ob das vermeintliche Chaos auf begrenzte Werkzeuge zurückging.

Die 90-Prozent-Behauptung verändert die Ausgangsannahme

Die entscheidende Veränderung besteht nicht darin, dass sich ein Interpretierbarkeitswert verbessert hat, sondern darin, dass Cammarata möchte, dass Forscher wieder bei nativen Neuronen beginnen.

Cammarata bezeichnet seinen 65-minütigen Forschungsessay als Arbeitshypothese und nicht als begutachtete wissenschaftliche Veröffentlichung. Er verbindet neue Experimente, interaktive Visualisierungen, historische Neuinterpretationen und eine umfassendere Theorie darüber, wie neuronale Netze sich organisieren.

Seine vorläufige Prüfung von Qwen3-32B konzentriert sich auf Neuronenpole. Ein Pol ist eine gerichtete Seite eines Neurons und umfasst stark positive oder stark negative Aktivität. Diese Unterscheidung ist wichtig, weil die beiden Richtungen unterschiedliche rechnerische Effekte unterstützen können.

Goodfires Schätzung ordnet etwa 90 % der untersuchten Pole einer Hauptaufgabe zu. Berichten zufolge haben etwa 7 % zwei verwandte Aufgaben, während 2 % bis 4 % ungeklärt bleiben. Cammarata sagt ausdrücklich, dass diese Prozentsätze von Schwellenwerten, Modelltiefe, Schaltkreisdichte und der Definition einer Aufgabe abhängen.

Die Analyse belegt daher nicht, dass 90 % jedes Modells vollständig verstanden sind. Sie zeigt nicht, dass Forscher sämtliches Verhalten aus einzelnen Neuronen vorhersagen können. Sie macht Interpretierbarkeit auch nicht zu einem gelösten Problem.

Stattdessen stützt die Zahl eine engere These. Wenn Forscher starke Aktivierungen mit besseren Werkzeugen untersuchen, scheinen die meisten untersuchten Neuronenpole um eine kohärente Funktion organisiert zu sein. Kleinere verwandte Zweige können existieren, ohne beliebige Kombinationen nicht zusammenhängender Konzepte zu bedeuten.

Cammarata berichtet, für ein Qwen3-32B-Neuron 100 Millionen Tokens untersucht zu haben. Nur etwa 160 Tokens erreichten die starke Hälfte seines Aktivierungsbereichs. Anhand dieser Verteilung argumentiert er, dass schwache Aktivität nicht dasselbe interpretative Gewicht tragen sollte wie die stärksten Reaktionen eines Neurons.

Diese Entscheidung schafft eine methodische Trennlinie. Ein Forscher, der sich auf dominantes kausales Verhalten konzentriert, könnte schwache Aktivierungen als wirkungsarme Rückstände ignorieren. Ein anderer Forscher könnte dieselbe Aktivität als Hinweis auf verborgene Sekundärfunktionen deuten.

Der Essay präsentiert zudem 1.000 zufällig ausgewählte Neuronenuntersuchungen zu Qwen3-32B und Qwen3.6-35B-A3B. Diese Berichte prüfen Aktivierungskontexte, Auswirkungen auf Ausgaben, Verbindungen und Interventionen. Sie sollen über Kennzeichnungen hinausgehen, die nur auf korrelierten Textbeispielen beruhen.

Ein dargestellter Schaltkreis verbindet mehrere Qwen3-32B-Neuronen mit einer diagnosebezogenen Antwort. Das Entfernen einer kleinen Gruppe verändert Berichten zufolge die nächste diagnostische Vermutung des Modells. Andere Beispiele verbinden Neuronen mit vorsichtigen Antwortformulierungen, Nutzerzuversicht und kulturell spezifischen Assoziationen.

Diese Interventionen sind aussagekräftiger als eine Kennzeichnung allein. Ein Neuron, das bei einem Thema aktiviert wird, könnte lediglich mit einem anderen Prozess korrelieren. Es zu verändern und die Ausgabe zu messen, liefert Hinweise darauf, dass es an der Berechnung beteiligt ist.

Lokale kausale Evidenz bestätigt jedoch nicht automatisch die vollständige 90-Prozent-Schätzung. Die Galerie deckt nur einen winzigen Anteil der internen Einheiten von Qwen3-32B ab. Ihre Erklärungen hängen zudem teilweise von automatisierten Agenten ab, die Urteile über semantische Kohärenz fällen.

Cammarata räumt eine weitere Einschränkung ein. Eine technische Begleitpublikation zur Arbeit an Sprachmodellen hat die vollständige experimentelle Darstellung noch nicht geliefert. Der öffentliche Essay bietet beträchtliche Evidenz, vermischt jedoch dokumentierte Befunde mit einer größeren Vermutung.

Diese Unterscheidung sollte beeinflussen, wie Leser die Überschrift interpretieren. Nick Cammaratas Herausforderung der Superposition ist ein ernsthafter, durch Experimente gestützter Forschungsvorschlag. Sie bleibt eine Herausforderung für das vorherrschende Bild, nicht dessen endgültig etablierter Ersatz.

Warum das berühmte Katzen-und-Auto-Neuron wichtig ist

Cammaratas Argument hängt davon ab zu zeigen, dass die Interpretierbarkeitsforschung ihre bekanntesten Beispiele missverstanden hat, nicht nur davon, sauberere Neuronen in neueren Modellen zu finden.

Ein wichtiges Beispiel ist Neuron 4e:55 in InceptionV1, einem frühen Netzwerk zur Bildklassifizierung. Forscher beobachteten Reaktionen auf Katzengesichter und die Fronten von Autos. Die Kombination wirkte beliebig und wurde so zu einem einprägsamen Beispiel für Polysemantik.

Polysemantik beschreibt eine Einheit, die auf mehrere scheinbar nicht zusammenhängende Konzepte reagiert. Superposition bietet eine Erklärung: Ein Netzwerk repräsentiert mehr Merkmale, als ihm verfügbare Dimensionen zur Verfügung stehen, indem es ihre Darstellungen überlagert. Spärliche Merkmale können Kapazität teilen, wenn sie sich nur selten gegenseitig stören.

Cammarata war Mitautor der Schaltkreisstudie von 2020, die diese Interpretation mitprägte. Diese Vorgeschichte verleiht seiner Kehrtwende besonderes Gewicht. Er überprüft Belege erneut, die seine eigene frühere Position beeinflussten.

Seine neue Lesart beginnt bei der visuellen Struktur. Katzengesichter und Autofronten enthalten häufig vergleichbare V-förmige Geometrie. Das Neuron könnte daher eine nützliche Konfiguration erkennen, statt zwei nicht verwandte Objektkategorien zu speichern.

Der Unterschied klingt gering, verändert jedoch, was das Neuron repräsentiert. Eine Katzen-und-Auto-Einheit deutet auf beliebiges Packen von Konzepten hin. Ein V-Form-Detektor deutet auf gewöhnliche visuelle Generalisierung über Beispiele mit gemeinsamer Struktur hinweg.

Cammarata wendet eine ähnliche Prüfung auf einen weiteren Schaltkreis aus der früheren Arbeit an. Der Schaltkreis schien Autoinformationen auf mehrere hundebezogene Neuronen zu verteilen. Forscher interpretierten dieses Muster als Information, die in einer hochdimensionalen Kombination verborgen sei.

Der neue Essay argumentiert, dass nichts nachgelagert den vermeintlich verborgenen Code ausliest. Cammarata behandelt das Muster nun als gewöhnliche Komposition und Generalisierung. Er sagt, keinen weiteren veröffentlichten Schaltkreis eines realen Netzwerks mit der erwarteten Superpositionsstruktur gefunden zu haben.

Das ist kein mathematischer Gegenbeweis für Superposition. Das Fehlen eines zweiten dokumentierten Schaltkreises könnte auf begrenzte Beobachtung zurückgehen. Es schwächt jedoch die rhetorische Wirkung, ein frühes Beispiel als repräsentativ für moderne Netzwerke zu behandeln.

Auch die Architektur spielt in der Argumentation eine Rolle. Die letzte Schicht von InceptionV1 schien einst besonders schwer interpretierbar. Cammarata schreibt einen Großteil dieser Verwirrung architektonischen Engpässen, Überläufen in späteren Schichten und Visualisierungsmethoden zu, die irreführende Bilder erzeugten.

Er trainierte ConvNeXt-Bildmodelle mit 92.000, 7,06 Millionen und 28,6 Millionen Parametern neu. Das entspricht einer Größenspanne von etwa dem 300-Fachen. Er sagt, die Modelle seien über diese Größenordnungen hinweg weitgehend verständlich geblieben.

Der Essay berichtet zudem, dass gewöhnliche architektonische Verbesserungen in einer überarbeiteten Konfiguration 99 % bis 100 % der Neuronen der letzten Schicht leicht interpretierbar machten. Modellgröße und Trainingsdaten wurden laut Cammarata für den zentralen Vergleich konstant gehalten.

Dieses Ergebnis stützt eine andere Erklärung für Kapazitätsdruck. Mit weniger Neuronen könnten Modelle breitere Kategorien lernen, etwa wenn ein Neuron mehrere Arten von Autos abdeckt. Mit mehr Raum können sich diese breiten Kategorien in engere Spezialisten aufspalten.

Dieser Prozess verlangt nicht, dass das Netzwerk nicht verwandte Konzepte gemeinsam verbirgt. Er ähnelt einer Taxonomie, die mit wachsender Kapazität detaillierter wird. Die Kategorien bleiben durch ihre rechnerische Geschichte verbunden.

Cammarata nennt diesen Prozess rekursive Generalisierung. Ein Neuron beginnt mit einer kohärenten Rolle und erwirbt dann Zweige, die über Schreibweise, Form, Kontext oder Schaltkreisfunktion verbunden sind. Eine scheinbare Mischung kann daher eine innere Abstammung besitzen.

Ein Sprachbeispiel beginnt mit Zeichenfragmenten, die mit verwandten Endungen und schließlich mit dem Namen Miyazaki verbunden sind. Eine oberflächliche Untersuchung könnte seine Aktivierungen als nicht zusammenhängend einstufen. Das Verfolgen der Schichten offenbart eine strukturierte Abfolge zunehmend spezifischer Erkennung.

Die zentrale Kehrtwende ist daher ebenso historisch wie technisch. Die Beispiele, die Forscher von Neuronen wegführten, könnten nun die direkte Untersuchung von Neuronen stützen. Bessere Beobachtung verändert die Interpretation, ohne das trainierte Netzwerk zu verändern.

Nick Cammaratas Herausforderung der Superposition wird teilweise an diesen erneuten Analysen stehen oder fallen. Wenn andere Forscher sie reproduzieren, muss das Feld überdenken, was seine kanonischen Beispiele tatsächlich zeigten. Scheitern sie, bleibt die ursprüngliche Vorsicht gegenüber Neuronen gerechtfertigt.

Nick Cammaratas Superpositions-Herausforderung zielt auf Sparse Autoencoder

Der zentrale Wettbewerb besteht zwischen der Untersuchung nativer Modellmechanismen und der Zerlegung ihrer Aktivierungen in ein neues Merkmalswörterbuch.

Die Superpositionsforschung gewann an Einfluss, weil einzelne Neuronen als Erklärungseinheiten oft unzuverlässig wirkten. Forscher reagierten darauf mit Sparse Autoencodern oder SAEs. Diese Hilfsmodelle rekonstruieren neuronale Aktivität mithilfe einer größeren Menge überwiegend inaktiver Merkmale.

Der Ansatz soll eine dichte Aktivierung in eine besser interpretierbare Liste von Komponenten überführen. Er ist eng mit Evidenz aus Spielzeugmodellen verbunden, die zeigt, dass Netzwerke mehr spärliche Merkmale als verfügbare Dimensionen repräsentieren können. Diese Experimente bieten unter kontrollierten Bedingungen einen klaren Mechanismus für Superposition.

Cammarata behauptet nicht, dass Spielzeugmodelle nutzlos seien. Sein Einwand betrifft die Übertragung von vereinfachten Umgebungen auf trainierte Netzwerke. Ein Mechanismus, der in einer konstruierten Umgebung auftritt, muss nicht zwangsläufig ein modernes Sprachmodell dominieren.

Er hinterfragt zudem, ob ein extrahiertes Merkmalswörterbuch die native Organisation des Modells bewahrt. Jede Rekonstruktion bringt Entscheidungen über Sparsity, Merkmalsanzahl, Trainingsdaten und akzeptable Fehler mit sich. Die resultierenden Merkmale können verständlich sein und dennoch von der ursprünglichen Berechnung abweichen.

Dieses Bedenken wird ernster, wenn Forscher die Rekonstruktion zu ihrem Hauptgegenstand machen. Ein SAE kann nützliche Muster sichtbar machen und dennoch Informationen verfehlen, die für exaktes Verhalten erforderlich sind. Er kann auch einen nativen Mechanismus auf mehrere gelernte Merkmale aufteilen.

Anthropic hat sparse Repräsentationen genutzt, um Konzepte in Sprachmodellen zu kartieren. Seine Merkmalskartierungsforschung von 2024 identifizierte Muster zu Orten, Personen, Code, Verzerrungen und sicherheitsrelevantem Verhalten. Spätere Schaltkreisarbeiten verbanden extrahierte Merkmale über Modellberechnungen hinweg.

Cammarata argumentiert, dass vergleichbare Schaltkreise mitunter aus nativen Qwen3-32B-Neuronen rekonstruiert werden können. Seine Beispiele verfolgen Informationen zwischen Neuronengruppen und messen Veränderungen nach deren Entfernung. Er präsentiert dies als Beleg dafür, dass Zerlegung nicht immer ein notwendiger erster Schritt ist.

Die Meinungsverschiedenheit lautet nicht einfach Neuronen gegen Features. Beide Seiten nutzen Aktivierungsbeispiele, kausale Interventionen, automatisierte Kennzeichnung und Schaltkreisanalyse. Die eigentliche Frage ist, welcher Repräsentation Vorrang eingeräumt wird.

Ein decomposition-first-Forscher betrachtet native Aktivierungen als verworren und sucht nach einer saubereren Basis. Cammarata behandelt das native Modell als den zentralen wissenschaftlichen Untersuchungsgegenstand. Zusätzliche Repräsentationen würde er erst einsetzen, wenn eine direkte Untersuchung einen konkreten Bedarf offenlegt.

Diese Unterscheidung beeinflusst den Umgang mit Fehlern. Ein rekonstruierter Schaltkreis kann Fehlerterme für Verhalten benötigen, das sein Feature-Set nicht erfasst. Ein nativer Neuronenschaltkreis vermeidet Rekonstruktionsverluste, auch wenn seine menschliche Erklärung weiterhin unvollständig oder falsch sein kann.

Sie beeinflusst auch die Skalierbarkeit. Millionen von Neuronen zu kartieren, erscheint selbst mit Automatisierung abschreckend. Spärliche Wörterbücher können allerdings noch mehr Features enthalten, und jedes Feature muss gekennzeichnet, bewertet und mit nachgelagertem Verhalten verknüpft werden.

Cammarata sieht KI-Forschungsagenten als den Faktor, der diese Gleichung verändert. Agenten können Neuronenbezeichnungen vorschlagen, Tests generieren, Attributionsgraphen untersuchen und fehlgeschlagene Erklärungen überarbeiten. Menschliche Forschende können sich dann auf ungewöhnliche Mechanismen und umstrittene Fälle konzentrieren.

OpenAI untersuchte 2023 eine verwandte Richtung, indem GPT-4 gebeten wurde, GPT-2-Neuronen zu erklären. Die automatisierte Neuronenstudie erzeugte und bewertete Erklärungen im gesamten Modell. OpenAI berichtete, dass die meisten Erklärungen schlecht abschnitten, insbesondere in größeren Modellen und späteren Schichten.

Cammarata interpretiert diese Geschichte anders als bloß als Erzählung über chaotische Neuronen. Er sagt, frühere Methoden hätten Simulatoren oft aufgefordert, präzise Aktivierungen vorherzusagen. Eine solche Bewertung kann eine Erklärung dafür bestrafen, schwache Details zu übersehen, die für die Hauptfunktion eines Neurons kaum relevant sind.

Attention schafft eine weitere Komplikation. Ein mit einem Subjekt assoziiertes Neuron kann in der Nähe von Satzzeichen feuern, weil ein Attention Head Kontextinformationen dort platziert hat. Ein Simulator könnte die Erklärung als ungenau bewerten, obwohl das Neuron eine kohärente Funktion im Schaltkreis erfüllt.

Cammarata bevorzugt daher mehrere Formen von Evidenz. Dazu gehören Beispiele hoher Aktivierung, generierte Gegenbeispiele, Output-Gewichte, verbundene Neuronen, Trainings-Checkpoints und Interventionen. Keine einzelne Kennzahl entscheidet, ob eine Erklärung korrekt ist.

Dieser umfassendere Prozess ähnelt eher der experimentellen Biologie als der Konstruktion von Wörterbüchern. Forschende bilden eine Hypothese über eine Komponente, verändern sie gezielt, untersuchen verbundene Strukturen und verfeinern die Erklärung. Cammarata argumentiert, dass Kohärenz entsteht, während die umgebende Karte vervollständigt wird.

Seine bevorzugte Analogie ist eine Stadt statt eines Knotens. Eine Stadt kann ohne Karte verwirrend wirken, doch ihre Viertel und Straßen erfüllen miteinander verbundene Zwecke. Sie in abstrakte Stücke zu zerlegen, könnte die Organisation verdecken, die sie verständlich macht.

Sparse Autoencoders werden nicht verschwinden, falls seine Darstellung Unterstützung gewinnt. Sie können weiterhin nützlich sein, um große Aktivierungsräume zu durchsuchen oder ein gewünschtes Muster zu isolieren. Unter Druck geraten Behauptungen, Forschende müssten jedes Netzwerk entwirren, bevor sie seine Berechnung untersuchen können.

Die stärkere Version von Nick Cammaratas Superpositions-Herausforderung besagt, dass das Netzwerk einen Großteil der Organisation bereits selbst vorgenommen hat. Interpretierbarkeit wird dann zu einem Kartierungsproblem statt zu einem Wiederherstellungsproblem. Das würde erhebliche Forschungsanstrengungen auf native Schaltkreise umlenken.

Ein unabhängiger Nachtest setzt die Schlagzeilenzahl unter Druck

Der erste öffentliche Nachtest stützt eine gewisse Struktur auf Neuronenebene, reproduziert Goodfires 90%-Wert unter strengeren Definitionen jedoch nicht.

Die unabhängige Forschungsgruppe IRSI untersuchte kurz nach der Veröffentlichung mehrere Behauptungen aus dem Essay. Ihr vorregistrierter Nachtest bewertete Goodfires Zusammenfassungen, Stichproben von Qwen3-32B-Neuronen, Zufallsrichtungen und absichtlich gemischte Einheiten.

Drei KI-Klassifikatoren überprüften Goodfires schriftliche Beschreibungen für 500 Qwen3-32B-Neuronen. Nach dem Ausgleich der Ergebnisse über acht Schichtgruppen klassifizierte ihr Mehrheitsvotum 78,3 % der beschriebenen Pole als Einheiten mit einer Hauptaufgabe. Das berichtete 95%-Intervall lag zwischen 75,5 % und 81,1 %.

Dieses Ergebnis liegt unter Goodfires Schätzung von ungefähr 90 %, ist aber kein Einbruch auf nahezu null. Es legt nahe, dass semantische Kohärenz in einem externen Klassifikationsverfahren häufig erscheint. Zugleich zeigt es, dass sich das Ergebnis deutlich verschiebt, wenn Bewertende andere Kriterien anwenden.

IRSIs eigener Dashboard-basierter Labeler lieferte ein strengeres Ergebnis. Er kennzeichnete 57 % bis 65 % der zufällig ausgewählten Neuronen als Einheiten mit einer Aufgabe. Dasselbe System klassifizierte etwa 70 % der Neuronen aus Goodfires kuratierter Galerie auf diese Weise.

Die Untersuchenden warnten, dass ihr Instrument wahrscheinlich einen strengeren Maßstab als Goodfire anlegt. Ihr Verfahren klassifizierte zudem ungefähr ein Fünftel absichtlich eingebrachter Zwei-Aufgaben-Mischungen fälschlich als Einheiten mit einer Aufgabe. Diese Fehler verhindern ein eindeutiges Urteil darüber, welche Schätzung näher an der Realität liegt.

Der Vergleich mit Zufallsrichtungen lieferte gemischte Evidenz. In der größeren, post-hoc erhobenen Stichprobe erhielten 65 % der Zufallsneuronen Ein-Aufgaben-Labels, verglichen mit 31 % der Zufallsrichtungen. Dieser Unterschied von 34 Prozentpunkten überschritt den geplanten Schwellenwert der Forschenden.

Die vorregistrierte Stichprobe enthielt jedoch nur 48 Neuronen. Ihre Differenz von 26 Prozentpunkten verfehlte den Schwellenwert von 30 Punkten. Die größere Stichprobe bietet einen Hinweis zur Unterstützung, gilt aber nicht als vorregistrierte Bestätigung.

Die Position in den Schichten verkomplizierte das Ergebnis zusätzlich. In frühen Schichten erhielten Zufallsneuronen und Zufallsrichtungen in einer post-hoc Analyse ähnliche Ein-Aufgaben-Raten. An anderen Stellen im Modell wurde die Unterscheidung deutlicher.

Diese Befunde legen die Schwierigkeit hinter jeder klaren Prozentzahl zur Interpretierbarkeit offen. Forschende müssen entscheiden, welche Aktivierungen zählen, ob verwandte Teilfunktionen zusammengehören und ob negative und positive Pole getrennte Labels verdienen. Jede Entscheidung beeinflusst das Ergebnis.

Automatisierte Bewerter fügen eine weitere Unsicherheit hinzu. Große Sprachmodelle können für verrauschte Muster überzeugende Erklärungen formulieren. Sie könnten auch gültige Strukturen ablehnen, die nicht in vertraute Kategorien passen.

Die Verblindung war in Teilen des Nachtests unvollständig. Ein Klassifikator konnte Neuronen-Dashboards von Zufallsrichtungs-Dashboards mit einem Area-under-the-Curve-Wert von etwa 0,85 unterscheiden. Einige KI-Labeler hatten zudem die Vorregistrierung gesehen, andere jedoch nicht.

Goodfires veröffentlichte Galerie wirft eine separate Frage der Auswahl auf. Der Essay beschreibt 1.000 zufällig ausgewählte Untersuchungen über zwei Modelle hinweg. Externe Bewertende, die die Zusammenfassungen lesen, rekonstruieren jedoch nicht unabhängig die gesamte Messpipeline.

Das Audit misst außerdem Neuronenpole, nicht das vollständige Verständnis eines Modells. Ein Modell kann individuell kohärente Einheiten enthalten und dennoch auf Interaktionen beruhen, die schwer zu erklären bleiben. Attention, Residual Streams, nichtlineare Gates und verteilte Schaltkreise können Komplexität oberhalb der Neuronenebene erzeugen.

Eine verständliche Komponente garantiert kein sicheres System. Ingenieure müssen weiterhin identifizieren, welche Schaltkreise bei einer konkreten Entscheidung relevant sind. Sie müssen bestimmen, wie sich diese Schaltkreise über Prompts, Sprachen, Fine-Tuning und Einsatzbedingungen hinweg verändern.

Die Erkenntnis von 90 % Neuronen beweist auch nicht, dass Täuschung oder unsichere Planung unter einem offensichtlichen Label erscheinen würden. Ein gefährliches Verhalten könnte durch gewöhnliche Komponenten entstehen, die in einem ungewohnten Schaltkreis angeordnet sind. Saubere Teile können ein undurchsichtiges Ganzes erzeugen.

Cammarata nimmt einen Teil dieses Einwands vorweg. Sein Essay argumentiert, dass Neuronen leichter zu interpretieren werden, wenn Forschende ihr umgebendes Ökosystem untersuchen. Verbindungen, Attention-Muster und kausale Interventionen begrenzen plausible Erklärungen.

Das ist ein Forschungsprogramm, keine abgeschlossene Sicherheitsmethode. Es benötigt standardisierte Bewertungen, die kausale Genauigkeit statt überzeugender Beschreibungen belohnen. Außerdem braucht es Tests über mehrere Modellfamilien, Architekturen und Trainingsregime hinweg.

Das technische Begleitpapier wird wichtig sein, weil der aktuelle Essay mehrere Argumentationsebenen umfasst. Seine Ergebnisse zur Bildverarbeitung, Sprachbeispiele und Lerntheorie stützen sich gegenseitig. Sie bilden bislang keinen einzelnen Benchmark, den externe Teams direkt reproduzieren können.

Die skeptische Position sollte daher präzise bleiben. Die Evidenz rechtfertigt es nicht, den Essay als anekdotisch abzutun. Sie rechtfertigt ebenso wenig die Verkündung, die KI-Interpretierbarkeit sei gelöst.

Eine vernünftige Lesart liegt zwischen diesen Polen. Native Neuronen erscheinen in mehreren Tests strukturierter als Zufallsrichtungen. Der genaue Anteil von Ein-Aufgaben-Neuronen bleibt empfindlich gegenüber Definitionen, Stichproben und Bewertungsmethoden.

Rekursive Generalisierung bietet eine andere Theorie neuronalen Lernens

Der tiefergehende Vorschlag ersetzt willkürliche Feature-Packung durch eine entwicklungsbezogene Darstellung davon, wie verwandte rechnerische Rollen gemeinsam wachsen.

Superposition beschreibt Kapazität vor allem als Speicherproblem. Ein Netzwerk verfügt über mehr nützliche Features als verfügbare Dimensionen und überlagert daher spärliche Repräsentationen. Niedrige Kollisionsraten ermöglichen es dem Modell, mehr Informationen zu bewahren als ein einfaches System mit einem Feature pro Neuron.

Rekursive Generalisierung ordnet das Problem den Lerndynamiken zu. Neuronen entwickeln sich durch Gradienten, die von verwandten Beispielen und benachbarten Schaltkreisen erzeugt werden. Neue Rollen entstehen dort, wo vorhandene Mechanismen bereits einen nützlichen Ausgangspunkt bieten.

Nach dieser Sichtweise kann sich ein breites Auto-Neuron mit zunehmender Kapazität in spezialisierte Auto-Mechanismen aufspalten. Ein Neuron für Rechtschreibmuster kann Verzweigungen für Namen oder Wörter entwickeln, die dieselben Fragmente teilen. Diese Rollen haben eine nachvollziehbare Abstammung statt einer willkürlichen Paarung.

Cammarata argumentiert, dass schwache, nicht verwandte Features einen schwierigen Weg vor sich haben. Sie müssen Interferenzen durch dichte schwache Aktivierungen überstehen und tragen zugleich wenig zum Trainingsverlust bei. Verwandte Erweiterungen können dagegen etablierte Schaltkreise wiederverwenden und erhalten konsistentere Gradientenunterstützung.

Er beschreibt diesen Prozess mit Ideen wie Circuit Racing und Gradient Starvation. Konkurrierende Mechanismen wetteifern darum, den verbleibenden Fehler zu reduzieren. Sobald ein Weg eine Funktion lernt, kann er weniger effizienten Alternativen nützliche Gradienten entziehen.

Diese Theorie erzeugt überprüfbare Vorhersagen. Seltene Fakten sollten durch Schaltkreise wandern, die mit ihrem Gegenstand verwandt sind, und nicht durch unabhängige Dimensionen, die nur gewählt wurden, weil Kollisionen unwahrscheinlich sind. Trainings-Checkpoints sollten Verzweigungen offenlegen, die aus semantisch oder funktional verbundenen Mechanismen wachsen.

Der Vorschlag sagt außerdem voraus, dass größere, besser trainierte Modelle in mancher Hinsicht leichter zu kartieren sein können. Mehr Kapazität ermöglicht engere Neuronen, während umgebende Schaltkreise zusätzlichen interpretativen Kontext liefern. Skalierung erhöht die Zahl der Teile, kann aber die Mehrdeutigkeit innerhalb jedes Teils reduzieren.

Diese Schlussfolgerung widerspricht einer verbreiteten Intuition. Größere Modelle scheinen schwerer zu verstehen, weil sie mehr Parameter enthalten. Cammarata trennt den Umfang der Arbeit von ihrer Art.

Eine große Stadt benötigt eine größere Karte als ein Dorf. Ihre spezialisierten Bezirke können dennoch leichter zu identifizieren sein als eine beengte Siedlung, in der jedes Gebäude mehreren Zwecken dient. Mehr Komponenten bedeuten nicht zwangsläufig mehr konzeptionelle Verflechtung.

Moderne Architekturen könnten zu dieser Organisation beitragen. Cammarata hebt Verbesserungen hervor, die tieferen Schichten beim Lernen helfen und Überläufe in späten Schichten verhindern. Diese Änderungen wurden für die Modellleistung übernommen, nicht für Interpretierbarkeit, können aber zu sauberer interner Spezialisierung führen.

Das Argument bleibt im Hinblick auf Attention unvollständig. Sprachmodelle enthalten weit weniger Attention Heads als Neuronen in multilayer perceptrons. Jeder Head kann an breit angelegten Routing-Mustern beteiligt sein, wodurch eine Beschreibung nach dem Prinzip ein Head, eine Aufgabe weniger plausibel wird.

Residualströme stellen eine weitere Herausforderung dar, weil sie Beiträge vieler Komponenten bündeln. Ein kohärentes Neuron kann in einen gemeinsamen Raum schreiben, in dem mehrere Signale miteinander interagieren. Das Verständnis nativer Neuronen ersetzt nicht die Untersuchung dieser kombinierten Repräsentationen.

Rekursive Generalisierung muss außerdem zwischen einer bedeutungsvollen Abstammungslinie und rückblickender Narrativbildung unterscheiden. Forschende können häufig eine Verbindung zwischen zwei Konzepten erfinden, nachdem sie diese gemeinsam beobachtet haben. Belastbare Belege erfordern Vorhersagen, Tests mit zurückgehaltenen Daten und kausale Interventionen.

Trainings-Checkpoints bieten einen vielversprechenden Ansatz. Wenn zwei Funktionen tatsächlich eine gemeinsame Entwicklungsgeschichte haben, sollten Forschende beobachten können, wie sich der Zweig im Zeitverlauf bildet. Die Abfolge sollte sich über Trainingsläufe hinweg häufiger wiederholen, als es eine beliebige Erklärung vorhersagt.

Der Vergleich zwischen Modellen bietet einen weiteren Test. Ähnliche Aufgaben, die mit unterschiedlichen Seeds trainiert wurden, sollten verwandte rechnerische Motive hervorbringen, selbst wenn einzelne Neuronen nicht exakt übereinstimmen. Wiederkehrende Strukturen würden die Annahme stärken, dass Lernen Mechanismen vorhersehbar organisiert.

Die Theorie benötigt auch adversariale Fälle. Forschende sollten gezielt nach Neuronen suchen, deren stärkste Funktionen nach sorgfältiger Untersuchung weiterhin nichts miteinander zu tun haben. Diese Fehlschläge würden zeigen, wo rekursive Generalisierung endet und echte Superposition beginnt.

Cammarata stellt der Gegenposition eine anspruchsvolle Aufgabe: Sie soll einen überzeugenden Superpositions-Schaltkreis in einem realen Netzwerk finden. Ein solcher Schaltkreis sollte nicht zusammenhängende Funktionen bündeln und nachgelagerte Mechanismen zeigen, die diese kombinierte Repräsentation auslesen. Korrelation allein würde nicht genügen.

Derselbe Maßstab sollte für die These sauberer Netzwerke gelten. Eine überzeugende Erklärung muss Aktivierungen und Interventionen über die Beispiele hinaus vorhersagen, anhand derer ihr Label geschaffen wurde. Sie sollte relevante Verbindungen identifizieren und Tests überstehen, die darauf ausgelegt sind, sie zu widerlegen.

Wenn rekursive Generalisierung zutrifft, gewinnen Forschende mehr als klarere Diagramme. Sie erhalten eine Theorie, die Interpretierbarkeit mit dem Training verbindet. Diese Verbindung könnte es Ingenieurinnen und Ingenieuren ermöglichen, die Entstehung unerwünschter Mechanismen zu überwachen, statt nur ein fertiges Modell zu untersuchen.

Sie könnte auch gezieltere Interventionen ermöglichen. Teams könnten eine Umgebung, ein Datenmuster oder ein Verstärkungssignal identifizieren, das einen schädlichen Schaltkreis speist. Anschließend könnten sie diese Quelle anpassen, ohne jedes Interpretierbarkeitswerkzeug neu trainieren zu müssen.

Diese Möglichkeiten bleiben nachgelagerte Auswirkungen. Die derzeitige Evidenz stützt gezielte Experimente, keine Zusicherungen für den Einsatz. Unternehmenskäufer und Entwickler sollten die Behauptung lesbarer Neuronen nicht als Sicherheitszertifikat behandeln.

Für Wissensarbeitende ist die unmittelbare Relevanz indirekt, aber real. Modellanbieter nutzen zunehmend Behauptungen zur Interpretierbarkeit, um Vertrauen, Audits und Governance zu stützen. Käufer müssen wissen, ob solche Behauptungen Korrelationen, kausale Schaltkreise oder eine umfassende Abdeckung des Verhaltens beschreiben.

Nick Cammaratas Superpositions-Herausforderung schärft diese Unterscheidung. Sie legt nahe, dass die native Organisation des Modells einen erneuten Blick verdient. Sie entbindet jedoch nicht von der Pflicht zu prüfen, was diese Mechanismen tatsächlich bewirken.

Drei Signale werden entscheiden, ob die Herausforderung trägt

Die nächste Phase sollte eine ambitionierte Arbeitshypothese in reproduzierbare Messungen, konkurrierende Erklärungen und Sicherheitsprüfungen auf Modellebene überführen.

Das erste Signal ist die angekündigte technische Arbeit über Neuronen in Sprachmodellen. Sie sollte Stichprobenverfahren, Schwellenwerte, Prompts für automatisierte Agenten, Interventionsmethoden und Fehlerfälle dokumentieren. Die Veröffentlichung von Code und Aktivierungsdaten würde unabhängigen Teams ermöglichen, die Qwen3-32B-Analyse erneut durchzuführen.

Ein Ergebnis nahe 90 % unter mehreren vorab festgelegten Definitionen würde die zentrale Behauptung stärken. Eine große Streuung über vernünftige Definitionen hinweg würde die Aufmerksamkeit von der Schlagzeilenzahl hin zu der engeren Erkenntnis verlagern, dass native Neuronen Zufallsrichtungen übertreffen.

Die Arbeit muss außerdem klären, wie Goodfire die 1.000 Neuronenuntersuchungen ausgewählt und bewertet hat. Zufallsstichproben sollten über Schichten und Aktivierungsdichten hinweg reproduzierbar sein. Negative und positive Pole müssen konsistent behandelt werden.

Das zweite Signal ist die unabhängige Replikation über verschiedene Architekturen hinweg. Forschende sollten dichte Sprachmodelle und Mixture-of-Experts-Sprachmodelle testen, einschließlich Modellen, die von unterschiedlichen Organisationen trainiert wurden. Ergebnisse im Bereich Computer Vision allein können nicht klären, wie Transformer-Schaltkreise Sprache und Schlussfolgern repräsentieren.

Die Replikation sollte sowohl ältere als auch neuere Modelle einschließen. Wenn Architekturverbesserungen sauberere Neuronen erklären, sollte der Unterschied systematisch sichtbar werden. Forschende sollten konkrete Designänderungen mit messbaren Fortschritten bei der Interpretierbarkeit verbinden können.

Modellübergreifende Experimente können auch die Skalierung prüfen. Cammarata berichtet über ähnliche Muster in Modellen mit Billionen von Parametern, darunter Kimi K3, wobei Details auf spätere Arbeiten verschoben wurden. Eine Bestätigung von außen würde zeigen, ob die Organisation über ein einzelnes Qwen-Modell hinaus Bestand hat.

Das dritte Signal ist ein direkter Wettbewerb zwischen Erklärungen, die von nativen Neuronen ausgehen, und solchen, die zuerst eine Zerlegung vornehmen. Beide Ansätze sollten dieselben Verhaltensweisen mit denselben zurückgehaltenen Prompts analysieren. Bewertende sollten kausale Genauigkeit, Rekonstruktionsfehler, Abdeckung und Forschungskosten vergleichen.

Ein nützlicher Benchmark würde allgemeines Wissen, mehrsprachige Verarbeitung, langes Schlussfolgern, Ablehnungsverhalten und adversariale Prompts umfassen. Er sollte Erklärungen belohnen, die gezielte Interventionen vorhersagen. Plausibilität in natürlicher Sprache sollte das Ergebnis nicht allein entscheiden.

Native Neuronen würden an Glaubwürdigkeit gewinnen, wenn sie Schaltkreise mit weniger Fehlern und weniger zusätzlichen Annahmen erklären. Sparse Repräsentationen würden ihren Vorteil behalten, wenn sie konsistent kausale Strukturen aufdecken, die eine Analyse auf Neuronenebene übersieht.

Forschende sollten auch hybride Methoden untersuchen. Native Neuronen könnten die primäre Karte definieren, während Sparse Features dabei helfen, ungewöhnliche Aktivität innerhalb von Residualströmen zu lokalisieren. Die Evidenz könnte eher eine Arbeitsteilung als eine universelle Repräsentation stützen.

Die Sicherheitsbewertung bleibt der schwierigste Test. Eine Methode muss Mechanismen erkennen, die bei seltenem oder adversarialem Verhalten relevant sind, nicht nur häufige Muster in einem Korpus. Saubere Neuronenlabels bedeuten wenig, wenn kritische Schaltkreise unter Einsatzbedingungen unsichtbar bleiben.

Die öffentliche Debatte sollte zwei voreilige Schlussfolgerungen vermeiden. Die eine besagt, dass die 90-%-Schätzung das Black-Box-Problem gelöst habe. Die andere besagt, dass ein niedrigeres unabhängiges Ergebnis den gesamten Vorschlag irrelevant mache.

Die folgenreichere Möglichkeit liegt zwischen beiden. Interpretierbarkeitsforschende könnten den Wert der modelleigenen Neuronen unterschätzt und zugleich den Bedarf an universeller Zerlegung überschätzt haben. Die Korrektur dieser Verzerrung würde Experimente, Werkzeuge und Förderprioritäten verändern.

Cammaratas persönliche Kehrtwende verleiht der Debatte Dynamik, doch Autorität kann sie nicht entscheiden. Seine frühere Rolle in der Schaltkreisforschung macht die Kritik historisch bedeutsam. Reproduzierbare kausale Evidenz muss bestimmen, ob sich die neue Darstellung durchsetzt.

Entwickler sollten in dieser Reihenfolge die Begleitpublikation, modellübergreifende Replikationen und direkte Schaltkreis-Benchmarks beobachten. Zusammen können diese Signale einen überzeugenden Forschungsaufsatz von einem dauerhaften Wandel in der KI-Interpretierbarkeit unterscheiden.

Die praktische Frage ist nun klar: Können unabhängige Teams native Neuronen nutzen, um Modellverhalten besser vorherzusagen und zu kontrollieren als mit bestehenden Merkmalszerlegungen? Wenn ja, wird Nick Cammaratas Superpositions-Herausforderung zu einem Ingenieurprogramm. Wenn nicht, bleibt die 90-%-Erkenntnis über Neuronen eine wertvolle Warnung hinsichtlich der Messung, aber kein neues Fundament für Modellsicherheit.