La sfida di Nick Cammarata alla superposizione si basa su un'affermazione del 90% sui neuroni

Nick Cammarata ha messo in discussione la teoria della superposizione con una stima sorprendente: circa il 90% dei poli neuronali campionati di Qwen3-32B ha un compito principale. Il suo saggio dell'ottobre 2026 sostiene che le reti neurali siano molto più organizzate di quanto i ricercatori sull'interpretabilità avessero ipotizzato. Tuttavia, il dato deriva da un audit preliminare e una prima verifica indipendente ha prodotto un risultato inferiore.

La controversia va oltre una singola percentuale. Cammarata afferma che i ricercatori hanno interpretato erroneamente gli esempi che hanno contribuito a rendere la superposizione una spiegazione centrale del comportamento neurale confuso. Propone invece la generalizzazione ricorsiva, in cui funzioni correlate si sviluppano da un ruolo computazionale condiviso anziché essere assemblate arbitrariamente.

Questa tesi mette direttamente in discussione le strategie di ricerca fondate sulla scomposizione dell'attività dei modelli in caratteristiche più nitide. OpenAI e Anthropic hanno sviluppato spiegazioni automatizzate, autoencoder sparsi e metodi di tracciamento dei circuiti per questo compito. L'alternativa di Cammarata parte dai neuroni nativi del modello e chiede se il presunto disordine derivasse da strumenti limitati.

L'affermazione del 90% cambia l'assunto di partenza

Il cambiamento importante non è il miglioramento di un singolo punteggio di interpretabilità, ma il fatto che Cammarata voglia che i ricercatori tornino a partire dai neuroni nativi.

Cammarata definisce il suo saggio di ricerca di 65 minuti un'ipotesi di lavoro, non un articolo sottoposto a revisione paritaria. Combina nuovi esperimenti, visualizzazioni interattive, reinterpretazioni storiche e una teoria più ampia su come le reti neurali si organizzano.

L'audit preliminare di Qwen3-32B si concentra sui poli neuronali. Un polo è un lato direzionale di un neurone, che comprende attività fortemente positive o fortemente negative. Questa distinzione conta perché le due direzioni possono sostenere effetti computazionali diversi.

La stima di Goodfire attribuisce a circa il 90% dei poli esaminati un compito principale. Secondo quanto riferito, circa il 7% ha due compiti correlati, mentre dal 2% al 4% resta inspiegato. Cammarata afferma esplicitamente che queste percentuali dipendono dalle soglie, dalla profondità del modello, dalla densità dei circuiti e dalla definizione di un singolo compito.

L'analisi non stabilisce quindi che il 90% di ogni modello sia pienamente compreso. Non dimostra che i ricercatori possano prevedere ogni comportamento a partire dai singoli neuroni. Né trasforma l'interpretabilità in un problema risolto.

La cifra sostiene invece una proposizione più circoscritta. Quando i ricercatori esaminano attivazioni forti con strumenti migliori, la maggior parte dei poli neuronali campionati sembra organizzarsi attorno a una funzione coerente. Possono esistere rami correlati più piccoli senza implicare combinazioni arbitrarie di concetti non correlati.

Cammarata riferisce di aver esaminato 100 milioni di token per un neurone di Qwen3-32B. Solo circa 160 token hanno raggiunto la metà forte del suo intervallo di attivazione. Usa questa distribuzione per sostenere che l'attività debole non debba avere lo stesso peso interpretativo delle risposte più forti di un neurone.

Questa scelta crea una divisione metodologica. Un ricercatore concentrato sul comportamento causale dominante potrebbe ignorare le attivazioni deboli come residuo a basso impatto. Un altro potrebbe trattare la stessa attività come prova di funzioni secondarie nascoste.

Il saggio presenta inoltre 1.000 indagini su neuroni selezionati casualmente in Qwen3-32B e Qwen3.6-35B-A3B. Questi rapporti esaminano contesti di attivazione, effetti sull'output, connessioni e interventi. Sono pensati per andare oltre le etichette basate soltanto su esempi testuali correlati.

Un circuito mostrato collega diversi neuroni di Qwen3-32B a una risposta relativa a una diagnosi. Secondo quanto riferito, la rimozione di un piccolo gruppo modifica la successiva ipotesi diagnostica del modello. Altri esempi collegano neuroni alla cautela nelle risposte, alla fiducia dell'utente e ad associazioni culturalmente specifiche.

Questi interventi sono più informativi di una semplice etichetta. Un neurone che si attiva attorno a un argomento potrebbe soltanto correlare con un altro processo. Alterarlo e misurare l'output fornisce prova della sua partecipazione al calcolo.

Tuttavia, l'evidenza causale locale non convalida automaticamente l'intera stima del 90%. La galleria copre una frazione minuscola delle unità interne di Qwen3-32B. Le sue spiegazioni dipendono inoltre in parte da agenti automatizzati che giudicano la coerenza semantica.

Cammarata riconosce un altro limite. Un articolo tecnico complementare sul lavoro relativo ai modelli linguistici non ha ancora fornito il resoconto sperimentale completo. Il saggio pubblico offre prove considerevoli, ma mescola risultati documentati con una congettura più ampia.

Questa distinzione dovrebbe guidare il modo in cui i lettori interpretano il titolo. La sfida di Nick Cammarata alla superposizione è una seria proposta di ricerca sostenuta da esperimenti. Resta una sfida alla visione prevalente, non un suo sostituto consolidato.

Perché il celebre neurone gatto-e-auto è importante

L'argomentazione di Cammarata dipende dal dimostrare che la ricerca sull'interpretabilità ha frainteso i suoi esempi più noti, non semplicemente dal trovare neuroni più chiari nei modelli più recenti.

Un esempio importante è il neurone 4e:55 in InceptionV1, una prima rete di classificazione delle immagini. I ricercatori osservarono risposte a volti di gatti e alla parte anteriore delle automobili. La combinazione appariva arbitraria, rendendolo un esempio memorabile di polisemanticità.

La polisemanticità descrive un'unità che risponde a diversi concetti apparentemente non correlati. La superposizione offre una spiegazione: una rete rappresenta più caratteristiche delle dimensioni disponibili sovrapponendone le rappresentazioni. Le caratteristiche sparse possono condividere capacità quando interferiscono raramente.

Cammarata è coautore dello studio sui circuiti del 2020 che ha contribuito a plasmare questa interpretazione. Questa storia conferisce alla sua revisione un peso insolito. Sta riesaminando prove che hanno influenzato la sua stessa posizione precedente.

La sua nuova lettura parte dalla struttura visiva. I volti dei gatti e le parti anteriori delle auto contengono spesso una geometria a V comparabile. Il neurone potrebbe quindi rilevare una configurazione utile anziché memorizzare due categorie di oggetti non correlate.

La differenza sembra piccola, ma cambia ciò che il neurone rappresenta. Un'unità gatto-e-auto suggerisce un assemblaggio arbitrario di concetti. Un rilevatore di forme a V suggerisce una normale generalizzazione visiva tra esempi con struttura condivisa.

Cammarata applica un esame simile a un altro circuito del lavoro precedente. Il circuito sembrava distribuire informazioni sulle auto in diversi neuroni legati ai cani. I ricercatori interpretarono quel modello come informazione nascosta in una combinazione ad alta dimensionalità.

Il nuovo saggio sostiene che nulla a valle legga il presunto codice nascosto. Cammarata ora considera il modello come una normale composizione e generalizzazione. Dice di non aver trovato un altro circuito pubblicato in una rete reale con la struttura di superposizione prevista.

Questo non è una confutazione matematica della superposizione. L'assenza di un secondo circuito documentato potrebbe riflettere un'osservazione limitata. Tuttavia, indebolisce la forza retorica del trattare un primo esempio come rappresentativo delle reti moderne.

Anche l'architettura entra nell'argomentazione. Lo strato finale di InceptionV1 appariva un tempo particolarmente difficile da interpretare. Cammarata attribuisce gran parte di quella confusione a colli di bottiglia architetturali, overflow negli strati successivi e metodi di visualizzazione che generavano immagini fuorvianti.

Ha riaddestrato modelli di immagini ConvNeXt con 92.000, 7,06 milioni e 28,6 milioni di parametri. Ciò rappresenta un intervallo di dimensioni di circa 300 volte. Afferma che i modelli siano rimasti ampiamente leggibili a tutte queste scale.

Il saggio riporta inoltre che normali miglioramenti architetturali hanno reso dal 99% al 100% dei neuroni dell'ultimo strato facilmente interpretabili in una configurazione rivista. Secondo Cammarata, per il confronto centrale sono stati mantenuti costanti dimensione del modello e dati di addestramento.

Questo risultato sostiene una diversa interpretazione della pressione sulla capacità. Con meno neuroni, i modelli potrebbero apprendere categorie più ampie, come un neurone che copre diversi tipi di auto. Con più spazio, queste categorie ampie possono separarsi in specialisti più ristretti.

Questo processo non richiede che la rete nasconda insieme concetti non correlati. Assomiglia a una tassonomia che diventa più dettagliata con l'espansione della capacità. Le categorie restano connesse attraverso la loro storia computazionale.

Cammarata chiama questo processo generalizzazione ricorsiva. Un neurone inizia con un ruolo coerente, poi acquisisce rami collegati attraverso ortografia, forma, contesto o funzione di circuito. Una miscela apparente può quindi possedere una genealogia interna.

Un esempio linguistico inizia con frammenti di caratteri che si collegano a finali correlati e infine al nome Miyazaki. Un'ispezione superficiale potrebbe classificare le sue attivazioni come non correlate. Seguendo gli strati emerge una sequenza strutturata di riconoscimenti sempre più specifici.

L'inversione centrale è quindi storica oltre che tecnica. Gli esempi che hanno allontanato i ricercatori dai neuroni potrebbero ora sostenere lo studio diretto dei neuroni. Un'osservazione migliore cambia l'interpretazione senza modificare la rete addestrata.

La sfida di Nick Cammarata alla superposizione dipenderà in parte da queste rianalisi. Se altri ricercatori le riprodurranno, il campo dovrà riconsiderare ciò che i suoi esempi canonici hanno effettivamente dimostrato. Se falliranno, la cautela originaria riguardo ai neuroni resterà giustificata.

La sfida di Nick Cammarata alla superposizione prende di mira gli autoencoder sparsi

La principale competizione è tra lo studio dei meccanismi nativi di un modello e la scomposizione delle sue attivazioni in un nuovo dizionario di caratteristiche.

La ricerca sulla superposizione ha acquisito influenza perché i singoli neuroni spesso sembravano unità di spiegazione inaffidabili. I ricercatori hanno risposto con gli autoencoder sparsi, o SAE. Questi modelli ausiliari ricostruiscono l'attività neurale utilizzando un insieme più ampio di caratteristiche perlopiù inattive.

L'approccio mira a trasformare un'attivazione densa in un elenco di componenti più interpretabile. È strettamente associato alle prove dei modelli giocattolo che mostrano come le reti possano rappresentare più caratteristiche sparse delle dimensioni disponibili. Quegli esperimenti offrono un meccanismo chiaro per la superposizione in condizioni controllate.

Cammarata non sostiene che i modelli giocattolo siano inutili. La sua obiezione riguarda il trasferimento da contesti semplificati a reti addestrate. Un meccanismo che appare in un ambiente progettato non domina necessariamente un moderno modello linguistico.

Mette inoltre in dubbio che un dizionario di caratteristiche estratto preservi l'organizzazione nativa del modello. Ogni ricostruzione introduce scelte sulla sparsità, sul numero di caratteristiche, sui dati di addestramento e sull'errore accettabile. Le caratteristiche risultanti possono essere comprensibili pur discostandosi dal calcolo originale.

Questa preoccupazione diventa più seria quando i ricercatori usano la ricostruzione come principale oggetto di studio. Un SAE può rivelare modelli utili, ma non cogliere informazioni necessarie per il comportamento esatto. Può anche suddividere un meccanismo nativo in diverse caratteristiche apprese.

Anthropic ha utilizzato rappresentazioni sparse per mappare concetti all'interno dei modelli linguistici. La sua ricerca sulla mappatura delle caratteristiche del 2024 ha identificato modelli che coinvolgono luoghi, persone, codice, pregiudizi e comportamenti rilevanti per la sicurezza. Successivi lavori sui circuiti hanno collegato caratteristiche estratte attraverso i calcoli del modello.

Cammarata sostiene che circuiti comparabili possano talvolta essere recuperati dai neuroni nativi di Qwen3-32B. I suoi esempi tracciano informazioni tra gruppi di neuroni e misurano i cambiamenti dopo la loro rimozione. Lo presenta come prova che la scomposizione non sia sempre un primo passo necessario.

Il disaccordo non riguarda semplicemente neuroni contro feature. Entrambe le parti usano esempi di attivazione, interventi causali, etichettatura automatizzata e analisi dei circuiti. La vera domanda è quale rappresentazione debba avere la priorità.

Un ricercatore che parte dalla decomposizione considera le attivazioni native come aggrovigliate e cerca una base più pulita. Cammarata considera invece il modello nativo come il principale oggetto scientifico. Userebbe rappresentazioni aggiuntive solo dopo che un'indagine diretta abbia identificato una necessità specifica.

Questa distinzione influenza la gestione degli errori. Un circuito ricostruito può richiedere termini di errore per i comportamenti che il suo insieme di feature non coglie. Un circuito di neuroni nativi evita la perdita dovuta alla ricostruzione, anche se la sua spiegazione umana può restare incompleta o errata.

Influisce anche sulla scalabilità. Mappare milioni di neuroni appare scoraggiante, persino con l'automazione. I dizionari sparsi possono tuttavia contenere ancora più feature, e ciascuna richiede etichettatura, valutazione e collegamento al comportamento a valle.

Cammarata vede gli agenti di ricerca AI come il fattore che cambia questa equazione. Gli agenti possono proporre etichette per i neuroni, generare test, ispezionare grafi di attribuzione e rivedere spiegazioni fallite. I ricercatori umani possono quindi concentrarsi su meccanismi insoliti e casi controversi.

OpenAI ha esplorato una direzione correlata nel 2023, chiedendo a GPT-4 di spiegare i neuroni di GPT-2. Il suo studio automatizzato sui neuroni ha generato e valutato spiegazioni nell'intero modello. OpenAI ha riferito che la maggior parte delle spiegazioni ha ottenuto punteggi bassi, soprattutto nei modelli più grandi e negli strati finali.

Cammarata interpreta quella storia diversamente dalla semplice narrazione di neuroni disordinati. Secondo lui, i metodi precedenti chiedevano spesso a un simulatore di prevedere attivazioni precise. Una simile valutazione può penalizzare una spiegazione perché omette dettagli deboli che contano poco per il ruolo principale di un neurone.

L'attenzione introduce un'altra complicazione. Un neurone associato a un soggetto può attivarsi in prossimità della punteggiatura perché una testa di attenzione vi ha collocato informazioni contestuali. Un simulatore potrebbe giudicare imprecisa la spiegazione anche quando il neurone svolge una funzione coerente nel circuito.

Cammarata privilegia quindi diverse forme di evidenza. Tra queste rientrano esempi ad alta attivazione, controesempi generati, pesi in uscita, neuroni connessi, checkpoint di addestramento e interventi. Nessuna singola metrica stabilisce se una spiegazione sia corretta.

Questo processo più ampio ricorda la biologia sperimentale più che la costruzione di dizionari. I ricercatori formulano un'ipotesi su un componente, lo perturbano, ispezionano le strutture connesse e affinano la loro interpretazione. Cammarata sostiene che la coerenza emerga via via che la mappa circostante si completa.

La sua analogia preferita è una città piuttosto che un nodo. Una città può apparire confusa senza una mappa, eppure i suoi quartieri e le sue strade servono a scopi correlati. Suddividerla in pezzi astratti potrebbe nascondere l'organizzazione che la rende comprensibile.

Gli autoencoder sparsi non scompariranno se la sua tesi troverà sostegno. Possono restare utili per cercare in grandi spazi di attivazione o isolare uno schema desiderato. La pressione ricade sulle affermazioni secondo cui i ricercatori debbano districare ogni rete prima di studiarne il calcolo.

La versione più forte della sfida di Nick Cammarata alla superposizione afferma che la rete ha già svolto gran parte dell'organizzazione. L'interpretabilità diventa quindi un problema di mappatura anziché di recupero. Ciò reindirizzerebbe una parte sostanziale dello sforzo di ricerca verso i circuiti nativi.

Un retest indipendente mette sotto pressione il numero da titolo

Il primo retest pubblico sostiene l'esistenza di una certa struttura a livello dei neuroni, ma non riproduce la cifra del 90% di Goodfire con definizioni più rigorose.

Il gruppo di ricerca indipendente IRSI ha esaminato diverse affermazioni del saggio poco dopo la pubblicazione. Il suo retest preregistrato ha valutato i riassunti di Goodfire, campionato neuroni di Qwen3-32B, direzioni casuali e unità deliberatamente miste.

Tre classificatori AI hanno esaminato le descrizioni scritte da Goodfire di 500 neuroni di Qwen3-32B. Dopo aver bilanciato i risultati tra otto gruppi di strati, il loro voto di maggioranza ha classificato il 78,3% dei poli descritti come aventi un compito principale. L'intervallo riportato al 95% andava dal 75,5% all'81,1%.

Questo risultato è inferiore alla stima di circa il 90% di Goodfire, ma non rappresenta un crollo verso lo zero. Suggerisce che la coerenza semantica compaia frequentemente in un processo di classificazione esterno. Mostra inoltre che il risultato cambia sostanzialmente quando i valutatori adottano criteri diversi.

L'etichettatore di IRSI basato sulla propria dashboard ha prodotto un esito più rigoroso. Ha classificato dal 57% al 65% dei neuroni campionati casualmente come unità con un solo compito. Lo stesso sistema ha classificato in questo modo circa il 70% dei neuroni della galleria curata di Goodfire.

Gli investigatori hanno avvertito che il loro strumento probabilmente applica uno standard più rigoroso rispetto a Goodfire. La loro procedura ha inoltre classificato erroneamente come unità con un solo compito circa un quinto delle combinazioni a due compiti inserite deliberatamente. Questi errori impediscono un verdetto netto su quale stima sia più vicina alla realtà.

Il confronto con direzioni casuali ha prodotto evidenze contrastanti. Nel campione più ampio, post hoc, il 65% dei neuroni casuali ha ricevuto etichette da singolo compito, rispetto al 31% delle direzioni casuali. Questa differenza di 34 punti ha superato la soglia prevista dai ricercatori.

Tuttavia, il campione preregistrato conteneva solo 48 neuroni. Il suo divario di 26 punti non ha raggiunto la soglia di 30 punti. Il campione più ampio offre un sostegno indicativo, ma non costituisce una conferma preregistrata.

La posizione nello strato ha ulteriormente complicato il risultato. Negli strati iniziali, neuroni casuali e direzioni casuali hanno ricevuto tassi simili di etichette da singolo compito in un'analisi post hoc. La distinzione è diventata più netta altrove nel modello.

Questi risultati mettono in luce la difficoltà dietro qualunque percentuale pulita di interpretabilità. I ricercatori devono decidere quali attivazioni contino, se sottofunzioni correlate appartengano insieme e se i poli negativi e positivi meritino etichette separate. Ogni scelta influenza il risultato.

I valutatori automatizzati aggiungono un'altra incertezza. I modelli linguistici di grandi dimensioni possono produrre spiegazioni fluide per schemi rumorosi. Potrebbero anche respingere strutture valide che non rientrano in categorie familiari.

L'accecamento è stato incompleto in alcune parti del retest. Un classificatore poteva distinguere le dashboard dei neuroni dalle dashboard delle direzioni casuali con un punteggio di area sotto la curva vicino a 0,85. Alcuni etichettatori AI avevano anche visto la preregistrazione, mentre altri no.

La galleria pubblicata da Goodfire solleva una distinta questione di selezione. Il saggio descrive 1.000 indagini scelte casualmente su due modelli. Eppure i valutatori esterni che leggono i riassunti non ricreano in modo indipendente l'intera pipeline di misurazione.

L'audit misura inoltre i poli dei neuroni, non la comprensione completa del modello. Un modello può contenere unità individualmente coerenti pur basandosi su interazioni che restano difficili da spiegare. Attenzione, flussi residui, gate non lineari e circuiti distribuiti possono creare complessità al di sopra del livello del neurone.

Un componente leggibile non garantisce un sistema sicuro. Gli ingegneri devono comunque identificare quali circuiti contino durante una decisione specifica. Devono stabilire come tali circuiti cambino tra prompt, lingue, fine-tuning e condizioni di distribuzione.

L'osservazione del 90% dei neuroni non dimostra neppure che l'inganno o la pianificazione non sicura apparirebbero con un'etichetta evidente. Un comportamento pericoloso potrebbe emergere tramite componenti ordinari disposti in un circuito insolito. Parti pulite possono produrre un insieme opaco.

Cammarata anticipa in parte questa obiezione. Il suo saggio sostiene che i neuroni diventino più facili da interpretare quando i ricercatori studiano l'ecosistema che li circonda. Connessioni, schemi di attenzione e interventi causali vincolano le spiegazioni plausibili.

Si tratta di un programma di ricerca, non di un metodo di sicurezza completato. Richiede valutazioni standardizzate che premiano l'accuratezza causale anziché descrizioni persuasive. Richiede inoltre test su più famiglie di modelli, architetture e regimi di addestramento.

L'articolo tecnico complementare sarà importante perché il saggio attuale abbraccia diversi livelli argomentativi. I suoi risultati visivi, gli esempi linguistici e la teoria dell'apprendimento si sostengono a vicenda. Non costituiscono ancora un singolo benchmark che team esterni possano riprodurre direttamente.

La posizione scettica dovrebbe quindi restare precisa. Le evidenze non giustificano di liquidare il saggio come aneddotico. Non giustificano neppure l'annuncio che l'interpretabilità dell'AI sia stata risolta.

Una lettura ragionevole si colloca tra questi due poli. I neuroni nativi appaiono più strutturati delle direzioni casuali in diversi test. La quota esatta di neuroni con un solo compito resta sensibile a definizioni, campionamento e metodi di valutazione.

La generalizzazione ricorsiva offre una teoria diversa dell'apprendimento neurale

La proposta più profonda sostituisce l'impacchettamento arbitrario delle feature con una spiegazione dello sviluppo, in cui ruoli computazionali correlati crescono insieme.

La superposizione inquadra la capacità principalmente come un problema di archiviazione. Una rete possiede più feature utili delle dimensioni disponibili, quindi sovrappone rappresentazioni sparse. Bassi tassi di collisione permettono al modello di preservare più informazioni di un semplice sistema con una feature per neurone.

La generalizzazione ricorsiva inquadra il problema attorno alle dinamiche di apprendimento. I neuroni si sviluppano attraverso gradienti generati da esempi correlati e circuiti vicini. Nuovi ruoli si formano dove i meccanismi esistenti offrono già un utile punto di partenza.

Secondo questa visione, un neurone generico per le auto può dividersi in meccanismi specializzati per le auto man mano che cresce la capacità. Un neurone per schemi ortografici può acquisire ramificazioni per nomi o parole che condividono gli stessi frammenti. Questi ruoli hanno una genealogia tracciabile anziché un abbinamento arbitrario.

Cammarata sostiene che feature deboli e non correlate affrontino un percorso difficile. Devono sopravvivere all'interferenza di dense attivazioni deboli contribuendo poco alla perdita di addestramento. Estensioni correlate possono invece riutilizzare circuiti consolidati e ricevere un sostegno del gradiente più coerente.

Descrive questo processo usando idee quali la corsa dei circuiti e la fame di gradiente. I meccanismi in competizione corrono per ridurre l'errore residuo. Una volta che un percorso apprende una funzione, può sottrarre alle alternative meno efficienti il gradiente utile.

Questa teoria produce previsioni verificabili. I fatti rari dovrebbero viaggiare attraverso circuiti correlati al loro soggetto, non attraverso dimensioni non correlate scelte solo perché le collisioni sono improbabili. I checkpoint di addestramento dovrebbero rivelare ramificazioni che crescono da meccanismi semanticamente o funzionalmente connessi.

La proposta prevede inoltre che modelli più grandi e meglio addestrati possano diventare, per certi aspetti, più facili da mappare. Una maggiore capacità consente neuroni più specifici, mentre i circuiti circostanti forniscono ulteriore contesto interpretativo. La scala aumenta il numero delle parti, ma può ridurre l'ambiguità all'interno di ciascuna parte.

Questa conclusione contrasta con un'intuizione comune. I modelli più grandi sembrano più difficili da comprendere perché contengono più parametri. Cammarata separa la quantità di lavoro dalla natura del lavoro.

Una grande città richiede una mappa più grande di un villaggio. I suoi quartieri specializzati possono comunque essere più facili da identificare di un insediamento angusto in cui ogni edificio svolge più funzioni. Più componenti non significano necessariamente maggiore aggrovigliamento concettuale.

Le architetture moderne potrebbero contribuire a questa organizzazione. Cammarata mette in evidenza miglioramenti che aiutano gli strati più profondi ad apprendere e prevengono il sovraccarico degli strati finali. Tali cambiamenti sono stati adottati per le prestazioni del modello, non per l'interpretabilità, ma possono produrre una specializzazione interna più pulita.

L'argomento resta incompleto sul fronte dell'attenzione. I modelli linguistici contengono molte meno teste di attenzione rispetto ai neuroni dei percettroni multistrato. Ogni testa può partecipare a schemi di instradamento ampi, rendendo meno plausibile una descrizione con una testa e un solo compito.

I flussi residui pongono un’altra sfida perché combinano contributi provenienti da molte componenti. Un neurone coerente può scrivere in uno spazio condiviso in cui interagiscono diversi segnali. Comprendere i neuroni nativi non elimina la necessità di studiare queste rappresentazioni combinate.

La generalizzazione ricorsiva deve inoltre distinguere una genealogia significativa dalla narrazione retrospettiva. I ricercatori possono spesso inventare una connessione tra due concetti dopo averli osservati insieme. Prove solide richiedono previsioni, test su dati esclusi e interventi causali.

I checkpoint dell’addestramento offrono una strada promettente. Se due funzioni condividono davvero una storia evolutiva, i ricercatori dovrebbero osservare la formazione del ramo nel tempo. La sequenza dovrebbe ripetersi tra diverse esecuzioni di addestramento più spesso di quanto prevedrebbe una spiegazione arbitraria.

Il confronto tra modelli offre un’altra verifica. Compiti simili addestrati con seed diversi dovrebbero produrre motivi computazionali correlati, anche quando i singoli neuroni non si allineano esattamente. Strutture ricorrenti rafforzerebbero l’ipotesi che l’apprendimento organizzi i meccanismi in modo prevedibile.

La teoria necessita anche di casi avversari. I ricercatori dovrebbero cercare specificamente neuroni le cui funzioni più forti rimangano non correlate dopo un’indagine accurata. Questi fallimenti rivelerebbero dove termina la generalizzazione ricorsiva e inizia la vera superposizione.

Cammarata pone una sfida impegnativa alla visione opposta: trovare un convincente circuito di superposizione all’interno di una rete reale. Un simile circuito dovrebbe comprimere funzioni non correlate e mostrare meccanismi a valle che leggono la rappresentazione combinata. La sola correlazione non sarebbe sufficiente.

Lo stesso standard dovrebbe valere per la tesi della rete pulita. Una spiegazione convincente deve prevedere attivazioni e interventi oltre gli esempi usati per crearne l’etichetta. Dovrebbe identificare le connessioni rilevanti e superare test concepiti per falsificarla.

Se la generalizzazione ricorsiva regge, i ricercatori ottengono più di diagrammi più chiari. Ottengono una teoria che collega l’interpretabilità all’addestramento. Questa connessione potrebbe consentire agli ingegneri di monitorare come si formano meccanismi indesiderati, anziché limitarsi a ispezionare un modello finito.

Potrebbe anche consentire interventi più mirati. I team potrebbero identificare un ambiente, uno schema nei dati o un segnale di rinforzo che alimenta un circuito dannoso. Potrebbero quindi modificare quella fonte senza dover riaddestrare ogni strumento di interpretabilità.

Queste possibilità restano implicazioni a valle. Le prove attuali supportano esperimenti mirati, non garanzie di implementazione. Acquirenti aziendali e sviluppatori non dovrebbero considerare l’affermazione di neuroni leggibili come un certificato di sicurezza.

Per i lavoratori della conoscenza, la rilevanza immediata è indiretta ma concreta. I fornitori di modelli usano sempre più spesso affermazioni sull’interpretabilità per sostenere fiducia, auditing e governance. Gli acquirenti devono sapere se tali affermazioni descrivono correlazioni, circuiti causali o una copertura completa del comportamento.

La sfida alla superposizione di Nick Cammarata rende questa distinzione più netta. Suggerisce che l’organizzazione nativa del modello meriti un nuovo esame. Non elimina l’obbligo di verificare che cosa facciano realmente quei meccanismi.

Tre segnali decideranno se la sfida regge

La prossima fase dovrebbe trasformare un’ambiziosa ipotesi di lavoro in misurazioni riproducibili, spiegazioni concorrenti e test di sicurezza a livello di modello.

Il primo segnale è il promesso articolo tecnico sui neuroni dei modelli linguistici. Dovrebbe documentare campionamento, soglie, prompt per agenti automatizzati, metodi di intervento e casi di fallimento. La pubblicazione di codice e dati di attivazione permetterebbe a team indipendenti di rieseguire l’analisi di Qwen3-32B.

Un risultato vicino al 90% secondo diverse definizioni prespecificate rafforzerebbe l’affermazione centrale. Un’ampia variazione tra definizioni ragionevoli sposterebbe l’attenzione dalla percentuale in evidenza alla constatazione più circoscritta che i neuroni nativi superano le direzioni casuali.

L’articolo deve anche chiarire come Goodfire abbia selezionato e valutato le 1.000 indagini sui neuroni. Il campionamento casuale dovrebbe essere riproducibile tra livelli e densità di attivazione. I poli negativi e positivi necessitano di un trattamento coerente.

Il secondo segnale è la replicazione indipendente tra architetture. I ricercatori dovrebbero testare modelli linguistici densi e mixture-of-experts, inclusi modelli addestrati da organizzazioni diverse. I risultati nella visione da soli non possono stabilire come i circuiti transformer rappresentino linguaggio e ragionamento.

La replicazione dovrebbe includere sia modelli meno recenti sia modelli più nuovi. Se i miglioramenti architetturali spiegano neuroni più puliti, la differenza dovrebbe apparire in modo sistematico. I ricercatori dovrebbero poter collegare modifiche progettuali specifiche a guadagni misurabili nell’interpretabilità.

Gli esperimenti tra modelli possono anche verificare la scala. Cammarata riporta schemi simili in modelli che raggiungono trilioni di parametri, incluso Kimi K3, rimandando i dettagli a lavori successivi. Una conferma esterna mostrerebbe se l’organizzazione persiste oltre un singolo modello Qwen.

Il terzo segnale è un confronto diretto tra spiegazioni basate sui neuroni nativi e spiegazioni che partono dalla decomposizione. Entrambi gli approcci dovrebbero analizzare gli stessi comportamenti usando gli stessi prompt esclusi. I valutatori dovrebbero confrontare fedeltà causale, errore di ricostruzione, copertura e costo della ricerca.

Un benchmark utile includerebbe conoscenza ordinaria, elaborazione multilingue, ragionamento lungo, comportamento di rifiuto e prompt avversari. Dovrebbe premiare spiegazioni che prevedono interventi mirati. La plausibilità in linguaggio naturale non dovrebbe decidere da sola l’esito.

I neuroni nativi guadagnerebbero credibilità se spiegassero i circuiti con meno errori e minori ipotesi ausiliarie. Le rappresentazioni sparse manterrebbero il vantaggio se rivelassero con costanza strutture causali che l’analisi a livello di neurone non coglie.

I ricercatori dovrebbero anche esaminare metodi ibridi. I neuroni nativi potrebbero definire la mappa primaria, mentre le caratteristiche sparse aiuterebbero a individuare attività insolite nei flussi residui. Le prove potrebbero sostenere una divisione del lavoro anziché un’unica rappresentazione universale.

La valutazione della sicurezza resta il test più difficile. Un metodo deve rilevare meccanismi che contano durante comportamenti rari o avversari, non soltanto schemi frequenti in un corpus. Etichette pulite per i neuroni significano poco se i circuiti critici restano invisibili nelle condizioni di implementazione.

La discussione pubblica dovrebbe evitare due conclusioni premature. Una sostiene che la stima del 90% abbia risolto il problema della scatola nera. L’altra sostiene che un risultato indipendente più basso renda irrilevante l’intera proposta.

La possibilità più rilevante si colloca tra queste due posizioni. I ricercatori dell’interpretabilità potrebbero aver sottovalutato il valore dei neuroni propri di un modello, sovrastimando al contempo la necessità di una decomposizione universale. Correggere questo pregiudizio cambierebbe esperimenti, strumenti e priorità di finanziamento.

Il cambiamento di opinione personale di Cammarata dà slancio al dibattito, ma l’autorità non può risolverlo. Il suo precedente ruolo nella ricerca sui circuiti rende la critica importante dal punto di vista storico. Prove causali riproducibili devono determinare se la nuova interpretazione prevarrà.

Gli sviluppatori dovrebbero seguire, in quest’ordine, l’articolo complementare, le repliche tra modelli e i benchmark comparativi sui circuiti. Insieme, questi segnali possono distinguere un convincente saggio di ricerca da un cambiamento duraturo nell’interpretabilità dell’IA.

La domanda pratica è ora chiara: team indipendenti possono usare i neuroni nativi per prevedere e controllare il comportamento dei modelli meglio delle decomposizioni delle caratteristiche esistenti? Se sì, la sfida alla superposizione di Nick Cammarata diventerà un programma ingegneristico. In caso contrario, l’intuizione del 90% sui neuroni resterà un prezioso avvertimento sulla misurazione, non una nuova base per la sicurezza dei modelli.