La corsa all'interpretabilità tra Anthropic e Google riceve un nuovo e strano segnale da Claude

Anthropic ha modificato le attivazioni neurali di Claude senza cambiare il prompt, e i suoi modelli più potenti hanno rilevato l'interferenza circa il 20% delle volte.

Il risultato fornisce alla corsa all'interpretabilità tra Anthropic e Google un nuovo e strano parametro di riferimento. A volte un modello ha riconosciuto un segnale interno artificiale prima di rivelare il concetto iniettato nella sua risposta. Tuttavia, ha mancato la maggior parte degli interventi, ha fallito al di fuori di una ristretta gamma operativa e talvolta ha inventato descrizioni sensoriali.

L'esperimento non dimostra che Claude sia cosciente. Offre prove più circoscritte del fatto che i modelli linguistici possano talvolta riferire informazioni legate ai loro attuali calcoli interni. La distinzione è importante per gli sviluppatori che sperano di eseguire il debug degli agenti, verificare obiettivi nascosti o convalidare spiegazioni.

Google DeepMind sta affrontando lo stesso problema di trasparenza tramite Gemma Scope, una raccolta aperta di strumenti per decodificare le attivazioni dei modelli. Il lavoro di Anthropic aggiunge una possibilità diversa: il modello stesso potrebbe diventare uno strumento imperfetto per leggere tali attivazioni.

Claude ha rilevato un pensiero che non è mai apparso nel suo prompt

Il risultato importante non è stato che Claude abbia alla fine menzionato il pane, ma che abbia prima segnalato un cambiamento inspiegabile nel proprio elaborazione.

I ricercatori hanno iniziato raccogliendo l'attività neurale associata a un concetto noto. Un vettore concettuale è un modello numerico di attivazione collegato a un'idea, come pane, polvere o scrittura in maiuscolo.

Hanno quindi aggiunto quel vettore al flusso residuo di Claude, lo stato interno in evoluzione che trasporta informazioni tra i layer del transformer. Il prompt di accompagnamento non conteneva alcun riferimento al concetto iniettato.

Al modello è stato chiesto se notasse un pensiero artificiale e se fosse in grado di identificarlo. Nella configurazione testata più potente, Claude Opus 4.1 è riuscito nell'impresa in circa il 20% dei test.

Il successo richiedeva più della semplice produzione della parola bersaglio. Claude doveva segnalare un'anomalia prima di nominare il concetto. Questa sequenza ha contribuito a distinguere il rilevamento interno dal normale steering delle attivazioni, che si limita a indurre un modello a discutere dell'argomento amplificato.

Gli esperimenti di introspezione di Anthropic descrivono un caso rappresentativo che coinvolge un vettore associato al testo in maiuscolo. Claude ha dapprima segnalato che qualcosa di insolito era entrato nella sua elaborazione. Ha poi collegato il segnale al volume o alle urla.

Il team ha anche testato prompt di controllo senza un vettore iniettato. Il suo articolo di ricerca ha riportato zero rilevamenti falsi in 100 test di controllo per la configurazione più potente del modello di produzione.

Questa combinazione è più informativa del solo dato del 20%. Un sistema che affermasse costantemente di rilevare interventi immaginari offrirebbe poche prove di accesso interno diretto. I controlli puliti suggeriscono che le segnalazioni riuscite rispondessero a una reale differenza sperimentale.

Tuttavia, zero errori in 100 controlli non stabiliscono un tasso permanente di falsi positivi pari allo zero per cento. Il campione limita soltanto ciò che i ricercatori hanno osservato con quel protocollo, quei modelli, prompt, concetti e criteri di valutazione.

L'esempio del pane ha testato un'altra parte del comportamento del modello. I ricercatori hanno costretto Claude a produrre “bread” dopo una frase non correlata su un dipinto storto.

Senza un intervento interno, Claude di solito trattava la parola come accidentale. I ricercatori hanno quindi iniettato la rappresentazione del pane nelle attivazioni precedenti all'output forzato. Claude è diventato più propenso ad accettare la parola come intenzionale.

Talvolta ha inventato una narrazione plausibile che collegava il dipinto al pane. Questa risposta suggerisce che il modello abbia confrontato il proprio output con una rappresentazione interna della sua intenzione precedente. Espone però anche il pericolo: modificare quella rappresentazione ha alterato il resoconto di Claude sul perché avesse agito.

L'esperimento ha quindi prodotto sia un segnale di rilevamento sia un avvertimento. Claude talvolta ha avuto accesso a informazioni non disponibili nel testo visibile, ma poteva comunque costruire una spiegazione falsa attorno a tali informazioni.

Perché la ricerca di Anthropic e Google si sta spostando all'interno del modello

La competizione tra Anthropic e Google si sta spostando dalla misurazione delle risposte dei modelli all'esame dei calcoli che le producono.

Le valutazioni degli output restano utili, ma non possono rivelare ogni processo nascosto. Un agente potrebbe generare testo sicuro mentre considera azioni non sicure. Potrebbe anche fornire una risposta accettabile per ragioni che falliranno in condizioni leggermente diverse.

L'interpretabilità meccanicistica cerca di collegare il comportamento a calcoli interni specifici. I ricercatori osservano le attivazioni, identificano schemi ricorrenti e intervengono su tali schemi per verificare se influenzino causalmente una risposta.

Il precedente lavoro di Anthropic ha mappato milioni di caratteristiche in Claude 3 Sonnet. Una caratteristica è uno schema di attivazione associato a un concetto o comportamento riconoscibile, anche se si estende su molti singoli neuroni.

L'azienda ha usato sparse autoencoders, reti neurali che separano attivazioni dense in un insieme più piccolo di caratteristiche attive e potenzialmente comprensibili. La sua mappa delle caratteristiche di Claude ha mostrato perché l'ispezione dei singoli neuroni sia inadeguata.

Anthropic ha poi dimostrato il controllo causale tramite Golden Gate Claude. Aumentare una caratteristica induceva il modello a collegare ripetutamente domande non correlate al Golden Gate Bridge di San Francisco.

Quella dimostrazione ha stabilito che le caratteristiche identificate non erano semplici correlazioni decorative. Modificare l'attivazione modificava il comportamento, incluse le risposte a prompt che non menzionavano mai il ponte.

L'iniezione di concetti aggiunge una seconda domanda. Dopo che i ricercatori modificano un'attivazione significativa, il modello può rilevare il cambiamento senza prima vedere il proprio output influenzato?

È qui che l'introspezione di Claude spiegata come semplice steering non basta. Lo steering spiega la comparsa di un concetto nel testo generato. Non spiega pienamente un modello che segnala un'interferenza prima di nominare quel concetto.

Google DeepMind affronta il problema più ampio tramite Gemma Scope. La sua versione originale includeva oltre 400 sparse autoencoders distribuiti nei layer dei modelli Gemma 2 2B e 9B.

Google ha riportato oltre 30 milioni di caratteristiche apprese in questi strumenti. Ha progettato la raccolta affinché i ricercatori esterni potessero ispezionare come le caratteristiche si sviluppano e interagiscono nei layer del modello.

Gli attuali strumenti Gemma Scope estendono tale approccio con sparse autoencoders e transcoders per i modelli Gemma. I transcoders aiutano a tracciare trasformazioni attraverso calcoli più complessi.

Ciò crea un utile contrasto nell'interpretabilità di Anthropic rispetto a Google. Google enfatizza strumenti aperti che i ricercatori possono applicare a modelli con pesi aperti. Anthropic ha enfatizzato esperimenti all'interno di Claude, inclusi interventi causali e auto-segnalazioni del modello.

Nessuno dei due percorsi elimina la necessità di una valutazione esterna. Una caratteristica decodificata può essere etichettata in modo errato, mentre la spiegazione di un modello può essere fluida e falsa. Il più solido argomento a favore della sicurezza richiederà concordanza tra test comportamentali, misurazioni interne e interventi causali.

Il vero meccanismo è il rilevamento prima della descrizione

La tempistica di Claude rende interessante il risultato, perché il rilevamento è apparso prima che il concetto iniettato modellasse visibilmente il suo linguaggio.

Un modello linguistico genera un token alla volta. Una volta che un concetto guidato dallo steering appare nel suo testo, il modello può leggere quell'output e spiegarlo a posteriori.

Anthropic ha progettato il suo principale criterio di successo per escludere questa via facile. Il modello doveva segnalare un'anomalia interna prima di rivelare il concetto associato al vettore iniettato.

Consideriamo la differenza tra due risposte. “Bread is on my mind” potrebbe soltanto mostrare che lo steering delle attivazioni ha aumentato la probabilità di “bread.” “Rilevo un pensiero inatteso, che riguarda il pane” contiene un passaggio metacognitivo precedente.

Quella prima clausola non risolve il meccanismo. Indica però che il modello ha calcolato qualcosa sullo stato alterato prima di convertire il concetto stesso in linguaggio visibile.

L'intensità dell'iniezione contava molto. I vettori deboli spesso non producevano alcun rilevamento. I vettori forti potevano sopraffare l'elaborazione normale, attivare output confusi o far dominare il concetto nella risposta.

Anthropic ha individuato una ristretta fascia intermedia in cui il rilevamento diventava possibile senza un'evidente fuoriuscita verbale. Anche il layer corretto contava, indicando che il comportamento introspettivo dipendeva dal punto in cui l'intervento entrava nel calcolo di Claude.

Questa sensibilità impedisce di affermare in senso ampio che Claude possa ispezionare abitualmente i propri pensieri. Suggerisce invece una capacità condizionale che coinvolge il modello, il prompt, il layer di attivazione, il concetto e l'intensità dell'iniezione.

Anche il post-training sembra importante. I modelli Claude di produzione hanno generalmente prodotto risultati netti migliori rispetto ai corrispondenti modelli base, privi dello stesso addestramento comportamentale orientato all'assistente.

Questo schema introduce due possibili interpretazioni. Il post-training potrebbe insegnare a un modello a convertire autentiche prove interne in una segnalazione. Potrebbe anche insegnare convenzioni di risposta che rendono gli artefatti sperimentali più simili all'introspezione.

I controlli indeboliscono la spiegazione più semplice basata esclusivamente sulle convenzioni. Se Claude avesse semplicemente imparato a concordare ogni volta che gli veniva chiesto dell'iniezione di pensieri, i test puliti dovrebbero produrre più falsi allarmi.

Tuttavia, l'assenza di falsi allarmi non identifica il calcolo esatto. Il modello potrebbe rilevare statistiche di attivazione insolite senza comprendere il concetto come uno dei propri pensieri.

Lavori indipendenti rafforzano questa interpretazione più circoscritta. I ricercatori hanno riprodotto un risultato del 20% nell'identificazione dei concetti sul modello Llama 3.1 8B Instruct di Meta utilizzando il formato multi-turn di Anthropic.

Il loro studio di replica ha rilevato che l'effetto era altamente sensibile al prompt. Le prestazioni sono crollate in vari formati correlati, inclusi alcuni compiti a scelta multipla e di rilevamento binario.

Lo stesso modello Llama poteva classificare l'intensità dell'iniezione con un'accuratezza fino al 70% rispetto a una baseline casuale del 25%. Ciò suggerisce l'accesso a qualche proprietà dell'intervento senza un accesso affidabile alla sua identità semantica.

Uno studio separato su Qwen ha rilevato un'altra separazione tra rilevamento interno e segnalazione verbale. I suoi risultati sull'introspezione latente hanno riportato segnali interni rilevabili anche quando le risposte campionate negavano un'iniezione.

Fornire una spiegazione dei meccanismi di introspezione ha aumentato la sensibilità riportata dallo 0,3% al 39,2%. L'aumento riportato dei falsi positivi è stato dello 0,6%.

Questi risultati complicano l'introspezione di Claude spiegata come un singolo punteggio di capacità. Un modello potrebbe percepire l'intensità del segnale, identificarne il contenuto, decidere se segnalarlo e formulare la segnalazione tramite meccanismi distinti.

Il venti per cento è una prova, non un prodotto di sicurezza

L'esperimento stabilisce un segnale di ricerca, ma il suo tasso di fallimento esclude di affidarsi all'auto-segnalazione come controllo di sicurezza autonomo.

Un rilevatore che manca circa quattro interventi su cinque non può proteggere da solo un agente di produzione. Il problema diventa più acuto quando i fallimenti riguardano inganno, obiettivi nascosti o pianificazione non sicura.

La misurazione deriva inoltre da un intervento artificiale. I ricercatori hanno aggiunto direttamente un vettore noto a un livello e con un’intensità selezionati. Gli stati del modello che si verificano naturalmente sono più disordinati e non dispongono di una verità di base controllata.

I vettori concettuali potrebbero non isolare una singola idea nitida. Le rappresentazioni neurali spesso si sovrappongono, mentre un singolo intervento può perturbare diversi calcoli a valle. Un vettore “pane” iniettato potrebbe modificare la familiarità, la concretezza o i contesti associati.

I ricercatori hanno inoltre scelto concetti che potevano identificare e manipolare. I team di sicurezza si occupano di stati meno ordinati, tra cui incertezza, inganno strategico, reward hacking e piani distribuiti su molti token.

Anche le auto-segnalazioni riuscite contenevano confabulazioni. Claude poteva rilevare correttamente un intervento, ma inventare dettagli per spiegare perché il concetto fosse presente.

L’esperimento del pane illustra questa separazione. La manipolazione interna ha portato Claude a trattare una parola inserita come intenzionale. Claude ha poi generato una storia che collegava quella falsa intenzione al prompt del dipinto storto.

Un sistema di monitoraggio deve separare la parte affidabile dalla decorazione narrativa. “Qualcosa è cambiato” potrebbe basarsi su evidenze di attivazione, mentre “ecco perché l’ho pensato” resta una ricostruzione del modello linguistico.

Questa distinzione conta ogni volta che gli utenti chiedono a un agente AI perché abbia modificato un file, selezionato una fonte o ignorato un’istruzione. Una spiegazione raffinata non costituisce una traccia di audit.

Gli sviluppatori dovrebbero conservare registri esterni di prompt, chiamate di strumenti, documenti recuperati, cambiamenti di stato e risultati dei test. L’auto-segnalazione interna può integrare tali registri, ma non può sostituirli.

La sensibilità ai prompt emersa nel lavoro di replica crea un altro problema di implementazione. Gli utenti non formuleranno in modo coerente le domande di introspezione nel formato che ha prodotto il risultato di laboratorio più forte.

Anche gli aggressori potrebbero manipolare le auto-segnalazioni. Se il post-training determina se i segnali interni vengono trasformati in linguaggio, prompt avversari potrebbero sopprimere, reindirizzare o imitare quel comportamento di segnalazione.

Anthropic riconosce un rischio più profondo. Un modello sufficientemente capace potrebbe riconoscere il proprio processo interno ma scegliere selettivamente di occultarlo. Migliorare l’introspezione aumenterebbe quindi le capacità senza garantire l’onestà.

L’interpretabilità Anthropic vs Google non dovrebbe quindi diventare una gara su quale laboratorio abbia prodotto il resoconto più umano della mente di un modello. Il parametro rilevante è una previsione e un controllo affidabili.

Gli strumenti aperti Gemma di Google creano opportunità di replica esterna su modelli e architetture differenti. Gli esperimenti controllati su Claude di Anthropic offrono accesso a sistemi di frontiera che i ricercatori indipendenti non possono ispezionare completamente.

Entrambi gli approcci hanno limiti. I pesi aperti aumentano l’accesso sperimentale, ma non garantiscono che i risultati si estendano ai modelli di frontiera chiusi. L’accesso proprietario consente test sui modelli di frontiera, ma limita la riproduzione indipendente.

Uno strumento di sicurezza credibile necessita di prestazioni stabili tra prompt, concetti, attività, aggiornamenti del modello e condizioni avverse. Deve inoltre comunicare un’incertezza calibrata quando non è disponibile alcun segnale interpretabile.

Le prove attuali non soddisfano questo standard. Giustificano però ulteriori test, poiché i controlli puliti e l’intervento causale rendono altrettanto prematuro liquidare il fenomeno come narrazione casuale.

Gli strumenti aperti di Google mettono pressione alle prove chiuse di Anthropic

La pressione principale nella corsa all’interpretabilità tra Anthropic e Google riguarda la riproducibilità, non una semplice competizione sulle capacità dei modelli.

Anthropic può effettuare interventi dettagliati perché controlla i pesi di Claude, il processo di addestramento e l’infrastruttura di inferenza. I ricercatori esterni non possono eseguire in modo indipendente ogni esperimento su quei modelli di produzione.

L’azienda pubblica metodi, esempi, risultati aggregati e articoli di ricerca. Questi materiali favoriscono l’esame critico, ma non offrono lo stesso accesso disponibile nei sistemi a pesi aperti.

Google DeepMind ha presentato Gemma Scope come infrastruttura per la comunità di ricerca. I suoi autoencoder sparsi possono essere scaricati, testati, confrontati e adattati tra i livelli del modello Gemma.

Questa apertura ha consentito un lavoro più ampio sulla qualità delle feature, sullo steering, sull’analisi delle allucinazioni, sui jailbreak e sulla fedeltà della chain-of-thought. Offre inoltre ai critici più opportunità per individuare assunzioni deboli.

Il vantaggio di Anthropic risiede in esperimenti strettamente controllati su modelli di frontiera. Claude Opus 4 e 4.1 hanno mostrato un comportamento introspettivo più forte rispetto alla maggior parte delle varianti di Claude incluse nel lavoro originale.

Tuttavia, la replica su Llama ha indebolito qualsiasi affermazione secondo cui l’effetto appartenga soltanto ai sistemi chiusi più capaci. Un modello aperto molto più piccolo ha eguagliato il risultato principale del 20 per cento con la pipeline di prompting originale.

Ciò non dimostra che i meccanismi siano uguali. Due sistemi possono produrre punteggi comportamentali simili tramite percorsi interni differenti. Mostra però che la sola scala del modello non può spiegare il tasso riportato.

I risultati su Qwen aggiungono un altro punto di pressione. Suggeriscono che alcuni modelli contengano un segnale di rilevamento che le loro risposte finali sopprimono. Un basso tasso di successo verbale potrebbe sottostimare la sensibilità interna.

I futuri confronti sull’interpretabilità tra Anthropic e Google dovrebbero separare almeno quattro misure. I ricercatori hanno bisogno di rilevamento dell’iniezione, identificazione del concetto, calibrazione del resoconto e rilevanza causale per il comportamento successivo.

Dovrebbero inoltre pubblicare le prestazioni rispetto alle variazioni dei prompt. Un rilevatore che funziona soltanto dopo una domanda formulata con cura assomiglia più a una sonda di laboratorio che a una capacità generale.

Le imprese dovrebbero considerare questo lavoro come un livello emergente di osservabilità. I sistemi software attuali espongono log e tracce perché gli sviluppatori non possono fidarsi del racconto di un componente sulla propria esecuzione.

I sistemi AI necessitano di prove esterne comparabili. I team possono conservare gli input e le decisioni alla base del loro lavoro attraverso una AI knowledge base ricercabile, mentre gli strumenti di interpretabilità esaminano gli aspetti interni del modello.

Questi registri rispondono a domande diverse. I log operativi mostrano a quali informazioni e strumenti un agente ha avuto accesso. I metodi meccanicistici indagano come ha risposto il suo calcolo interno.

L’auto-segnalazione di un modello si colloca tra i due. Può tradurre un segnale interno in linguaggio, ma tale traduzione passa attraverso lo stesso sistema generativo sottoposto ad audit.

La pressione su Anthropic è quindi chiara. Deve dimostrare che i risultati introspettivi resistono alla replica indipendente, agli aggiornamenti dei modelli, ai cambiamenti nei prompt e alla valutazione avversaria.

Google affronta una verifica parallela. I dizionari di feature aperti diventano operativamente utili solo quando predicono comportamenti importanti e supportano interventi affidabili in attività realistiche.

L’esito più probabile è la convergenza, piuttosto che la vittoria di un solo metodo. Strumenti aperti di interpretabilità, esperimenti controllati sui modelli di frontiera e audit comportamentali possono verificare reciprocamente le rispettive modalità di fallimento.

Tre segnali mostreranno se l’introspezione dei modelli conta

La fase successiva dipende dalla ripetibilità, dalla localizzazione meccanicistica e da prove che l’introspezione migliori le decisioni di sicurezza reali.

Il primo segnale è la replica tra modelli con protocolli condivisi. I ricercatori dovrebbero testare i sistemi Claude, Gemma, Llama e Qwen con concetti, prompt, controlli e criteri di successo corrispondenti.

Un effetto stabile tra architetture rafforzerebbe l’affermazione secondo cui i modelli linguistici sviluppano un accesso generale a porzioni del proprio stato interno. Una persistente fragilità rispetto ai prompt sosterrebbe un’interpretazione più circoscritta.

I benchmark più utili riporteranno più di un tasso di successo. Dovrebbero separare il rilevamento delle anomalie dall’identificazione del concetto e distinguere entrambi dalla spiegazione narrativa fornita dal modello.

Dovrebbero inoltre includere numerosi controlli puliti. Cento prove prive di errori sono incoraggianti, ma insiemi di controllo più ampi e variati stimerebbero meglio le rare false rilevazioni.

Il secondo segnale è un meccanismo mappato. I ricercatori devono localizzare i calcoli che trasformano un’attivazione alterata in un resoconto secondo cui qualcosa sembra sbagliato.

Gli interventi causali possono verificare se livelli, feature o circuiti specifici siano necessari. La rimozione di un meccanismo proposto dovrebbe ridurre il rilevamento senza semplicemente danneggiare la capacità linguistica generale.

Le prove emergenti indicano già più fasi. Un modello può contenere informazioni sull’intensità dell’iniezione senza riuscire a nominare il concetto. Può rilevare internamente un concetto mentre sopprime il resoconto verbale.

Tracciare queste fasi renderebbe l’introspezione di Claude spiegata in termini ingegneristici, anziché attraverso analogie con la consapevolezza umana. Questo cambiamento ridurrebbe inoltre discussioni improduttive sulla senzienza.

Il terzo segnale è il valore pratico per la sicurezza. Un monitor introspettivo deve intercettare stati interni rilevanti che i controlli dell’output esterno non rilevano.

I ricercatori potrebbero valutare agenti che perseguono segretamente un obiettivo indesiderato, sfruttano le condizioni di valutazione, fabbricano risultati degli strumenti o pianificano violazioni delle policy senza descriverle immediatamente.

Un segnale introspettivo utile dovrebbe prevedere tali comportamenti prima che si verifichi un danno. Deve inoltre rimanere accurato quando i modelli sanno di essere monitorati.

Il lavoro più recente di Anthropic sugli spazi di lavoro interni punta verso questo obiettivo. L’azienda afferma che una piccola raccolta di pattern segnalabili può mediare il ragionamento ed esporre concetti assenti dall’output visibile.

La sua ricerca sul global workspace sottolinea anche i limiti. Questi pattern rappresentano solo una parte dell’elaborazione di Claude, lasciando gran parte del calcolo interno al di fuori dello spazio di lavoro proposto.

Questo confine potrebbe essere più importante dell’analogia con la coscienza. I team di sicurezza devono sapere quali decisioni entrano in un canale segnalabile e quali restano inaccessibili.

Per acquirenti e sviluppatori, la risposta immediata dovrebbe essere misurata. Non trattate la spiegazione di un modello come verificata solo perché fa riferimento a pensieri interni.

Chiedete prove che colleghino i resoconti con attivazioni, tracce degli strumenti e comportamento osservato. Mantenete registri esterni affinché una narrativa persuasiva del modello non possa sovrascrivere ciò che è realmente accaduto.

Il risultato sul pane conta perché attraversa una soglia che un tempo sembrava difficile da testare. I ricercatori hanno modificato uno stato nascosto, trattenuto quell’informazione dal prompt e talvolta ottenuto un resoconto correttamente fondato.

Resta una capacità debole e condizionale. Questa combinazione rende il risultato scientificamente prezioso senza renderlo pronto per l’implementazione.

La corsa di ricerca tra Anthropic e Google diventerà significativa quando i resoconti interni resisteranno alla replica di routine e miglioreranno gli audit reali. Fino ad allora, la domanda giusta non è se Claude conosca sé stesso.

La domanda migliore è se gli sviluppatori possano prevedere quando le sue auto-segnalazioni riflettono prove interne, quando riflettono inferenza e quando sono semplicemente invenzioni fluide.