Anthropic afferma che la prompt injection è quasi risolta, ma lo zero va contestualizzato
Anthropic afferma che le sue difese più recenti hanno ridotto quasi a zero gli attacchi di prompt injection andati a segno, sfidando un rischio che molti ricercatori consideravano intrinseco agli agenti AI.
Boris Cherny, che guida Claude Code, ha attribuito il cambiamento soprattutto a un addestramento del modello più solido. Ha affermato che misure di protezione stratificate hanno ridotto ulteriormente il tasso di successo misurato. Questi livelli includono sonde per la prompt injection e la modalità automatica di Claude Code, che classifica le azioni degli strumenti prima di consentirne l'esecuzione.
L'affermazione è rilevante perché la prompt injection ha limitato la capacità degli agenti di navigare siti web, leggere repository, elaborare email e utilizzare strumenti connessi in sicurezza. OpenAI ha descritto il problema come paragonabile alle truffe online e improbabile da eliminare del tutto. Anthropic propone ora una risposta più ottimistica, sostenuta da risultati insolitamente bassi nelle sue valutazioni più recenti.
Tuttavia, un tasso di attacchi osservati pari a zero non dimostra un'immunità universale. Descrive le prestazioni rispetto a una raccolta definita di attacchi, ambienti, strumenti e regole di valutazione. Nuovi attacchi, autorizzazioni più ampie o impostazioni di distribuzione diverse possono produrre risultati differenti.
Questa distinzione diventerà più importante man mano che Anthropic renderà la modalità automatica l'esperienza standard di Claude Code. L'azienda sta passando da richieste di autorizzazione prudenti a decisioni automatizzate proprio mentre rivendica un importante miglioramento della sicurezza.
L'affermazione di Anthropic sulla prompt injection deriva da un test stratificato
Il cambiamento importante non è che Anthropic abbia aggiunto un altro filtro. Il suo modello di base sembra notevolmente più difficile da manipolare prima che intervengano i filtri.
La prompt injection si verifica quando contenuti non attendibili contengono istruzioni destinate a un'AI anziché al suo utente. Un agente potrebbe incontrare tali istruzioni all'interno di una pagina web, un repository, una risposta di uno strumento, un'immagine o un documento scaricato.
L'attacco funziona perché un agente deve interpretare sia comandi attendibili sia dati non attendibili nel proprio contesto operativo. Un documento malevolo può imitare un'istruzione, chiedendo all'agente di ignorare il proprio compito, rivelare informazioni o richiamare uno strumento pericoloso.
L'affermazione sulle difese stratificate di Cherny indica tre protezioni distinte. La prima è l'allineamento del modello, ovvero un addestramento che insegna a Claude a distinguere l'obiettivo dell'utente dai comandi incorporati nei contenuti esterni.
Il secondo livello è una sonda per la prompt injection. Questa protezione lato server esamina il materiale restituito dagli strumenti prima che entri nel contesto dell'agente. Può segnalare istruzioni sospette nascoste in file, output della shell, siti web o servizi esterni.
Il terzo livello è il classificatore d'intenti della modalità automatica. La modalità automatica non concede a Claude autorizzazioni illimitate. Valuta le azioni proposte e blocca le attività classificate come distruttive, irreversibili o esterne all'ambiente previsto.
I risultati pubblicati da Anthropic indicano che ciascun livello affronta un diverso punto di vulnerabilità. L'addestramento riduce la probabilità che il modello segua un'istruzione ostile. La sonda tenta di identificare contenuti ostili prima che il modello agisca su di essi. Il classificatore delle azioni limita ciò che un attaccante può ottenere dopo aver influenzato il modello.
Questa separazione è importante. Un rilevatore può non riconoscere contenuti abilmente mascherati, mentre un modello allineato può comunque fraintendere istruzioni ambigue. Un classificatore degli strumenti offre un'ulteriore occasione per fermare l'azione risultante.
Anthropic aveva già descritto questa strategia nella sua ricerca sulle difese contro le injection nel browser. Durante l'addestramento, Claude incontra pagine web simulate contenenti istruzioni malevole. Il modello riceve una ricompensa quando identifica e rifiuta tali istruzioni, continuando al contempo il compito legittimo.
Questo obiettivo di addestramento è più difficile che insegnare a un modello a rifiutare testi palesemente malevoli. Un utile agente browser deve comunque leggere istruzioni su siti legittimi, seguire procedure fornite dagli utenti e interagire con interfacce sconosciute. Un'eccessiva prudenza può renderlo sicuro ma inefficace.
I nuovi risultati suggeriscono che Anthropic abbia migliorato l'equilibrio tra sicurezza e utilità. Non dimostrano che ogni possibile injection sia stata eliminata.
Il risultato vicino allo zero comprende più di un numero
“Approssimativamente zero” combina diverse impostazioni di valutazione, e tali impostazioni non dovrebbero essere considerate prove intercambiabili di una sicurezza completa.
Secondo la system card di Claude Opus 5, il modello è stato valutato contro prompt injection indirette in ambienti browser e di utilizzo del computer. Gli attacchi indiretti collocano istruzioni malevole nei contenuti recuperati dall'agente, anziché nella richiesta diretta dell'utente.
Un riepilogo dei risultati della system card riporta che l'aggiunta di una sonda per la prompt injection ha ridotto il successo degli attacchi allo 0,18% in due configurazioni testate. Un'altra valutazione del browser avrebbe coperto 129 ambienti non utilizzati durante l'addestramento.
Con la modalità automatica aggiunta allo stack, nessun attacco ha avuto successo negli scenari browser valutati. È questa la base per descrivere il tasso osservato come approssimativamente zero. Si tratta di un risultato di test significativo, soprattutto perché gli attacchi prendevano di mira ambienti mai visti prima.
Tuttavia, zero successi e rischio sottostante pari a zero sono affermazioni diverse. Quando un benchmark non registra alcun attacco riuscito, stabilisce un limite superiore all'interno di quel campione. Non può dimostrare che il tasso reale sia esattamente zero per ogni attacco futuro.
Anche il denominatore è importante. Un sistema testato contro centinaia o migliaia di tentativi fornisce prove più solide di uno testato su una raccolta ridotta. Attacchi ripetuti contro lo stesso ambiente non rappresentano necessariamente la varietà degli attacchi che emergono dopo la distribuzione.
Il modello di minaccia della valutazione è altrettanto importante. Un attacco browser progettato per modificare un'attività di acquisto differisce da un attacco a un repository che nasconde comandi nei commenti del codice sorgente. Entrambi rientrano nella prompt injection indiretta, ma espongono strumenti, autorizzazioni e possibilità di danno diverse.
La ricerca indipendente rafforza questa cautela. Il benchmark LivePI testa gli agenti in flussi di lavoro simili alla produzione che contengono pagine web, file, repository, email e contenuti di chat di gruppo. I suoi autori hanno riportato tassi complessivi di successo degli attacchi compresi tra il 10,7% e il 29,6% su cinque sistemi di frontiera nella configurazione testata.
Questi test realistici sugli agenti non contraddicono direttamente i dati di Anthropic. Utilizzano modelli, harness, attacchi, autorizzazioni e criteri di valutazione differenti. Dimostrano invece quanto la sicurezza misurata possa cambiare in funzione del benchmark.
NetInjectBench offre un ulteriore avvertimento contro conclusioni ristrette. I suoi scenari di operazioni di rete separano gli artefatti non attendibili dai metadati delle policy attendibili e misurano l'uso non sicuro degli strumenti. L'esecuzione ingenua ha prodotto un tasso di azioni non sicure dell'82,5% su 240 casi di attacco.
Il benchmark per agenti di rete prende di mira un ambiente specializzato, non l'esatto stack di produzione di Claude Code. Ciononostante, illustra perché gli agenti dotati di strumenti con conseguenze rilevanti necessitino di controlli a livello di sistema che vadano oltre il comportamento di rifiuto del modello.
Le prove più solide di Anthropic sono quindi comparative. Opus 5 appare sostanzialmente più resistente dei precedenti modelli Claude nelle valutazioni di Anthropic. L'azienda riporta inoltre che la sua sonda e il classificatore delle azioni riducono ulteriormente i fallimenti residui.
Questo sostiene l'affermazione di progressi significativi. Non giustifica l'eliminazione di isolamento, controlli di accesso, registri di audit o revisione umana dai flussi di lavoro ad alto impatto.
La difesa di Claude dalla prompt injection parte dall'addestramento
Il cambiamento tecnico centrale è la decisione di Anthropic di trattare la resistenza alla prompt injection come una capacità del modello addestrata, non soltanto come un problema di sicurezza perimetrale.
Le prime difese spesso collocavano filtri tra un agente e i contenuti che consumava. Il filtro cercava frasi evidenti, istruzioni codificate, formattazione sospetta o schemi di attacco noti.
Questo approccio assomiglia a un filtro antispam per email. Funziona bene contro attacchi già noti, ma può fallire quando gli attaccanti cambiano formulazione, distribuiscono istruzioni su più pagine o nascondono l'intento all'interno di dati legittimi.
OpenAI ha evidenziato direttamente questa limitazione. La sua ricerca sulla progettazione sicura degli agenti afferma che gli attacchi avanzati assomigliano sempre più all'ingegneria sociale. Creano narrazioni plausibili che manipolano il ragionamento di un agente anziché presentare un comando evidente per ignorare le istruzioni precedenti.
Un rilevatore deve decidere se un testo sia un dato, una procedura legittima o un attacco. Queste categorie possono sovrapporsi. Un repository può correttamente istruire uno sviluppatore a eseguire un comando di configurazione, mentre una dipendenza compromessa può inserire un'istruzione quasi identica in un file malevolo.
L'addestramento a livello di modello fornisce all'agente un'ulteriore fonte di contesto. Claude può valutare se un'istruzione supporti l'obiettivo dichiarato dall'utente, se la sua fonte abbia autorità e se seguirla richiederebbe un cambiamento di piano non spiegato.
Anthropic considera questa gerarchia delle istruzioni e il lavoro di allineamento parte della difesa del modello. Il modello apprende che i contenuti recuperati dall'ambiente non dovrebbero ereditare automaticamente l'autorità dell'utente o del sistema.
Questo inquadramento affronta una spiegazione comune della prompt injection: la confusione dei ruoli. I modelli linguistici possono comprendere le parole di un'istruzione senza riuscire a identificare chi abbia il diritto di impartirla.
Ricerche recenti hanno testato questa teoria misurando il modo in cui i modelli rappresentano l'interlocutore dietro istruzioni diverse. Uno studio ha rilevato che ragionamenti contraffatti inseriti nei prompt utente o negli output degli strumenti potevano produrre tassi di attacco elevati in diversi sistemi.
L'addestramento può ridurre questa confusione esponendo il modello a esempi avversari. Anthropic crea contenuti simulati che mescolano informazioni utili a direttive malevole, quindi ricompensa il modello quando completa in sicurezza il compito previsto.
Il vantaggio è la generalizzazione. Un modello può potenzialmente riconoscere un nuovo attacco in base alla sua relazione con l'obiettivo dell'utente, anche quando nessun rilevatore ha mai visto quella formulazione esatta.
Il limite è che i dati di addestramento non possono rappresentare ogni ambiente futuro. Un attacco può sfruttare uno strumento insolito, una lunga catena di richieste singolarmente innocue o dettagli contestuali che rendono legittimo un comportamento malevolo.
Gli attaccanti possono anche ottimizzare contro il modello distribuito. Una volta appreso quali schemi attivano il rifiuto, possono cercare input che mantengano l'intento dannoso evitando quegli schemi.
Per questo Anthropic continua a usare sonde e classificatori nonostante il modello più robusto. L'architettura dell'azienda presuppone che ogni livello possa fallire.
Per gli sviluppatori, questa è la lezione più trasferibile dei risultati di Anthropic sulla prompt injection. L'addestramento offre una base più solida, ma una distribuzione sicura dipende comunque dal sistema circostante.
Un agente di coding dovrebbe ricevere solo le credenziali, l'accesso alla rete e le autorizzazioni del filesystem necessari per il suo compito. I team dovrebbero separare gli input non attendibili dalle istruzioni eseguibili e registrare le chiamate agli strumenti con conseguenze rilevanti.
Questo principio vale anche quando un agente cerca nella base di conoscenza tecnica di un'azienda. La documentazione recuperata può migliorare il lavoro di un agente, ma il percorso di recupero amplia anche i contenuti che un attaccante potrebbe influenzare.
La modalità Auto trasforma la promessa di sicurezza in una scommessa di prodotto
Anthropic sta utilizzando le sue difese migliorate per eliminare l'attrito delle autorizzazioni, rendendo il risultato in termini di sicurezza parte del design di prodotto centrale di Claude Code.
Claude Code tradizionalmente chiede conferma prima di eseguire molti comandi, modificare file o compiere azioni con conseguenze più ampie. Queste richieste mantengono un essere umano nel ciclo, ma interrompono anche il lavoro di lunga durata.
Alcuni sviluppatori reagiscono concedendo autorizzazioni estese o utilizzando configurazioni che aggirano le approvazioni ripetute. Questa scelta aumenta la produttività, ma indebolisce il confine tra un agente manipolato e il sistema circostante.
La modalità Auto è la via di mezzo proposta da Anthropic. Instrada le azioni attraverso un classificatore che decide se ciascuna azione possa procedere senza una risposta manuale.
L'architettura della modalità Auto di Anthropic descrive controlli in più punti. Una sonda lato server esamina gli output degli strumenti alla ricerca di tentativi di injection. Un classificatore separato esamina le azioni proposte e blocca quelle considerate non sicure.
Il classificatore si concentra sull'intento anziché su un elenco fisso di comandi. Eliminare un singolo file temporaneo generato può essere ragionevole, mentre l'eliminazione di una grande directory di progetto dovrebbe attivare un blocco. L'invio di dati a un endpoint sconosciuto presenta un rischio diverso rispetto al recupero di documentazione pubblica.
Quando il sistema blocca un'azione, Claude può tentare un approccio più sicuro. Tentativi ripetuti o casi incerti possono restituire il controllo all'utente.
Questa struttura riduce le interruzioni senza equiparare la comodità a un accesso senza restrizioni. Crea inoltre una nuova dipendenza: gli sviluppatori devono fidarsi dell'interpretazione del classificatore sia del compito sia del comando.
I falsi negativi sono il pericolo più evidente. Un'istruzione malevola potrebbe causare un'azione che, isolatamente, sembra ordinaria, come leggere un file di configurazione prima di inviare una richiesta di routine.
I falsi positivi creano un problema più silenzioso. Se la modalità Auto blocca troppo spesso azioni legittime, gli sviluppatori potrebbero disabilitare le protezioni per completare il proprio lavoro. I controlli di sicurezza che ostacolano regolarmente i compiti normali possono incoraggiare comportamenti più rischiosi.
La decisione di Anthropic di abilitare la modalità Auto per impostazione predefinita fornirà un test molto più ampio di qualsiasi benchmark pre-release. Gli sviluppatori utilizzano sistemi di build insoliti, strumenti interni da riga di comando, servizi remoti e repository con automazioni complesse.
Questa diversità mostrerà se il classificatore rimane accurato al di fuori degli ambienti curati da Anthropic. Rivelerà inoltre se la sonda contro la prompt injection gestisce contenuti provenienti da plugin, server model context protocol, gestori di pacchetti, sistemi di tracciamento dei problemi e log di build generati.
La scommessa di prodotto va oltre Claude Code. Agenti browser, assistenti di ricerca e strumenti per flussi di lavoro aziendali affrontano tutti un compromesso simile tra autonomia e approvazione.
Un agente che chiede autorizzazione a ogni passaggio non può completare un lavoro sostanziale senza supervisione. Un agente con un'autorità ampia e persistente può trasformare una singola injection riuscita in furto di dati o in un'azione distruttiva.
La modalità Auto tenta di spostare la revisione umana da ogni operazione di routine al gruppo più ristretto di azioni che comportano un rischio materiale. Se funzionerà su larga scala, altri fornitori di agenti subiranno pressioni per offrire un'automazione comparabile.
Se fallirà in modo evidente, le frequenti richieste di autorizzazione potrebbero tornare come confine di sicurezza necessario.
Anthropic e OpenAI ora inquadrano il rischio in modo diverso
I risultati di Anthropic mettono in discussione una visione pessimistica della prompt injection, ma la posizione di OpenAI coglie meglio l'incertezza che va oltre qualsiasi benchmark fisso.
OpenAI ha paragonato la prompt injection alle truffe e all'ingegneria sociale. Le sue linee guida pubbliche affermano che è improbabile che il problema venga risolto completamente, perché gli avversari si adattano continuamente alle difese distribuite.
Questa posizione non significa che l'addestramento dei modelli sia inefficace. OpenAI utilizza anche addestramento specializzato, monitor automatizzati, conferme degli utenti, restrizioni di rete e supervisione per contesti sensibili.
Il disaccordo riguarda cosa dovrebbe significare “risolto”. Anthropic sottolinea la resistenza agli attacchi misurata dopo la combinazione di diverse difese. OpenAI sottolinea la competizione aperta tra aggressori e agenti distribuiti.
Entrambe le posizioni possono essere vere nel rispettivo ambito previsto. Anthropic può raggiungere zero successi osservati in una valutazione difficile, mentre la prompt injection rimane una categoria di sicurezza irrisolta.
La distinzione ricorda la sicurezza software tradizionale. Un prodotto può superare i penetration test senza diventare invulnerabile. Il test fornisce evidenza sulle minacce note e sulla superficie d'attacco testata, non su ogni exploit futuro.
La prompt injection è particolarmente difficile perché i contenuti legittimi e quelli malevoli utilizzano la stessa interfaccia: il linguaggio naturale. Non esiste un equivalente semplice alla separazione del codice eseguibile dal testo normale quando un agente deve interpretare il testo per decidere cosa fare.
A un aggressore basta inoltre un solo percorso attraverso lo stack difensivo. Modello, sonda, classificatore, sistema di autorizzazioni, servizio connesso e operatore umano contribuiscono tutti al risultato.
Lo stack di Anthropic offre diverse opportunità per fermare un attacco. Produce però anche diversi componenti le cui interazioni devono essere testate insieme.
Per esempio, un modello potrebbe segnalare correttamente contenuti sospetti, ma in seguito riassumerli in modo da preservare l'istruzione malevola. Un classificatore potrebbe bloccare il trasferimento diretto di dati, ma consentire diversi passaggi apparentemente innocui che raggiungono lo stesso risultato.
Un attacco può anche prendere di mira l'utente anziché il modello. Una pagina compromessa potrebbe convincere l'agente a richiedere l'approvazione usando una spiegazione fuorviante. L'utente diventerebbe quindi parte del percorso dell'attacco.
I benchmark raramente catturano ogni condizione organizzativa. Le distribuzioni aziendali includono credenziali condivise, strumenti personalizzati, vecchi repository, proxy interni, policy di autorizzazione incoerenti e utenti con diversi livelli di consapevolezza della sicurezza.
Ecco perché il titolo dovrebbe rimanere “quasi risolto” anziché “eliminato”. Anthropic ha divulgato evidenze di una riduzione significativa nelle condizioni testate. La garanzia nel mondo reale richiede riproduzione indipendente e dati continui provenienti dalle distribuzioni.
Una difesa credibile di Claude contro la prompt injection dovrebbe anche riportare l'utilità insieme alla resistenza agli attacchi. Un sistema che rifiuta compiti non familiari può ottenere un eccellente punteggio di sicurezza pur fallendo come agente.
La ricerca pubblica di Anthropic riconosce questo equilibrio, ma restano importanti confronti dettagliati tra diversi carichi di lavoro. Gli acquirenti devono sapere quanto spesso le protezioni bloccano il lavoro sicuro, non solo quanto spesso fermano gli attacchi.
Cosa osservare mentre Anthropic rende la modalità Auto predefinita
Le prossime evidenze arriveranno dalla distribuzione, dai test indipendenti e dalla risposta di Anthropic agli attacchi progettati dopo che le sue difese sono diventate pubbliche.
Il primo segnale è il rilascio predefinito della modalità Auto. Osservate se Anthropic la limita per modello, tipo di account, ambiente o policy dell'organizzazione. Un rilascio prudente indicherebbe che l'azienda continua a rilevare differenze significative tra le impostazioni di distribuzione.
Osservate anche il tasso di blocchi visibili agli utenti. Rifiuti frequenti suggerirebbero che il classificatore mantiene la sicurezza in parte limitando l'attività normale. Pochissimi rifiuti potrebbero indicare una buona calibrazione, oppure cautela insufficiente.
Il secondo segnale è costituito da test adattivi indipendenti contro lo stack completo di Claude Code. I benchmark pubblici esistenti stabiliscono preziose basi di riferimento, ma molti non riproducono l'esatta combinazione di Opus 5, sonde, modalità Auto, strumenti e autorizzazioni di Anthropic.
Il test indipendente più rigoroso utilizzerebbe attacchi creati dopo che i ricercatori hanno studiato il sistema rilasciato. Includerebbe repository avvelenati, output di strumenti ingannevoli, istruzioni basate su immagini, esfiltrazione in più passaggi e attacchi distribuiti lungo una sessione estesa.
I ricercatori dovrebbero riportare sia il successo dell'attacco sia il completamento del compito. Dovrebbero documentare quale accesso abbia ricevuto l'agente, quali protezioni fossero attive e se gli attacchi fossero noti durante l'addestramento.
Un risultato pari a zero in queste condizioni rafforzerebbe l'affermazione di Anthropic. Attacchi adattivi riusciti non cancellerebbero i progressi, ma definirebbero i confini della difesa attuale.
Il terzo segnale è la rapidità con cui l'azienda gestisce gli incidenti reali. La protezione dalla prompt injection non è una proprietà del modello una tantum. È un processo operativo che comprende rilevamento, indagine, addestramento aggiornato e distribuzione rapida di nuove protezioni.
Anthropic dovrebbe divulgare informazioni sufficienti sugli incidenti affinché i clienti comprendano la superficie interessata. I team di sicurezza devono sapere se un fallimento è derivato dal modello, da una sonda, da un classificatore di azioni, da una regola di autorizzazione o da uno strumento connesso.
Gli sviluppatori non dovrebbero attendere queste evidenze prima di adottare precauzioni di base. Eseguite gli agenti di coding autonomi in ambienti isolati quando possibile. Limitate segreti, destinazioni di rete e credenziali di produzione. Esaminate le modifiche prima della distribuzione e mantenete recuperabili le operazioni distruttive.
Trattate il testo dei repository, l'output degli strumenti e i file scaricati come non attendibili anche quando sembrano familiari. Una dipendenza avvelenata o una risposta di supporto copiata può contenere istruzioni che nessuno sviluppatore ha approvato intenzionalmente.
Soprattutto, non interpretate lo zero approssimativo di Anthropic come un permesso per concedere a un agente autorità illimitata. Interpretatelo come evidenza che difese stratificate possono ridurre un rischio serio senza imporre approvazioni manuali costanti.
Si tratta di un cambiamento significativo. La questione aperta è se sopravviva al contatto con milioni di repository, nuove strategie di attacco e sviluppatori che si aspettano che la modalità Auto continui a funzionare senza supervisione.
Anthropic ha stabilito uno standard misurabile per questo dibattito. Ora ricercatori indipendenti e utenti reali devono metterlo alla prova. Se i risultati reggeranno, la prompt injection sembrerà meno una barriera inevitabile e più un problema di sicurezza gestibile. In caso contrario, i fallimenti mostreranno dove dovrà collocarsi il livello successivo.



