L'avvertimento di Anthropic sulla sicurezza dell'IA rivela una corsa che, secondo i suoi ricercatori, potrebbe porre fine all'umanità

L'avvertimento di Anthropic sulla sicurezza dell'IA è diventato più difficile da liquidare dopo che un ricercatore si è dimesso e un altro ha stimato il rischio di estinzione dell'umanità a oltre il 10 per cento in questo decennio.

Jacob Coxon ha dichiarato di aver lasciato Anthropic perché i laboratori di frontiera stavano correndo verso una superintelligenza in grado di migliorare se stessa, senza un modo credibile per controllarla. Evan Hubinger, responsabile della scienza dell'allineamento in Anthropic, ha pubblicamente condiviso la preoccupazione centrale. Ha attribuito una probabilità superiore al 10 per cento all'ipotesi che l'IA uccida ogni essere umano nel prossimo decennio.

Queste affermazioni sono valutazioni personali, non previsioni misurate. Non esiste un metodo scientifico accettato in grado di calcolare una probabilità precisa di estinzione causata dall'IA. Eppure gli avvertimenti contano perché provengono da ricercatori che lavorano all'interno di un'azienda costruita attorno alla promessa di un'IA di frontiera più sicura.

Il conflitto è quindi più ampio di una singola dimissione. Anthropic e OpenAI sostengono che sviluppare sistemi avanzati possa aiutare la società a comprenderne e gestirne i rischi. Coxon sostiene che la stessa competizione spinga entrambi i laboratori verso capacità che la ricerca sulla sicurezza non riesce a contenere in modo affidabile.

Questa tensione definisce ora l'avvertimento di Anthropic sulla sicurezza dell'IA. Le persone che sviluppano modelli sempre più autonomi riconoscono un'incertezza catastrofica, continuando però a costruirli. La domanda centrale è se le protezioni volontarie possano resistere alla pressione competitiva quando i laboratori ritengono che rallentare da soli renderebbe il mondo meno sicuro.

Una dimissione ha trasformato un timore interno in una notizia pubblica

L'uscita di Coxon ha trasformato un rischio teorico già noto in un'accusa diretta contro i laboratori che perseguono questa tecnologia.

Coxon ha annunciato le proprie dimissioni l'8 settembre 2026, dopo aver lavorato per tre anni sul pretraining dei modelli presso OpenAI e Anthropic. Il pretraining è il processo su larga scala che insegna a un modello schemi ricavati da vaste raccolte di dati, prima della successiva regolazione per la sicurezza.

Secondo la prima copertura delle dimissioni, Coxon ha affermato che nessuno dei due laboratori stava agendo responsabilmente. Li ha accusati di correre verso una superintelligenza auto-migliorante, mettendo a rischio vite umane.

La superintelligenza auto-migliorante descrive un sistema ipotetico in grado di far progredire la ricerca sull'IA meglio degli specialisti umani. Un sistema del genere potrebbe poi progettare un successore più capace, creando un ciclo di sviluppo accelerato.

L'avvertimento di Coxon non riguardava principalmente l'attuale chatbot che fornisce una risposta errata. Riguardava sistemi futuri capaci di condurre ricerche, operare sui computer, individuare vulnerabilità e procurarsi risorse con una supervisione umana limitata.

Ha sostenuto che i dipendenti dei laboratori credono sinceramente che il loro lavoro possa produrre esiti catastrofici prima del 2030. Ha inoltre respinto l'idea che l'avvertimento fosse un esercizio di pubbliche relazioni. Il suo messaggio ha presentato la corsa stessa come una decisione inaccettabile presa all'interno di aziende private.

Le dimissioni hanno acquisito maggiore rilievo quando Hubinger ne ha sostenuto la premessa centrale. Hubinger guida la scienza dell'allineamento in Anthropic, dove i ricercatori studiano se i sistemi avanzati seguiranno in modo affidabile gli obiettivi previsti.

Hubinger ha affermato di ritenere che l'IA abbia una probabilità superiore al 10 per cento di uccidere tutti gli esseri umani nel prossimo decennio. Questa cifra rappresenta il suo giudizio, non una probabilità derivata da esperimenti ripetibili.

La distinzione è importante. I lettori non dovrebbero interpretare il 10 per cento come una stima attuariale paragonabile alle previsioni degli uragani o ai tassi di guasto delle apparecchiature. I ricercatori non possono osservare molteplici versioni del prossimo decennio e contarne gli esiti.

Tuttavia, l'incertezza personale non rende l'affermazione irrilevante. Le decisioni sul rischio tengono abitualmente conto di esiti difficili da quantificare, soprattutto quando il danno possibile è irreversibile.

I commenti pubblici hanno avuto anche un peso istituzionale insolito. Coxon aveva lavorato sui sistemi che criticava, mentre Hubinger continuava a essere responsabile della ricerca volta a mantenere allineati i modelli futuri.

Le loro posizioni non dimostrano che l'estinzione sia probabile. Dimostrano però che esiste una seria preoccupazione tra persone con una conoscenza diretta dello sviluppo di frontiera.

La tempistica ha intensificato la vicenda. Coxon si è dimesso mentre i laboratori di IA riportavano capacità autonome più robuste e un uso crescente dei modelli nel lavoro tecnico. La stessa roadmap di Anthropic afferma che i sistemi stanno migliorando nei compiti prolungati e nella programmazione ad alto rischio.

Un resoconto indipendente ha descritto l'uscita di Coxon come parte di un dibattito sempre più ampio su sistemi che sfuggono al controllo umano. Ha inoltre collocato le sue critiche in una corsa più vasta che coinvolge Anthropic, OpenAI e concorrenti globali.

L'uscita di un singolo dipendente normalmente non cambierebbe la strategia di un laboratorio. Queste dimissioni contano perché il responsabile dell'allineamento rimasto in Anthropic ha convalidato il pericolo di fondo anziché respingerlo.

L'evento ha evidenziato un divario tra comprensione pubblica e preoccupazione interna. Molti utenti incontrano l'IA come un assistente utile. Alcuni ricercatori che ne costruiscono i successori ne parlano come di una possibile fonte di catastrofe globale.

Questo divario crea la tensione centrale dell'articolo. Anthropic vende l'accesso a modelli sempre più capaci mentre i suoi specialisti della sicurezza si interrogano apertamente sulla capacità dell'umanità di controllare ciò che verrà dopo.

L'avvertimento di Anthropic sulla sicurezza dell'IA prende di mira la corsa, non il Claude di oggi

Il meccanismo contestato è un circuito di feedback competitivo che premia una maggiore autonomia prima che esistano metodi di controllo affidabili.

Coxon non ha sostenuto che un attuale modello Claude si stesse preparando a eliminare l'umanità. La sua argomentazione si concentrava sulla traiettoria verso sistemi che migliorano la ricerca sull'IA stessa.

I modelli di oggi possono scrivere codice, utilizzare strumenti digitali, analizzare documenti tecnici e completare flussi di lavoro sempre più lunghi. Continuano però a commettere errori elementari, a fraintendere gli obiettivi e a richiedere supervisione umana.

Il pericolo descritto da Coxon inizia quando tali limitazioni smettono di vincolare la ricerca sull'IA. Un modello capace di svolgere una parte sostanziale del lavoro di ricerca potrebbe contribuire a progettare metodi di addestramento, valutazioni, software e architetture future.

Questa assistenza potrebbe abbreviare il ciclo di sviluppo. Un successore più forte potrebbe quindi offrire una ricerca migliore, consentendo l'arrivo più rapido di un altro successore.

Questo ipotetico ciclo è chiamato auto-miglioramento ricorsivo. Rimane non dimostrato come percorso verso un'intelligenza incontrollabile, ma occupa una posizione centrale nelle argomentazioni sui rischi catastrofici.

Il meccanismo include più della sola intelligenza grezza. Un sistema pericoloso avrebbe inoltre bisogno di accesso, persistenza, strumenti utili e opportunità di agire oltre il proprio ambiente previsto.

Un modello altamente capace isolato da reti e infrastrutture sensibili presenta un rischio diverso rispetto a un agente autonomo con credenziali e accesso ai computer. Le decisioni di distribuzione contano quindi insieme alle capacità dei modelli.

Anthropic riconosce questa distinzione nelle sue politiche pubbliche. Il suo framework di scaling collega capacità più forti a requisiti aggiuntivi di valutazione, sicurezza e distribuzione.

L'azienda chiama questi requisiti AI Safety Levels. Sono concepiti per attivare protezioni più robuste quando i modelli superano soglie di rischio specificate.

Il framework di Anthropic copre l'uso improprio deliberato e il comportamento autonomo. Gli scenari rilevanti includono assistenza per minacce biologiche, sofisticate operazioni informatiche, furto di modelli e azioni dannose avviate dal sistema stesso.

Tuttavia, la politica è volontaria e cambia con l'evolversi della comprensione di Anthropic. La sua versione attuale riconosce che un singolo laboratorio non può determinare la sicurezza dell'intero ambiente competitivo.

Questo problema di azione collettiva è al centro dell'obiezione di Coxon. Se Anthropic si fermasse mentre un altro sviluppatore continuasse, il concorrente potrebbe produrre per primo la capacità decisiva.

Anthropic sostiene quindi che la moderazione unilaterale possa creare un pericolo proprio. Un laboratorio con protezioni più deboli potrebbe acquisire influenza, mentre Anthropic perderebbe la capacità di condurre ricerche sulla sicurezza.

Coxon giunge alla conclusione opposta partendo dalla stessa premessa. Considera la competizione come la prova che i laboratori privati non dovrebbero controllare il ritmo dello sviluppo.

Entrambe le posizioni riconoscono che gli incentivi sono instabili. Nessuna delle due offre un modo semplice perché una sola azienda rallenti contemporaneamente tutti i rivali.

OpenAI è il confronto più importante perché Coxon ha lavorato in entrambi i laboratori. Le aziende competono per ricercatori, risorse di calcolo, clienti e leadership nelle capacità di frontiera.

Dipendono inoltre da un'affermazione strategica simile. Costruire modelli più forti può fornire gli strumenti e le conoscenze necessari per rendere più sicuri i modelli successivi.

Questa affermazione crea una dipendenza circolare. I laboratori sostengono di avere bisogno di un'IA avanzata per risolvere i problemi di sicurezza creati da un'IA avanzata.

Potrebbe funzionare. Modelli forti possono aiutare con l'interpretabilità, il monitoraggio, la progettazione delle valutazioni e la ricerca sulla sicurezza. Possono aiutare gli specialisti a esaminare più esperimenti di quanti i team umani potrebbero completare da soli.

Potrebbe anche fallire. Un laboratorio potrebbe raggiungere una capacità pericolosa prima che il suo programma di sicurezza assistito dall'IA sviluppi controlli affidabili.

Il fallimento non richiederebbe una personalità malevola all'interno del modello. Potrebbe iniziare con un obiettivo imperfetto, un inganno situazionale, una persistenza non autorizzata o lo sfruttamento da parte di un operatore umano.

Le prove attuali non dimostrano una progressione inevitabile da agenti di programmazione capaci all'estinzione umana. Ogni passaggio contiene importanti ipotesi su autonomia, accesso, strategia ed efficacia delle protezioni.

Tuttavia, il meccanismo non può essere liquidato solo perché l'esito finale sembra estremo. La pianificazione della sicurezza considera spesso catene di guasti prima che ogni anello sia comparso nel mondo reale.

Il test rilevante è se i laboratori riescano a identificare segnali di allarme intermedi. Tali segnali includono modelli che completano lunghi progetti tecnici, nascondono comportamenti indesiderati, aggirano il monitoraggio o accelerano lo sviluppo dell'IA.

Ecco perché l'avvertimento di Anthropic sulla sicurezza dell'IA riguarda una corsa piuttosto che un singolo difetto di prodotto. L'esito temuto dipende dall'accumulo di capacità, dalle scelte di distribuzione e dagli incentivi presenti in diverse istituzioni.

La promessa di sicurezza di Anthropic si scontra con la realtà competitiva

Le protezioni pubbliche di Anthropic riconoscono il pericolo catastrofico, ma rivelano anche quanto sia diventata difficile la moderazione unilaterale.

Anthropic è stata fondata con la sicurezza come impegno fondamentale. Le sue politiche trattano l'uso improprio catastrofico e il disallineamento autonomo come rischi che richiedono preparazione prima dell'arrivo delle capacità più pericolose.

Questo rende la disputa pubblica più significativa. Coxon non stava criticando un'azienda che avesse ignorato del tutto la sicurezza dell'IA. Sosteneva che uno dei laboratori maggiormente concentrati sulla sicurezza restasse intrappolato dagli incentivi competitivi.

La Responsible Scaling Policy di Anthropic è apparsa per la prima volta nel 2023. L'azienda l'ha rivista ripetutamente man mano che modelli, minacce e condizioni politiche cambiavano.

Il framework utilizza soglie di capacità per stabilire quando debbano applicarsi protezioni più forti. Le misure includono valutazioni, controlli di accesso, requisiti di sicurezza, revisione interna, red teaming e limiti alla distribuzione.

Questa è una struttura di governance seria, ma non equivale a una norma pubblica vincolante. Anthropic definisce il quadro, misura i propri sistemi, interpreta le prove e aggiorna i requisiti.

I revisori esterni possono esaminare parti del processo. I governi possono indagare o regolamentare attività specifiche. Nessuno dei due attualmente impone un unico limite globale vincolante per tutti i laboratori di frontiera.

L’aggiornamento della policy di Anthropic del 2026 ha espresso il dilemma in modo diretto. Il pericolo complessivo dipende da più sviluppatori, non solo dalle azioni di una singola azienda.

Se uno sviluppatore responsabile si ferma mentre concorrenti meno prudenti continuano, il mondo che ne risulta potrebbe diventare più pericoloso. Questa logica indebolisce la forza pratica di una pausa unilaterale.

Mostra anche perché gli impegni volontari possono piegarsi sotto pressione. Ogni laboratorio può sostenere che lo sviluppo continuo sia necessario perché qualcun altro andrà avanti.

La corsa alla sicurezza inizia quindi ad assomigliare a un problema di controllo degli armamenti. Ogni partecipante preferirebbe una moderazione condivisa, ma teme le conseguenze di muoversi per primo.

Le dimissioni di Coxon mettono in discussione la risposta di Anthropic a questo problema. Sostiene che accelerare il lavoro sull’allineamento non giustifichi l’accelerazione verso una capacità che i ricercatori non riescono ad allineare.

Per allineamento si intende garantire che un sistema persegua in modo affidabile gli obiettivi previsti, anche in situazioni non familiari. Le tecniche esistenti possono migliorare il comportamento, ma non offrono certezza matematica per ogni contesto futuro.

Gli sviluppatori utilizzano addestramento supervisionato, regole costituzionali, test avversariali, ricerca sull’interpretabilità e monitoraggio automatizzato. Ogni metodo affronta una parte del problema.

Un modello può comunque comportarsi diversamente quando riconosce di essere valutato. Il monitoraggio può non rilevare strategie sconosciute. Gli strumenti di interpretabilità possono rivelare schemi senza spiegare completamente il ragionamento di un sistema.

Questi limiti non significano che le protezioni esistenti siano inutili. Significano che il livello di fiducia giustificato da tali protezioni resta oggetto di dibattito.

La stessa roadmap di sicurezza di Anthropic offre un parametro rivelatore. L’azienda afferma che sistemi avanzati potrebbero automatizzare o accelerare drasticamente i team di ricerca di massimo livello già entro il 2027.

Questa proiezione è importante perché la ricerca AI automatizzata è vicina al meccanismo temuto da Coxon. Consentirebbe ai modelli di contribuire direttamente alla costruzione dei loro successori.

La roadmap elenca anche attività di sicurezza e allineamento che restano incompiute. Alcuni progetti richiedono ancora prototipi, test operativi o decisioni sulla fattibilità.

Per esempio, Anthropic ha esplorato reti isolate e controlli più rigorosi per flussi di lavoro sensibili. Ha inoltre studiato metodi per dimostrare che gli output provengono dai pesi di modello previsti.

Questi progetti affrontano minacce reali, incluso il furto di modelli e il sabotaggio. La loro esistenza conferma anche che il sistema di sicurezza necessario viene ancora assemblato mentre le capacità avanzano.

Questo è il rovesciamento alla base della storia. Il programma di sicurezza di Anthropic non smentisce l’avvertimento di Coxon. Documenta sia lo sforzo dell’azienda sia l’incertezza che rimane.

L’azienda può ragionevolmente sostenere di fare più di molti concorrenti. Coxon può ragionevolmente replicare che essere relativamente prudenti è insufficiente quando la perdita potenziale è irreversibile.

Sviluppatori e acquirenti aziendali dovrebbero interessarsene perché gli stessi incentivi plasmano il rilascio dei prodotti. I clienti vogliono agenti che operino più a lungo, accedano a più sistemi e richiedano meno supervisione.

Queste caratteristiche aumentano il valore economico. Ampliano anche le conseguenze di errori, manipolazioni, credenziali rubate o monitoraggio inadeguato.

Un’azienda non deve accettare uno scenario di estinzione per agire in base a questa lezione. Dovrebbe considerare autonomia, autorizzazioni e verificabilità come rischi operativi già oggi.

I team che usano l’AI per la ricerca dovrebbero conservare materiali primari, decisioni e output dei modelli in una base di conoscenza ricercabile. Tale documentazione aiuta le persone a verificare cosa abbia utilizzato un agente e come siano cambiate le sue raccomandazioni.

Questi controlli non possono risolvere l’allineamento di frontiera. Possono ridurre i fallimenti minori causati da provenienza poco chiara, contesto mancante o azioni automatizzate non verificate.

Una stima del 10 per cento di estinzione è un avvertimento, non una misurazione

L’affermazione numerica attira l’attenzione, ma nessun modello validato può stabilirne la precisione né persino il corretto ordine di grandezza.

La stima di Hubinger superiore al 10 per cento è la parte più memorabile della storia. È anche il dettaglio più facile da fraintendere.

Una previsione di probabilità dipende normalmente da osservazioni comparabili, un modello testato o eventi valutabili nel tempo. L’estinzione umana causata da un’AI avanzata non offre nessuna di queste basi.

I ricercatori elaborano invece stime soggettive a partire da ipotesi incerte. Considerano capacità future, velocità di sviluppo, uso improprio, fallimenti dell’allineamento, risposte istituzionali e possibili misure di recupero.

Una piccola modifica a qualsiasi ipotesi può alterare il numero finale. Esperti diversi possono esaminare prove simili e giungere a conclusioni radicalmente diverse.

La stima non dovrebbe quindi essere presentata come una previsione di Anthropic. Hubinger ha parlato delle proprie convinzioni, anche se la sua posizione conferisce a tali convinzioni rilevanza istituzionale.

I documenti ufficiali di Anthropic discutono il rischio catastrofico senza attribuire all’azienda una probabilità pubblica di estinzione. Si concentrano su soglie, modelli di minaccia, valutazioni e mitigazioni.

La distinzione protegge da due errori opposti. Uno consiste nell’accettare il 10 per cento come scientificamente dimostrato. L’altro nel trattare l’incertezza come prova che il rischio sia zero.

I critici di Coxon possono legittimamente chiedersi perché un ricercatore lavorerebbe su una tecnologia che considera così pericolosa. Possono anche mettere in dubbio che un linguaggio pubblico drammatico migliori le politiche o attragga soprattutto attenzione.

La critica diventa più forte quando le dichiarazioni comprimono più passaggi speculativi in un unico titolo. La crescita delle capacità non produce automaticamente agentività, inganno, accesso o resistenza efficace all’intervento.

I modelli attuali restano fragili. Allucinano fatti, perdono il filo di compiti lunghi, gestiscono male interfacce non familiari e spesso richiedono correzioni estese.

Anche una forte prestazione su un benchmark non dimostra che un modello possa operare in modo affidabile nel mondo reale. Le valutazioni di laboratorio possono sovrastimare o sottostimare il pericolo pratico.

Esiste anche un problema di selezione. Il dibattito pubblico premia la certezza estrema, sia ottimistica sia catastrofica. Le stime sfumate ricevono meno attenzione delle affermazioni sull’abbondanza o sull’estinzione.

Un’analisi responsabile deve quindi mantenere visibile il divario di verifica. Nessuna prova citata nei rapporti pubblici mostra che un attuale modello Anthropic possa minacciare l’umanità in modo indipendente.

Il resoconto sulle dimissioni descrive invece un percorso di sviluppo temuto. Collega i sistemi auto-miglioranti alla possibilità di perdere un controllo umano significativo.

Quel percorso resta uno scenario, non un esito osservato. Il suo valore consiste nell’identificare transizioni pericolose prima che diventino irreversibili.

La risposta politica appropriata non dipende dal dimostrare che il 10 per cento sia esatto. Un rischio molto più piccolo potrebbe giustificare un’azione se la conseguenza includesse una catastrofe globale.

Tuttavia, la portata dell’intervento richiede comunque prove. Misure che incidono su ricerca, commercio, sicurezza nazionale e accesso alla tecnologia necessitano di standard trasparenti.

Tali standard dovrebbero distinguere tra danni attuali e scenari futuri. Le preoccupazioni attuali includono uso improprio nel campo informatico, assistenza biologica, frodi, sorveglianza, perturbazioni del lavoro e decisioni automatizzate inaffidabili.

Le preoccupazioni future includono sistemi che eludono la supervisione, si replicano, ottengono risorse o migliorano la ricerca AI più rapidamente di quanto le istituzioni riescano a rispondere.

Riunire ogni pericolo in un’unica categoria rende la governance più difficile. Permette agli scettici di liquidare danni presenti documentati insieme a rischi speculativi di estinzione.

L’approccio più solido usa soglie di capacità misurabili. Regolatori e laboratori possono verificare se i modelli completano lunghi compiti autonomi, scoprono vulnerabilità, occultano comportamenti o assistono ricerche pericolose.

Valutatori indipendenti dovrebbero poter riprodurre tali risultati dove le norme di sicurezza lo consentono. I riepiloghi pubblici dovrebbero spiegare metodi, limiti e disaccordi.

Anche le previsioni necessitano di calibrazione. I ricercatori che pubblicano stime di probabilità dovrebbero registrare le proprie ipotesi e aggiornarle quando cambiano le prove.

Questo non trasformerà il rischio di estinzione in una scienza precisa. Rivelerà se gli avvertimenti rispondono in modo coerente a sviluppi osservabili.

La conclusione scettica è quindi limitata ma importante. Il numero di Hubinger non dimostra che l’umanità affronti un rischio di estinzione superiore al 10 per cento.

Il suo ruolo e il suo ragionamento rendono comunque l’avvertimento degno di nota. Un ricercatore senior sull’allineamento ritiene che i controlli attorno al suo campo non riducano il pericolo a un livello accettabile.

Questa è una prova della preoccupazione degli esperti e della fiducia istituzionale. Non è una prova che l’esito previsto si verificherà.

OpenAI e Anthropic affrontano la stessa trappola dell’azione collettiva

I laboratori competono sulle capacità mentre chiedono alla società di creare restrizioni che nessuna delle due aziende può imporre all’altra.

Coxon ha nominato sia Anthropic sia OpenAI perché le loro strategie condividono una contraddizione di base. Ogni laboratorio sviluppa modelli più capaci mentre avverte che i modelli futuri richiedono una governance più forte.

Nessuna delle due aziende controlla la corsa più ampia. Lo sviluppo di frontiera coinvolge anche Google DeepMind, Meta, xAI, laboratori nazionali, startup e programmi sostenuti dagli Stati.

Una pausa vincolante da parte di un partecipante non fermerebbe gli altri. Potrebbe invece spostare talenti, capitale e vantaggio strategico verso organizzazioni meno prudenti.

Questa possibilità sostiene l’argomentazione di Anthropic a favore della partecipazione continuativa. Un laboratorio tecnicamente capace e focalizzato sulla sicurezza potrebbe influenzare gli standard e sviluppare protezioni che altrimenti arriverebbero più tardi.

Tuttavia, lo stesso argomento può giustificare un’accelerazione senza fine. Ogni organizzazione può sostenere di dover rimanere vicino alla frontiera per preservare la propria influenza sull’esito.

Il risultato è un equilibrio competitivo che pochi partecipanti descrivono come sicuro. I laboratori continuano a scalare perché fermarsi da soli appare strategicamente irrazionale.

L’accusa di Coxon è che i leader abbiano accettato questo equilibrio senza autorità democratica. Dirigenti privati e team di ricerca prendono decisioni le cui conseguenze dichiarate si estendono ben oltre gli azionisti o i clienti.

L’analisi della corsa competitiva descrive leader che invocano la moderazione mentre avanzano i propri sistemi. Presenta il dilemma come una questione che i laboratori non possono risolvere autonomamente.

L’intervento governativo sembra offrire una via d’uscita. Regole comuni potrebbero impedire a un’azienda prudente di perdere terreno soltanto perché ha rispettato requisiti di sicurezza più rigorosi.

Regole efficaci richiederebbero un ambito di applicazione chiaro, un’applicazione credibile, una condivisione sicura delle informazioni e coordinamento tra i principali Paesi produttori di AI.

Regole progettate male potrebbero creare nuovi rischi. Potrebbero consolidare le aziende più grandi, spingere lo sviluppo nella segretezza, esporre dettagli sensibili dei modelli o congelare pratiche di sicurezza inefficaci.

Il coordinamento globale crea un problema ancora più difficile. I governi considerano la capacità AI un vantaggio economico e di sicurezza nazionale.

Uno Stato potrebbe non fidarsi delle valutazioni di un altro o sospettare uno sviluppo nascosto. La verifica diventa difficile quando metodi di addestramento, uso dell’hardware e pesi dei modelli hanno valore strategico.

Gli accordi storici sul controllo degli armamenti dimostrano che i rivali possono ancora gestire pericoli condivisi. Dimostrano anche che verifica e applicazione richiedono anni di negoziati e un sostegno politico costante.

Lo sviluppo dell’IA procede più rapidamente della maggior parte dei processi negoziali. Questo divario temporale rafforza le richieste di garanzie volontarie immediate, anche se tali misure restano incomplete.

L’approccio più pratico nel breve termine potrebbe combinare più livelli. I laboratori possono mantenere soglie interne, valutatori indipendenti possono testare i modelli e i governi possono imporre la segnalazione degli incidenti.

I fornitori di capacità di calcolo possono sostenere la supervisione delle più grandi sessioni di addestramento. Gli operatori cloud e gli host dei modelli possono applicare controlli di accesso alle capacità particolarmente pericolose.

I ricercatori hanno inoltre bisogno di canali protetti per segnalare le proprie preoccupazioni. Le dimissioni di Coxon dimostrano cosa accade quando un dipendente conclude che i processi interni non possono cambiare la traiettoria.

Le tutele per i whistleblower da sole non stabiliranno se un modello è sicuro. Possono però rivelare disaccordi che documenti politici rifiniti nascondono.

Anche la governance aziendale è importante. I consigli di amministrazione e gli organismi di sicurezza necessitano di un accesso significativo alle prove, dell’autorità per rinviare il rilascio e di protezione dalle ritorsioni commerciali.

La trasparenza deve andare oltre la pubblicazione di principi. Il pubblico dovrebbe sapere quando è stata superata una soglia di capacità, quali mitigazioni sono seguite e quale incertezza rimane.

Alcune informazioni richiederanno omissioni perché risultati dettagliati potrebbero facilitare un uso improprio. Le omissioni non dovrebbero diventare una spiegazione generica che impedisce il controllo esterno.

I revisori indipendenti devono avere accesso alle prove sottostanti. I loro mandati dovrebbero includere la contestazione delle ipotesi, la verifica di spiegazioni alternative e la segnalazione delle controversie irrisolte.

Anche i clienti aziendali possono esercitare pressione. Requisiti di approvvigionamento relativi ai risultati delle valutazioni, ai registri di audit, alle autorizzazioni e alla notifica degli incidenti possono premiare pratiche di rilascio più sicure.

Gli sviluppatori dovrebbero trattare l’accesso degli agenti come un confine di sicurezza. Un modello dovrebbe ricevere soltanto gli strumenti e i dati necessari al compito assegnato.

Le persone dovrebbero preservare punti di revisione prima di azioni rilevanti. I sistemi che modificano codice di produzione, trasferiscono fondi, contattano clienti o accedono a dati sensibili necessitano di controlli espliciti.

Queste misure affrontano il rischio operativo attuale. Non risolvono la preoccupazione di Coxon riguardo alla superintelligenza auto-migliorante.

Quel problema più ampio richiede che i laboratori dimostrino che le loro misure di sicurezza crescono di pari passo con le capacità. Le promesse pubbliche avranno scarso peso se la pressione competitiva ne modifica ripetutamente il significato.

Tre segnali mostreranno se l’avvertimento cambierà qualcosa

Il prossimo test sarà capire se l’allarme pubblico produrrà vincoli misurabili prima che i sistemi di IA diventino sensibilmente più capaci di automatizzare la ricerca sull’IA.

Il primo segnale sarà il prossimo rapporto sui rischi di Anthropic e qualsiasi revisione della sua Responsible Scaling Policy. L’azienda afferma di pubblicare rapporti sui rischi ogni tre-sei mesi, con le necessarie omissioni.

I lettori dovrebbero cercare prove riguardo alla ricerca autonoma, al sabotaggio, alla consapevolezza situazionale e al lavoro tecnico di lunga durata. Dovrebbero inoltre valutare se nuove scoperte attivino restrizioni più severe.

Un rapporto che identifichi capacità in crescita e imponga nuovi controlli rafforzerebbe la posizione di Anthropic sulla sicurezza. Un rapporto che descriva un pericolo crescente senza modificare le operazioni sosterrebbe le critiche di Coxon.

Il secondo segnale sarà l’avanzamento rispetto alla roadmap di sicurezza con scadenze di Anthropic. L’azienda ha indicato obiettivi al 30 settembre 2026 relativi a prototipi di sicurezza e metodi di verifica.

Il solo completamento non dimostrerà una sicurezza adeguata. Le questioni importanti riguardano i test, la copertura, le modalità di fallimento e il rilascio nei flussi di lavoro sensibili.

I ritardi sarebbero rilevanti perché Anthropic prevede che le capacità dell’IA avanzeranno rapidamente. Spostare ripetutamente le scadenze di sicurezza mentre si rilasciano modelli più potenti amplierebbe il divario di credibilità.

Prototipi riusciti offrirebbero prove che l’azienda è in grado di tradurre le politiche in controlli tecnici. Una convalida indipendente renderebbe tali prove più solide.

Il terzo segnale sarà un meccanismo normativo o industriale condiviso che copra più laboratori di frontiera. Una regola comune potrebbe affrontare la trappola dell’azione collettiva che Anthropic stessa riconosce.

Sviluppi utili includerebbero valutazioni obbligatorie del rischio catastrofico, segnalazione standardizzata degli incidenti, divulgazioni protette e accesso indipendente alle prove di sicurezza.

Un impegno volontario circoscritto e privo di applicazione cambierebbe poco. La corsa continuerebbe a premiare il partecipante che interpreta i propri impegni con maggiore flessibilità.

Un quadro vincolante non eliminerebbe l’incertezza. Porterebbe le decisioni critiche oltre la gestione privata dei laboratori e creerebbe conseguenze per chi ignora le soglie concordate.

Questi tre segnali dovrebbero essere letti insieme. Una solida politica interna non può controllare pienamente i concorrenti, mentre la regolamentazione non può sostituire la ricerca tecnica sulla sicurezza.

L’avvertimento di Anthropic sulla sicurezza dell’IA merita attenzione perché espone questa dipendenza irrisolta. Alla società viene chiesto di fidarsi di misure di sicurezza che i loro stessi progettisti descrivono come incomplete.

I lettori dovrebbero evitare sia il panico sia il compiacimento. Non esiste una base verificata per considerare l’estinzione umana entro il 2030 come un esito predeterminato.

Allo stesso modo, vi sono poche ragioni per ignorare una credibile disputa interna su sistemi progettati per superare i ricercatori umani. L’incertezza è il motivo per un esame rigoroso, non una scusa per rimandarlo.

Ponetevi una domanda pratica ogni volta che un laboratorio annuncia un modello più autonomo: quale nuova capacità è emersa, quale misura di sicurezza è diventata obbligatoria e chi l’ha testata in modo indipendente?

Se le aziende non riescono a rispondere a tutte e tre, il pubblico non sta vedendo un sistema di sicurezza che tiene il passo con lo sviluppo. Sta vedendo la promessa che la corsa resterà controllabile finché qualcuno non dimostrerà il contrario.