top of page

Le valutazioni integrate di OpenAI portano quattro team all'interno

5 ore fa
Tempo di lettura: 12 min
Illustrative photograph. Photo: Daniil Komov / Pexels.

OpenAI ha annunciato accordi con quattro organizzazioni esterne di valutazione il 16 novembre 2026, aprendo sistemi interni selezionati a un esame che va oltre i test convenzionali sui modelli. Le valutazioni integrate di OpenAI coinvolgeranno Apollo Research, METR, Transluce e Goodfire. Il loro lavoro riguarda il comportamento dei modelli e le misure di protezione durante l'addestramento e l'uso interno. La questione centrale è quanta capacità di giudizio indipendente tale accesso consentirà.

Gli accordi offrono ai valutatori una via d'accesso a prove che i test pubblici sui chatbot non possono fornire. A seconda dell'incarico, i team possono esaminare registri di addestramento, monitoraggio interno, documentazione tecnica e modelli selezionati. L'accesso resta tuttavia negoziato e OpenAI mantiene tutele di riservatezza. Un'indagine più approfondita e la responsabilità pubblica dipenderanno quindi da aspetti diversi dell'accordo.

Anthropic offre un confronto utile, poiché ha anch'essa portato valutatori all'interno delle proprie operazioni. L'annuncio di nessuna delle due aziende dovrebbe essere interpretato come una valutazione della sicurezza già completata. Per sviluppatori e acquirenti aziendali, la distinzione utile è tra consentire un'indagine e pubblicare prove che modificano una decisione.

Le valutazioni integrate di OpenAI vanno oltre i modelli pubblici

Il cambiamento concreto è l'accesso a prove interne, con un incarico diverso per ciascun team di valutazione.

In base ai protocolli di valutazione integrata pubblicati, i ricercatori esterni ricevono risorse adatte alle indagini concordate. Queste possono includere checkpoint dei modelli, ovvero versioni salvate dei modelli in specifiche fasi dell'addestramento. Altre risorse includono codice sorgente, dati di addestramento, risultati delle valutazioni, registri di monitoraggio e confronti con dipendenti pertinenti.

Questo assetto differisce dal test di un chatbot rilasciato attraverso la sua normale interfaccia. I test pubblici possono rivelare risposte problematiche, ma raramente mostrano in che modo l'addestramento le abbia determinate. I registri interni possono aiutare i valutatori a verificare se un apparente fallimento rifletta un'interazione isolata o uno schema più ampio.

Apollo Research esaminerà la sovversione nascosta, ossia un comportamento del modello che opera segretamente contro le intenzioni degli sviluppatori. Il suo incarico collega incentivi di addestramento, test avversariali, comportamento interno osservato e capacità di rilevare ragionamenti sospetti. Si tratta di affermazioni da indagare, non di conclusioni stabilite dalla firma dell'accordo.

Goodfire porterà nel programma ricercatori specializzati nell'interpretabilità. L'interpretabilità studia gli elementi interni dei modelli per indagare come essi producano un comportamento. Il suo incarico pone l'accento sul monitoraggio dell'addestramento, il debugging e l'allineamento, ovvero un comportamento coerente con gli obiettivi previsti. OpenAI afferma che i ricercatori interni sono il pubblico principale, sebbene Goodfire intenda anche pubblicare risultati e insegnamenti.

La valutazione iniziale dell'allineamento di METR si concentra sul più grande ciclo di reinforcement learning di OpenAI fino a oggi. Il reinforcement learning modifica il comportamento del modello tramite feedback o ricompense. All'interno di quel ciclo selezionato, METR indagherà i fallimenti che test o sistemi di monitoraggio esistenti non hanno rilevato. Le sue priorità restano indipendenti nell'ambito dell'accesso, delle risorse e delle misure di sicurezza negoziati.

Transluce esaminerà la qualità e la copertura delle valutazioni di allineamento successive all'addestramento. Per post-addestramento si intende il lavoro che modifica un modello dopo il suo addestramento iniziale. L'incarico chiede se i test stessi esaminino adeguatamente il comportamento che intendono valutare.

I quattro incarichi coprono quindi prove e domande diverse. Non dovrebbero essere descritti come audit intercambiabili di tutto ciò che OpenAI fa. Una conclusione sulla copertura delle valutazioni risponderebbe a una domanda diversa rispetto a una conclusione sulle lacune nel monitoraggio.

OpenAI descrive inoltre una possibile valutazione successiva con Transluce all'inizio del 2027. L'impegno previsto durerebbe circa otto settimane e includerebbe un accesso più ampio. Si tratta ancora di un'intenzione dichiarata, non della prova che l'indagine estesa sia già avvenuta.

Per i lettori, l'annuncio istituisce un programma e i suoi confini iniziali. Non stabilisce l'esito di alcuna indagine. Mantenere chiara questa distinzione impedisce che la presenza di organizzazioni di valutazione riconosciute diventi un sostituto delle loro conclusioni finali.

L'uso interno dell'AI aumenta la posta in gioco delle affermazioni sulla sicurezza

La pressione ricade sulle affermazioni di OpenAI in materia di sicurezza perché i valutatori esamineranno le prove alla base di tali affermazioni, anziché soltanto la loro presentazione pubblica.

La risposta di un modello è solo una parte del quadro dei rischi quando il software può compiere azioni. Un agente AI, ossia un software che usa strumenti per svolgere un compito, dipende anche dalle autorizzazioni e dall'infrastruttura circostante. Il monitoraggio deve acquisire l'attività pertinente, riconoscere comportamenti preoccupanti e supportare una risposta efficace.

Si consideri un assistente di programmazione illustrativo che opera in un ambiente di ricerca. I controlli circostanti sono importanti se modifica file, avvia processi o interagisce con altri servizi. Una spiegazione convincente dell'assistente non può stabilire che ogni azione sia stata autorizzata o osservata.

Questo esempio non è un incidente segnalato dal nuovo programma di valutazione. Mostra perché l'esame dei sistemi interni risponde a domande che i normali test sui chatbot lasciano aperte. La valutazione deve distinguere tra ciò che il modello ha tentato e ciò che il suo ambiente ha consentito.

La precedente valutazione del monitoraggio degli agenti di METR fornisce un precedente concreto. Ricercatori di METR e Redwood Research hanno esaminato l'infrastruttura storica di monitoraggio di OpenAI durante un'esercitazione di tre settimane. Hanno riferito vulnerabilità e lacune nel sistema valutato.

La tempistica è importante. Quell'esercitazione riguardava un sistema storico, anziché stabilire la copertura del monitoraggio successivamente ampliato da OpenAI. METR ha inoltre distinto le dichiarazioni di OpenAI sulle misure correttive dalle correzioni che METR aveva valutato in modo indipendente.

Questa distinzione dovrebbe essere mantenuta nella copertura dei nuovi accordi. Individuare una debolezza, segnalare una correzione e verificare indipendentemente tale correzione sono eventi distinti. Fonderli in un'unica affermazione di maggiore sicurezza oscurerebbe ciò che le prove effettivamente stabiliscono.

I team interni di OpenAI affrontano una richiesta pratica di spiegazioni che specialisti esterni possano esaminare. Se un valutatore identifica una lacuna, la risposta necessita di più sostanza della fiducia nelle procedure esistenti. Registri pertinenti, ragionamento tecnico e prove di follow-up diventano parte della discussione.

Anche i valutatori affrontano una pressione. L'accesso crea l'opportunità di produrre risultati utili, ma i loro rapporti devono spiegare cosa abbiano potuto esaminare. I lettori devono capire se una conclusione si basa su test diretti, registri selezionati, interviste o una lacuna informativa riconosciuta.

Gli acquirenti aziendali hanno un interesse correlato, sebbene questi incarichi non sostituiscano le loro valutazioni. La valutazione interna di un fornitore può informare una decisione d'acquisto senza coprire il flusso di lavoro specifico di un cliente. Resta essenziale il rapporto tra il sistema valutato e il prodotto acquistato.

Per i knowledge worker, il significato è meno immediato rispetto al lancio di una funzionalità. Questi accordi non modificano di per sé il riepilogo di un documento o una nota di riunione. Riguardano le prove disponibili per giudicare sistemi a cui vengono sempre più affidati lavori sensibili.

Un accesso più profondo non significa automaticamente maggiore indipendenza

Il compromesso centrale è tra l'ottenimento di prove sensibili e la conservazione di una libertà sufficiente per mettere in discussione l'organizzazione che le fornisce.

OpenAI afferma che i valutatori che gestiscono informazioni riservate sensibili lavoreranno nei suoi uffici utilizzando dispositivi forniti dall'azienda. Questo contesto può rendere disponibile per l'indagine materiale altrimenti inaccessibile. Colloca però il lavoro all'interno di procedure di sicurezza controllate dall'azienda valutata.

Esiste una ragione legittima per proteggere il materiale sensibile. Pubblicare dettagli tecnici senza restrizioni può esporre informazioni riservate o creare ulteriori rischi per la sicurezza. Un programma di valutazione non necessita di una divulgazione pubblica senza limiti per produrre un esame utile.

Tuttavia, la libertà d'indagine dipende da più fattori oltre all'ingresso in un ufficio o alla ricezione di un dispositivo. I valutatori necessitano di un accesso praticabile alle prove richieste dalle loro domande. Un'autorizzazione nominale offre valore limitato se le barriere tecniche impediscono l'analisi pertinente.

OpenAI riconosce che l'accesso diretto a informazioni particolarmente sensibili può richiedere alternative. Queste includono la collaborazione dei valutatori con ricercatori di OpenAI per eseguire analisi. Tali accordi possono sostenere un'indagine, ma i rapporti dovrebbero spiegarne i limiti laddove tali limiti incidano sulla conclusione.

È importante anche la distinzione tra campionare un modello e possederne i pesi sottostanti. I pesi del modello sono i parametri numerici appresi che ne determinano il comportamento. Gli accordi annunciati non equivalgono a un accesso senza restrizioni ai pesi o all'architettura di ogni modello.

La stessa cautela si applica all'ampiezza di un incarico. L'indagine iniziale di METR riguarda un ciclo di addestramento selezionato. Una valutazione ben eseguita di quel ciclo può fornire prove preziose senza stabilire le condizioni di ogni altro modello o implementazione interna.

La proposta di valutazione dell'allineamento di METR descrive un approccio investigativo più ampio. Include il rilevamento degli incidenti osservati e l'esame della possibilità che tali osservazioni sottostimino i rischi in altre situazioni. OpenAI riconosce esplicitamente che l'impegno iniziale è più ristretto della proposta di METR.

Questa differenza non stabilisce che il lavoro iniziale sia privo di valore. Stabilisce che i lettori hanno bisogno dell'ambito effettivo prima di interpretare una conclusione rassicurante. Una valutazione può essere rigorosa entro i propri confini, lasciando al contempo fuori da essi questioni rilevanti.

L'accesso per valutatori indipendenti di Anthropic offre un confronto. Nella sua comunicazione del 15 ottobre, Anthropic ha descritto un accesso simile a quello dei dipendenti per un team METR integrato. Ha inoltre descritto esclusioni e regole di pubblicazione, comprese redazioni per categorie riservate definite.

Entrambe le aziende cercano di ridurre il divario informativo tra ricercatori interni e valutatori esterni. I loro accordi richiedono tuttavia un esame dell'accesso, delle esclusioni e dei diritti di rendicontazione. Un'etichetta condivisa non stabilisce che gli incarichi sottostanti offrano un'indipendenza identica.

Il confronto competitivo va quindi condotto a livello di condizioni e prove. Contare i partner di valutazione sarebbe un sostituto debole. Ciò che conta è se ciascun team può seguire una scoperta rilevante abbastanza a lungo da sostenere un giudizio chiaro.

Le regole di pubblicazione determineranno cosa gli esterni potranno valutare

La capacità di un valutatore di indagare privatamente e la capacità del pubblico di valutare le sue conclusioni sono questioni correlate, ma distinte.

OpenAI afferma che i valutatori mantengono l'indipendenza nella pubblicazione delle loro valutazioni. L'azienda si riserva inoltre il diritto di redigere informazioni riservate e richiedere ritardi per una divulgazione responsabile. Tali disposizioni rendono i rapporti finali, comprese le loro limitazioni dichiarate, centrali per giudicare il programma.

Una redazione non costituisce automaticamente una prova di interferenza. Rimuovere un dettaglio sfruttabile può proteggere i sistemi lasciando intatta la conclusione sostanziale. La questione più difficile è se i lettori conservino informazioni sufficienti per comprendere l’importanza della scoperta.

Un rapporto può spiegare che una misura di protezione ha fallito senza pubblicare istruzioni per riprodurre il fallimento. Può inoltre chiarire se il valutatore abbia verificato una correzione. Il valore pubblico risiede in queste distinzioni, anche quando alcune prove tecniche rimangono riservate.

I ritardi richiedono analoga attenzione. Dare a un’azienda il tempo di affrontare una vulnerabilità può favorire una divulgazione responsabile. Tuttavia, i lettori devono distinguere tra un’indagine ancora incompleta e un lavoro concluso in attesa di pubblicazione.

L’annuncio non stabilisce come si evolverà ogni futuro disaccordo sulla divulgazione. Tali casi forniranno prove della solidità pratica dell’accordo. Il linguaggio contrattuale definisce le aspettative; la sua applicazione rivela se tali aspettative resistono sotto pressione.

Le conversazioni con i dipendenti creano un ulteriore confine. OpenAI afferma che queste discussioni possono informare le valutazioni, ma non possono essere pubblicate né attribuite a singoli membri del personale. I valutatori possono richiedere dichiarazioni attestate dall’azienda, ossia dichiarazioni che OpenAI verifica, corregge o chiarisce formalmente.

Questo processo può proteggere la privacy dei dipendenti consentendo al contempo a determinate informazioni di entrare in un rapporto pubblico. Cambia inoltre ciò che i lettori possono esaminare direttamente. Una dichiarazione attestata dall’azienda e un’intervista attribuibile in modo indipendente sono forme di prova diverse.

OpenAI afferma che i valutatori possono rendere noto quando l’azienda rifiuta di attestare una dichiarazione. Questa disposizione offre ai lettori una certa visibilità sulle questioni fattuali irrisolte. Non rivela la conversazione sottostante né stabilisce quale interpretazione sia corretta.

Secondo OpenAI, il Safety and Security Committee riceverà rapporti non redatti. I valutatori possono comunicare privatamente con il comitato e le controversie irrisolte possono arrivare al suo esame. Ciò fornisce un canale di supervisione interno che va oltre i team di ricerca immediatamente coinvolti.

Questo canale non va confuso con l’accesso pubblico o con un’indagine di un’autorità regolatoria. Il comitato appartiene alla struttura di governance dell’OpenAI Foundation. Il suo accesso può sostenere la supervisione, lasciando però i lettori esterni dipendenti da ciò che alla fine diventa pubblico.

Le divulgazioni finanziarie meritano lo stesso trattamento preciso. Apollo Research e Goodfire ricevono compensi non subordinati ai risultati delle valutazioni. METR e Transluce non accettano compensi per le valutazioni, pur potendo accettare crediti di calcolo o API.

Questi accordi creano relazioni diverse con l’azienda valutata. Né il pagamento né la sua assenza risolvono da soli la questione dell’indipendenza. Le prove più solide verranno dal fatto che i valutatori pubblichino risultati sfavorevoli, spieghino le restrizioni e mantengano margine per dissentire.

Una valutazione della sicurezza non è una garanzia di prodotto

Il programma può migliorare le prove disponibili su rischi specifici senza certificare che ogni prodotto OpenAI sia sicuro.

Questa distinzione conta perché il linguaggio delle valutazioni spesso circola più lontano delle conclusioni sottostanti. Una conclusione circoscritta può trasformarsi in un’ampia rassicurazione quando viene ripetuta nelle discussioni sui prodotti. I lettori dovrebbero mantenere il collegamento tra l’affermazione, il sistema testato e le prove.

Per esempio, esaminare gli incentivi di addestramento affronta una questione diversa dal verificare le autorizzazioni di un’applicazione distribuita. Esaminare la copertura delle valutazioni non dimostra che i controlli sui dati di un cliente funzionino come previsto. Queste questioni possono sovrapporsi senza diventare intercambiabili.

Lo stesso vale per l’analisi interna di Goodfire. Comprendere il comportamento del modello può supportare il debugging e l’indagine. Non dimostra automaticamente con quale affidabilità l’applicazione circostante impedisca un’azione non autorizzata.

Una valutazione utile spiega ciò che i suoi metodi possono rilevare e ciò che lasciano incerto. Questo è particolarmente importante quando l’oggetto include comportamenti che potrebbero eludere i test ordinari. Il superamento da parte di un modello di valutazioni note costituisce una prova relativa a tali valutazioni, non la dimostrazione che non rimanga alcun fallimento rilevante.

La ricerca sugli audit dell’AI di frontiera inquadra la valutazione di terze parti attorno a un accesso approfondito e alla verifica delle affermazioni degli sviluppatori. Questa impostazione aiuta a spiegare l’importanza di tali accordi. L’obiettivo è ottenere prove più solide su sistemi e pratiche, anziché un’etichetta rassicurante scollegata da una questione definita.

Per gli acquirenti aziendali, questo cambia il modo in cui un annuncio dovrebbe entrare in una revisione. L’esistenza di un team integrato è un contesto rilevante. Un rapporto completato con ambito e risultati chiari costituisce una base decisionale più solida.

Un’ulteriore distinzione riguarda la relazione tra i modelli valutati e i prodotti disponibili. I checkpoint interni di addestramento non corrispondono necessariamente agli stessi sistemi utilizzati dai clienti. I rapporti devono offrire un contesto sufficiente per spiegare tale relazione senza divulgare informazioni tecniche protette.

Anche un risultato sfavorevole necessita di contesto. Un fallimento identificato durante un’indagine deliberatamente impegnativa non dimostra, di per sé, la frequenza di tale fallimento nell’uso da parte dei clienti. Al contrario, un test ristretto che non rileva nulla non dimostra che il rischio sia assente altrove.

Questo equilibrio è particolarmente importante per gli sviluppatori che decidono quanta autonomia concedere al software. I risultati delle valutazioni possono informare tali decisioni, ma l’applicazione pertinente necessita comunque di autorizzazioni e osservazione adeguate. Una valutazione esterna non si assume la responsabilità di ogni configurazione a valle.

I team che gestiscono una base di conoscenza AI hanno una ragione pratica per preservare queste distinzioni. Un accordo originale, un rapporto di valutazione e un aggiornamento sulla correzione rappresentano prove differenti. Trattarli come intercambiabili può trasformare una conclusione qualificata in una convinzione istituzionale obsoleta.

Il beneficio immediato delle valutazioni integrate di OpenAI è quindi l’opportunità di formulare giudizi meglio fondati. Che questa opportunità produca garanzie più solide dipende dalle indagini risultanti. L’annuncio apre il processo; non chiude la discussione.

Tre segnali mostreranno se il programma acquista peso

Le prossime prove da osservare sono la qualità dei rapporti, l’ampliamento dell’ambito e le modifiche verificate in modo indipendente dopo i risultati delle valutazioni.

Il primo segnale è il contenuto dei rapporti pubblici iniziali. I lettori dovrebbero cercare una descrizione chiara dei sistemi valutati, dei metodi, dei limiti di accesso e delle questioni irrisolte. Un rapporto che identifica tali confini conferisce alle sue conclusioni un significato che un annuncio da solo non può fornire.

La distinzione importante è tra aggiornamenti descrittivi e risultati valutabili. Un’affermazione secondo cui i team hanno collaborato strettamente dice poco sul risultato dell’indagine. Una spiegazione di ciò che è stato testato, di ciò che ha fallito e di ciò che è rimasto incerto offre agli esterni qualcosa di concreto da giudicare.

La pubblicazione può anche rivelare come funzionino nella pratica le clausole di riservatezza. I rapporti dovrebbero rimanere utili anche quando non è possibile condividere dettagli sensibili. Se le conclusioni centrali diventano impossibili da comprendere, il valore della responsabilità pubblica si indebolisce nonostante un ampio accesso privato.

Il secondo segnale è se il lavoro di seguito previsto diventi un incarico definito. OpenAI e METR hanno raggiunto un accordo preliminare su un’altra valutazione di monitoraggio, ma il suo ambito più ampio richiede ancora un accordo reciproco. Ciò lascia un confine specifico tra l’intenzione annunciata e il lavoro concordato.

Il seguito proposto con Transluce offre un altro punto di controllo nel breve termine. OpenAI descrive un accesso più ampio all’inizio del 2027, comprese informazioni su come i risultati delle valutazioni informano le decisioni di rilascio. La conferma di tale ambito rafforzerebbe l’argomento secondo cui il programma iniziale sta diventando più sostanziale.

Nessuno dei due sviluppi dovrebbe essere ridotto alla semplice comparsa di un altro annuncio di partnership. La questione rilevante è quali prove aggiuntive il valutatore possa esaminare. Più tempo o più partecipanti possono aiutare, ma nessuno dei due risolve automaticamente un’importante restrizione di accesso.

Il terzo segnale è se i risultati delle valutazioni portino a modifiche che qualcuno successivamente verifica. Un’azienda può riconoscere una debolezza e descrivere una correzione senza dimostrare che la correzione funzioni. Test di follow-up fornirebbero una base più solida per la fiducia.

Il precedente esercizio di monitoraggio rende questa distinzione particolarmente rilevante. I risultati storici, la correzione riportata dall’azienda e le condizioni attuali verificate in modo indipendente richiedono trattamenti separati. La rendicontazione futura dovrebbe preservare queste categorie anziché consentire a un annuncio di correzione di chiudere implicitamente la questione.

Nell’annuncio di lancio non vi è alcuna base per promettere che tutti e tre i segnali arriveranno secondo un calendario fisso. Alcune indagini richiedono più tempo e alcune divulgazioni richiedono cautela. Il criterio utile è se ogni aggiornamento riduca un’incertezza identificata.

Per OpenAI, la posta in gioco riguarda più della dimostrazione di apertura verso ricercatori esterni. Il programma deve produrre prove in grado di sfidare le ipotesi interne e sostenere le decisioni. Per i valutatori, la credibilità dipenderà in parte dalla spiegazione di dove tali prove terminano.

Leggete le prime valutazioni integrate di OpenAI come indagini con confini, piuttosto che come un verdetto associato a un marchio. Seguite i rapporti sottostanti quando appariranno e confrontate le loro affermazioni con l’accesso ricevuto da ciascun team. Prestate particolare attenzione al fatto che una scoperta riguardi un sistema storico, un modello attuale o un seguito proposto. Tenete separate le correzioni riportate dall’azienda dalle riparazioni verificate in modo indipendente. Se la vostra organizzazione utilizza questi rapporti nelle revisioni di acquisto o distribuzione, preservate tali distinzioni nei propri archivi condivisi. La domanda pratica è semplice: la prossima divulgazione fornisce prove che modificano il vostro giudizio, oppure lascia invariata la stessa incertezza?

 
 

Inizia gratis

Un assistente IA local-first con gestione della conoscenza personale

Per una migliore esperienza con l’IA,

al momento remio supporta solo Windows 10+ (x64) e M-Chip Macs.

Il tuo partner AI al lavoro
Fai di più con remio

Pianifica. Crea. Consegna.
Tutto in un unico posto.

bottom of page