top of page

L’aggiornamento METR rivela un divario tra programmazione con IA e capacità di giudizio

1 ora fa
Tempo di lettura: 13 min
Illustrative photograph. Photo: Pixabay / Pexels.

METR ha ampliato le proprie valutazioni delle capacità dell’IA il 20 novembre 2026, rilevando progressi esponenziali continui insieme a prestazioni più deboli nei compiti che richiedono giudizio. L’aggiornamento METR sugli orizzonti temporali stima un tempo di raddoppio di circa 3,6 mesi per gli orizzonti dei compiti misurati. Tuttavia, questa tendenza non stabilisce per quanto tempo un’IA possa lavorare in sicurezza senza supervisione, né se possa dirigere autonomamente ricerche utili.

La distinzione è importante perché completare un compito di programmazione definito e scegliere un esperimento valido richiedono prove di successo diverse. Un programma può superare i test pur avendo uno scopo generale scelto male. La suite di valutazione ampliata di METR esamina entrambi i lati di questa divisione, con risultati più solidi nei casi in cui gli agenti ricevono un feedback chiaro.

I risultati mettono sotto pressione le affermazioni secondo cui i progressi nella programmazione si traducano direttamente in ricerca autonoma con IA. Mettono anche in discussione l’ipotesi opposta, secondo cui le debolezze nel giudizio garantiscano una lunga pausa nell’automazione della ricerca. METR rileva capacità sostanziali, limiti significativi e una crescente difficoltà nel misurare la relazione tra questi elementi.

Cosa misura realmente l’aggiornamento METR sugli orizzonti temporali

Il grafico traccia la difficoltà dei compiti attraverso il tempo necessario a un essere umano per completarli, anziché misurare le ore di lavoro affidabile di un agente.

Un orizzonte temporale è la durata umana di un compito associata a un tasso di successo specificato del modello su una suite di valutazione. Alla soglia del 50% comunemente discussa, si prevede che il modello completi compiti di quella difficoltà circa la metà delle volte. Le ore descrivono il carico di lavoro umano di riferimento, non il tempo impiegato dal modello durante l’esecuzione.

Gli orizzonti di completamento dei compiti di METR richiedono quindi un’interpretazione più attenta rispetto a un titolo sugli agenti che lavorano per un intero turno. Un orizzonte più lungo indica prestazioni migliori sulla distribuzione misurata dei compiti. Non certifica prestazioni affidabili in ogni incarico che richiederebbe a una persona lo stesso tempo.

Il rapporto di novembre estende le precedenti valutazioni dell’organizzazione, focalizzate sul software, con compiti mirati a capacità rilevanti per la ricerca e lo sviluppo nell’IA. I risultati coprono modelli pubblici fino a Opus 5.5 di Anthropic e GPT-6 Astra di OpenAI. Questi modelli operano come agenti, ossia utilizzano strumenti e compiono azioni successive verso un obiettivo assegnato.

Il rapporto copre tre suite distinte. Time Horizon 1.1 contiene 222 compiti, MirrorCode contiene 75 compiti di replica software e TH2 contiene 36 compiti distribuiti in 12 famiglie. Questi numeri sono importanti perché descrivono raccolte differenti, non versioni intercambiabili dello stesso benchmark.

TH2 include otto famiglie con risultati verificabili e quattro che coinvolgono ricerca o giudizio più difficili da verificare. I compiti verificabili hanno esiti che i valutatori possono controllare rispetto a un obiettivo definito. I compiti di giudizio richiedono scelte utili quando non è disponibile un feedback chiaro e rapido.

Nelle suite combinate Time Horizon 1.1 e TH2, METR stima che gli orizzonti temporali al 50% di successo raddoppino approssimativamente ogni 3,6 mesi. Si tratta di una tendenza esponenziale in questa specifica misura. Non significa che ogni capacità dell’IA migliori allo stesso ritmo.

L’aggiunta di compiti più difficili modifica anche l’interpretazione del grafico. METR riporta orizzonti inferiori nella suite combinata rispetto a Time Horizon 1.1 da sola, per un determinato modello. Una misurazione più bassa dopo l’espansione del test non significa che il modello abbia perso capacità.

L’espansione risponde a un problema pratico: i compiti precedenti erano diventati meno informativi con il miglioramento dei modelli. METR afferma che la vecchia suite era diventata satura, limitando la sua capacità di distinguere i sistemi più forti. I test aggiornati cercano lavoro più difficile e un profilo di capacità più ampio.

Questo aggiornamento è quindi più di un altro punto su una familiare linea ascendente. Cambia le domande che i valutatori possono porre su quella linea. La questione centrale diventa se i progressi negli incarichi definiti si estendano al lavoro in cui identificare il successo fa parte dell’incarico stesso.

Le affermazioni sulla ricerca autonoma affrontano un test diverso

La pressione immediata ricade sulle affermazioni relative all’autonomia nella ricerca, dove produrre un artefatto è solo una parte della consegna di un lavoro utile.

La ricerca con IA comprende implementazione, sperimentazione, interpretazione e decisioni su ciò che merita ulteriore impegno. I progressi in un’attività possono accelerare un team senza sostituire le altre. I risultati di novembre rendono più difficile ignorare questa distinzione.

METR riporta che gli attuali modelli di frontiera spesso eguagliano o superano i partecipanti umani qualificati reclutati per compiti di programmazione e ottimizzazione. Per ottimizzazione si intende il miglioramento di un punteggio o obiettivo specificato sotto vincoli dati. Questi contesti offrono spesso agli agenti un modo diretto per confrontare i tentativi e continuare a migliorare.

Questa forza ha un significato pratico anche quando l’agente non sceglie l’agenda di ricerca più ampia. I ricercatori possono delegare l’implementazione mantenendo la responsabilità delle priorità sperimentali. Un’implementazione più capace può aumentare la quantità di lavoro che un team completa.

Il confronto con esperti umani rimane più circoscritto di una pretesa universale di superiorità. METR riconosce l’incertezza sul fatto che i partecipanti reclutati corrispondano ai dipendenti dei laboratori di frontiera nelle rispettive specializzazioni. Reclutare persone con l’esperienza e la disponibilità necessarie diventa difficile man mano che gli incarichi si allungano.

Dove esistono gruppi di confronto storici più ampi, i risultati lasciano spazio anche a prestazioni umane eccezionali. METR rileva forti posizionamenti dei modelli nelle competizioni di ottimizzazione della programmazione, mentre i migliori partecipanti umani restano generalmente avanti. Nell’ottimizzazione degli script di addestramento, anche i principali contributori hanno ottenuto miglioramenti superiori alle più forti esecuzioni degli agenti.

Il resoconto del 18 novembre di OpenAI sull’accelerazione della ricerca offre una visione correlata, riportata dall’azienda, dall’interno di un laboratorio. Descrive un aumento del successo nei compiti di ricerca delegati, con notevoli variazioni tra le attività. Gli esseri umani rimangono centrali nel suo resoconto del processo di sviluppo.

Queste prove sostengono un quadro di automazione disomogenea nei flussi di lavoro della ricerca. Non forniscono una convalida intercambiabile dei risultati di METR. Compiti interni sul posto di lavoro, incarichi di benchmark e valutazioni retrospettive del successo utilizzano metodi diversi e catturano condizioni differenti.

Per Anthropic, OpenAI e altri sviluppatori, la domanda più difficile riguarda ciò che accade dopo che l’implementazione diventa più semplice. Gli agenti possono identificare quale esperimento ridurrebbe significativamente l’incertezza? Possono riconoscere quando un risultato positivo riflette un test debole?

Gli acquirenti aziendali affrontano una distinzione correlata quando valutano gli agenti per il lavoro tecnico. Una dimostrazione riuscita con un test di accettazione chiaro supporta quel caso d’uso specifico. Fornisce meno prove sugli incarichi che implicano obiettivi ambigui, requisiti mutevoli o conseguenze ritardate.

L’aggiornamento METR sugli orizzonti temporali alza lo standard per queste affermazioni senza liquidare i progressi sottostanti. Un resoconto convincente della ricerca autonoma richiede prove su direzione e valutazione insieme all’esecuzione. Le prestazioni nella programmazione sono una componente significativa di tale resoconto, ma il rapporto non stabilisce che completino il quadro.

Una programmazione forte non risolve la questione del giudizio

I fallimenti più rivelatori di METR sono emersi quando i modelli dovevano decidere cosa rendesse utile una valutazione.

Un compito TH2 chiedeva agli agenti di creare una valutazione che informasse l’analisi di METR sulle capacità dei modelli. Ciò richiedeva più che scrivere software funzionante. Il test proposto doveva anche rispondere a una domanda che METR considerasse di valore.

Secondo i risultati della valutazione delle capacità, nessuno dei compiti creati dagli agenti ha giustificato l’inclusione nel rapporto come nuova valutazione utile. Alcuni risultati si sono avvicinati all’utilità, indicando progressi rispetto a modelli più deboli. Tuttavia, il miglioramento all’interno del sistema di punteggio non si è tradotto in lavoro che METR ha scelto di adottare.

Gli agenti hanno generalmente favorito compiti di ottimizzazione con punteggio automatico. Hanno continuato a farlo in esperimenti successivi che richiedevano esplicitamente compiti con decisioni caratterizzate da scarso feedback a breve termine. Questo comportamento ha evidenziato una discrepanza tra la produzione di una sfida misurabile e l’identificazione di una domanda di ricerca informativa.

METR riporta inoltre che gli agenti non hanno investigato autonomamente quali tipi di compiti l’organizzazione avrebbe considerato più preziosi, nonostante l’accesso a internet. I ricercatori non hanno osservato una nuova modellazione delle minacce né ipotesi particolarmente perspicaci alla base delle valutazioni proposte. Si tratta di osservazioni della configurazione testata, non di prove di un’incapacità permanente.

La distinzione è concreta. Una valutazione può essere eseguita correttamente e tuttavia comunicare poco di ciò che i ricercatori hanno bisogno di sapere. La sua qualità di implementazione e il suo valore per la ricerca sono proprietà separate, sebbene entrambe influenzino il risultato finale.

Un secondo esperimento ha esaminato se i modelli potessero giudicare le valutazioni prodotte da altri modelli. I giudici più forti concordavano più strettamente con le valutazioni umane nel giudicare creatori più deboli. Quando i creatori erano altrettanto forti o più forti, i giudici tendevano ad assegnare punteggi eccessivamente generosi.

Questo risultato complica una soluzione proposta di frequente per una supervisione debole: chiedere a un’altra IA di rivedere il lavoro. Un revisore può identificare difetti evidenti pur non cogliendo errori più convincenti. L’accordo tra autore e revisore non stabilisce quindi in modo indipendente la qualità.

METR offre più di una spiegazione per questo schema. I modelli potrebbero non avere il giudizio necessario per valutare questi compiti, oppure creatori più forti potrebbero produrre risultati che i giudici più deboli trovano fuorvianti. Gli esperimenti non separano in modo conclusivo queste possibilità.

Il meccanismo più ampio riguarda il feedback. L’apprendimento per rinforzo, un addestramento che premia gli esiti all’interno di un sistema di punteggio, beneficia di segnali utili su quali tentativi hanno funzionato. La programmazione e l’ottimizzazione spesso forniscono tali segnali attraverso test o prestazioni misurate.

La ricerca aperta può ritardare quel feedback o renderlo costoso da ottenere. Una proposta promettente potrebbe fallire solo dopo una sperimentazione sostanziale. Una direzione apparentemente improduttiva potrebbe rivelarsi utile quando un ricercatore identifica un presupposto trascurato.

Il rapporto non stabilisce che giudizio e programmazione siano capacità fondamentalmente separate. METR osserva prove di un utile giudizio dei modelli in alcuni compiti di ottimizzazione del machine learning. Questi successi lasciano aperta la possibilità che le capacità si trasferiscano più lontano di quanto suggeriscano i risultati più deboli sul giudizio.

L’inversione è quindi specifica: un’esecuzione impressionante non convalida automaticamente la valutazione che un sistema dà del proprio lavoro. I modelli possono migliorare mentre tale valutazione rimane inaffidabile. Per la ricerca autonoma, la relazione tra queste capacità conta quanto ciascun punteggio considerato da solo.

Test migliori stanno diventando più difficili da costruire

Le valutazioni ampliate espongono un problema di misurazione: un feedback realistico è spesso costoso, lento o dipendente da esperti.

METR introduce il costo del ciclo di vita come stima approssimativa dello sforzo richiesto per creare, eseguire e valutare ripetutamente una valutazione. La misura include sviluppo e garanzia della qualità insieme all’esecuzione e all’analisi. Mira a catturare vincoli che la sola durata umana del compito non rileva.

Due compiti possono richiedere quantità simili di lavoro umano, pur imponendo oneri di valutazione diversi. Uno potrebbe concludersi con una risposta verificata automaticamente. Un altro potrebbe richiedere a un esperto di esaminare il ragionamento, valutare il contesto mancante o giudicare se un contributo di ricerca sia importante.

Altri oneri includono ambienti complessi, requisiti di calcolo, monitoraggio e lunghi cicli di feedback. I test richiedono inoltre protezione dal reward hacking, ossia comportamenti che sfruttano una regola di punteggio senza raggiungerne lo scopo previsto. Modelli più capaci possono rivelare scorciatoie che le valutazioni precedenti non avevano previsto.

Nel dataset di METR, i compiti con costi del ciclo di vita stimati più elevati tendono a essere più difficili per i modelli, anche tenendo conto della durata del compito umano. L'associazione suggerisce che valutazioni economiche possano trascurare dimensioni rilevanti della difficoltà. Non dimostra che il costo in sé causi prestazioni peggiori.

METR stima i costi del ciclo di vita usando un giudice basato su modelli, calibrato rispetto alle valutazioni dei suoi ricercatori. Tali stime riflettono l'esperienza e i vincoli dell'organizzazione. Un laboratorio all'avanguardia potrebbe sostenere costi diversi, e l'evoluzione delle capacità dei modelli può modificare l'economia della valutazione.

Il rapporto rileva inoltre tassi di miglioramento simili nei sottoinsiemi di compiti a costo più alto e più basso. Questa precisazione è importante. Prestazioni attuali peggiori nelle valutazioni costose non dimostrano che i progressi su tali valutazioni si siano fermati.

Le misurazioni di riferimento umane introducono un'ulteriore limitazione. Baseline umane dirette supportano solo il 9% delle stime del rapporto sul tempo umano. Le altre stime si basano su valutazioni di esperti, prove pubbliche ed estrapolazioni.

Questo modifica il grado di fiducia con cui i lettori dovrebbero interpretare le ore associate ai compiti difficili. La durata stimata può comunque fornire informazioni utili, ma non ha la stessa base probatoria del completamento osservato. Errori sistematici di stima potrebbero influenzare i confronti tra gruppi di compiti.

Il confronto umano include anche l'assistenza dell'AI. METR ha consentito ai partecipanti di usare Sonnet 5 per l'implementazione, in parte per favorire il reclutamento e adattarsi a consolidate abitudini di lavoro. La baseline risultante non dovrebbe essere descritta come prestazione umana senza assistenza.

I compiti difficili da verificare introducono ulteriore soggettività. La validità di una valutazione proposta dipende in parte dalle priorità di ricerca di METR e dalle sue convinzioni sui rischi rilevanti. L'organizzazione riconosce che tali giudizi possono essere errati.

Il compito di critica filosofica solleva una questione collegata: il giudizio di chi diventa il riferimento. I modelli vengono valutati rispetto ai giudizi degli esperti, mentre l'accordo può dipendere dagli esperti stessi e dal tempo a loro disposizione. Ciò rende il risultato informativo senza trasformarlo in una misura esaustiva del giudizio umano.

Queste avvertenze rafforzano le precedenti limitazioni dell'orizzonte temporale di METR: un punteggio di benchmark richiede contesto prima di diventare un'affermazione sul lavoro o sulla sicurezza. La suite aggiornata amplia le evidenze, aggiungendo al contempo incertezza. Una copertura migliore e misurazioni più pulite non arrivano sempre insieme.

Il grafico non può datare un decollo della ricerca

Un miglioramento esponenziale continuo non stabilisce quando i sistemi di AI accelereranno autonomamente il proprio sviluppo.

La tentante estrapolazione parte dal tempo di raddoppio misurato ed estende la curva verso incarichi progressivamente più lunghi. Tali proiezioni possono illustrare le implicazioni di una tendenza invariata. Non possono stabilire che gli stessi compiti, metodi e rapporti continueranno a essere rappresentativi.

La selezione dei compiti influenza già la tendenza adattata nel rapporto di novembre. METR rileva risultati diversi analizzando sottoinsiemi della suite ampliata. I ricercatori discutono varie possibili spiegazioni, inclusi cambiamenti nel profilo di difficoltà che emergono quando i modelli iniziano a superare compiti più recenti.

METR introduce inoltre il METR Capability Index, una misura composita costruita usando la teoria della risposta all'item, un metodo statistico che mette in relazione l'abilità del modello con la difficoltà del compito. Questo offre un altro modo per monitorare le prestazioni nei sistemi testati. Non elimina la dipendenza dalle scelte di modellazione.

Su quell'indice, METR non rileva una forte accelerazione o decelerazione lungo la frontiera pubblica che ha testato. In alcune condizioni osserva cambiamenti incerti specifici degli sviluppatori. Tali risultati sono sensibili alle decisioni metodologiche, il che limita affermazioni forti sui cambiamenti nei tassi di crescita.

Qui è importante distinguere tra progresso esponenziale e progresso in accelerazione. Una misura può raddoppiare a intervalli costanti senza che il suo intervallo di raddoppio si accorci. Una curva crescente, da sola, non dimostra un ciclo di feedback appena intensificato.

L'automazione della ricerca aggiunge una questione causale. Osservare modelli migliori mentre i laboratori usano l'AI non rivela come i progressi si sarebbero sviluppati senza tale assistenza. METR osserva esplicitamente che il confronto mancante impedisce un'attribuzione chiara della tendenza.

Esistono anche limiti a ciò che le pubblicazioni pubbliche rivelano. I modelli pubblici non rappresentano necessariamente i sistemi più capaci disponibili all'interno dei laboratori. Le differenze nei tempi di rilascio possono complicare i tentativi di rilevare cambiamenti nel ritmo di sviluppo sottostante.

Anche i risultati sul giudizio supportano interpretazioni concorrenti. Il fiuto per la ricerca, ossia la capacità di selezionare domande ed esperimenti promettenti, potrebbe limitare la ricerca autonoma. In alternativa, prestazioni sufficientemente forti su lavori più facili da verificare potrebbero accelerare lo sviluppo mentre gli umani continuano a scegliere le direzioni.

L'analisi del divario di giudizio di MIT Technology Review descrive questo disaccordo tra i ricercatori. Sayash Kapoor considera il fiuto per la ricerca un collo di bottiglia potenzialmente importante. Najoung Kim sottolinea l'incertezza nell'estrapolare i miglioramenti osservati.

Queste prospettive non risolvono la questione, ma identificano ciò che le evidenze attuali lasciano aperto. Le attuali debolezze nel giudizio sono osservazioni rilevanti. Trattarle come barriere permanenti richiede un argomento aggiuntivo che il rapporto non fornisce.

La posizione di METR resta cauta sia riguardo alla rassicurazione sia all'allarme. L'organizzazione afferma che le evidenze pubbliche non possono escludere una drastica accelerazione della ricerca AI entro i prossimi due anni. Si tratta di un'affermazione sulle possibilità irrisolte, non di una previsione che assegna una data o una probabilità.

L'aggiornamento di METR sull'orizzonte temporale non sostiene quindi né un conto alla rovescia verso una ricerca pienamente autonoma né una garanzia di controllo umano prolungato. Documenta progressi sostanziali all'interno di un quadro di valutazione in evoluzione. L'inferenza successiva richiede prove sul processo di ricerca stesso.

Tre segnali contano più della prossima curva virale

Le prossime evidenze utili dovrebbero verificare se un'esecuzione più forte produca migliori scelte di ricerca, revisioni affidabili e risultati duraturi.

Il primo segnale è l'adozione di valutazioni o proposte di ricerca progettate da agenti dopo una revisione indipendente di esperti. Il compito di creazione delle valutazioni di METR offre un punto di riferimento concreto. I risultati futuri diventano più persuasivi se gli esperti usano gli output perché rispondono a domande di valore.

La valutazione dovrebbe distinguere tra un artefatto tecnicamente corretto e un contributo che modifica le decisioni di ricerca. Revisori aggiuntivi e una copertura più ampia dei compiti aiuterebbero a verificare se l'utilità si estenda oltre le preferenze di una singola organizzazione. Successi ripetuti indebolirebbero l'argomento secondo cui il fiuto per la ricerca rimane un vincolo importante.

Un miglioramento continuo senza adozione sosterrebbe un'interpretazione più limitata. Gli agenti potrebbero migliorare nel produrre valutazioni plausibili, pur restando deboli nell'identificare quelle informative. Ciò conserverebbe il divario tra esecuzione rifinita e direzione utile.

Il secondo segnale riguarda se i revisori AI migliorino nella calibrazione su lavori provenienti da modelli ugualmente forti o più forti. Calibrazione significa che le valutazioni di un revisore corrispondono in modo affidabile alla qualità effettiva. I risultati di novembre offrono a questa questione una base sperimentale concreta.

Un utile seguito confronterebbe le valutazioni dei modelli con le valutazioni indipendenti di esperti su una gamma più ampia di artefatti. Un maggiore accordo sugli output difficili rafforzerebbe l'argomento a favore della delega di più attività di revisione. Una persistente sopravvalutazione indebolirebbe l'idea che autori AI più forti possano essere supervisionati semplicemente aggiungendo giudici AI.

Questa questione è importante anche se gli agenti non conducessero mai in autonomia un intero progetto di ricerca. I team devono già decidere quali output meritino attenzione e quali richiedano revisione. Una revisione che suona sicura ma non rileva difetti può spostare, anziché rimuovere, il carico di lavoro umano.

Il terzo segnale è una valutazione più ampia con riferimenti umani più solidi e controlli ritardati sugli esiti. Baseline più dirette migliorerebbero la fiducia nelle durate stimate dei compiti. Valutare ciò che accade dopo l'uso di un output verificherebbe se i punteggi a breve termine abbiano catturato un valore duraturo.

Per i rapporti dei laboratori, la distinzione rilevante è tra svolgere più attività e produrre una ricerca migliore. Codice o esperimenti aggiuntivi possono sostenere il progresso, ma il loro valore dipende dalle domande che affrontano. Evidenze che colleghino i contributi degli agenti a risultati convalidati rafforzerebbero l'ipotesi della ricerca autonoma.

Queste sono priorità di osservazione per i prossimi mesi, non impegni di pubblicazione annunciati. Il solo rilascio di un nuovo modello non le risolverà. Il cambiamento importante sarebbe costituito da evidenze più forti che colleghino le misurazioni delle capacità alle decisioni e agli esiti che tali misurazioni rappresentano.

Per i team che usano l'AI nel lavoro tecnico, la risposta pratica è preservare tale collegamento. Conservate insieme l'incarico originale, i criteri di accettazione, l'output e la valutazione degli esperti. Una base di conoscenza ricercabile può supportare confronti successivi quando un risultato apparentemente riuscito incontra nuovi requisiti.

Leggete l'aggiornamento di METR sull'orizzonte temporale insieme ai compiti e alle limitazioni alla base della sua curva. Prima di applicarne la traiettoria al vostro lavoro, identificate cosa conta come successo e chi può verificarlo. Separate gli incarichi con test immediati dalle decisioni le cui conseguenze emergono più tardi. Poi chiedetevi se le vostre evidenze misurino lavoro completato, lavoro utile o semplicemente un output convincente. Queste distinzioni resteranno preziose anche con il miglioramento dei modelli. Il prossimo punteggio degno di un titolo merita attenzione, ma altrettanto un risultato più discreto: un agente che sceglie una domanda valida, produce una risposta solida e supera una revisione indipendente. Quale parte di questa catena ha effettivamente testato la vostra valutazione attuale?

 
 

Inizia gratis

Un assistente IA local-first con gestione della conoscenza personale

Per una migliore esperienza con l’IA,

al momento remio supporta solo Windows 10+ (x64) e M-Chip Macs.

Il tuo partner AI al lavoro
Fai di più con remio

Pianifica. Crea. Consegna.
Tutto in un unico posto.

bottom of page