OpenAI afferma che due impostazioni API hanno triplicato il punteggio ARC-AGI-3 di GPT-5.6 Sol

OpenAI ha modificato due impostazioni API e quasi triplicato il punteggio pubblico ARC-AGI-3 di GPT-5.6 Sol, dal 13,3% al 38,3%. Il resoconto di OpenAI si concentra sul ragionamento conservato e sulla compattazione, due scelte di gestione del contesto disponibili tramite la Responses API. Insieme, secondo OpenAI, hanno anche ridotto di sei volte i token di output.

Il risultato complica la consueta interpretazione di un benchmark AI. Il modello testato non ha ricevuto nuovo addestramento, un budget di ragionamento più ampio né uno strumento specifico per il gioco. OpenAI ha invece modificato l'harness, ossia il livello software che trasferisce osservazioni, azioni e cronologia della conversazione tra il modello e il benchmark.

Il conflitto centrale, quindi, non è GPT-5.6 Sol contro un altro modello. È un harness generico e standardizzato contro un harness di produzione progettato attorno al modello. Il primo favorisce la comparabilità ed espone gli agenti alla stessa interfaccia di base. Il secondo preserva lo stato che, secondo OpenAI, i suoi modelli di ragionamento necessitano per attività interattive lunghe.

Questa distinzione conta perché ARC-AGI-3 non richiede una sola risposta finale. Presenta giochi sconosciuti senza istruzioni in linguaggio naturale. Gli agenti devono inferire le regole di ciascun gioco, scoprirne l'obiettivo, testare ipotesi, ricordare gli errori e adattarsi nel corso di molte azioni.

Un sistema che dimentica il proprio ragionamento dopo ogni mossa affronta quindi un compito diverso rispetto a uno che può preservare un piano in evoluzione. Allo stesso modo, un agente che perde le osservazioni più vecchie quando il contesto si riempie non vive lo stesso gioco di uno che riceve un riepilogo compatto.

Il risultato di OpenAI non risolve quale harness produca la classifica più equa. Mostra però che la progettazione dell'harness può modificare la capacità misurata più di molti aggiornamenti del modello. Ciò esercita pressione sugli operatori dei benchmark, sugli sviluppatori di modelli e sui team aziendali di valutazione affinché documentino l'intero sistema testato.

Come OpenAI ha ottenuto il balzo nel punteggio

Il modello è rimasto lo stesso, mentre è cambiato il percorso della sua memoria.

OpenAI ha pubblicato la propria analisi il 29 luglio 2026, dopo aver indagato sui risultati inaspettatamente deboli di GPT-5.6 Sol. La preoccupazione iniziale era semplice. Un modello che aveva gestito matematica difficile e lunghe sessioni di gioco sembrava inefficace in ambienti bidimensionali dall'aspetto semplice.

La discrepanza originale riguardava diverse cifre di punteggio. OpenAI ha rilevato che GPT-5.6 Sol aveva ottenuto un punteggio ARC-AGI-3 complessivo del 7,8%, mentre GPT-5.5 aveva ottenuto lo 0,4%. Nel set di task pubblico usato per il confronto controllato, GPT-5.6 Sol ha ottenuto il 13,3% con l'harness ufficiale.

OpenAI ha quindi ricostruito la valutazione tramite la sua Responses API. L'harness rivisto ha mantenuto il ragionamento tra un'azione e l'altra e sostituito il troncamento progressivo con la compattazione. Secondo l'analisi del benchmark dell'azienda, questa configurazione ha aumentato il punteggio del set pubblico al 38,3%.

Il punteggio usa la Relative Human Action Efficiency, o RHAE. Questa metrica confronta i progressi riusciti con il numero di azioni necessarie agli esseri umani. Un agente riceve meno credito quando risolve un compito in modo inefficiente, quindi l'esplorazione alla cieca e gli errori ripetuti comportano un costo misurabile.

OpenAI ha stimato che il tester umano medio ottenesse il 48% sulla stessa base. La stima derivava dai log di gioco ufficiali, non dall'affermazione che ogni essere umano ottenga il 48%. ARC Prize descrive separatamente il 100% come il punteggio ottenuto completando ogni gioco con la stessa efficienza della relativa baseline umana.

Il risultato del 38,3% non ha quindi colmato il divario con gli esseri umani. Ha però avvicinato molto di più GPT-5.6 Sol alla stima di OpenAI per il tester medio. Ancora più importante, lo ha fatto senza un aggiornamento del modello.

Il dato sui token di output aggiunge un ulteriore ribaltamento. Una memoria più lunga potrebbe sembrare più costosa, perché l'agente trasporta più contesto. Eppure OpenAI riferisce che la configurazione rivista ha usato sei volte meno token di output. Il modello ha dedicato meno output a ricostruire ripetutamente regole e piani che aveva già elaborato.

La riproduzione di un gioco offre un esempio concreto. OpenAI ha mostrato un ambiente in cui nessun modello di frontiera nella classifica pertinente era andato oltre il primo livello. Il suo harness rivisto basato sulla Responses API avrebbe consentito a GPT-5.6 Sol di completare tutti e sei i livelli.

I risultati verificati di ARC Prize forniscono un contesto utile. La sua scheda dei punteggi di GPT-5.6 elenca Sol con ragionamento massimo e un punteggio ARC-AGI-3 semi-privato del 7,78%. Registra inoltre un risultato dell'87% nel gioco pubblico FT09, il primo gioco pubblico ARC-AGI-3 vinto da un modello.

Questi dati descrivono set e prospettive di valutazione differenti, quindi i lettori non dovrebbero combinarli in un unico dato di prestazione. Il confronto controllato dal 13,3% al 38,3% è la prova pertinente per l'affermazione di OpenAI sulle due impostazioni.

Questa distinzione è facile da perdere nella copertura dei benchmark. Un esperimento su un set pubblico, un punteggio verificato semi-privato e un risultato su un singolo gioco rispondono a domande diverse. L'esperimento di OpenAI chiede nello specifico come si comporti un modello quando l'harness preserva una quota maggiore del suo stato di lavoro.

La risposta è notevole ma circoscritta. Il ragionamento conservato e la compattazione hanno migliorato questo modello su questo set di task pubblico nell'implementazione di OpenAI. Il risultato non dimostra un guadagno identico per ogni modello, agente, lunghezza del contesto o carico di lavoro in produzione.

L'harness ufficiale testava anche la capacità di dimenticare

ARC-AGI-3 misurava l'agente e l'architettura delle informazioni che lo circondava.

ARC-AGI-3 differisce dai benchmark statici in cui un modello riceve una domanda e restituisce una risposta. Consiste in ambienti interattivi che richiedono percezione, pianificazione, azione e correzione ripetute. La sua panoramica del benchmark sottolinea l'acquisizione degli obiettivi, modelli del mondo adattabili, pianificazione a lungo orizzonte e apprendimento guidato dall'esperienza.

Il benchmark non contiene istruzioni in linguaggio naturale che spieghino ciascun gioco. Un agente riceve una rappresentazione del frame corrente e un insieme di azioni possibili. Deve determinare quali oggetti contano, come le azioni modificano l'ambiente e cosa costituisce un progresso.

Questa configurazione rende la memoria parte della capacità valutata. Un'ipotesi utile può emergere dopo diverse azioni fallite. Un'osservazione successiva può confermare o respingere quell'ipotesi. Se l'harness elimina il ragionamento che collega questi eventi, l'agente deve ricostruire la propria interpretazione da una traccia più povera.

OpenAI ha rilevato che l'harness ufficiale scartava il ragionamento privato dopo ogni azione di gioco. Il modello poteva ancora vedere le mosse precedenti e brevi note. Tuttavia, non poteva accedere ai piani, alle scoperte o alle ipotesi che avevano prodotto quelle mosse.

L'harness usava anche il troncamento progressivo. Quando la conversazione superava 175.000 caratteri, rimuoveva i messaggi più vecchi. Le esecuzioni lunghe potevano quindi cancellare osservazioni e azioni iniziali, anche quando quegli eventi restavano rilevanti per il livello corrente.

Questi comportamenti erano conseguenze intenzionali di una progettazione generica, non la prova di un benchmark difettoso. ARC Prize favorisce un harness relativamente semplice perché espone i limiti dei modelli e supporta il confronto tra provider. Le implementazioni commerciali usano spesso funzionalità specifiche del provider che non si adattano facilmente alle diverse API.

Questo crea il principale antagonista dell'articolo: valutazione standardizzata contro valutazione allineata alla produzione.

Un harness standardizzato chiede quale modello ottenga le migliori prestazioni attraverso un'interfaccia comune. Questo approccio limita i trattamenti speciali e riduce la possibilità che l'ottimizzazione privata di un provider domini il confronto.

Un harness allineato alla produzione chiede quanto bene si comporti un modello quando viene distribuito secondo le raccomandazioni del suo creatore. Questo approccio assomiglia alle applicazioni reali, ma può sfumare il confine tra capacità del modello e ingegneria del sistema.

Nessuna delle due domande è priva di significato. Producono semplicemente misurazioni diverse.

Il problema emerge quando un punteggio in classifica viene presentato come una proprietà del solo modello. Se un harness elimina ripetutamente uno stato che un altro modello si aspetta di conservare, il test misura anche la compatibilità tra l'addestramento del modello e l'infrastruttura di valutazione.

ARC Prize ha riconosciuto quanto gli ambienti restino difficili. Il suo rapporto tecnico afferma che gli esseri umani hanno risolto il 100% degli ambienti testati, mentre i sistemi di frontiera avevano ottenuto meno dell'1% a marzo 2026. Il benchmark è stato progettato per evidenziare un ampio divario nell'efficienza adattiva.

I punteggi successivi di GPT-5.6 Sol mostrano progressi, soprattutto nei singoli giochi pubblici. Tuttavia, un risultato del 38,3% sul set pubblico lascia ancora un margine sostanziale prima dell'efficienza di livello umano. Inoltre, proviene dall'harness e dall'analisi dello stesso sviluppatore del modello.

La lezione non è che ARC-AGI-3 sia diventato facile. È che un benchmark interattivo può testare accidentalmente un'amnesia artificiale insieme alla pianificazione e all'esplorazione.

La questione si estende oltre i giochi. Gli agenti di coding devono ricordare le decisioni architetturali tra le chiamate agli strumenti. Gli agenti di ricerca devono conservare quali fonti supportano o contraddicono un'affermazione. I sistemi di assistenza clienti devono preservare i vincoli introdotti all'inizio di una conversazione.

Un team aziendale che valuta questi sistemi eliminando ripetutamente il loro stato interno può sottostimarne le prestazioni utili. Un team che consente un'ottimizzazione illimitata e specifica del provider può produrre risultati difficili da confrontare o riprodurre.

La risposta migliore è una divulgazione più completa. Un report di benchmark dovrebbe identificare la versione del modello, lo sforzo di ragionamento, la politica del contesto, gli elementi di risposta mantenuti, il comportamento di compattazione, il prompt, gli strumenti, il budget di azioni e il metodo di punteggio. Senza queste informazioni, un punteggio manca di un contesto operativo essenziale.

Il ragionamento conservato impedisce all'agente di ricominciare da capo

Preservare il ragionamento ha dato a GPT-5.6 Sol continuità tra le azioni, riducendo il lavoro interpretativo ripetuto.

I modelli di ragionamento generano elementi di ragionamento interni prima di produrre testo visibile o chiamate agli strumenti. Questi elementi non corrispondono a una spiegazione rivolta all'utente. Fanno parte dello stato di lavoro del modello durante un'interazione in più fasi.

Nell'harness ufficiale esaminato da OpenAI, ogni azione di gioco interrompeva di fatto quello stato. La richiesta successiva includeva le mosse precedenti e brevi note, ma scartava il ragionamento che le collegava. GPT-5.6 Sol affrontava ripetutamente lo stesso onere interpretativo.

Immaginate un agente che esplora una griglia con oggetti colorati. Verifica se un colore segnala ostacoli, poi scopre che lo stesso colore cambia dopo una mossa riuscita. Questa osservazione potrebbe ribaltare la sua prima teoria e stabilire una nuova regola.

Un registro delle mosse annota ciò su cui l'agente ha fatto clic. Non preserva necessariamente il motivo del clic, le alternative scartate o ciò che il frame risultante implicava. Questi dettagli possono determinare se l'azione successiva porta avanti una strategia o ripete un errore precedente.

OpenAI ha usato la Responses API e passato l'identificatore della risposta precedente tra un turno e l'altro. La sua attuale guida al modello spiega che GPT-5.6 può riutilizzare gli elementi di ragionamento disponibili tra i turni. Gli sviluppatori possono anche controllare quanto ragionamento precedente resti rilevante attraverso le impostazioni del contesto di ragionamento.

Secondo OpenAI, il ragionamento conservato ha modificato il comportamento di GPT-5.6 Sol in due modi. Il modello ha dedicato meno tempo a riflettere prima di ogni azione e ha usato strategie più coerenti nelle esecuzioni più lunghe. Non aveva più bisogno di reinterpretare il gioco dall'inizio dopo ogni mossa.

Ciò spiega come l'uso di token potesse diminuire mentre lo stato conservato cresceva. I token di output includono il nuovo ragionamento e le risposte generate dal modello. Se le intuizioni precedenti restano disponibili, il modello può evitare di produrre un'altra lunga ricostruzione.

La distinzione ricorda la differenza tra un team di progetto che conserva i registri delle decisioni e uno che riceve solo un elenco delle attività completate. L'elenco mostra cosa è accaduto. Non conserva le opzioni scartate, i vincoli o le prove che hanno definito il piano attuale.

Per i lavoratori della conoscenza, lo stesso problema emerge quando un assistente AI gestisce un'indagine lunga. Ogni documento recuperato modifica l'ipotesi di lavoro. Se il sistema conserva soltanto link e risposte brevi, le conclusioni successive possono perdere il ragionamento che rendeva pertinenti quelle fonti.

È qui che una base di conoscenza ricercabile esterna può integrare il contesto del modello. I registri duraturi delle fonti dovrebbero rimanere consultabili anche quando un agente compatta il proprio stato di lavoro temporaneo.

Il ragionamento conservato introduce comunque compromessi. Il ragionamento precedente può diventare obsoleto dopo un cambiamento dell'attività. Una teoria iniziale errata può influenzare i passaggi successivi se il sistema non la contrassegna mai come respinta. Più memoria non significa automaticamente memoria migliore.

Le indicazioni API di OpenAI riflettono questo problema. Consentono agli sviluppatori di preservare il ragionamento in tutti i turni quando gli obiettivi restano stabili, oppure di concentrarsi sul turno corrente quando il ragionamento precedente ha perso rilevanza. Questa scelta dovrebbe dipendere dal flusso di lavoro, non da una regola generale.

I giochi ARC-AGI-3 offrono un contesto favorevole alla continuità. Obiettivo e ambiente restano correlati tra le azioni, quindi le ipotesi precedenti di solito contano. Una conversazione di assistenza che cambia bruscamente argomento presenta un diverso problema di gestione del contesto.

Anche le politiche di sicurezza e privacy influenzano l'implementazione. Alcune organizzazioni non possono archiviare la cronologia delle risposte a tempo indeterminato. Altre usano configurazioni stateless o a conservazione zero. Questi team devono gestire con attenzione gli elementi di ragionamento crittografati e gli altri oggetti di risposta necessari per la continuazione.

Conservare il ragionamento descrive quindi un comportamento del sistema, non un'autorizzazione a esporre contenuti privati di chain-of-thought. Le applicazioni dovrebbero preservare tramite l'API gli elementi di risposta supportati, presentando al contempo agli utenti spiegazioni concise e appropriate.

L'esperimento di OpenAI suggerisce anche una domanda pratica per la valutazione. Se un agente fallisce dopo trenta passaggi, i revisori dovrebbero verificare se il suo piano fosse errato o se l'harness abbia rimosso lo stato necessario per continuare quel piano.

Queste modalità di fallimento richiedono correzioni diverse. Un fallimento di ragionamento richiede un modello, prompt o strategia migliori. Un fallimento nella gestione dello stato richiede un'infrastruttura diversa. Trattare entrambi come una questione di intelligenza del modello oscura dove debba concentrarsi lo sforzo ingegneristico.

La compattazione preserva il passato senza portarsi dietro tutto

La compattazione ha sostituito la cancellazione brutale con una rappresentazione più breve della cronologia che conservava comunque ciò che contava.

Ogni agente in esecuzione prolungata incontra prima o poi un limite di contesto o un limite economico. Conservare ogni osservazione, risultato degli strumenti e pensiero intermedio può rendere le richieste successive più lente e meno mirate. Il semplice mantenimento del ragionamento non risolve la crescita illimitata del contesto.

L'harness ufficiale ARC-AGI-3 gestiva la crescita tramite troncamento progressivo. Una volta superata la soglia della cronologia, rimuoveva il contenuto più vecchio. Questa politica è prevedibile e indipendente dal provider, ma presuppone che le informazioni vecchie contino meno solo perché sono vecchie.

I giochi interattivi violano questa ipotesi. Un'azione iniziale potrebbe rivelare l'obiettivo. Un indizio visto all'inizio potrebbe spiegare un simbolo incontrato molto più tardi. Cancellare in ordine cronologico può eliminare conoscenze fondamentali mantenendo al contempo frame recenti ma ripetitivi.

La compattazione usa una politica diversa. Condensa il contesto precedente in una rappresentazione più piccola che preserva lo stato rilevante. L'agente può continuare con un contesto gestibile senza portarsi dietro ogni token originale.

OpenAI afferma che la sua implementazione ARC usava un limite di 175.000 token per la compattazione. L'harness ufficiale usava 175.000 caratteri per il troncamento. OpenAI sostiene che queste soglie fossero ampiamente comparabili perché le griglie delle azioni erano tokenizzate approssimativamente a un carattere per token.

Questo dettaglio di implementazione conta. Se i limiti differissero in modo sostanziale, il miglioramento del punteggio potrebbe riflettere un contesto effettivo più ampio anziché una strategia di memoria migliore. Il confronto di OpenAI cerca di mantenere la soglia simile cambiando al contempo il modo in cui le informazioni precedenti sopravvivono.

La documentazione sulla compattazione dell'azienda descrive la compattazione come un modo per ridurre le dimensioni del contesto durante lunghi flussi di lavoro con Responses API. Lo stato compattato risultante può supportare la continuazione senza richiedere alle applicazioni di reinviare una trascrizione illimitata.

La compattazione non è archiviazione senza perdite. Un riepilogo può omettere dettagli, appiattire l'incertezza o conservare un'interpretazione errata. Il suo valore dipende dalla selezione delle informazioni necessarie alle azioni future.

ARC-AGI-3 crea un test impegnativo per questa selezione. L'agente deve preservare regole scoperte, obiettivi, significati degli oggetti, ipotesi fallite, avanzamento nei livelli e azioni pianificate. Le griglie ripetute e il ragionamento ridondante possono ricevere meno attenzione.

OpenAI riporta che l'harness compattato ha preservato l'apprendimento nelle esecuzioni più lunghe e ha generato meno token di output. La sua animazione comparativa mostrava l'agente rivisto ragionare meno per azione e avanzare più rapidamente nei giochi.

La riduzione di sei volte dei token di output è operativamente importante anche senza discutere i prezzi monetari. Un volume di output inferiore può ridurre la latenza e liberare capacità per più valutazioni. Può anche rendere le tracce degli agenti più facili da ispezionare, a condizione che lo stato compattato resti sufficientemente informativo.

Tuttavia, i lettori dovrebbero considerare questa cifra specifica del carico di lavoro. ARC-AGI-3 produce griglie testuali ripetitive e molte azioni sequenziali. Una revisione legale, un flusso di lavoro medico o un'analisi finanziaria possono contenere dettagli che resistono a una sintesi aggressiva.

I team di valutazione dovrebbero testare la qualità della compattazione separatamente dal successo finale del compito. Possono confrontare i vincoli conservati, la coerenza fattuale, il recupero dopo interruzioni e la capacità dell'agente di spiegare quali prove abbiano influenzato una decisione.

Un test utile introduce presto un fatto critico, riempie il contesto con attività successive e poi verifica se l'agente applica correttamente quel fatto. Un altro test modifica un requisito a metà percorso e verifica che la compattazione preservi la revisione anziché l'istruzione originale.

Questi test espongono un compromesso fondamentale. Il troncamento progressivo offre una perdita trasparente perché i revisori sanno esattamente quali messaggi sono scomparsi. La compattazione offre continuità selettiva, ma le sue omissioni possono essere più difficili da rilevare.

Per gli agenti di produzione, la continuità selettiva spesso si adatta meglio al compito. Gli esseri umani non ricordano ogni frame visivo o frase. Mantengono un modello di lavoro che dà priorità a obiettivi, vincoli, scoperte e questioni irrisolte.

Questa analogia non dovrebbe giustificare fallimenti nascosti. Gli sviluppatori hanno bisogno di tracce, strumenti di replay e valutazioni controllate per verificare se la compattazione abbia preservato lo stato corretto. Altrimenti, una risposta finale sicura di sé può celare un vincolo iniziale mancante.

Il risultato di OpenAI riguarda quindi meno l'espansione di una finestra di contesto. Riguarda piuttosto il cambiamento di ciò che sopravvive quando la finestra non può contenere tutto.

Cosa non dimostra il punteggio triplicato

Un esperimento condotto dallo sviluppatore su un set pubblico non può stabilire la configurazione di benchmark universale più equa.

Le prove di OpenAI supportano una conclusione circoscritta e preziosa. GPT-5.6 Sol ha ottenuto prestazioni migliori nell'implementazione ARC-AGI-3 di OpenAI quando il ragionamento veniva conservato e la compattazione sostituiva il troncamento progressivo.

Non dimostra che l'harness ufficiale non sia valido. La configurazione ufficiale serve a uno scopo diverso: esporre il comportamento dei modelli attraverso un'interfaccia generica che i partecipanti al benchmark possano riprodurre tra diversi provider.

Le funzionalità specifiche dei provider complicano il confronto paritario. OpenAI può conservare i propri elementi nativi di ragionamento tramite Responses API. Un altro provider può rappresentare lo stato interno in modo diverso, esporre controlli di continuazione differenti o basarsi su un'altra architettura di memoria.

Consentire a ogni azienda di ottimizzare un harness privato può trasformare un benchmark di modelli in una competizione tra sistemi. Questo formato può comunque misurare qualcosa di utile, soprattutto per gli acquirenti che selezionano sistemi di agenti completi. Tuttavia, non isola più il comportamento del modello con la stessa chiarezza.

Il risultato deriva inoltre dall'esperimento di OpenAI sul set di attività pubblico. I giochi pubblici sono disponibili per l'ispezione e lo sviluppo, il che crea maggiori opportunità di ottimizzazione dell'harness. I risultati semi-privati offrono una verifica più solida contro gli adattamenti diretti specifici al compito.

La classifica verificata di ARC Prize colloca ancora GPT-5.6 Sol al 7,78% sul set semi-privato al massimo ragionamento. Quel punteggio supera le altre varianti della famiglia GPT-5.6 elencate, ma rimane molto al di sotto del completamento e dell'efficienza umani.

Il divario tra il 38,3% nel confronto pubblico di OpenAI e il 7,78% nella valutazione semi-privata verificata richiede un'interpretazione attenta. Non contraddice automaticamente il risultato dell'harness, perché i set di attività differiscono. Mostra però perché un miglioramento su un singolo set pubblico non dovrebbe trasformarsi in un'affermazione generale di apprendimento dei giochi simile a quello umano.

La stima di OpenAI del 48% per un tester umano medio aggiunge contesto ma non equivalenza. Umani e modelli possono fallire in modi diversi, usare schemi di azione differenti e rispondere diversamente a interfacce sconosciute. RHAE comprime questi comportamenti in un punteggio.

L'esperimento combina inoltre due modifiche. Nel confronto principale erano attivi sia il ragionamento conservato sia la compattazione. OpenAI descrive l'effetto comportamentale di ciascuno, ma le cifre principali pubblicate non isolano completamente il contributo di ogni configurazione.

Un'ablazione più completa riporterebbe quattro configurazioni: nessuna delle due impostazioni, solo ragionamento conservato, solo compattazione ed entrambe insieme. Esecuzioni ripetute aiuterebbero a quantificare la varianza, soprattutto quando l'esplorazione dell'agente può seguire percorsi diversi.

Il confronto sui token di output merita lo stesso esame. Meno token indicano una migliore efficienza in questo harness. Non rivelano la latenza totale, l'elaborazione dei token di input, il sovraccarico della compattazione o il lavoro ingegneristico necessario per mantenere lo stato.

Gli operatori dei benchmark affrontano ora pressioni da entrambe le direzioni. Se mantengono harness generici, dovrebbero spiegare che i risultati in classifica possono sottostimare le configurazioni di produzione. Se accettano harness ottimizzati, dovrebbero rendere noto quali capacità provengano dal modello e quali dal codice circostante.

I provider di modelli hanno una responsabilità parallela. Dovrebbero pubblicare configurazioni, prompt, soglie di contesto, budget di azione e schede di valutazione riproducibili. Un'affermazione sulle impostazioni diventa più utile quando team indipendenti possono ripeterla.

Gli acquirenti enterprise dovrebbero evitare di scegliere tra test generici e ottimizzati. Hanno bisogno di entrambi.

Un test generico mostra come i modelli candidati si comportino con vincoli comuni. Un test rappresentativo della produzione mostra se il sistema completo abbia successo nel flusso di lavoro effettivo dell'acquirente. La differenza tra questi risultati misura la sensibilità all'integrazione.

Questa sensibilità è di per sé un rischio aziendale. Un modello che funziona bene solo attraverso uno stack specializzato di gestione dello stato può essere più difficile da migrare. Un harness generico che elimina capacità essenziali può spingere i team verso un modello più debole per la ragione sbagliata.

La domanda rilevante non è se il benchmark o OpenAI abbiano ragione. È quale confine di sistema descriva ciascun punteggio.

Tre segnali da osservare dopo il risultato ARC-AGI-3 di OpenAI

La replica indipendente, i test semi-privati e una migliore rendicontazione degli harness determineranno se il risultato cambierà le pratiche di valutazione.

Il primo segnale è una riproduzione indipendente del miglioramento dal 13,3% al 38,3%. Una replica credibile dovrebbe utilizzare gli stessi giochi pubblici, lo stesso livello di impegno di ragionamento, gli stessi limiti di azione, le stesse soglie di contesto e lo stesso metodo di valutazione. Dovrebbe inoltre riportare la variazione tra un'esecuzione e l'altra.

La replica rafforzerebbe l'affermazione di OpenAI secondo cui la gestione dello stato spiega gran parte del divario di prestazioni osservato. Un miglioramento sostanzialmente inferiore suggerirebbe che dettagli di implementazione non documentati, prompting o scelte del valutatore abbiano contribuito più delle due impostazioni citate.

Il secondo segnale è una valutazione semi-privata che utilizza ragionamento conservato e compattazione. Le attività pubbliche aiutano gli sviluppatori a diagnosticare i comportamenti, ma ambienti non visibili o con accesso limitato offrono un test più solido della generalizzazione. Miglioramenti simili in tali contesti dimostrerebbero che il miglioramento dell'harness si trasferisce oltre i giochi pubblici familiari.

Un piccolo miglioramento semi-privato indebolirebbe l'interpretazione più ampia. Potrebbe indicare che una memoria migliore aiuta il modello a eseguire strategie note senza risolvere la sfida più profonda di acquisire nuovi obiettivi e regole.

Il terzo segnale è un cambiamento negli standard di divulgazione dei benchmark. Le future classifiche dovrebbero pubblicare le politiche di gestione del contesto accanto ai punteggi. I report dovrebbero indicare se gli elementi di ragionamento sono stati conservati tra un'azione e l'altra, come la cronologia meno recente è stata rimossa o compattata e quali funzionalità specifiche del provider sono state abilitate.

Questa rendicontazione consentirebbe ai lettori di confrontare due prospettive utili. Una misura i modelli attraverso un'interfaccia standardizzata. L'altra misura sistemi completi configurati secondo le indicazioni del provider.

Gli sviluppatori dovrebbero applicare la stessa disciplina alle proprie valutazioni. Conservate il riferimento di base prima di modificare le impostazioni. Poi testate separatamente il ragionamento conservato, la compattazione e la loro combinazione su carichi di lavoro rappresentativi.

Misurate più del solo successo finale. Monitorate token di output, crescita dell'input, latenza, azioni ripetute, mantenimento dei vincoli, recupero da ipotesi fallite ed errori causati da memoria obsoleta. Un punteggio più alto può nascondere nuove modalità di errore se la valutazione osserva soltanto il risultato finale.

I team dovrebbero anche esaminare dove la continuità è utile. Lunghi compiti di programmazione, ricerca interattiva, agenti browser e analisi in più fasi dipendono spesso da scoperte accumulate. Brevi richieste di classificazione o estrazione possono trarre pochi vantaggi dal ragionamento persistente.

La scoperta di OpenAI offre un chiaro avvertimento: una valutazione di agenti può penalizzare il modello per politiche di memoria imposte dal valutatore. Può anche favorire il modello grazie a un'infrastruttura che i concorrenti non possono riprodurre.

Il prossimo passo utile non è dichiarare corretto uno dei due harness. È eseguirli entrambi, etichettarli con precisione e pubblicare dettagli sufficienti affinché altri possano comprenderne la differenza.

Per chiunque stia costruendo un agente a lunga esecuzione, la domanda immediata è pratica: il vostro sistema conserva gli obiettivi, le prove e le ipotesi respinte di cui necessita l'azione successiva? Testate questa continuità prima di attribuire la colpa al modello e ripetetelo dopo ogni modifica alla compattazione o alla politica di contesto.