Il punteggio di Gemini 4 Argon su ARC-AGI-3 raggiunge il 97,5%, ma il test standard racconta una storia diversa

Il punteggio di Google Gemini 4 Argon su ARC-AGI-3 ha raggiunto il 97,5% con l'harness provider adapter di ARC Prize. Lo stesso modello ha ottenuto il 49,8% con l'harness standard. Quel divario di 47,7 punti è il dato davvero rilevante.

ARC Prize ha pubblicato i risultati verificati dopo aver testato sei configurazioni nell'ambito della sua serie di benchmark. Gemini 4 Argon ha inoltre ottenuto il 98,5% su ARC-AGI-1 e il 91,3% su ARC-AGI-2 con ragionamento elevato. Questi risultati collocano Google DeepMind tra i laboratori leader in tutte e tre le generazioni del test.

Tuttavia, ARC-AGI-3 misura un sistema interattivo, non un modello isolato che risponde a domande statiche. Il suo harness controlla quali informazioni vengono mantenute tra un'azione e l'altra e come vengono gestite le cronologie lunghe. GPT-6 Astra di OpenAI rimane il confronto più rilevante perché ha anch'esso superato il 95% con un provider adapter.

Questa distinzione cambia il modo in cui sviluppatori e acquirenti aziendali dovrebbero leggere il dato principale. Il risultato del 97,5% sostiene le affermazioni di Google sul ragionamento sostenuto e a lungo orizzonte. Non dimostra che Argon offra le stesse prestazioni attraverso ogni interfaccia o architettura di distribuzione.

Il benchmark di Gemini 4 Argon è quindi meno una semplice vittoria che una dimostrazione di dove risiede oggi la capacità dei modelli. Sempre più spesso, risiede nel sistema combinato di modello, memoria, gestione del contesto, comportamento dell'API e runtime dell'agente.

I risultati di Gemini 4 Argon su ARC-AGI-3 si dividono tra due harness

ARC Prize ha verificato un risultato eccezionale, ma ha verificato due versioni nettamente diverse della stessa esperienza di sistema.

La scorecard verificata riporta Gemini 4 Argon al 97,5% su ARC-AGI-3 con ragionamento basso e harness provider adapter. Il ragionamento medio e alto hanno entrambi prodotto il 97,3% con quella configurazione.

L'harness standard ha generato un andamento diverso. Il ragionamento basso ha ottenuto il 49,8%, mentre quello medio ha raggiunto il 46,3%. ARC Prize non ha pubblicato nel suo grafico un dato comparabile per il ragionamento alto perché quella esecuzione ha completato troppo pochi task.

Questo risultato è insolito per due ragioni. In primo luogo, l'aumento del livello di ragionamento dichiarato non ha migliorato il punteggio del provider adapter. Il ragionamento basso ha superato di poco le altre due configurazioni.

In secondo luogo, il provider adapter ha prodotto quasi il doppio del punteggio standard. Una differenza di queste dimensioni non può essere trattata come normale rumore di valutazione. Indica un cambiamento strutturale in ciò che il sistema testato riesce a ricordare e riutilizzare.

ARC Prize definisce l'harness standard come un'interfaccia neutrale rispetto al provider. Consente a un modello di portare avanti note che il modello sceglie di conservare durante l'interazione con un ambiente.

Il provider adapter può preservare uno stato di ragionamento opaco tra richieste diverse. Può anche compattare una lunga interazione quando la cronologia si avvicina a un limite di contesto. Il modello può quindi riutilizzare il lavoro precedente senza ricreare l'intero ragionamento a partire da note visibili.

Questo conta perché ARC-AGI-3 non presenta una domanda familiare con una singola risposta. Il modello entra in un ambiente interattivo sconosciuto, osserva uno stato, sceglie un'azione e ne vede il risultato. Deve dedurre le regole e l'obiettivo evitando mosse inefficienti.

Un'ipotesi fallita rimane utile se il sistema ricorda perché è fallita. Un esperimento riuscito conta solo se l'osservazione rilevante sopravvive abbastanza a lungo da influenzare le decisioni successive.

L'harness standard chiede al modello di rendere esplicita questa continuità attraverso note selezionate. Il provider adapter mantiene una maggiore continuità all'interno del sistema del provider. Entrambe le configurazioni usano Gemini 4 Argon, ma espongono quantità diverse dello stato cognitivo in corso del modello.

ARC Prize afferma che problemi API hanno influenzato anche la valutazione standard. Con ragionamento basso, le esecuzioni hanno completato 42 dei 55 task semi-privati. Il ragionamento medio ha completato 46 task, mentre quello alto ne ha completati solo 19.

I punteggi riportati coprivano comunque tutti i 55 task. I task incompleti hanno penalizzato il risultato, anche se il credito parziale già ottenuto è stato mantenuto. Il punteggio del 49,8% è quindi un risultato reale e pubblicato, ma riflette anche un'esecuzione del test imperfetta.

Questa precisazione non elimina il divario tra gli harness. La configurazione media ha completato più task di quella bassa e ha comunque ottenuto solo il 46,3%. Nel frattempo, ogni configurazione del provider adapter è rimasta sopra il 97%.

Il titolo corretto non è che un punteggio sia autentico e l'altro non valido. ARC Prize li ha verificati entrambi. La conclusione corretta è che il risultato di Gemini 4 Argon su ARC-AGI-3 dipende in larga misura da come il sistema circostante mantiene il ragionamento tra le azioni.

Perché ARC-AGI-3 rende la memoria parte del test

ARC-AGI-3 trasforma la gestione del contesto da dettaglio implementativo a capacità misurata.

ARC-AGI-1 e ARC-AGI-2 usano task statici di ragionamento visivo. Un sistema riceve esempi che stabiliscono una trasformazione implicita, quindi applica la regola dedotta a una nuova griglia. Questi test pongono l'accento su astrazione e generalizzazione senza una lunga sequenza di azioni nell'ambiente.

ARC-AGI-3 sostituisce quel formato passivo con mondi interattivi sconosciuti. L'agente non riceve alcun manuale dettagliato. Deve sperimentare, interpretare il feedback, rivedere le proprie convinzioni e infine scoprire come vincere.

Il benchmark ufficiale ARC-AGI-3 si concentra sull'adattamento in condizioni di incertezza. Gli esseri umani possono spesso trasferire in questi mondi intuizioni comuni su oggetti, movimento, causalità e obiettivi. Un sistema AI deve ricostruire conoscenze comparabili a partire dalle osservazioni.

Il design tecnico di ARC Prize impone un budget di azioni a questa esplorazione. Risolvere un ambiente non basta se l'agente spende un numero eccessivo di mosse sondando casualmente. Il benchmark valuta quindi sia il progresso sia l'efficienza delle azioni.

Il rapporto tecnico descrive la gestione del contesto come una sfida centrale. I frame dell'ambiente usano griglie di 64 per 64 e trasportare ripetutamente ogni osservazione può consumare rapidamente il contesto disponibile.

Un agente competente ha bisogno di più di una grande finestra di contesto grezza. Deve identificare quali cambiamenti contano, collegare azioni ed effetti, preservare ipotesi e scartare dettagli irrilevanti. È un problema vicino a quello affrontato dagli agenti che operano su browser, codebase o sistemi aziendali.

Si consideri un agente di programmazione che indaga su un errore intermittente nei test. Potrebbe ispezionare i log, modificare una configurazione, rieseguire i test, confrontare gli output e tornare a un'ipotesi precedente. Perdere la catena causale tra queste azioni può portare l'agente a ripetere il lavoro o ad accettare una spiegazione falsa.

Un agente di ricerca aziendale affronta lo stesso problema tra documenti diversi. Deve distinguere i fatti consolidati dalle interpretazioni provvisorie, preservandone al contempo le fonti. La sola capacità di gestire input lunghi non garantisce che le prove giuste continuino a influenzare il processo.

ARC-AGI-3 comprime questi problemi in ambienti controllati. I mondi sono artificiali, ma la necessità di apprendere da feedback sequenziali è riconoscibile. Questo rende il benchmark più rilevante per il comportamento degli agenti rispetto a un esame a turno singolo.

Rende però anche più difficili i confronti. In un benchmark statico, il prompt e la risposta generata definiscono gran parte del sistema testato. In un benchmark interattivo, le decisioni di orchestrazione si accumulano lungo decine o centinaia di passaggi.

Il sistema potrebbe dover decidere cosa inserire nel prompt successivo, cosa trasformare in una nota durevole e quando riassumere una cronologia precedente. Potrebbe inoltre dover gestire chiamate API fallite senza corrompere il proprio stato.

Queste decisioni sono spesso prese al di fuori del modello di base. Eppure influenzano direttamente la capacità apparente del modello di sostenere il ragionamento nel tempo.

Google ha progettato Argon per traiettorie lunghe. Il suo annuncio del modello afferma che il modello supporta un limite di output di un milione di token e punta a lavori complessi e in più fasi. Google descrive inoltre applicazioni nell'ingegneria del software, nella ricerca e nella cybersicurezza difensiva.

Queste rimangono affermazioni dell'azienda, salvo valutazioni indipendenti in ciascun settore. Ciononostante, il risultato del provider adapter è coerente con la proposizione più circoscritta secondo cui Argon beneficia di uno stato di ragionamento preservato.

L'harness standard espone l'altro lato della questione. Un modello costruito attorno a traiettorie interne persistenti può perdere gran parte del proprio vantaggio quando viene costretto a passare attraverso un'interfaccia più sottile e neutrale rispetto al provider.

Ecco perché il confronto tra gli harness di ARC-AGI-3 è importante. Chiede se la capacità si trasferisca con il nome del modello o dipenda da un particolare stack di distribuzione.

La principale sfida è tra stato nativo del provider e agenti portabili

La competizione più importante non è più soltanto Google contro OpenAI. È continuità nativa del provider contro orchestrazione portabile.

Lo stato nativo del provider offre a un modello accesso a funzionalità progettate insieme al suo sistema di inferenza. Il ragionamento trattenuto può preservare lavoro interno che sarebbe costoso o incompleto esprimere come testo ordinario. La compattazione può ridurre una lunga cronologia mantenendo le informazioni selezionate dai meccanismi del provider.

Questo approccio può offrire prestazioni più elevate con meno lavoro di ingegneria sul lato applicativo. Uno sviluppatore invia azioni attraverso l'interfaccia supportata, mentre il provider gestisce una parte maggiore del processo di ragionamento a lungo termine.

Il compromesso è la dipendenza. Se le prestazioni di un agente dipendono da uno stato opaco, gli sviluppatori non possono ispezionare, esportare o riprodurre completamente quello stato tramite un altro provider. Un flusso di lavoro può rimanere legato a una sola API anche quando i prompt visibili sembrano portabili.

L'harness standard rappresenta un'architettura più trasferibile. Il modello può scrivere note che restano disponibili tra un turno e l'altro, ma l'interfaccia non dipende dallo stato interno specifico del provider. Gli sviluppatori possono ispezionare quelle note e applicare un modello simile a un altro modello.

Questa trasparenza non garantisce prestazioni equivalenti. Il punteggio standard di Gemini 4 Argon suggerisce che le note visibili non abbiano preservato una quantità sufficiente di ciò di cui Argon aveva bisogno in questi ambienti. Il modello potrebbe aver perso ipotesi, relazioni causali o piani durante le interazioni ripetute.

Un quaderno esplicito può anche diventare rumoroso. Se l'agente registra troppo, i prompt successivi si riempiono di osservazioni obsolete. Se registra troppo poco, scoperte importanti scompaiono.

La compattazione del provider può affrontare questo equilibrio, ma le sue decisioni sono meno visibili. Un punteggio elevato dice agli utenti che il sistema completo ha funzionato nelle condizioni di valutazione. Non rivela ogni dettaglio di ciò che il processo di compattazione ha mantenuto.

La politica di test di ARC Prize riconosce che i due harness rispondono a domande diverse. L'organizzazione li riporta separatamente invece di trattarli come implementazioni intercambiabili.

L'harness standard chiede come si comporta un modello attraverso un'interfaccia minima e neutrale rispetto al provider. Il provider adapter chiede come si comporta quando è abbinato alle funzionalità di gestione del contesto offerte dal suo creatore.

Nessuna delle due domande è banale. La portabilità conta per gli acquirenti che desiderano potere negoziale, auditabilità e provider di riserva. Le prestazioni native contano per i team che necessitano del miglior risultato disponibile su flussi di lavoro difficili.

GPT-6 Astra di OpenAI fornisce il riferimento competitivo più chiaro. La sua configurazione provider adapter rimane davanti ad Argon nella classifica ARC-AGI-3. Anche il suo punteggio standard è superiore al risultato standard pubblicato di Argon, sebbene il confronto debba tenere conto delle esecuzioni incomplete di Argon.

La classifica ufficiale rafforza l'importanza di distinguere le configurazioni. ARC Prize etichetta i risultati standard e quelli dei provider-adapter e spiega che conservano forme di stato diverse.

Questa struttura mette sotto pressione ogni laboratorio di frontiera. Un provider non può più pubblicare un singolo punteggio di un agente senza spiegare il runtime che lo ha prodotto. Gli acquirenti dovrebbero chiedere se un risultato ha utilizzato stato nativo, strumenti esterni, campionamento ripetuto, memoria privata o scaffolding specifico per il compito.

La pressione raggiunge anche le piattaforme di agenti indipendenti. La loro proposta di valore si basa spesso sul rendere i modelli intercambiabili, aggiungendo memoria, strumenti e controllo dei flussi di lavoro sopra l'API.

Se gli adapter nativi dei provider continuano a produrre divari di questa entità, i livelli di orchestrazione generici si trovano davanti a una scelta difficile. Possono restare portabili accettando prestazioni di picco inferiori, oppure costruire integrazioni profonde che riducono l'intercambiabilità pratica.

Gli sviluppatori non dovrebbero presumere che questa scelta sia permanente. Capacità che iniziano come funzioni di harness specializzati possono migrare verso API standard. Anche i sistemi di memoria esplicita possono migliorare, man mano che i team comprendono cosa gli agenti devono conservare.

Per ora, Gemini 4 Argon rende questa divisione insolitamente evidente. Il modello appare vicino alla saturazione con un'interfaccia e lontano dalla saturazione con un'altra.

Questo divario è più informativo di una singola classifica. Mostra che la selezione del modello e l'architettura dell'agente sono diventate decisioni d'acquisto inseparabili.

Cosa non dimostra il punteggio del 97,5%

Un punteggio di benchmark verificato è una forte evidenza su un test definito, non un certificato generale di intelligenza autonoma.

ARC Prize verifica i punteggi di frontiera su compiti semi-privati per ridurre l'overfitting diretto. Gli elementi di test vengono inviati alle API dei provider con garanzie di conservazione dei dati, e i risultati includono informazioni di valutazione a livello di compito.

Questo processo è più credibile di un punteggio auto-dichiarato su un test pubblico. Limita la capacità di un laboratorio di ottimizzare direttamente rispetto all'intero set di valutazione.

La verifica non amplia comunque la portata dell'affermazione. Gemini 4 Argon ha raggiunto il 97,5% con un harness nominato, un'impostazione di ragionamento, un metodo di valutazione e un budget di azioni specifici. Modificare queste condizioni può cambiare il risultato, come dimostra il punteggio standard.

Gli ambienti ARC-AGI-3 occupano inoltre un dominio specifico. Testano esplorazione e adattamento all'interno di mondi interattivi basati su griglie. I flussi di lavoro aziendali reali aggiungono istruzioni ambigue, autorizzazioni variabili, siti web inaffidabili, documenti in conflitto e conseguenze per azioni errate.

Un modello può eccellere nel benchmark e avere comunque difficoltà con un flusso di lavoro enterprise i cui criteri di successo restano poco chiari. Al contrario, un agente ottimizzato per un processo aziendale stabile può creare valore senza ottenere punteggi elevati in ambienti astratti.

Le esecuzioni standard incomplete creano un'altra incertezza. ARC Prize ha attribuito la copertura mancante a problemi API, ma il solo risultato pubblico non può dire agli acquirenti con quale frequenza interruzioni simili si verificheranno in produzione.

Gli agenti a lunga esecuzione necessitano di comportamenti di recupero. Devono sapere se una richiesta fallita può essere ritentata in sicurezza, se lo stato sopravvive a quel tentativo e se un'azione di strumento interrotta ha prodotto una modifica esterna.

Queste proprietà operative non sono secondarie. Un agente che ragiona correttamente ma perde lo stato dopo un guasto di rete può essere meno utile di un modello più debole con un recupero prevedibile.

Il risultato del 97,5% non dimostra neppure che un maggiore sforzo di ragionamento aiuti sempre. L'impostazione bassa di Argon ha superato di poco le configurazioni provider-adapter media e alta. Questa lieve differenza potrebbe riflettere la dinamica dei compiti anziché una legge generale, ma mette in guardia dall'equiparare più inferenza a risultati migliori.

I team dovrebbero testare le impostazioni di ragionamento rispetto ai propri requisiti di latenza, affidabilità e qualità. La traiettoria più costosa o più lunga non è automaticamente la configurazione migliore.

Il framework originale di benchmark di ARC Prize distingue inoltre l'abilità generale del modello dall'ingegneria dell'harness specifica per il compito. Il suo rapporto tecnico avverte che un harness progettato attorno ad ambienti pubblici noti può gonfiare le prestazioni senza trasferirsi a domini non visti.

Il provider adapter non è presentato come un risolutore codificato a mano specifico per ARC. Utilizza funzioni generali di gestione del contesto. Ciononostante, i lettori dovrebbero evitare di trasformare un alto punteggio interattivo nell'affermazione che il modello abbia raggiunto un'intelligenza generale di livello umano.

L'interpretazione più solida e difendibile è più circoscritta. Gemini 4 Argon può ottenere risultati estremamente elevati nei compiti ARC-AGI-3 semi-privati quando il suo stato di ragionamento persiste attraverso il design dell'adapter di Google.

Una seconda conclusione difendibile è che la stessa capacità non si trasferisce in modo pulito attraverso l'interfaccia standard di ARC Prize. Resta irrisolto se ciò rifletta una debolezza del modello, una mancata corrispondenza nel comportamento di presa di appunti, instabilità dell'API o più fattori.

Le valutazioni enterprise dovrebbero riprodurre entrambi i lati di questo test. I team possono confrontare l'interfaccia agente nativa di un provider con un'implementazione portabile che memorizza esplicitamente piani e prove.

Dovrebbero misurare il completamento dei compiti, il lavoro ripetuto, il recupero dopo un guasto e la qualità delle prove conservate. Per i flussi di lavoro ad alta intensità di conoscenza, una base di conoscenza AI tracciabile può integrare la memoria del modello mantenendo ispezionabile il materiale sorgente.

Questo non sostituisce lo stato di ragionamento. Crea un record separato che gli utenti possono verificare quando la continuità interna del modello è opaca.

La differenza di 47,7 punti è quindi un motivo per eseguire valutazioni migliori, non per abbandonare i benchmark. Rivela una variabile di deployment che un singolo punteggio avrebbe nascosto.

Tre segnali mostreranno se il risultato si trasferisce

Le prossime evidenze devono mostrare se il vantaggio dell'adapter di Argon sopravvive a test più ampi, guasti operativi e deployment reali.

Il primo segnale è un nuovo test completo con harness standard. ARC Prize dovrebbe poter rieseguire tutti i 55 compiti semi-privati dopo la risoluzione dei problemi API segnalati.

Un'esecuzione completa stabilirebbe quale parte del risultato del 49,8% sia dipesa dalla copertura mancante dei compiti. Se Argon restasse vicino a quel livello, l'ipotesi di un reale divario architetturale diventerebbe più forte.

Se il punteggio standard aumentasse nettamente, il confronto originale richiederebbe una revisione. Suggerirebbe che l'affidabilità del servizio, più che il solo design della memoria, abbia ampliato la differenza pubblicata.

Il secondo segnale riguarda le prestazioni con harness comparabili di altri laboratori. OpenAI fornisce già il riferimento principale, ma ulteriori risultati verificati mostrerebbero se grandi guadagni dagli adapter sono comuni tra i modelli di frontiera.

Se Anthropic, xAI o un altro provider mostrasse un modello simile, lo stato nativo del provider apparirebbe come una caratteristica generale degli agenti avanzati. L'industria dovrebbe quindi trattare la scelta dell'harness come un campo standard di rendicontazione.

Se altri modelli restassero stabili con entrambi gli harness, il divario di Argon apparirebbe più specifico del modello. Google subirebbe quindi pressioni per migliorare la continuità portabile basata su note o documentare più chiaramente i requisiti dell'adapter.

Il terzo segnale è costituito dalle evidenze provenienti da flussi di lavoro produttivi a lunga esecuzione. Google afferma che Argon è in fase di test nell'ingegneria del software, nella ricerca e nella cybersecurity. Questi domini possono rivelare se il ragionamento preservato migliori i risultati oltre i giochi controllati.

I report utili includerebbero tassi di completamento multi-step, frequenza degli interventi, recupero dopo chiamate interrotte e percentuale di azioni che gli utenti devono annullare. I punteggi medi dei benchmark non possono sostituire queste misurazioni operative.

Gli sviluppatori dovrebbero anche osservare se Google offre maggiore controllo sulla compattazione e sul ragionamento conservato. Un'interfaccia che consenta agli utenti di ispezionare riepiloghi, impostare policy di conservazione o esportare stato durevole ridurrebbe alcune preoccupazioni di portabilità e governance.

Senza tali controlli, gli acquirenti ricevono prestazioni ma devono fidarsi di un processo di memoria nascosto. Questa configurazione può essere accettabile per compiti a basso rischio e più difficile da approvare per lavori regolamentati o sensibili alla sicurezza.

Il punteggio ARC-AGI-3 di Gemini 4 Argon dovrebbe quindi cambiare la pratica di valutazione prima di cambiare la definizione di intelligenza di chiunque. Il solo nome di un modello non descrive più il prodotto testato.

I team che confrontano sistemi di agenti dovrebbero registrare la versione del modello, il livello di ragionamento, l'harness, la policy di memoria, il metodo di compattazione del contesto e il comportamento di recupero dagli errori. Dovrebbero inoltre conservare le prove utilizzate per decisioni rilevanti.

Il punteggio del 97,5% mostra ciò che Argon può fare quando è disponibile il percorso preferito da Google per la gestione dello stato. Il punteggio del 49,8% mostra quante prestazioni possono scomparire quando quel percorso cambia.

Quale risultato conti di più dipende dal sistema che viene acquistato. Il passo pratico successivo è testare l'interfaccia esatta che utilizzerà la vostra applicazione, quindi chiedersi se la sua memoria rimanga accurata, ispezionabile e recuperabile lungo l'intero flusso di lavoro.