MineExplorer mostra che gli agenti multimodali vacillano all’aumentare della complessità dei compiti

Claude Opus 4.6 di Anthropic ha guidato MineExplorer, ma il suo tasso di successo è sceso dal 77% nei compiti a un hop al 12% in quelli a quattro hop. Nel complesso, il modello ha completato soltanto il 41% del benchmark, secondo i risultati pubblicati dal team LongCat di Meituan.

Questo crollo è il vero punto della storia di Anthropic MineExplorer. Claude ha ottenuto buoni risultati quando l’obiettivo richiedeva un solo passaggio diretto. Ha invece faticato quando il successo dipendeva dalla scoperta e dal coordinamento di più prerequisiti impliciti in un mondo in continua evoluzione.

MineExplorer misura questo divario attraverso 813 scenari Minecraft verificati da esseri umani, della durata massima di tre minuti. Testa 18 modelli multimodali appartenenti a otto famiglie, inclusi sistemi Claude, GPT e Gemini. Gli autori del benchmark hanno rilasciato il codice, il dataset, il flusso di generazione dei compiti e l’ambiente di valutazione.

Il risultato mette in discussione un’assunzione diffusa sugli agenti multimodali. Riconoscere una minaccia, un oggetto o una risorsa non significa che un modello sappia mantenere un piano utile mentre l’ambiente cambia. MineExplorer trasforma questa distinzione in una curva di fallimento misurabile.

I precedenti benchmark su Minecraft esaminavano pianificazione, esecuzione delle istruzioni, costruzione o conoscenza del gioco. MineExplorer elimina invece molti compiti che dipendono in larga misura da regole specifiche di Minecraft. Il suo obiettivo dichiarato è più ampio: un’esplorazione che combini percezione, ragionamento e azione lungo una traiettoria prolungata.

Il benchmark resta un preprint e Minecraft non può rappresentare ogni ambiente fisico. Tuttavia, i risultati esercitano una pressione immediata sulle affermazioni secondo cui una visione più avanzata e un contesto più lungo producano automaticamente agenti autonomi affidabili.

MineExplorer trasforma tre minuti in un serio test per agenti

MineExplorer sposta l’obiettivo della valutazione dal riconoscimento di una scena alla gestione di una sequenza di decisioni interdipendenti.

Il team LongCat ha presentato MineExplorer in un preprint del maggio 2026. Una seconda versione è seguita il 12 giugno, mentre il team tecnico di Meituan ha pubblicato a luglio un riepilogo dettagliato dei risultati.

Ogni episodio può durare 1.800 passaggi ambientali. Un passaggio rappresenta 0,1 secondi, per un totale di tre minuti di interazione continua. Il mondo si aggiorna dopo ogni azione, quindi il modello deve riconsiderare ripetutamente ciò che vede e ciò che dovrebbe fare in seguito.

Questa durata può sembrare breve secondo parametri umani. È lunga per un agente che deve osservare immagini, mantenere lo stato, selezionare azioni e recuperare dagli errori attraverso centinaia di interazioni.

I compiti sono divisi in base al numero di hop. Un compito a un hop presenta un obiettivo che non richiede all’agente di dedurre un sottocompito implicito. Gli scenari da due a quattro hop aggiungono prerequisiti nascosti che devono essere scoperti attraverso l’ambiente.

Si consideri un agente incaricato di raggiungere una posizione protetta. Il percorso immediato potrebbe essere bloccato, lo strumento necessario potrebbe trovarsi altrove e le entità ostili potrebbero limitare il movimento. L’istruzione indica la destinazione, ma non tutte le azioni necessarie per raggiungerla.

MineExplorer rappresenta ogni compito composito con uno stato iniziale, un’istruzione in linguaggio naturale, un grafo delle dipendenze e milestone basate su regole. Il grafo delle dipendenze registra la struttura nascosta del compito. Il modello non riceve mai quel grafo completo.

Le milestone consentono al valutatore di misurare i progressi parziali senza chiedere a un altro modello linguistico di giudicare l’intera traiettoria. Una milestone può rilevare se l’agente ha trovato un oggetto, è entrato in un’area o ha completato un’azione intermedia richiesta.

Gli autori hanno confrontato questi esiti automatizzati con valutazioni umane delle traiettorie di Claude Opus 4.6. Gli insiemi di milestone completati hanno ricevuto punteggi umani medi vicini a quattro su una scala di cinque. Gli insiemi completamente falliti sono rimasti sotto tre.

Questo accordo non rende perfetto il valutatore. Fornisce però evidenza che il completamento delle milestone catturi progressi significativi, anziché eventi arbitrari del gioco.

Il team ha inoltre cercato di separare l’esplorazione dalla conoscenza memorizzata di Minecraft. I compiti atomici candidati sono stati selezionati in base alla dipendenza da convenzioni specifiche del gioco. Sono stati rimossi i compiti dominati da conoscenze specialistiche.

Questa scelta progettuale è importante perché un agente può fallire un obiettivo di Minecraft per due ragioni molto diverse. Potrebbe non conoscere una ricetta della wiki del gioco, oppure potrebbe non riuscire a collegare le prove visibili a un piano praticabile.

MineExplorer cerca di enfatizzare il secondo problema. Le sue 14 categorie di capacità coprono percezione, ragionamento e azione. Includono percezione spaziale e temporale, tracciamento delle entità, consapevolezza delle risorse, ragionamento causale, movimento, raccolta, posizionamento, crafting e combattimento.

Gli 813 esempi pubblicati coprono dipendenze da uno a quattro hop. Il dataset aperto include testi dei compiti, comandi di configurazione delle scene, compiti atomici selezionati, milestone, grafi delle dipendenze e note progettuali.

Non si tratta di un semplice insieme statico di domande. I ricercatori possono esaminare come sono state costruite le scene, rieseguire le valutazioni, creare varianti più difficili o usare l’ambiente per l’addestramento.

Questa apertura offre al benchmark la possibilità di influenzare lo sviluppo degli agenti. Rende anche più facile metterne in discussione le assunzioni, una caratteristica importante per un benchmark che avanza affermazioni ampie sull’esplorazione.

Perché il primato di Anthropic in MineExplorer resta un avvertimento

Claude Opus 4.6 ha vinto il confronto, ma il suo vantaggio rivela quanto ogni modello testato resti lontano da un comportamento affidabile su orizzonti lunghi.

Il benchmark ha valutato 18 modelli multimodali avanzati appartenenti a otto famiglie. Claude Opus 4.6 ha ottenuto il più alto tasso complessivo di successo nei compiti, raggiungendo il 41%.

Un risultato del 41% può sembrare rispettabile se osservato soltanto come posizione in classifica. Appare molto più debole quando viene separato per profondità del compito.

Claude Opus 4.6 ha completato il 77% dei compiti a un hop. Il suo tasso di successo è sceso al 12% in quelli a quattro hop. Il calo di 65 punti mostra che le dipendenze aggiuntive fanno più che aumentare leggermente la difficoltà.

Ogni prerequisito nascosto crea un’altra occasione per perdere il piano. Il modello deve notare le prove rilevanti, dedurre un obiettivo intermedio, eseguirlo correttamente e conservarne il legame con l’obiettivo finale.

Un errore iniziale può propagarsi per tutto l’episodio. Superare una risorsa necessaria impedisce l’azione successiva. Scegliere il percorso sbagliato consuma passaggi e cambia il punto di vista dell’agente. Un’osservazione successiva potrebbe quindi essere interpretata usando uno stato interno già errato.

Per questo il risultato di Anthropic MineExplorer mette sotto pressione qualcosa di più di Anthropic. Claude è stato il modello più forte del test. La sua curva di fallimento agisce quindi come un limite superiore per questa specifica configurazione, non come prova di una debolezza isolata di Claude.

I risultati complicano anche la narrativa standard sullo scaling dei modelli. L’articolo riporta che modelli più grandi e modalità di ragionamento dedicate non hanno migliorato le prestazioni in modo coerente.

Più parametri possono rafforzare la percezione o il ragionamento su un prompt delimitato. Un ambiente dinamico richiede un’altra capacità: mantenere un utile allineamento tra memoria, osservazioni correnti e obiettivi in evoluzione.

Un contesto più lungo non garantisce tale allineamento. Può conservare immagini vecchie che non descrivono più la scena presente. Queste osservazioni possono competere con prove più recenti invece di aiutare il modello.

Gli autori hanno testato questo problema aumentando il numero di frame visivi storici. Le prestazioni sono infine diminuite quando le osservazioni obsolete hanno interferito con la comprensione del modello dello stato corrente.

Hanno inoltre esaminato se ai modelli servisse semplicemente più tempo. Gli agenti senza successo hanno continuato a fallire anche quando gli episodi consentivano fino a 1.800 passaggi. I compiti risolvibili tendevano a essere completati prima, mentre le interazioni aggiuntive non hanno salvato molte traiettorie compromesse.

Questi risultati indeboliscono due soluzioni semplicistiche. Dare a un agente più contesto non equivale a dargli una memoria migliore. Dargli più azioni non equivale a dargli un piano migliore.

La pressione si estende agli sviluppatori che realizzano agenti per l’uso del computer, sistemi robotici e strumenti automatizzati di ricerca. Questi prodotti operano al di fuori di uno screenshot fisso. I loro ambienti cambiano in risposta sia all’agente sia agli eventi esterni.

Un agente browser potrebbe dover individuare un record, modificare un filtro, interpretare la pagina aggiornata e verificare l’invio finale. Un robot di magazzino potrebbe dover ricalcolare il percorso dopo aver trovato un corridoio bloccato. Un agente di ricerca potrebbe dover rivedere la propria ricerca dopo aver scoperto prove contraddittorie.

In ciascun caso, l’obiettivo visibile nasconde decisioni prerequisito. Un modello può eseguire correttamente ogni azione isolata e fallire comunque il lavoro completo.

MineExplorer non dimostra che i tassi di fallimento si trasferiranno direttamente a browser o robot. Mostra che il successo nei brevi test multimodali offre garanzie limitate quando si accumulano dipendenze nascoste.

Questa distinzione dovrebbe influenzare le decisioni di acquisto e distribuzione. Gli acquirenti dovrebbero chiedere come un agente si comporta lungo flussi di lavoro completati, non soltanto se il suo modello riconosce schermate o genera azioni successive plausibili.

Il vero problema è la navigazione, non il riconoscimento visivo

Quasi il 60% dei fallimenti di Claude Opus 4.6 è stato attribuito alla navigazione, rendendo il movimento basato sullo stato il più chiaro collo di bottiglia del benchmark.

L’analisi dei fallimenti del team LongCat separa gli errori di navigazione da problemi quali l’interazione con gli oggetti o il ragionamento sui compiti. La navigazione ha rappresentato quasi il 60% dei fallimenti analizzati.

Questa cifra non significa che al modello mancassero semplicemente indicazioni. La navigazione in un mondo aperto combina memoria spaziale, riconoscimento visivo, controllo delle azioni e gestione degli obiettivi.

L’agente deve sapere dove si trova, ricordare dove è stato e determinare se il movimento ha prodotto il risultato previsto. Deve inoltre decidere quando abbandonare un percorso o esplorare un’alternativa.

Un test statico di visione isola solo una parte di questo ciclo. Il modello vede un’immagine e risponde a una domanda. La scena non cambia a causa della sua risposta e una risposta errata non distorce l’osservazione successiva.

Minecraft crea feedback. Se l’agente si gira nella direzione sbagliata, l’immagine successiva contiene prove diverse. Se resta bloccato contro un ostacolo, comandi di movimento ripetuti consumano tempo senza far avanzare il compito.

Il modello deve quindi diagnosticare se è fallito il percorso, l’azione o il suo piano originario. Questa distinzione è difficile quando le osservazioni arrivano come frame separati anziché come una mappa interna stabile.

I punteggi di capacità di MineExplorer rafforzano questa interpretazione. Claude Opus 4.6 ha ricevuto un punteggio di percezione pari a 61,91 e un punteggio di ragionamento pari a 54,71. Nella maggior parte dei modelli valutati, la percezione ha superato l’azione, mentre l’azione ha superato il ragionamento.

I modelli potevano spesso identificare dettagli rilevanti. Hanno avuto maggiori difficoltà a trasformare tali dettagli in una strategia coordinata capace di resistere ai cambiamenti dell’ambiente.

Questo crea un’importante inversione rispetto al modo in cui viene solitamente presentato il progresso multimodale. Una migliore comprensione delle immagini amplia ciò che un agente può notare, ma espone anche la debolezza del sistema di pianificazione che utilizza tali osservazioni.

Un modello che rileva dieci oggetti rilevanti deve comunque decidere quale sia importante in quel momento. Deve collegare quella scelta all’obiettivo finale e mantenere il collegamento dopo che il punto di vista cambia.

Il benchmark si basa sull’approccio ReAct, che alterna ragionamento, azioni e nuove osservazioni. Il framework ReAct originale è stato progettato per consentire ai modelli di rivedere il proprio ragionamento attraverso il feedback ambientale.

MineExplorer mostra dove questo ciclo può interrompersi su traiettorie più lunghe. Il ragionamento si scollega dallo stato attuale, le azioni smettono di servire l'obiettivo originale oppure nuove osservazioni non innescano una revisione necessaria.

La navigazione amplifica tutti e tre i problemi. Un agente fuori posizione vede le prove sbagliate, costruisce una stima errata dello stato e sceglie ulteriori azioni da una posizione degradata.

È un problema più difficile che generare una catena di pensiero più lunga. Un agente ha bisogno di una rappresentazione strutturata di entità persistenti, luoghi, traguardi completati, percorsi falliti e dipendenze irrisolte.

La cronologia visiva grezza è un sostituto debole. Memorizza ciò che ha visto la fotocamera, non ciò che l'agente dovrebbe ricordare.

La stessa distinzione vale per gli agenti aziendali. La trascrizione di ogni schermata precedente non produce automaticamente uno stato del flusso di lavoro affidabile. L'agente deve sapere quale modulo è stato inviato, quale filtro resta attivo e quale requisito è ancora irrisolto.

Per i sistemi incorporati nel mondo fisico, la navigazione diventa al tempo stesso un test fisico e cognitivo. Il modello deve muoversi nello spazio preservando la struttura logica del compito.

La quota del 60% di fallimenti di MineExplorer punta quindi verso interventi a livello di sistema. Controller locali migliori, mappe esplicite, memoria causale, monitoraggio dei progressi e politiche di recupero possono contare quanto un modello di base più potente.

Cosa misura il benchmark, e cosa non misura

MineExplorer offre uno stress test utile, ma i suoi risultati restano circoscritti a un mondo simulato e a una distribuzione di compiti definita dai ricercatori.

L'argomento scettico più forte riguarda la validità esterna. Minecraft offre un mondo 3D dinamico con regole coerenti, ma non riproduce ogni difficoltà presente in abitazioni, fabbriche, uffici o spazi pubblici.

I robot reali affrontano fisica incerta, rumore dei sensori, danni fisici e vincoli di sicurezza. Gli agenti che usano il computer incontrano stati nascosti delle applicazioni, barriere di autenticazione, pop-up e interfacce in evoluzione.

Minecraft elimina molte di queste complicazioni. I suoi oggetti sono discreti, la sua fisica è ripetibile e il suo ambiente può essere ripristinato esattamente.

Questo controllo è anche un vantaggio. I ricercatori possono confrontare i modelli in condizioni identiche e tracciare i fallimenti senza mettere a rischio attrezzature o utenti.

La chiave è trattare MineExplorer come uno strumento diagnostico, non come un punteggio universale dell'intelligenza incarnata. Un risultato del 41% non significa che Claude completerebbe il 41% di flussi di lavoro reali non correlati.

Anche il filtraggio della conoscenza del benchmark richiede attenzione. Gli autori usano giudizi di modelli linguistici per classificare se i compiti atomici dipendano principalmente dalla conoscenza generale o da convenzioni specifiche di Minecraft.

Questo processo riduce gli ovvi fattori confondenti legati alla conoscenza del gioco. Non può garantire che ogni compito mantenuto sia privo di effetti di familiarità.

I modelli addestrati su video, guide o discussioni sul gameplay di Minecraft potrebbero comunque riconoscere layout e comportamenti comuni. Diverse famiglie di modelli potrebbero aver incontrato quantità differenti di questo materiale.

Secondo il suo record su arXiv, il benchmark stesso è ancora in fase di sviluppo. Revisioni future potrebbero modificare compiti, prompt, controller o procedure di valutazione.

La progettazione del controller è particolarmente importante. Un modello multimodale raramente manipola un gioco attraverso il solo ragionamento astratto. Il sistema agente circostante converte gli output del modello in comandi di movimento e interazione.

Le prestazioni riflettono quindi sia il modello sottostante sia la sua infrastruttura di supporto. Un sistema di mappatura o un controller di basso livello migliore potrebbe migliorare i risultati senza modificare il modello.

Gli autori del benchmark riconoscono un'altra limitazione. MineExplorer si concentra attualmente sulla valutazione empirica, anche se la sua infrastruttura può supportare anche l'addestramento.

L'addestramento nell'ambiente del benchmark crea un rischio proprio. Una volta che gli sviluppatori ottimizzano direttamente sui compiti pubblici, i progressi in classifica potrebbero riflettere la specializzazione sul benchmark anziché l'esplorazione generale.

Il codice MineExplorer completamente aperto facilita la replica e l'estensione. Rende però più importanti le questioni di contaminazione e overfitting per le successive versioni dei modelli.

Le valutazioni indipendenti dovrebbero preservare scenari di test nascosti. Dovrebbero inoltre variare layout delle scene, strutture delle dipendenze, implementazioni dei controller e formati dei prompt.

Il contesto storico sostiene questa cautela. MinePlanner aveva già pubblicato 45 compiti Minecraft per la pianificazione a lungo orizzonte e aveva rilevato che pianificatori consolidati faticavano in ambienti ampi contenenti molti oggetti.

Il benchmark MinePlanner si concentrava sulla pianificazione proposizionale e numerica anziché sull'esplorazione multimodale interattiva. I suoi risultati mostravano comunque che Minecraft può evidenziare problemi di scalabilità nascosti da domini di pianificazione più piccoli.

Altri sistemi hanno esaminato l'esecuzione di istruzioni, la costruzione, la memoria e le abilità aperte. Questi progetti usano lo stesso gioco per domande diverse, quindi i loro punteggi principali non dovrebbero essere confrontati direttamente.

Il contributo specifico di MineExplorer è la combinazione di interazione visiva continua, prerequisiti nascosti, costruzione di compiti multi-hop e valutazione di traguardi basata su regole.

La sua affermazione di essere il “primo” va letta all'interno di questa definizione. Minecraft ha ospitato ricerche a lungo orizzonte prima di MineExplorer. La rivendicazione di novità del team riguarda l'esplorazione multimodale open-world su scala di minuti nella sua particolare struttura di valutazione.

Un'altra limitazione è l'assenza di ampie reazioni indipendenti così poco dopo il rilascio. La maggior parte delle interpretazioni dettagliate proviene attualmente dagli autori e dai loro canali tecnici affiliati.

I risultati misurati sono disponibili per l'ispezione, ma le spiegazioni causali restano in parte interpretative. L'ampia quota di fallimenti nella navigazione, per esempio, non isola completamente se la causa primaria fosse la mappatura, la memoria, la pianificazione o l'esecuzione delle azioni.

Queste incertezze non cancellano il risultato centrale. Il successo cala bruscamente man mano che si accumulano prerequisiti nascosti. Definiscono ciò che ulteriori esperimenti dovranno distinguere.

L'open source rende MineExplorer più di una classifica

Il rilascio conta perché i ricercatori possono verificare se memoria, controller o metodi di addestramento migliori appiattiscono la curva di fallimento a lungo orizzonte.

Il team ha usato un flusso di lavoro multi-agente per costruire le istanze del benchmark. Cinque agenti specializzati collaborano sotto un orchestratore che ne controlla la sequenza.

Il flusso di lavoro inizia con una bozza iniziale del compito. Gli agenti specialisti e di validazione discutono poi il progetto, identificano incoerenze e rivedono la scena, il grafo delle dipendenze e i valutatori dei traguardi.

Secondo la valutazione umana degli autori, questo processo ha aumentato la validità delle istanze di circa 30 punti percentuali rispetto a una baseline a singolo agente. Ha inoltre alzato i punteggi di qualità di circa 0,5 punti, con il beneficio maggiore sui compiti a quattro hop.

La versione finale contiene 813 istanze verificate da esseri umani. Un sottoinsieme separato e più difficile fornisce 100 scenari selezionati per la maggiore difficoltà.

Questa pipeline di generazione affronta un problema persistente dei benchmark. Costruire manualmente centinaia di ambienti interattivi è lento, mentre i compiti generati da modelli senza vincoli spesso contengono obiettivi impossibili o valutazioni difettose.

Combinare sintesi automatizzata e verifica umana offre una via di mezzo. L'approccio può produrre più compiti preservando un controllo di qualità.

Lo stesso metodo può generare scenari di addestramento, non soltanto casi di test. I ricercatori possono creare grafi delle dipendenze, istanziare scene sandbox e associare controlli deterministici dei traguardi.

Questo conta perché gli agenti a lungo orizzonte hanno bisogno di esercitarsi su fallimenti che si sviluppano nel tempo. I dataset visivi statici non possono insegnare il recupero dopo una svolta sbagliata o un prerequisito mancato.

L'infrastruttura aperta invita anche ad alternative allo scaling end-to-end dei modelli. Un team può mantenere costante il modello di base e testare mappe spaziali esplicite, memoria episodica, grafi causali o pianificatori gerarchici.

Un altro esperimento potrebbe separare la pianificazione di alto livello dal movimento di basso livello. Il modello potrebbe selezionare gli obiettivi mentre un controller specializzato gestisce l'evitamento degli ostacoli e l'esecuzione del percorso.

I ricercatori possono quindi chiedersi se i fallimenti nella navigazione riflettano un'intelligenza debole, un controllo motorio debole o un'interfaccia instabile tra i due.

Il benchmark può anche supportare la progettazione di curriculum. Gli agenti potrebbero iniziare con compiti a un hop, per poi passare a grafi di dipendenze più profondi quando il loro tasso di completamento si stabilizza.

Tuttavia, i set di addestramento e valutazione devono restare distinti. Riutilizzare scenari pubblici trasformerebbe MineExplorer in un test di memorizzazione.

Il risultato futuro più informativo non sarà un piccolo guadagno in classifica. Sarà un calo più contenuto dai compiti a un hop a quelli a quattro hop.

Un sistema che aumenta il successo complessivo preservando la stessa curva di collasso ha migliorato la competenza locale. Un sistema che mantiene le prestazioni man mano che le dipendenze si approfondiscono ha migliorato il coordinamento a lungo orizzonte.

Questa distinzione dovrebbe orientare la reportistica futura. Il tasso di successo complessivo dei compiti comprime diversi comportamenti in un solo numero. Le prestazioni specifiche per hop rivelano dove l'agente smette di funzionare in modo affidabile.

Il rilascio aperto fornisce ai team esterni gli strumenti per verificare queste affermazioni. Permette inoltre di proporre valutazioni più difficili senza ricostruire l'intero stack Minecraft.

Cosa osservare dopo il risultato Anthropic MineExplorer

La prossima fase dovrebbe concentrarsi sulla replica indipendente, su sistemi di navigazione migliorati e su prestazioni stabili in compiti multi-hop mai visti.

Il primo segnale è la riproduzione indipendente del punteggio complessivo del 41% e del calo dal 77% al 12%. I ricercatori dovrebbero rieseguire Claude Opus 4.6 e altri modelli con impostazioni documentate di controller, prompt e ambiente.

Una riproduzione ravvicinata rafforzerebbe l'affermazione che i prerequisiti nascosti guidano un modello generale di fallimento. Grandi differenze suggerirebbero che l'infrastruttura dell'agente contribuisce più di quanto indichi la classifica iniziale.

Il secondo segnale è se sistemi espliciti di stato e navigazione riducono la categoria di fallimento dominante. Esperimenti utili dovrebbero confrontare la cronologia grezza dei frame con mappe, memoria strutturata, grafi causali dei compiti e politiche di recupero del percorso.

Un miglioramento significativo ridurrebbe i fallimenti di navigazione senza sacrificare le prestazioni di ragionamento o azione. Limitarsi ad aumentare la finestra di contesto non risponderebbe alla critica centrale del benchmark.

Il terzo segnale è la prestazione di modelli più recenti su scenari a quattro hop tenuti separati. Gli sviluppatori dovrebbero riportare il successo dei compiti per numero di hop, non soltanto una media complessiva.

Un modello che ottiene punteggi più alti sui compiti a un hop restando vicino al 12% su quelli a quattro hop non ha colmato il divario a lungo orizzonte. Risultati più forti su strutture di dipendenze mai viste offrirebbero prove migliori di esplorazione generale.

I lettori dovrebbero inoltre osservare se gli sviluppatori di modelli adottano MineExplorer o valutazioni correlate nelle schede di sistema ufficiali. L'inclusione segnalerebbe che l'interazione multimodale prolungata sta diventando un obiettivo standard delle capacità.

Per gli sviluppatori, la lezione pratica è già chiara. Non valutate un agente soltanto attraverso azioni isolate o dimostrazioni rifinite.

Testate flussi di lavoro completi con prerequisiti nascosti, stato variabile e opportunità di recupero. Misurate dove l'agente perde traccia del proprio obiettivo e distinguete gli errori di percezione dai fallimenti di navigazione, ragionamento e controllo.

Gli acquirenti aziendali dovrebbero richiedere le stesse prove. La posizione di un modello in un benchmark dice poco sulla capacità di un agente integrato di completare con coerenza un processo in più fasi.

MineExplorer non risolve il dibattito sull'AI incarnata. Fornisce un modo riproducibile per rendere più difficile ignorare una debolezza.

Il risultato Anthropic MineExplorer è particolarmente rivelatore perché Claude Opus 4.6 si è classificato primo. Il modello più forte testato ha comunque perso 65 punti percentuali man mano che la profondità del compito passava da un hop a quattro.

Questo è il ribaltamento centrale del benchmark. Gli attuali modelli multimodali riescono spesso a descrivere un mondo che non sono in grado di navigare in modo affidabile.

La prossima pietra miliare credibile per gli agenti non è quindi un’altra risposta perfetta basata su uno screenshot. È un progresso costante in un ambiente non familiare, inclusa la capacità di accorgersi di aver preso una strada sbagliata e recuperare prima che il compito si concluda.