MineExplorer montre que les agents multimodaux échouent à mesure que la profondeur des tâches augmente

Claude Opus 4.6 d’Anthropic a dominé MineExplorer, mais son taux de réussite est passé de 77 % sur les tâches à un saut à 12 % sur les tâches à quatre sauts. Le modèle n’a achevé que 41 % du benchmark au total, selon les résultats publiés par l’équipe LongCat de Meituan.

Cet effondrement constitue le véritable enseignement de MineExplorer pour Anthropic. Claude a bien fonctionné lorsque l’objectif ne nécessitait qu’une étape directe. Il a peiné lorsque la réussite dépendait de la découverte et de la coordination de plusieurs prérequis implicites dans un monde en évolution.

MineExplorer mesure cet écart à travers 813 scénarios Minecraft vérifiés par des humains, d’une durée pouvant atteindre trois minutes. Il teste 18 modèles multimodaux issus de huit familles de modèles, dont des systèmes Claude, GPT et Gemini. Les auteurs du benchmark ont publié son code, son jeu de données, son flux de génération des tâches et son environnement d’évaluation.

Le résultat remet en question une hypothèse courante concernant les agents multimodaux. Reconnaître une menace, un objet ou une ressource ne signifie pas qu’un modèle puisse conserver un plan utile pendant que l’environnement évolue. MineExplorer transforme cette distinction en une courbe d’échec mesurable.

Les précédents benchmarks Minecraft examinaient la planification, le suivi d’instructions, la construction ou la connaissance du jeu. MineExplorer écarte au contraire de nombreuses tâches qui dépendent fortement de règles spécifiques à Minecraft. Son objectif affiché est plus large : une exploration combinant perception, raisonnement et action sur une trajectoire prolongée.

Le benchmark reste une prépublication, et Minecraft ne peut pas représenter tous les environnements physiques. Néanmoins, ces résultats exercent une pression immédiate sur les affirmations selon lesquelles une vision plus performante et un contexte plus long produisent automatiquement des agents autonomes fiables.

MineExplorer transforme trois minutes en un test exigeant pour les agents

MineExplorer fait passer l’objectif de l’évaluation de la reconnaissance d’une scène à la survie dans une séquence de décisions interdépendantes.

L’équipe LongCat a présenté MineExplorer dans une prépublication de mai 2026. Une seconde version a suivi le 12 juin, tandis que l’équipe technique de Meituan a publié en juillet un résumé détaillé des résultats.

Chaque épisode peut durer 1 800 étapes d’environnement. Une étape représente 0,1 seconde, soit trois minutes d’interaction continue. Le monde est mis à jour après chaque action ; le modèle doit donc réévaluer à plusieurs reprises ce qu’il voit et ce qu’il doit faire ensuite.

Cette durée semble courte à l’échelle humaine. Elle est longue pour un agent qui doit observer des images, maintenir un état, sélectionner des actions et se remettre d’erreurs sur des centaines d’interactions.

Les tâches sont réparties selon leur nombre de sauts. Une tâche à un saut présente un objectif qui n’oblige pas l’agent à inférer une sous-tâche implicite. Les scénarios à deux, trois ou quatre sauts ajoutent des prérequis cachés qui doivent être découverts dans l’environnement.

Prenons un agent chargé d’atteindre un lieu protégé. L’itinéraire direct peut être bloqué, l’outil requis peut se trouver ailleurs et des entités hostiles peuvent limiter les déplacements. L’instruction désigne la destination, mais pas toutes les actions nécessaires pour l’atteindre.

MineExplorer représente chaque tâche composite par un état initial, une instruction en langage naturel, un graphe de dépendances et des jalons fondés sur des règles. Le graphe de dépendances enregistre la structure cachée de la tâche. Le modèle ne reçoit jamais ce graphe complet.

Les jalons permettent à l’évaluateur de mesurer les progrès partiels sans demander à un autre modèle de langage de juger l’ensemble de la trajectoire. Un jalon peut détecter si l’agent a trouvé un objet, pénétré dans une zone ou effectué une action intermédiaire requise.

Les auteurs ont comparé ces résultats automatisés aux évaluations humaines des trajectoires de Claude Opus 4.6. Les ensembles de jalons achevés ont reçu des scores humains moyens proches de quatre sur une échelle de cinq points. Les ensembles ayant entièrement échoué sont restés sous trois.

Cette concordance ne rend pas l’évaluateur parfait. Elle indique toutefois que l’achèvement des jalons capture des progrès significatifs, plutôt que des événements arbitraires du jeu.

L’équipe a également tenté de distinguer l’exploration d’une expertise Minecraft mémorisée. Les tâches atomiques candidates ont été examinées afin d’évaluer leur dépendance à des conventions propres au jeu. Les tâches dominées par des connaissances spécialisées ont été retirées.

Ce choix de conception est important, car un agent peut échouer à un objectif Minecraft pour deux raisons très différentes. Il peut ignorer une recette figurant dans le wiki du jeu, ou ne pas réussir à relier des éléments visibles à un plan réalisable.

MineExplorer cherche à mettre l’accent sur le second problème. Ses 14 catégories de capacités couvrent la perception, le raisonnement et l’action. Elles comprennent notamment la perception spatiale et temporelle, le suivi d’entités, la connaissance des ressources, le raisonnement causal, le déplacement, la collecte, le placement, la fabrication et le combat.

Les 813 exemples publiés couvrent des dépendances d’un à quatre sauts. Le jeu de données ouvert comprend le texte des tâches, les commandes de mise en place des scènes, des tâches atomiques sélectionnées, des jalons, des graphes de dépendances et des notes de conception.

Il s’agit de plus qu’un ensemble statique de questions. Les chercheurs peuvent examiner la manière dont les scènes ont été construites, relancer les évaluations, créer des variantes plus difficiles ou utiliser l’environnement pour l’entraînement.

Cette ouverture donne au benchmark une chance d’influencer le développement des agents. Elle rend aussi ses hypothèses plus faciles à contester, une caractéristique importante pour un benchmark avançant de vastes affirmations sur l’exploration.

Pourquoi la première place d’Anthropic sur MineExplorer reste un avertissement

Claude Opus 4.6 a remporté la comparaison, mais son avance révèle à quel point tous les modèles testés restent éloignés d’un comportement fiable à long horizon.

Le benchmark a évalué 18 modèles multimodaux avancés issus de huit familles. Claude Opus 4.6 a atteint le taux global de réussite le plus élevé, à 41 %.

Un résultat de 41 % peut sembler respectable si l’on ne considère que sa position au classement. Il paraît bien plus faible lorsqu’il est ventilé selon la profondeur des tâches.

Claude Opus 4.6 a achevé 77 % des tâches à un saut. Son taux de réussite est tombé à 12 % sur les tâches à quatre sauts. Cette baisse de 65 points montre que des dépendances supplémentaires font plus qu’ajouter un peu de difficulté.

Chaque prérequis caché crée une occasion supplémentaire de perdre le fil du plan. Le modèle doit remarquer les éléments pertinents, inférer un objectif intermédiaire, l’exécuter correctement et préserver son lien avec l’objectif final.

Une erreur précoce peut se propager tout au long de l’épisode. Passer devant une ressource nécessaire empêche l’action suivante. Choisir le mauvais itinéraire consomme des étapes et modifie la vue de l’agent. Une observation ultérieure peut alors être interprétée à partir d’un état interne déjà erroné.

C’est pourquoi le résultat d’Anthropic sur MineExplorer met sous pression bien plus qu’Anthropic. Claude était le modèle le plus performant du test. Sa courbe d’échec sert donc de plafond pour cette configuration particulière, et non de preuve d’une faiblesse isolée de Claude.

Les conclusions compliquent également le récit habituel de la mise à l’échelle des modèles. L’article indique que les modèles plus grands et les modes de raisonnement dédiés n’ont pas amélioré les performances de manière constante.

Un plus grand nombre de paramètres peut renforcer la perception ou le raisonnement face à une invite circonscrite. Un environnement dynamique exige une autre capacité : maintenir un alignement utile entre la mémoire, les observations actuelles et des objectifs changeants.

Un contexte plus long ne garantit pas cet alignement. Il peut conserver d’anciennes images qui ne décrivent plus la scène actuelle. Ces observations peuvent rivaliser avec des éléments plus récents au lieu d’aider le modèle.

Les auteurs ont testé ce problème en augmentant le nombre d’images visuelles historiques. Les performances ont fini par décliner lorsque des observations obsolètes ont interféré avec la compréhension de l’état actuel par le modèle.

Ils ont également étudié si les modèles avaient simplement besoin de plus de temps. Les agents qui échouaient continuaient d’échouer même lorsque les épisodes autorisaient jusqu’à 1 800 étapes. Les tâches résolubles avaient tendance à être achevées plus tôt, tandis que des interactions supplémentaires ne sauvaient pas de nombreuses trajectoires compromises.

Ces résultats fragilisent deux solutions faciles. Donner davantage de contexte à un agent n’équivaut pas à lui donner une meilleure mémoire. Lui donner plus d’actions n’équivaut pas à lui donner un meilleur plan.

La pression s’étend aux développeurs d’agents d’utilisation d’ordinateur, de systèmes robotiques et d’outils de recherche automatisée. Ces produits fonctionnent au-delà d’une capture d’écran fixe. Leurs environnements changent en réponse à la fois à l’agent et à des événements externes.

Un agent de navigateur peut devoir localiser un dossier, modifier un filtre, interpréter la page mise à jour et vérifier l’envoi final. Un robot d’entrepôt peut devoir changer d’itinéraire après avoir découvert qu’une allée est bloquée. Un agent de recherche peut devoir réviser sa recherche après avoir trouvé des éléments contradictoires.

Dans chaque cas, l’objectif visible cache des décisions préalables. Un modèle peut exécuter correctement chaque action isolée et pourtant échouer dans l’accomplissement de la tâche entière.

MineExplorer ne prouve pas que les taux d’échec se transféreront directement aux navigateurs ou aux robots. Il montre que la réussite sur de courts tests multimodaux offre peu de garanties lorsque les dépendances cachées s’accumulent.

Cette distinction devrait influencer les décisions d’achat et de déploiement. Les acheteurs devraient demander comment un agent se comporte sur des flux de travail achevés, et non seulement si son modèle reconnaît des écrans ou génère des actions suivantes plausibles.

Le véritable problème est la navigation, pas la reconnaissance visuelle

Près de 60 % des échecs de Claude Opus 4.6 ont été attribués à la navigation, faisant des déplacements avec maintien d’état le goulot d’étranglement le plus évident du benchmark.

L’analyse des échecs de l’équipe LongCat distingue les erreurs de navigation des problèmes tels que l’interaction avec les objets ou le raisonnement sur les tâches. La navigation représentait près de 60 % des échecs analysés.

Ce chiffre ne signifie pas que le modèle manquait simplement d’indications. La navigation dans un monde ouvert combine mémoire spatiale, reconnaissance visuelle, contrôle des actions et gestion des objectifs.

L’agent doit savoir où il se trouve, se souvenir des endroits déjà visités et déterminer si son déplacement a produit le résultat attendu. Il doit aussi décider quand abandonner un itinéraire ou explorer une autre option.

Un test de vision statique n’isole qu’une partie de cette boucle. Le modèle voit une image et répond à une question. La scène ne change pas à cause de sa réponse, et une réponse erronée ne déforme pas l’observation suivante.

Minecraft crée une boucle de rétroaction. Si l’agent tourne dans la mauvaise direction, son image suivante contient des éléments différents. S’il reste bloqué contre un obstacle, des commandes de déplacement répétées consomment du temps sans faire progresser la tâche.

Le modèle doit alors diagnostiquer si l’itinéraire a échoué, si l’action a échoué ou si son plan initial était erroné. Cette distinction est difficile lorsque les observations arrivent sous forme d’images séparées plutôt que sous la forme d’une carte interne stable.

Les scores de capacités de MineExplorer renforcent cette interprétation. Claude Opus 4.6 a obtenu un score de perception de 61,91 et un score de raisonnement de 54,71. Parmi la plupart des modèles évalués, la perception dépassait l’action, tandis que l’action dépassait le raisonnement.

Les modèles pouvaient souvent identifier les détails pertinents. Ils avaient davantage de mal à transformer ces détails en une stratégie coordonnée qui résiste aux changements de l’environnement.

Cela crée un renversement important dans la manière dont les progrès multimodaux sont habituellement présentés. Une meilleure compréhension des images élargit ce qu’un agent peut remarquer, mais elle expose aussi la faiblesse du système de planification qui exploite ces observations.

Un modèle qui détecte dix objets pertinents doit encore décider lequel importe à cet instant. Il doit relier ce choix à l’objectif final et conserver ce lien après le changement de point de vue.

Le benchmark s’appuie sur l’approche ReAct, qui alterne raisonnement, actions et nouvelles observations. Le cadre ReAct original a été conçu pour permettre aux modèles de réviser leur raisonnement grâce aux retours de l’environnement.

MineExplorer montre où cette boucle peut se rompre sur des trajectoires plus longues. Le raisonnement se déconnecte de l’état actuel, les actions cessent de servir l’objectif initial, ou de nouvelles observations ne déclenchent pas la révision nécessaire.

La navigation amplifie ces trois problèmes. Un agent mal positionné perçoit les mauvais éléments, construit une estimation erronée de l’état et choisit ensuite d’autres actions depuis une position dégradée.

C’est un problème plus difficile que de générer une chaîne de pensée plus longue. Un agent a besoin d’une représentation structurée des entités persistantes, des lieux, des jalons accomplis, des itinéraires ayant échoué et des dépendances non résolues.

L’historique visuel brut est un substitut insuffisant. Il conserve ce que la caméra a vu, pas ce dont l’agent devrait se souvenir.

La même distinction s’applique aux agents d’entreprise. Une transcription de chaque écran précédent ne produit pas automatiquement un état de workflow fiable. L’agent doit savoir quel formulaire a été soumis, quel filtre reste actif et quelle exigence n’est toujours pas satisfaite.

Pour les systèmes incarnés, la navigation devient à la fois une épreuve physique et cognitive. Le modèle doit se déplacer dans l’espace tout en préservant la structure logique de la tâche.

La part de 60 % d’échecs attribuée à MineExplorer oriente donc vers un travail au niveau du système. De meilleurs contrôleurs locaux, des cartes explicites, une mémoire causale, un suivi de la progression et des politiques de récupération peuvent compter autant qu’un modèle de base plus puissant.

Ce que le benchmark mesure, et ce qu’il ne mesure pas

MineExplorer fournit un test de résistance utile, mais ses résultats restent limités à un monde simulé et à une distribution de tâches définie par les chercheurs.

L’argument sceptique le plus solide concerne la validité externe. Minecraft propose un monde 3D dynamique aux règles cohérentes, mais ne reproduit pas toutes les difficultés rencontrées dans les foyers, les usines, les bureaux ou les espaces publics.

Les robots réels font face à une physique incertaine, au bruit des capteurs, aux dommages matériels et à des contraintes de sécurité. Les agents d’utilisation informatique rencontrent des états cachés des applications, des barrières d’authentification, des fenêtres surgissantes et des interfaces changeantes.

Minecraft élimine nombre de ces complications. Ses objets sont discrets, sa physique est reproductible et son environnement peut être réinitialisé à l’identique.

Ce contrôle est aussi un avantage. Les chercheurs peuvent comparer les modèles dans des conditions identiques et retracer les échecs sans mettre en danger des équipements ou des utilisateurs.

L’essentiel est de considérer MineExplorer comme un instrument de diagnostic, et non comme un score universel de l’intelligence incarnée. Un résultat de 41 % ne signifie pas que Claude accomplirait 41 % de workflows réels sans rapport.

Le filtrage des connaissances du benchmark exige également un examen attentif. Les auteurs utilisent des jugements de modèles de langage pour classer les tâches atomiques selon qu’elles reposent principalement sur des connaissances générales ou sur des conventions propres à Minecraft.

Ce processus réduit les facteurs de confusion évidents liés à la connaissance du jeu. Il ne peut pas garantir que chaque tâche conservée est exempte d’effets de familiarité.

Des modèles entraînés sur des vidéos Minecraft, des guides ou des discussions sur le gameplay peuvent toujours reconnaître des configurations et comportements courants. Différentes familles de modèles peuvent avoir rencontré des quantités différentes de ce type de contenu.

Le benchmark lui-même reste en cours d’élaboration, selon sa fiche arXiv. De futures révisions pourraient modifier les tâches, les prompts, les contrôleurs ou les procédures d’évaluation.

La conception du contrôleur est particulièrement importante. Un modèle multimodal manipule rarement un jeu par le seul raisonnement abstrait. Le système agent environnant convertit les sorties du modèle en commandes de mouvement et d’interaction.

Les performances reflètent donc à la fois le modèle sous-jacent et son échafaudage. Un meilleur système de cartographie ou un contrôleur de bas niveau pourrait améliorer les résultats sans modifier le modèle.

Les auteurs du benchmark reconnaissent une autre limite. MineExplorer se concentre actuellement sur l’évaluation empirique, bien que son infrastructure puisse également prendre en charge l’entraînement.

L’entraînement dans l’environnement du benchmark crée son propre risque. Une fois que les développeurs optimisent directement sur des tâches publiques, les gains au classement peuvent refléter une spécialisation au benchmark plutôt qu’une exploration générale.

Le code MineExplorer, entièrement ouvert, facilite la réplication et l’extension. Il rend aussi les questions de contamination et de surapprentissage plus importantes pour les futures versions de modèles.

Les évaluations indépendantes devraient préserver des scénarios de test cachés. Elles devraient également faire varier les configurations des scènes, les structures de dépendance, les implémentations de contrôleurs et les formats de prompts.

Le contexte historique invite à cette prudence. MinePlanner avait auparavant publié 45 tâches Minecraft de planification à long horizon et constaté que les planificateurs établis éprouvaient des difficultés dans de vastes environnements contenant de nombreux objets.

Le benchmark MinePlanner s’est concentré sur la planification propositionnelle et numérique plutôt que sur l’exploration multimodale interactive. Ses résultats ont néanmoins montré que Minecraft peut révéler des problèmes de passage à l’échelle dissimulés par des domaines de planification plus restreints.

D’autres systèmes ont examiné le suivi d’instructions, la construction, la mémoire et les compétences ouvertes. Ces projets utilisent le même jeu pour répondre à des questions différentes ; leurs scores phares ne doivent donc pas être comparés directement.

La contribution spécifique de MineExplorer réside dans la combinaison d’une interaction visuelle continue, de prérequis cachés, de la construction de tâches multi-étapes et d’une évaluation des jalons fondée sur des règles.

Sa revendication de « première » doit être lue dans cette définition. Minecraft a accueilli des recherches à long horizon avant MineExplorer. La revendication de nouveauté de l’équipe concerne l’exploration multimodale en monde ouvert à l’échelle de plusieurs minutes, dans le cadre de sa structure d’évaluation particulière.

Une autre limite est l’absence de réactions indépendantes étendues si peu de temps après sa sortie. La plupart des interprétations détaillées proviennent actuellement des auteurs et de leurs canaux techniques affiliés.

Les résultats mesurés peuvent être examinés, mais les explications causales restent en partie interprétatives. La forte part d’échecs de navigation, par exemple, n’isole pas pleinement si la cause profonde relève de la cartographie, de la mémoire, de la planification ou de l’exécution des actions.

Ces incertitudes n’effacent pas la conclusion centrale. Le taux de réussite chute fortement à mesure que les prérequis cachés s’accumulent. Elles définissent ce que les expériences ultérieures devront distinguer.

L’open source fait de MineExplorer bien plus qu’un classement

Cette publication compte parce que les chercheurs peuvent tester si une meilleure mémoire, de meilleurs contrôleurs ou de meilleures méthodes d’entraînement aplatissent la courbe d’échec à long horizon.

L’équipe a utilisé un workflow multi-agents pour construire les instances du benchmark. Cinq agents spécialisés collaborent sous la direction d’un orchestrateur qui contrôle leur séquence.

Le workflow commence par une première ébauche de tâche. Des agents spécialistes et de validation débattent ensuite de la conception, identifient les incohérences et révisent la scène, le graphe de dépendances et les évaluateurs de jalons.

Selon l’évaluation humaine des auteurs, ce processus a augmenté la validité des instances d’environ 30 points de pourcentage par rapport à une référence à agent unique. Il a également fait progresser les scores de qualité d’environ 0,5 point, avec le bénéfice le plus important sur les tâches à quatre étapes.

La version finale contient 813 instances vérifiées par des humains. Un sous-ensemble difficile distinct propose 100 scénarios sélectionnés pour leur difficulté accrue.

Ce pipeline de génération répond à un problème persistant des benchmarks. Construire manuellement des centaines d’environnements interactifs est lent, tandis que les tâches générées par des modèles sans contrainte contiennent souvent des objectifs impossibles ou des évaluations défaillantes.

La combinaison de la synthèse automatisée et de la vérification humaine offre une voie intermédiaire. Cette approche peut produire davantage de tâches tout en préservant un contrôle qualité.

La même méthode peut générer des scénarios d’entraînement, et pas seulement des cas de test. Les chercheurs peuvent créer des graphes de dépendances, instancier des scènes sandbox et y associer des vérifications déterministes des jalons.

C’est important parce que les agents à long horizon doivent s’exercer sur des échecs qui se déploient avec le temps. Des jeux de données visuels statiques ne peuvent pas enseigner comment récupérer après un mauvais tournant ou un prérequis manqué.

L’infrastructure ouverte invite aussi à envisager des alternatives à l’augmentation de l’échelle des modèles de bout en bout. Une équipe peut maintenir le modèle de base constant et tester des cartes spatiales explicites, une mémoire épisodique, des graphes causaux ou des planificateurs hiérarchiques.

Une autre expérience pourrait séparer la planification de haut niveau du déplacement de bas niveau. Le modèle pourrait sélectionner les objectifs tandis qu’un contrôleur spécialisé gère l’évitement des obstacles et l’exécution des itinéraires.

Les chercheurs peuvent alors se demander si les échecs de navigation reflètent une intelligence insuffisante, un contrôle moteur insuffisant ou une interface instable entre les deux.

Le benchmark peut également soutenir la conception de curriculums. Les agents pourraient commencer par des tâches à une étape, puis passer à des graphes de dépendances plus profonds à mesure que leur taux d’achèvement se stabilise.

Toutefois, les ensembles d’entraînement et d’évaluation doivent rester distincts. Réutiliser des scénarios publics transformerait MineExplorer en test de mémorisation.

Le résultat futur le plus informatif ne sera pas un faible gain au classement. Ce sera une baisse moins marquée entre les tâches à une étape et celles à quatre étapes.

Un système qui augmente la réussite globale tout en conservant la même courbe d’effondrement a amélioré sa compétence locale. Un système qui maintient ses performances à mesure que les dépendances se creusent a amélioré sa coordination à long horizon.

Cette distinction devrait façonner les futurs rapports. Le taux global de réussite des tâches condense plusieurs comportements en un seul chiffre. Les performances spécifiques à chaque étape révèlent où l’agent cesse de fonctionner de manière fiable.

La publication ouverte donne aux équipes externes les outils nécessaires pour tester ces affirmations. Elle leur permet aussi de proposer des évaluations plus difficiles sans devoir reconstruire toute la pile Minecraft.

Ce qu’il faut surveiller après le résultat d’Anthropic sur MineExplorer

La prochaine phase devrait se concentrer sur la réplication indépendante, l’amélioration des systèmes de navigation et des performances stables sur des tâches multi-étapes inédites.

Le premier signal sera une reproduction indépendante du score global de 41 % et du recul de 77 % à 12 %. Les chercheurs devraient réexécuter Claude Opus 4.6 et d’autres modèles avec des paramètres documentés de contrôleur, de prompt et d’environnement.

Une reproduction proche renforcerait l’affirmation selon laquelle les prérequis cachés entraînent un schéma général d’échec. De grandes différences suggéreraient que l’échafaudage de l’agent contribue davantage que ne l’indique le classement initial.

Le deuxième signal sera de savoir si des systèmes explicites de gestion de l’état et de navigation réduisent la catégorie d’échec dominante. Des expériences utiles devraient comparer l’historique brut des images avec des cartes, une mémoire structurée, des graphes de tâches causaux et des politiques de récupération d’itinéraire.

Une amélioration significative réduirait les échecs de navigation sans sacrifier les performances de raisonnement ou d’action. Augmenter simplement la fenêtre de contexte ne répondrait pas à la critique centrale du benchmark.

Le troisième signal concernera les performances de nouveaux modèles sur des scénarios à quatre étapes tenus à l’écart. Les développeurs devraient communiquer le taux de réussite par nombre d’étapes, et non seulement une moyenne globale.

Un modèle qui obtient un meilleur score sur les tâches à une étape tout en restant proche de 12 % sur les tâches à quatre étapes n’a pas comblé l’écart à long horizon. De meilleurs résultats sur des structures de dépendance inédites apporteraient des preuves plus convaincantes d’une exploration générale.

Les lecteurs devraient également surveiller si les développeurs de modèles adoptent MineExplorer ou des évaluations apparentées dans leurs fiches système officielles. Une telle inclusion indiquerait que l’interaction multimodale de longue durée devient un objectif standard en matière de capacités.

Pour les développeurs, la leçon pratique est déjà claire. N’évaluez pas un agent uniquement à travers des actions isolées ou des démonstrations soignées.

Testez des workflows complets comportant des prérequis cachés, des états changeants et des possibilités de récupération. Mesurez à quel moment l’agent perd de vue son objectif, et distinguez les erreurs de perception des échecs de navigation, de raisonnement et de contrôle.

Les acheteurs d’entreprise devraient exiger les mêmes preuves. Le classement d’un modèle dans un benchmark en dit peu sur la capacité d’un agent intégré à achever de manière cohérente un processus en plusieurs étapes.

MineExplorer ne tranche pas le débat sur l’IA incarnée. Il fournit une méthode reproductible pour rendre une faiblesse plus difficile à ignorer.

Le résultat d’Anthropic sur MineExplorer est particulièrement révélateur parce que Claude Opus 4.6 est arrivé premier. Le modèle testé le plus performant a tout de même perdu 65 points de pourcentage lorsque la profondeur des tâches est passée d’une étape à quatre.

C’est le renversement central du benchmark. Les modèles multimodaux actuels peuvent souvent décrire un monde qu’ils ne savent pas naviguer de manière fiable.

La prochaine étape crédible pour les agents n’est donc pas une nouvelle réponse parfaite à partir d’une capture d’écran. C’est une progression soutenue dans un environnement inconnu, incluant la capacité à détecter une mauvaise direction et à se rétablir avant la fin de la tâche.