Le score ARC-AGI-3 de Gemini 4 Argon atteint 97,5 %, mais le test standard raconte une autre histoire

Le score de Google Gemini 4 Argon sur ARC-AGI-3 a atteint 97,5 % avec le harnais d’adaptateur de fournisseur d’ARC Prize. Le même modèle a obtenu 49,8 % avec le harnais standard. Cet écart de 47,7 points est l’élément essentiel.

ARC Prize a publié les résultats vérifiés après avoir testé six configurations sur l’ensemble de ses benchmarks. Gemini 4 Argon a également obtenu 98,5 % sur ARC-AGI-1 et 91,3 % sur ARC-AGI-2 avec un raisonnement élevé. Ces résultats placent Google DeepMind parmi les principaux laboratoires sur les trois générations du test.

Pourtant, ARC-AGI-3 mesure un système interactif, et non un modèle isolé répondant à des questions statiques. Son harnais contrôle les informations conservées entre les actions et la manière dont les historiques sont gérés. GPT-6 Astra d’OpenAI reste la comparaison la plus pertinente, car il a lui aussi dépassé 95 % avec un adaptateur de fournisseur.

Cette distinction change la manière dont les développeurs et les acheteurs en entreprise doivent lire ce titre. Le résultat de 97,5 % étaye les affirmations de Google sur le raisonnement soutenu à long horizon. Il ne démontre pas qu’Argon offre les mêmes performances via chaque interface ou architecture de déploiement.

Le benchmark de Gemini 4 Argon constitue donc moins une simple victoire qu’une démonstration de l’endroit où réside désormais la capacité des modèles. De plus en plus, elle se trouve dans le système combinant modèle, mémoire, gestion du contexte, comportement de l’API et environnement d’exécution de l’agent.

Les résultats ARC-AGI-3 de Gemini 4 Argon divergent selon deux harnais

ARC Prize a vérifié un résultat exceptionnel, mais deux versions très différentes de l’expérience du même système.

Le tableau de résultats vérifié indique que Gemini 4 Argon a atteint 97,5 % sur ARC-AGI-3 avec un raisonnement faible et le harnais d’adaptateur de fournisseur. Les niveaux de raisonnement moyen et élevé ont tous deux produit 97,3 % dans cette configuration.

Le harnais standard a produit un schéma différent. Le raisonnement faible a obtenu 49,8 %, tandis que le raisonnement moyen a atteint 46,3 %. ARC Prize n’a pas publié de point comparable pour le raisonnement élevé dans son graphique, car cette exécution a achevé trop peu de tâches.

Ce résultat est inhabituel à deux égards. Premièrement, l’augmentation du niveau de raisonnement indiqué n’a pas amélioré le score de l’adaptateur de fournisseur. Le raisonnement faible a légèrement devancé les deux autres configurations.

Deuxièmement, l’adaptateur de fournisseur a généré un score presque deux fois supérieur au score standard. Une différence aussi importante ne peut pas être considérée comme un bruit d’évaluation ordinaire. Elle indique un changement structurel dans ce que le système testé peut mémoriser et réutiliser.

ARC Prize définit le harnais standard comme une interface indépendante du fournisseur. Il permet à un modèle de conserver des notes que celui-ci choisit de préserver tout au long d’un environnement.

L’adaptateur de fournisseur peut conserver un état de raisonnement opaque entre les requêtes. Il peut également compacter une longue interaction lorsque l’historique approche une limite de contexte. Le modèle peut alors réutiliser des travaux antérieurs sans recréer tout son raisonnement à partir de notes visibles.

C’est important parce qu’ARC-AGI-3 ne présente pas une question familière appelant une réponse unique. Le modèle entre dans un environnement interactif inconnu, observe un état, choisit une action et en constate le résultat. Il doit déduire les règles et l’objectif tout en évitant les mouvements inutiles.

Une hypothèse invalidée reste utile si le système se souvient de la raison de son échec. Une expérimentation réussie n’a d’importance que si l’observation pertinente survit assez longtemps pour influencer les décisions ultérieures.

Le harnais standard demande au modèle d’externaliser cette continuité au moyen de notes sélectionnées. L’adaptateur de fournisseur conserve davantage de continuité au sein du système du fournisseur. Les deux configurations utilisent Gemini 4 Argon, mais elles exposent des quantités différentes de l’état cognitif continu du modèle.

ARC Prize indique que des problèmes d’API ont également affecté l’évaluation standard. Avec un raisonnement faible, les exécutions ont achevé 42 des 55 tâches semi-privées. Le raisonnement moyen a achevé 46 tâches, tandis que le raisonnement élevé n’en a achevé que 19.

Les scores publiés couvraient néanmoins les 55 tâches. Les tâches inachevées ont été comptées contre le résultat, bien que les crédits partiels déjà obtenus aient été conservés. Le score de 49,8 % est donc un résultat réel et publié, mais il reflète aussi une exécution de test imparfaite.

Cette réserve n’efface pas l’écart entre les harnais. La configuration moyenne a achevé davantage de tâches que la configuration faible tout en n’obtenant que 46,3 %. Pendant ce temps, chaque configuration d’adaptateur de fournisseur est restée au-dessus de 97 %.

Le bon titre n’est pas qu’un score est authentique et l’autre invalide. ARC Prize a vérifié les deux. La conclusion correcte est que le résultat ARC-AGI-3 de Gemini 4 Argon dépend fortement de la manière dont le système environnant maintient le raisonnement entre les actions.

Pourquoi ARC-AGI-3 fait de la mémoire une partie du test

ARC-AGI-3 transforme la gestion du contexte, d’un détail d’implémentation, en une capacité mesurée.

ARC-AGI-1 et ARC-AGI-2 utilisent des tâches statiques de raisonnement visuel. Un système reçoit des exemples établissant une transformation implicite, puis applique la règle déduite à une nouvelle grille. Ces tests mettent l’accent sur l’abstraction et la généralisation sans longue séquence d’actions environnementales.

ARC-AGI-3 remplace ce format passif par des mondes interactifs inconnus. L’agent ne reçoit aucun manuel détaillé. Il doit expérimenter, interpréter les retours, réviser ses croyances et finir par découvrir comment gagner.

Le benchmark officiel ARC-AGI-3 se concentre sur l’adaptation dans l’incertitude. Les humains peuvent souvent transférer dans ces mondes des intuitions ordinaires sur les objets, le mouvement, la causalité et les objectifs. Un système d’IA doit reconstruire des connaissances comparables à partir de ses observations.

La conception technique d’ARC Prize impose un budget d’actions à cette exploration. Résoudre un environnement ne suffit pas si l’agent dépense un nombre excessif de mouvements à sonder aléatoirement. Le benchmark évalue donc à la fois les progrès et l’efficacité des actions.

Le rapport technique décrit la gestion du contexte comme un défi central. Les images d’environnement utilisent des grilles de 64 par 64, et transporter répétitivement chaque observation peut rapidement épuiser le contexte disponible.

Un agent compétent a besoin de plus qu’une vaste fenêtre de contexte brute. Il doit identifier les changements importants, relier les actions à leurs effets, préserver les hypothèses et écarter les détails non pertinents. C’est proche du problème auquel font face les agents opérant dans des navigateurs, des bases de code ou des systèmes métier.

Prenons un agent de programmation qui enquête sur un échec de test intermittent. Il peut examiner les journaux, modifier une configuration, relancer les tests, comparer les sorties et revenir à une hypothèse antérieure. Perdre la chaîne causale entre ces actions peut l’amener à répéter son travail ou à accepter une fausse explication.

Un agent de recherche en entreprise rencontre le même problème dans les documents. Il doit distinguer les faits établis des interprétations provisoires tout en préservant leurs sources. Une grande capacité d’entrée ne garantit pas à elle seule que les bonnes preuves restent influentes.

ARC-AGI-3 condense ces problèmes dans des environnements contrôlés. Les mondes sont artificiels, mais le besoin d’apprendre à partir de retours séquentiels est reconnaissable. Cela rend le benchmark plus pertinent pour le comportement des agents qu’un examen à un seul tour.

Cela rend aussi les comparaisons plus difficiles. Dans un benchmark statique, le prompt et la réponse générée définissent une grande partie du système testé. Dans un benchmark interactif, les décisions d’orchestration s’accumulent sur des dizaines ou des centaines d’étapes.

Le système peut devoir décider de ce qui entre dans le prompt suivant, de ce qui devient une note durable et du moment où un ancien historique doit être résumé. Il peut également devoir gérer les appels API échoués sans corrompre son état.

Ces décisions sont souvent prises en dehors du modèle de base. Pourtant, elles influencent directement la capacité apparente du modèle à maintenir un raisonnement soutenu.

Google a conçu Argon pour de longues trajectoires. Son annonce du modèle indique que le modèle prend en charge une limite de sortie d’un million de tokens et cible des travaux complexes en plusieurs étapes. Google cite également des applications en ingénierie logicielle, recherche et cybersécurité défensive.

Ces éléments restent des affirmations de l’entreprise tant qu’ils ne sont pas évalués indépendamment dans chaque domaine. Toutefois, le résultat de l’adaptateur de fournisseur est cohérent avec la proposition plus restreinte selon laquelle Argon bénéficie d’un état de raisonnement préservé.

Le harnais standard expose l’autre versant. Un modèle conçu autour de trajectoires internes persistantes peut perdre une grande part de son avantage lorsqu’il est contraint de passer par une interface plus mince et indépendante du fournisseur.

C’est pourquoi la comparaison des harnais ARC-AGI-3 est importante. Elle demande si la capacité se transfère avec le nom du modèle ou si elle dépend d’une pile de diffusion particulière.

Le principal affrontement oppose l’état natif du fournisseur aux agents portables

La concurrence la plus importante n’oppose plus seulement Google à OpenAI. Elle oppose la continuité native du fournisseur à l’orchestration portable.

L’état natif du fournisseur donne à un modèle accès à des fonctionnalités conçues avec son système d’inférence. Le raisonnement conservé peut préserver un travail interne qu’il serait coûteux ou incomplet d’exprimer sous forme de texte ordinaire. La compaction peut réduire un long historique tout en conservant les informations sélectionnées par les mécanismes du fournisseur.

Cette approche peut offrir de meilleures performances avec moins d’ingénierie côté application. Un développeur envoie des actions via l’interface prise en charge, tandis que le fournisseur gère une plus grande partie du processus de raisonnement à long terme.

Le compromis est la dépendance. Si les performances d’un agent reposent sur un état opaque, les développeurs ne peuvent pas entièrement inspecter, exporter ou reproduire cet état auprès d’un autre fournisseur. Un workflow peut se retrouver lié à une API, même lorsque les prompts visibles semblent portables.

Le harnais standard représente une architecture plus transférable. Le modèle peut rédiger des notes qui restent disponibles d’un tour à l’autre, mais l’interface ne dépend pas d’un état interne propre au fournisseur. Les développeurs peuvent examiner ces notes et appliquer un schéma similaire à un autre modèle.

Cette transparence ne garantit pas des performances égales. Le score standard de Gemini 4 Argon suggère que les notes visibles n’ont pas préservé suffisamment de ce dont Argon avait besoin dans ces environnements. Le modèle a peut-être perdu des hypothèses, des relations causales ou des plans lors d’interactions répétées.

Un carnet explicite peut aussi devenir bruyant. Si l’agent enregistre trop d’informations, les prompts ultérieurs se remplissent d’observations obsolètes. S’il en enregistre trop peu, des découvertes importantes disparaissent.

La compaction du fournisseur peut répondre à cet équilibre, mais ses décisions sont moins visibles. Un score élevé indique que le système complet a fonctionné dans les conditions d’évaluation. Il ne révèle pas chaque détail de ce que le processus de compaction a conservé.

La politique de test d’ARC Prize reconnaît que les deux harnais répondent à des questions différentes. L’organisation les publie séparément au lieu de les traiter comme des implémentations interchangeables.

Le harnais standard demande comment un modèle se comporte via une interface minimale et indépendante du fournisseur. L’adaptateur de fournisseur demande comment il fonctionne lorsqu’il est associé aux fonctionnalités de gestion du contexte proposées par son créateur.

Aucune de ces questions n’est triviale. La portabilité importe aux acheteurs qui recherchent un pouvoir de négociation, une auditabilité et des fournisseurs de secours. Les performances natives importent aux équipes qui ont besoin du meilleur résultat disponible pour des workflows difficiles.

GPT-6 Astra d’OpenAI fournit la référence concurrentielle la plus claire. Sa configuration avec adaptateur de fournisseur reste devant Argon dans le classement ARC-AGI-3. Son score standard est également supérieur au résultat standard publié d’Argon, bien que la comparaison doive tenir compte des exécutions incomplètes d’Argon.

Le classement officiel renforce l’importance de distinguer les configurations. ARC Prize étiquette les résultats standard et ceux des adaptateurs de fournisseurs, et explique qu’ils préservent différentes formes d’état.

Cette structure met chaque laboratoire de pointe sous pression. Un fournisseur ne peut plus publier le score d’un agent sans expliquer l’environnement d’exécution qui l’a produit. Les acheteurs devraient demander si un résultat a utilisé un état natif, des outils externes, des échantillonnages répétés, une mémoire privée ou une infrastructure spécifique à la tâche.

La pression atteint également les plateformes d’agents indépendantes. Leur proposition de valeur repose souvent sur la possibilité de rendre les modèles interchangeables tout en ajoutant de la mémoire, des outils et un contrôle des flux de travail au-dessus de l’API.

Si les adaptateurs natifs des fournisseurs continuent de produire des écarts de cette ampleur, les couches d’orchestration génériques font face à un choix difficile. Elles peuvent rester portables mais accepter des performances maximales inférieures, ou bâtir des intégrations profondes qui réduisent l’interchangeabilité pratique.

Les développeurs ne devraient pas supposer que ce choix est définitif. Des capacités qui commencent comme des fonctions spécialisées d’infrastructure peuvent migrer vers des API standard. Les systèmes explicites de mémoire peuvent également s’améliorer à mesure que les équipes comprennent ce que les agents doivent conserver.

Pour l’instant, Gemini 4 Argon rend cette division inhabituellement visible. Le modèle semble presque saturé sous une interface et loin de la saturation sous une autre.

Cet écart est plus instructif qu’un classement unique. Il montre que le choix du modèle et l’architecture de l’agent sont devenus des décisions d’achat indissociables.

Ce que le score de 97,5 % n’établit pas

Un score de benchmark vérifié constitue une preuve solide concernant un test défini, et non un certificat général d’intelligence autonome.

ARC Prize vérifie les scores de pointe sur des tâches semi-privées afin de réduire le surapprentissage direct. Les éléments de test sont envoyés aux API des fournisseurs avec des garanties de conservation des données, et les résultats incluent des informations d’évaluation au niveau des tâches.

Ce processus est plus crédible qu’un score autodéclaré sur un test public. Il limite la capacité d’un laboratoire à ajuster directement son système par rapport à l’ensemble complet d’évaluation.

La vérification n’élargit toutefois pas la portée de l’affirmation. Gemini 4 Argon a atteint 97,5 % avec une infrastructure nommée, un paramètre de raisonnement, une méthode de notation et un budget d’actions précis. Modifier ces conditions peut changer le résultat, comme le démontre le score standard.

Les environnements ARC-AGI-3 relèvent également d’un domaine spécifique. Ils évaluent l’exploration et l’adaptation dans des mondes interactifs fondés sur des grilles. Les flux de travail réels en entreprise ajoutent des instructions ambiguës, des autorisations changeantes, des sites web peu fiables, des documents contradictoires et des conséquences en cas d’actions erronées.

Un modèle peut exceller au benchmark tout en peinant face à un flux de travail d’entreprise dont les critères de réussite restent flous. À l’inverse, un agent optimisé pour un processus métier stable peut créer de la valeur sans obtenir un score élevé dans des environnements abstraits.

Les exécutions standard incomplètes créent une autre incertitude. ARC Prize a attribué la couverture manquante à des problèmes d’API, mais le résultat public seul ne permet pas aux acheteurs de savoir à quelle fréquence des interruptions similaires se produiront en production.

Les agents exécutés sur de longues périodes ont besoin de mécanismes de récupération. Ils doivent savoir si une requête échouée peut être relancée sans risque, si l’état survit à cette nouvelle tentative et si une action d’outil interrompue a produit un changement externe.

Ces propriétés opérationnelles ne sont pas secondaires. Un agent qui raisonne correctement mais perd son état après une défaillance réseau peut être moins utile qu’un modèle plus faible doté d’une récupération prévisible.

Le résultat de 97,5 % ne prouve pas non plus qu’un effort de raisonnement supérieur aide toujours. Le paramètre faible d’Argon a légèrement dépassé ses configurations d’adaptateur de fournisseur moyennes et élevées. Cette différence étroite peut refléter la dynamique des tâches plutôt qu’une loi générale, mais elle met en garde contre l’assimilation d’une inférence accrue à de meilleurs résultats.

Les équipes devraient tester les paramètres de raisonnement selon leurs propres exigences de latence, de fiabilité et de qualité. La trajectoire la plus coûteuse ou la plus longue n’est pas automatiquement la meilleure configuration.

Le cadre de benchmark original d’ARC Prize distingue également la capacité générale du modèle de l’ingénierie d’infrastructure spécifique à la tâche. Son rapport technique avertit qu’une infrastructure conçue autour d’environnements publics connus peut gonfler les performances sans se transférer à des domaines inconnus.

L’adaptateur du fournisseur n’est pas présenté comme un solveur codé manuellement et spécifique à ARC. Il utilise des fonctions générales de gestion du contexte. Malgré cela, les lecteurs devraient éviter de transformer un score interactif élevé en affirmation selon laquelle le modèle a atteint une intelligence générale de niveau humain.

L’interprétation défendable la plus solide est plus étroite. Gemini 4 Argon peut obtenir des performances extrêmement élevées sur des tâches ARC-AGI-3 semi-privées lorsque son état de raisonnement persiste grâce à la conception de l’adaptateur de Google.

Une seconde conclusion défendable est que cette même capacité ne se transfère pas proprement via l’interface standard d’ARC Prize. Il reste à déterminer si cela reflète une faiblesse du modèle, une incompatibilité dans le comportement de prise de notes, une instabilité de l’API ou plusieurs facteurs.

Les évaluations en entreprise devraient reproduire les deux facettes de ce test. Les équipes peuvent comparer l’interface d’agent native d’un fournisseur à une implémentation portable qui stocke explicitement les plans et les éléments de preuve.

Elles devraient mesurer l’achèvement des tâches, le travail répété, la récupération après échec et la qualité des éléments de preuve conservés. Pour les flux de travail fortement axés sur la connaissance, une base de connaissances IA traçable peut compléter la mémoire du modèle en conservant des sources vérifiables.

Cela ne remplace pas l’état de raisonnement. Cela crée un registre distinct que les utilisateurs peuvent auditer lorsque la continuité interne du modèle est opaque.

L’écart de 47,7 points est donc une raison de mener de meilleures évaluations, non d’abandonner les benchmarks. Il révèle une variable de déploiement qu’un score unique aurait masquée.

Trois signaux indiqueront si le résultat se transfère

Les prochaines données devront montrer si l’avantage de l’adaptateur d’Argon résiste à des tests plus larges, à des défaillances opérationnelles et à des déploiements réels.

Le premier signal est un nouveau test complet avec l’infrastructure standard. ARC Prize devrait pouvoir relancer l’ensemble des 55 tâches semi-privées après la résolution des problèmes d’API signalés.

Une exécution complète établirait quelle part du résultat de 49,8 % provenait de la couverture manquante des tâches. Si Argon reste proche de ce niveau, l’argument en faveur d’un véritable écart d’architecture se renforcera.

Si le score standard augmente fortement, la comparaison originale devra être révisée. Cela suggérerait que la fiabilité du service, plutôt que la seule conception de la mémoire, a élargi l’écart publié.

Le deuxième signal est la performance sous des infrastructures comparables provenant d’autres laboratoires. OpenAI fournit déjà la référence principale, mais davantage de résultats vérifiés montreraient si les gains importants liés aux adaptateurs sont courants parmi les modèles de pointe.

Si Anthropic, xAI ou un autre fournisseur affiche un schéma similaire, l’état natif du fournisseur apparaîtra comme une caractéristique générale des agents avancés. Le secteur devrait alors traiter le choix de l’infrastructure comme un champ de rapport standard.

Si d’autres modèles restent stables entre les deux infrastructures, l’écart d’Argon paraîtra plus spécifique au modèle. Google subirait alors une pression pour améliorer la continuité portable fondée sur des notes ou documenter plus clairement les exigences de l’adaptateur.

Le troisième signal est constitué d’éléments issus de flux de travail de production exécutés sur de longues périodes. Google indique qu’Argon est testé en ingénierie logicielle, en recherche et en cybersécurité. Ces domaines peuvent révéler si la préservation du raisonnement améliore les résultats au-delà des jeux contrôlés.

Les rapports utiles incluraient les taux d’achèvement en plusieurs étapes, la fréquence des interventions, la récupération après des appels interrompus et le pourcentage d’actions que les utilisateurs doivent annuler. Les scores moyens des benchmarks ne peuvent se substituer à ces mesures opérationnelles.

Les développeurs devraient également surveiller si Google offre davantage de contrôle sur la compaction et le raisonnement conservé. Une interface permettant aux utilisateurs d’inspecter les résumés, de définir des politiques de conservation ou d’exporter un état durable réduirait certaines préoccupations liées à la portabilité et à la gouvernance.

Sans ces contrôles, les acheteurs obtiennent des performances mais doivent faire confiance à un processus de mémoire caché. Cette configuration peut être acceptable pour des tâches à faible risque et plus difficile à approuver pour des travaux réglementés ou sensibles sur le plan de la sécurité.

Le score ARC-AGI-3 de Gemini 4 Argon devrait donc modifier les pratiques d’évaluation avant de changer la définition de l’intelligence de qui que ce soit. Un nom de modèle seul ne décrit plus le produit testé.

Les équipes qui comparent des systèmes d’agents devraient consigner la version du modèle, le niveau de raisonnement, l’infrastructure, la politique de mémoire, la méthode de compaction du contexte et le comportement de récupération après échec. Elles devraient également conserver les éléments de preuve utilisés pour les décisions importantes.

Le score de 97,5 % montre ce qu’Argon peut accomplir lorsque le chemin de gestion d’état privilégié par Google est disponible. Le score de 49,8 % montre à quel point les performances peuvent disparaître lorsque ce chemin change.

Le résultat le plus important dépend du système acheté. L’étape pratique suivante consiste à tester l’interface exacte que votre application utilisera, puis à déterminer si sa mémoire reste précise, vérifiable et récupérable tout au long d’un flux de travail complet.