La course Anthropic-GPT divise les benchmarks alors qu’Astra réinitialise l’horloge de l’AGI

Le GPT-6 Astra d’OpenAI a atteint 169 sur un indice de modèles, mais seulement 61 sur un autre, intensifiant la rivalité entre Anthropic et GPT autour du leadership des benchmarks. Epoch AI a placé Astra en tête parmi 267 modèles évalués. Artificial Analysis l’a au contraire classé derrière Claude Fable 5.1 d’Anthropic.

Un tel désaccord produirait habituellement un lancement de modèle de plus, sans conclusion claire. Le résultat d’Astra sur ARC-AGI-3 rend toutefois ce cas plus difficile à écarter. Le modèle a obtenu 62,7 % via le protocole standard d’ARC Prize, contre les 7,8 % rapportés pour GPT-5.6 Sol.

Selon l’évaluation d’ARC Prize, Astra a également achevé les tâches interactives avec une meilleure efficacité d’action qu’un humain moyen. François Chollet a estimé que ses progrès étaient environ deux fois plus rapides que prévu. Il s’est néanmoins abstenu de déclarer l’AGI atteinte.

La question centrale n’est donc pas de savoir si un classement a désigné le mauvais gagnant. Elle consiste à déterminer si les benchmarks actuels mesurent réellement le même type d’intelligence. La compétition entre Anthropic et GPT oppose désormais de larges performances aux tests à l’efficacité adaptative dans des environnements inconnus.

GPT-6 Astra a produit deux verdicts contradictoires

Le lancement d’Astra a transformé le classement des modèles en débat sur ce que les évaluateurs choisissent de mesurer.

OpenAI a présenté GPT-6 Astra le 3 septembre 2026. L’entreprise l’a positionné comme un modèle destiné à l’utilisation d’ordinateurs, à la navigation web, à l’ingénierie logicielle, aux sciences, à la cybersécurité et au travail professionnel.

Son annonce d’Astra décrivait des résultats de pointe dans plusieurs évaluations sélectionnées par l’entreprise. OpenAI a aussi annoncé un score de 99,9 % sur ARC-AGI-3 via une configuration d’évaluation propre au fournisseur.

Les scores agrégés indépendants ont présenté une image moins cohérente. L’indice de capacités d’Epoch AI a attribué 169 points à Astra, devant Claude Fable 5.1 avec 163. GPT-5.6 Sol et Claude Opus 5 ont chacun obtenu 162.

L’indice d’Epoch combine des résultats dans de nombreux domaines de capacités. Ils incluent les mathématiques, les sciences, les connaissances, le code et d’autres tâches exigeantes. Son score cherche à résumer les progrès généraux plutôt qu’à isoler une compétence étroite.

Sur ce composite, Astra est en tête. Le résultat soutient l’argument d’OpenAI selon lequel le modèle représente un véritable changement de génération. Il suggère également que les améliorations les plus fortes d’Astra se situent dans les domaines privilégiés par le mélange d’évaluations d’Epoch.

Artificial Analysis est arrivé à une conclusion différente. Son Intelligence Index a attribué 61 à Astra, au niveau de GPT-5.6 Sol. Claude Fable 5.1 a mené la comparaison avec 66, tandis que Claude Opus 5 a obtenu 63.

La comparaison de modèles couvre les connaissances, le code, les mathématiques et la compréhension de texte. Sa composition et ses procédures de test diffèrent de l’indice d’Epoch. Les chiffres qui en résultent ne peuvent pas être traités comme deux mesures d’un objet identique.

Les résultats individuels d’Astra étaient également inégaux. Il s’est nettement amélioré dans plusieurs tâches agentiques et scientifiques. Artificial Analysis a néanmoins relevé des performances plus faibles dans des domaines comprenant le raisonnement à long contexte et certaines évaluations professionnelles.

Son bilan en programmation était tout aussi contrasté. Astra aurait atteint 67 sur le Coding Agent Index, tandis que Claude Fable 5.1 a atteint 70. Astra a utilisé nettement moins d’étapes de raisonnement que plusieurs modèles concurrents lors de tests comparables.

Cette efficacité compte, car la charge pratique d’un modèle dépasse son tarif publié par token. Un modèle utilisant moins de tokens, moins d’actions ou moins de temps écoulé peut être préférable malgré un score global inférieur.

Le lancement a donc créé deux récits légitimes mais incomplets. Epoch affirme qu’Astra présente le profil de capacités générales le plus solide. Artificial Analysis indique qu’il ne domine pas sur une collection fixe de tâches de raisonnement courantes.

Aucun de ces verdicts ne permet à lui seul de déterminer quel modèle convient le mieux aux développeurs ou aux entreprises. Une équipe logicielle valorise des performances de programmation reproductibles. Un groupe de recherche peut privilégier le raisonnement mathématique, l’utilisation d’outils ou la résolution de problèmes inédits.

Le calendrier limite également les conclusions définitives. Epoch disposait de moins d’évaluations de programmation enregistrées pour Astra que pour certains modèles établis lorsque la première comparaison est apparue. Au moins une exécution de programmation disponible pour Astra utilisait un réglage de raisonnement moyen.

Les premiers classements mélangent souvent des résultats matures et une couverture incomplète. Les nouveaux modèles reçoivent des tests supplémentaires, des mises à jour de protocole et des changements de configuration après leur lancement. Les classements peuvent évoluer alors même que le modèle sous-jacent ne change pas.

Cela rend le contraste entre 169 et 61 instructif, et non absurde. Les chiffres révèlent des priorités d’évaluation différentes. Ils avertissent aussi les acheteurs de ne pas traiter un score agrégé comme une mesure universelle de l’intelligence.

La compétition entre Anthropic et GPT apparaît différente selon la charge de travail placée au centre de l’analyse. Claude mène l’indice plus large et orienté texte d’Artificial Analysis. Astra mène le composite actuel d’Epoch et affiche des progrès inhabituels en raisonnement interactif.

La question la plus importante commence là où les deux indices agrégés deviennent moins descriptifs. ARC-AGI-3 ne demande pas à un modèle de retrouver une réponse ou d’achever un exercice de programmation familier. Il demande au système de découvrir le fonctionnement d’un monde inconnu.

ARC-AGI-3 a changé le sens de la comparaison

Le résultat le plus fort d’Astra concerne l’adaptation dans l’incertitude, et non les questions-réponses ordinaires.

ARC-AGI-3 évalue des agents dans des environnements interactifs inconnus. Un système doit explorer, inférer des règles, mémoriser des observations, planifier des actions et reconnaître des objectifs sans recevoir d’instructions habituelles sur la tâche.

Le benchmark limite la dépendance aux faits mémorisés et aux connaissances linguistiques. Ses environnements fonctionnent davantage comme de petits jeux inconnus que comme des examens conventionnels. La réussite exige d’apprendre par l’interaction plutôt que de reconnaître un schéma d’invite familier.

Cette distinction importe, car les grands modèles de langage peuvent obtenir de bons scores grâce à une vaste exposition préalable. Un benchmark construit autour d’environnements inconnus cherche à réduire cet avantage. Il teste la capacité d’un système à acquérir un comportement utile durant l’évaluation.

Le rapport ARC-AGI-3 décrivait l’exploration, la planification, la mémoire, l’acquisition d’objectifs et l’alignement comme des exigences centrales. Lorsque le benchmark est apparu en mars 2026, les systèmes de pointe testés obtenaient moins de 1 %.

Les humains pouvaient résoudre chaque environnement évalué sans entraînement spécifique à la tâche. Les participants humains n’étaient pas aussi rapides ou efficaces les uns que les autres, mais le benchmark a établi que chaque environnement était compréhensible par l’interaction.

Six mois plus tard, Astra a atteint 62,7 % sur l’ensemble semi-privé en utilisant le protocole standard d’ARC Prize. Les résultats vérifiés répertorient cette exécution avec un effort de raisonnement maximal.

Ce score représentait plus de huit fois les 7,8 % rapportés pour GPT-5.6 Sol. Il dépassait aussi de plus du double les 30,2 % attribués à Claude Opus 5. Des données comparables pour Claude Fable 5.1 n’étaient pas initialement disponibles.

Le résultat est important, car le modèle ne s’est pas contenté de résoudre davantage d’environnements. Selon l’analyse d’ARC Prize, Astra a utilisé moins d’actions que l’humain moyen sur les tâches achevées avec succès.

L’efficacité d’action mesure à quel point un agent parvient directement à une solution. Un système inefficace ne peut réussir qu’après une exploration aléatoire considérable. Un système plus efficace construit une représentation interne précise avec moins de mouvements.

Astra aurait dépassé le niveau d’efficacité humain moyen selon cette mesure. Cela ne signifie pas qu’il a surpassé les humains en intelligence générale. Cela signifie que ses trajectoires réussies sur ARC-AGI-3 ont exigé moins d’actions que la moyenne humaine.

Cette distinction protège la conclusion contre l’exagération. Les humains ont toujours démontré une couverture complète des environnements. Le taux de réussite d’Astra avec le protocole standard restait nettement inférieur à 100 %.

OpenAI a également annoncé un résultat de 99,9 % via un protocole d’adaptateur fournisseur. Cette configuration préserve l’état de raisonnement opaque du modèle entre les requêtes et compacte les conversations plus longues. Le protocole standard ne transmet que les notes sélectionnées par le modèle.

Le score plus élevé mesure donc Astra avec une infrastructure qui n’est pas disponible pour tous les fournisseurs. ARC Prize déconseille de l’utiliser pour un classement direct entre fournisseurs. Il s’agit d’un élément de preuve concernant une configuration système, et non d’une comparaison neutre avec Claude.

L’écart entre 62,7 et 99,9 % est en lui-même révélateur. L’intelligence apparente d’un modèle dépend en partie de la manière dont la mémoire, le contexte, les outils et l’état de raisonnement caché l’entourent.

Cela crée un nouveau problème d’évaluation. Les acheteurs déploient de plus en plus des systèmes agentiques complets, et non des modèles de langage isolés. Pourtant, une infrastructure propre au fournisseur peut rendre une comparaison équitable difficile, voire impossible.

Le résultat d’Astra représente tout de même un changement marqué dans la configuration standard. Le saut depuis les 7,8 % de Sol ne peut pas être expliqué par l’adaptateur fournisseur. Les deux chiffres proviennent de la voie d’évaluation la plus comparable.

ARC-AGI-3 diffère également des anciennes versions d’ARC. ARC-AGI-1 utilisait des transformations visuelles statiques qui sont devenues de plus en plus saturées. ARC-AGI-2 a accru la difficulté tout en conservant un format de puzzle abstrait.

Astra a obtenu 95 % sur ARC-AGI-2, contre 92,5 % pour Sol. Cette différence plus faible ne justifierait pas une affirmation spectaculaire sur l’intelligence. La troisième génération interactive crée une séparation plus forte.

Cette histoire explique pourquoi Chollet s’est concentré sur les performances d’Astra sur ARC-AGI-3. Le modèle a montré un nouveau niveau de compétence dans des tâches conçues autour de la nouveauté. Cela se rapproche davantage de sa définition de l’intelligence que l’excellence dans des compétences reproductibles.

Le résultat du benchmark ne met pas fin au débat sur l’AGI. Il en modifie les preuves les plus fortes. Au lieu de demander si un modèle en sait suffisamment, les évaluateurs peuvent se demander avec quelle efficacité il apprend lorsque ses connaissances existantes sont insuffisantes.

La rivalité entre Anthropic et GPT se joue désormais sur l’efficacité

La pression concurrentielle dépend de la quantité de raisonnement dont un modèle a besoin, et non seulement du nombre de réponses justes qu’il obtient.

Les modèles Claude d’Anthropic restent de redoutables concurrents dans la programmation et le travail professionnel. Claude Fable 5.1 a devancé Astra sur l’Intelligence Index et le Coding Agent Index d’Artificial Analysis.

L’avantage d’Astra semble se situer dans une autre dimension. Il aurait égalé Claude Fable 5 sur un résultat de programmation comparable tout en utilisant moins d’étapes de calcul. Il a également nécessité moins d’étapes que GPT-5.6 Sol et Claude Opus 5.

Moins d’étapes de raisonnement peuvent réduire les ressources totales consommées par une tâche. Cet avantage peut compenser un tarif par token plus élevé. Il peut aussi raccourcir les temps d’attente et réduire les occasions pour un agent de s’égarer.

La distinction ressemble à l’efficacité énergétique. Le prix du carburant d’un véhicule ne révèle pas le coût d’un trajet achevé. La distance, la consommation et la fiabilité déterminent le résultat réel.

Les acheteurs d’IA sont confrontés au même problème comptable. Les tarifs publiés en entrée et en sortie décrivent des unités de consommation. Ils n’indiquent pas combien d’unités un modèle doit utiliser pour achever un travail utile.

Astra consommerait moins de tokens de raisonnement que Sol dans plusieurs tâches agentiques. La comparaison de The Decoder a estimé que cette efficacité réduisait l’écart de coût des tâches achevées, malgré le tarif unitaire plus élevé d’Astra.

Aucun chiffre de prix n’est nécessaire pour comprendre la pression stratégique. Anthropic ne peut pas répondre à Astra simplement en remportant un large indice d’intelligence. OpenAI ne peut pas revendiquer la victoire tant que Claude conserve des avantages dans d’importants tests de programmation.

Les deux entreprises doivent démontrer un travail accompli dans des conditions cohérentes. Cela inclut le taux de réussite, l’utilisation totale de calcul, la latence, les corrections humaines et la récupération après des actions échouées.

Cela éloigne la course entre les GPT d’Anthropic des simples impressions laissées par les chatbots. Les systèmes agentiques opèrent à travers les fichiers, navigateurs, terminaux et logiciels d’entreprise. Leurs échecs peuvent se propager dans un flux de travail avant qu’un utilisateur ne s’en aperçoive.

Un agent efficace mais peu fiable crée peu de valeur. Un agent très précis peut également devenir impraticable s’il exige trop de temps et de calcul. Le système de tête doit gérer ces deux contraintes.

L’efficacité interactive d’Astra accroît la pression sur Anthropic, car Claude a bâti une grande partie de sa réputation sur le codage et l’usage contrôlé d’outils. Un avantage net d’Astra dans le travail informatique adaptatif toucherait ce marché central.

L’avance de Claude Fable 5.1 dans l’indice exerce une pression équivalente sur OpenAI. Elle empêche les meilleurs scores d’Astra de devenir une revendication incontestée de leadership global. Les clients peuvent s’appuyer sur une évaluation indépendante dans laquelle le résultat de niveau prédécesseur reste visible.

Les équipes d’entreprise devraient considérer ces résultats comme des hypothèses de charge de travail. Un flux de recherche centré sur les mathématiques peut favoriser un modèle. Une migration de dépôt ou un processus de support peut produire un classement différent.

Les équipes ont également besoin de traces issues de leurs propres évaluations. Enregistrer les prompts, sorties, corrections et décisions dans une base de connaissances IA consultable facilite l’audit des comparaisons entre modèles.

Sans ces traces, les acheteurs risquent d’évaluer les modèles à travers leurs réussites les plus mémorables. Les démonstrations impressionnantes attirent l’attention, tandis que les échecs discrets se fondent dans le travail ordinaire.

Le même problème affecte l’interprétation des benchmarks. Les scores agrégés masquent la distribution des tâches. Une avance de cinq points dans un indice ne signifie pas qu’un modèle remporte chaque évaluation ni qu’il offre une meilleure économie pour chaque flux de travail.

Le résultat d’Astra dans le Coding Agent Index illustre ce problème. Claude Fable 5.1 dominait au score, mais Astra aurait nécessité moins d’étapes. Le classement change si une organisation valorise davantage l’achèvement brut que le coût, ou l’efficacité plutôt qu’un faible écart de score.

Le résultat d’ARC-AGI-3 intensifie ce débat, car il relie l’efficacité à l’adaptation. Astra ne s’est pas contentée d’économiser des étapes dans une tâche de programmation familière. Elle les a utilisées efficacement tout en découvrant des règles inconnues.

Cette combinaison est pertinente pour les déploiements réels d’agents. Les logiciels d’entreprise évoluent, les sites web présentent des états inattendus et les dépôts contiennent des conventions non documentées. Un agent utile doit s’adapter sans recevoir un manuel d’instructions parfait.

Cependant, les petits mondes ludiques d’ARC restent des abstractions. Ils éliminent de nombreuses complications présentes dans les organisations, notamment les objectifs ambigus, les contrôles d’accès, le jugement social et les conséquences d’actions incorrectes.

La conclusion responsable est plus limitée. Astra apporte des éléments indiquant que le raisonnement adaptatif et l’efficacité des actions se sont fortement améliorés. La question de savoir si ces gains se transfèrent à un travail professionnel soutenu exige encore des tests indépendants.

Le vainqueur de la course entre les GPT d’Anthropic dépendra donc des preuves de déploiement. Le leadership dans les benchmarks peut justifier un essai. L’exécution fiable et efficace des tâches déterminera si le modèle reste.

Chollet a avancé sa prévision sans déclarer l’AGI

La réaction de Chollet reconnaît des progrès plus rapides tout en préservant une définition exigeante de l’intelligence générale.

François Chollet a créé l’original Abstraction and Reasoning Corpus en 2019. Il l’a conçu pour tester l’acquisition de compétences plutôt que les seules connaissances accumulées.

Son argument remet depuis longtemps en question les récits standard sur le passage à l’échelle. Un système peut devenir meilleur dans de nombreuses tâches familières sans acquérir une intelligence adaptative étendue. La couverture de l’entraînement et la préparation aux benchmarks peuvent imiter la généralisation.

Les tâches ARC cherchent à exposer cette différence. Elles réduisent au minimum la dépendance au langage, aux faits stockés et aux formats professionnels reconnaissables. Un modèle doit déduire une tâche à partir des éléments disponibles pendant l’évaluation.

Lors du lancement d’ARC-AGI-3, Chollet s’attendait apparemment à ce qu’un modèle de pointe le sature en environ un an. Astra est arrivée environ six mois plus tard et l’a presque saturé sous le harnais spécialisé d’OpenAI.

Chollet a qualifié ces progrès d’environ deux fois plus rapides que prévu. Il a également décrit Astra comme un changement d’échelle pour les problèmes de raisonnement interactif.

Ces déclarations ont avancé sa prévision concernant l’AGI, mais n’ont pas établi de date. Elles n’ont pas non plus considéré le résultat d’un seul benchmark comme une preuve suffisante.

Le raisonnement de Chollet compte davantage que la prédiction en manchette. ARC-AGI-3 teste, en petites quantités, des propriétés qualitatives associées à l’intelligence générale. Elles incluent l’exploration sous incertitude, la modélisation causale et l’adaptation sans instructions explicites.

Un modèle montrant ces propriétés dans des environnements contraints a franchi un seuil significatif. Il n’a pas nécessairement démontré la même compétence dans le monde ouvert.

Cette distinction sépare les preuves de capacité de l’étiquette AGI. L’AGI ne possède pas de définition opérationnelle universellement acceptée. Entreprises, chercheurs et contrats peuvent appliquer des seuils différents.

Le président d’OpenAI, Greg Brockman, a proposé une interprétation plus large lors du lancement. Il a déclaré croire personnellement que l’entreprise avait atteint l’AGI, tout en laissant aux utilisateurs le soin de décider si Astra répondait à leurs définitions.

Cette rhétorique augmente les enjeux autour de chaque benchmark. Qualifier un modèle d’AGI invite à un examen qui dépasse les classements de modèles. Cela crée des attentes concernant la fiabilité, l’autonomie, le transfert et les performances dans des domaines inconnus.

ARC-AGI-3 soutient une partie de ce récit. Astra s’est adaptée efficacement dans des environnements conçus pour résister à la mémorisation directe. Son score avec le harnais standard laissait également un écart substantiel par rapport à une couverture humaine complète.

D’autres résultats renforcent ce tableau contrasté. Astra serait devenue le seul modèle de l’évaluation standardisée FrontierMath Erdős d’Epoch à résoudre deux des 68 problèmes ouverts avec des preuves vérifiées par machine.

La vérification Lean signifie qu’un logiciel formel a contrôlé la validité logique de ces preuves. Cela rend le résultat plus difficile à gonfler au moyen d’une prose persuasive mais incorrecte.

Trois solutions supplémentaires auraient émergé d’exécutions non standard utilisant bien davantage de calcul. Epoch a exclu ces tentatives de la comparaison notée, car elles ne respectaient pas le même budget d’évaluation.

Cette limite est essentielle. Le meilleur résultat observé d’un modèle peut démontrer une possibilité. Une exécution standardisée offre une meilleure base de comparaison.

Les performances d’Astra en mathématiques formelles suggèrent des capacités de recherche et de vérification plus fortes. Ses résultats plus faibles sur certaines tâches professionnelles et à long contexte montrent que ces capacités ne se transfèrent pas uniformément.

Une déclaration d’AGI doit traiter cette inégalité. L’intelligence générale n’est pas identique à une collection de scores records. Elle implique la capacité de s’adapter de manière fiable lorsque l’environnement, l’objectif et les éléments de preuve changent ensemble.

L’histoire précédente d’ARC offre un avertissement. o3 d’OpenAI a obtenu un résultat majeur sur ARC-AGI-1, suscitant un débat similaire sur le franchissement éventuel d’un seuil.

Des chercheurs ont ensuite souligné le coût, l’exposition aux tâches et la différence entre la maîtrise d’un benchmark et l’intelligence générale. ARC-AGI-2 et ARC-AGI-3 ont été créés en partie pour restaurer une marge de progression dans l’évaluation.

Les performances d’Astra ont compressé cette marge plus rapidement que Chollet ne l’avait prévu. C’est le véritable changement de prévision. Les concepteurs de benchmarks ont désormais moins de temps pour élaborer des tests qui restent informatifs à la frontière.

La leçon n’est pas que l’évaluation a échoué. Elle est que des benchmarks utiles exigent un renouvellement continu. Lorsqu’une tâche devient saturée ou directement ciblée, elle perd une partie de sa capacité à distinguer l’adaptation générale de l’optimisation spécialisée.

Les écarts entre benchmarks constituent la plus forte raison de prudence

Les résultats d’Astra deviennent moins définitifs lorsque les harnais, la couverture et les méthodes d’agrégation sont examinés ensemble.

La première incertitude concerne le périmètre d’évaluation. Le score de 169 d’Epoch résume une collection large mais évolutive. Le 61 d’Artificial Analysis reflète un mélange et une pondération fixes différents.

Un indice composite peut changer lorsqu’un modèle manque de résultats dans un domaine. Il peut également mettre l’accent sur des domaines dans lesquels un nouveau modèle a reçu des tests de lancement approfondis.

Le premier dossier d’Astra chez Epoch contenait apparemment une couverture limitée du codage. Claude Fable 5.1 détenait les meilleurs résultats dans plusieurs évaluations de codage. Comparer leurs totaux en manchette risque donc de masquer des preuves inégales.

La deuxième incertitude concerne la conception du harnais. Un harnais contrôle la façon dont un modèle reçoit le contexte, préserve l’état, utilise les outils et soumet ses réponses.

Le harnais standard d’ARC Prize permet à certaines notes sélectionnées de persister. L’adaptateur fournisseur d’OpenAI préserve un état de raisonnement opaque et compacte les longues interactions. Il s’agit de conditions de fonctionnement matériellement différentes.

Le score de 99,9 % montre ce qu’Astra peut accomplir avec son infrastructure native. Il ne devrait pas être présenté comme une victoire directe sur des modèles testés via l’interface standard.

Ce problème s’accentuera à mesure que les fournisseurs de modèles optimiseront des systèmes complets. Le raisonnement caché, la mémoire propriétaire, le routage et les politiques d’outils peuvent améliorer les résultats tout en réduisant la reproductibilité indépendante.

La troisième incertitude concerne le transfert des tâches. ARC-AGI-3 isole l’adaptation au sein de petits mondes interactifs. Cela rend le test scientifiquement utile, mais opérationnellement incomplet.

Un agent métier doit gérer les autorisations, des instructions contradictoires, des objectifs flous et des systèmes externes changeants. Il doit également savoir quand s’arrêter et demander un jugement humain.

L’efficacité des déplacements d’Astra ne vérifie pas ces comportements. Résoudre une énigme avec moins d’actions diffère de l’édition de données de production sans causer de dommages.

Les documents de sécurité d’OpenAI ajoutent une autre raison de tester avec soin. L’entreprise affirme qu’Astra a reçu un entraînement plus robuste en matière de robustesse et d’alignement que Sol. Elle reconnaît également qu’il est plus difficile de surveiller le raisonnement avancé.

Son aperçu de la sécurité traite des contrôles relatifs à la cybersécurité et aux déploiements utilisant des outils. Les affirmations de sécurité de l’entreprise restent rapportées par le fournisseur jusqu’à ce qu’une évaluation indépendante plus large soit disponible.

Une utilisation plus capable de l’ordinateur augmente à la fois la valeur et l’exposition. Un agent qui navigue efficacement dans les logiciels peut automatiser de longs flux de travail. Cette même autonomie accroît les conséquences d’instructions mal comprises ou de contrôles d’accès faibles.

Une préoccupation distincte concerne le ciblage des benchmarks. La prévision initiale de Chollet incluait une condition sur la manière dont les laboratoires poursuivaient directement ARC-AGI-3.

Un modèle entraîné ou ajusté autour du raisonnement interactif peut progresser rapidement sans acquérir une capacité équivalente ailleurs. Cela n’invalide pas le résultat. Cela limite la portée avec laquelle l’amélioration devrait être généralisée.

La contamination des données est moins directe pour les mondes interactifs que pour les questions statiques. Un fournisseur peut néanmoins optimiser autour des principes du benchmark, des interfaces ou des retours issus du développement.

Les évaluations répétées créent également des effets de sélection. La meilleure configuration parmi de nombreux essais peut paraître bien plus forte que le résultat attendu d’un déploiement ordinaire.

La page ARC Prize répertorie plusieurs configurations de harnais Astra. Les acheteurs devraient distinguer la meilleure exécution observée de performances reproductibles avec un réglage fixe.

Les budgets de coût compliquent encore les comparaisons. L’exécution d’Astra à 62,7 % avec le harnais standard a utilisé un budget d’évaluation substantiel. Le résultat avec l’adaptateur fournisseur a coûté moins cher globalement, mais reposait sur une configuration spécialisée.

La question pertinente n’est pas de savoir si cette dépense était justifiée. Elle est de savoir si un autre modèle a reçu des opportunités, réglages et infrastructures équivalents.

Les comparaisons d’efficacité humaine exigent une prudence similaire. Astra a utilisé moins de mouvements dans les tâches réussies que l’humain moyen. Les humains ont résolu une part plus large des environnements du benchmark.

L’efficacité conditionnée par la réussite n’est pas synonyme de supériorité globale. Un système peut agir directement lorsqu’il comprend une tâche, mais échouer complètement sur d’autres tâches.

Les reportages doivent préserver ces deux faits. Astra a franchi le seuil moyen d’efficacité d’action humaine. Il n’a pas égalé la couverture humaine complète via le protocole standard.

Le désaccord entre benchmarks a donc plus de valeur que l’un ou l’autre classement pris isolément. Il révèle les dimensions cachées derrière le mot « meilleur ».

Astra semble plus performant en raisonnement adaptatif, sur certaines tâches scientifiques sélectionnées et dans le travail agentique efficace. Claude Fable 5.1 conserve des avantages sur un important indice indépendant d’intelligence et sur plusieurs mesures de programmation.

Cette incertitude devrait guider le déploiement. Les organisations ont besoin de tâches représentatives, de budgets fixes, d’essais répétés et d’interventions humaines consignées. Elles devraient tester la récupération après échec avec autant de soin que la réussite du premier essai.

Les équipes peuvent conserver ces résultats grâce à un workflow IA documenté. Un dossier d’évaluation durable facilite la comparaison des changements de modèles ultérieurs.

Aucun benchmark public ne peut reproduire les contraintes de chaque organisation. Les écarts entre benchmarks ne sont pas du bruit à moyenner. Ils indiquent où se concentrent les capacités de chaque modèle.

Trois signaux détermineront si Astra a changé la course

Le prochain test consiste à déterminer si l’efficacité adaptative d’Astra résiste à une évaluation neutre et à l’usage professionnel courant.

Le premier signal sera un ensemble plus large de tests ARC-AGI-3 neutres vis-à-vis des fournisseurs. Claude Fable 5.1, les nouveaux modèles Gemini et d’autres systèmes de pointe doivent être évalués de manière comparable via le protocole standard.

L’avance d’Astra devient plus convaincante si ses concurrents restent proches de la plage rapportée pour Claude Opus 5. Elle s’affaiblit si d’autres modèles approchent 62,7 % une fois évalués dans des conditions équivalentes.

Des exécutions répétées d’Astra comptent également. Une distribution stable montrerait que le résultat reflète une capacité fiable. De fortes variations suggéreraient que le meilleur score observé surestime les performances habituelles.

Le deuxième signal sera une couverture indépendante élargie de la programmation et de l’utilisation d’ordinateurs. L’indice d’Epoch a besoin de davantage de résultats pour Astra dans des réglages de raisonnement cohérents.

Le score de 169 du modèle gagne en crédibilité si des tests de programmation supplémentaires préservent son avance. Il devient moins convaincant si une couverture plus complète ramène Astra vers Sol ou en dessous de Claude Fable 5.1.

Les études réelles sur l’utilisation d’ordinateurs devraient indiquer l’achèvement des tâches, le temps écoulé, les interventions et les dommages causés par les erreurs. Les seuls totaux de tokens ne peuvent pas rendre compte de la charge opérationnelle d’un agent défaillant.

Les évaluateurs indépendants devraient également distinguer les systèmes natifs des fournisseurs des protocoles communs. Les deux sont utiles, mais ils répondent à des questions différentes.

Les évaluations natives montrent le meilleur produit auquel un client peut accéder. Les évaluations standardisées isolent davantage le modèle sous-jacent et permettent une concurrence plus équitable.

Le troisième signal sera constitué de preuves issues de déploiements durables. OpenAI a d’abord déployé Astra auprès d’un ensemble limité d’organisations avant une disponibilité plus large.

Ces utilisateurs peuvent vérifier si le raisonnement interactif se transpose aux dépôts de code, aux navigateurs, aux processus de recherche et aux systèmes d’entreprise. Les rapports les plus solides documenteront des tâches répétées plutôt que des démonstrations sélectionnées.

Astra renforce l’interprétation AGI s’il apprend des workflows inconnus avec peu d’exemples et des corrections humaines limitées. Il affaiblit cette interprétation si les utilisateurs doivent préparer largement les environnements autour de lui.

Surveillez particulièrement la récupération après échec. L’adaptation générale exige plus que de trouver une voie vers la réussite. Un système doit détecter ses erreurs, réviser ses hypothèses et éviter de répéter des actions nuisibles.

La rivalité entre Anthropic et GPT va s’intensifier à mesure que les deux fournisseurs publieront des résultats axés sur les agents. La réponse de Claude n’a pas besoin de dépasser tous les scores d’Astra. Elle doit montrer où sa fiabilité ou son efficacité produit davantage de travail achevé.

OpenAI fait face à la même exigence. Un bond sur ARC-AGI-3 étaye une affirmation crédible sur le raisonnement adaptatif. Il n’efface pas l’avance de Claude sur Artificial Analysis ni les résultats individuels plus faibles d’Astra.

Le calendrier révisé de Chollet doit donc être compris avant tout comme un avertissement invitant à actualiser les attentes. Les systèmes de pointe acquièrent le raisonnement interactif plus vite qu’un important concepteur de benchmarks ne l’avait anticipé.

Cela ne fixe pas une date d’AGI définitive. Cela raccourcit la période pendant laquelle les tests existants peuvent distinguer les systèmes de pointe du comportement humain adaptatif.

Les développeurs devraient réagir en évaluant les modèles face à des états inconnus, et pas seulement à des prompts peaufinés. Les acheteurs en entreprise devraient mesurer les corrections et la supervision aux côtés de la précision. Les travailleurs du savoir devraient se demander si un agent peut se rétablir lorsque sa première interprétation échoue.

La question importante n’est plus de savoir quel classement mérite une confiance absolue. Elle est de savoir quelle évaluation ressemble au travail délégué, et si ses conditions correspondent au déploiement envisagé.

Astra détient actuellement le résultat le plus frappant sur des tâches interactives inconnues. Claude Fable 5.1 détient le score le plus élevé sur un autre grand indice indépendant. Epoch place Astra en tête au total.

Ces conclusions peuvent toutes être vraies. Ensemble, elles montrent que la compétition entre modèles de pointe a dépassé le cadre d’un seul chiffre.

Choisissez un workflow représentatif, conservez les preuves et refaites les tests lorsque des résultats ARC neutres et des évaluations de programmation plus larges seront disponibles. Cette approche révélera davantage qu’un nouvel argument sur la question de savoir si Astra mérite déjà l’étiquette AGI.