OpenAI affirme que deux réglages d’API ont triplé le score ARC-AGI-3 de GPT-5.6 Sol

OpenAI a modifié deux réglages d’API et a presque triplé le score public de GPT-5.6 Sol sur ARC-AGI-3, le faisant passer de 13,3 % à 38,3 %. L’explication d’OpenAI repose sur le raisonnement conservé et la compaction, deux choix de gestion du contexte disponibles via la Responses API. Ensemble, OpenAI affirme qu’ils ont aussi réduit le nombre de jetons de sortie d’un facteur six.

Ce résultat complique l’interprétation habituelle d’un benchmark d’IA. Le modèle testé n’a reçu ni nouvel entraînement, ni budget de raisonnement plus important, ni outil spécifique au jeu. OpenAI a plutôt modifié le harness, c’est-à-dire la couche logicielle qui transmet les observations, les actions et l’historique de conversation entre le modèle et le benchmark.

Le conflit central n’oppose donc pas GPT-5.6 Sol à un autre modèle. Il oppose un harness générique et standardisé à un harness de production adapté au modèle. Le premier favorise la comparabilité et expose les agents à la même interface de base. Le second préserve l’état dont, selon OpenAI, ses modèles de raisonnement ont besoin pour les travaux interactifs de longue durée.

Cette distinction est importante, car ARC-AGI-3 ne demande pas une réponse finale unique. Il présente des jeux inconnus sans instructions en langage naturel. Les agents doivent déduire les règles de chaque jeu, en découvrir l’objectif, tester des hypothèses, se souvenir de leurs échecs et s’adapter au fil de nombreuses actions.

Un système qui oublie son raisonnement après chaque coup fait face à une tâche différente de celle d’un système capable de préserver un plan évolutif. De même, un agent qui perd ses observations les plus anciennes lorsque le contexte se remplit ne vit pas le même jeu qu’un agent recevant un résumé compact.

Le résultat d’OpenAI ne tranche pas la question de savoir quel harness produit le classement le plus équitable. Il montre toutefois que la conception du harness peut modifier les capacités mesurées davantage que de nombreuses mises à niveau de modèles. Cela met les opérateurs de benchmarks, les développeurs de modèles et les équipes d’évaluation en entreprise sous pression pour documenter l’ensemble du système testé.

Comment OpenAI explique le bond du score

Le modèle est resté le même, tandis que son mécanisme de mémoire a changé.

OpenAI a publié son analyse le 29 juillet 2026, après avoir examiné des résultats étonnamment faibles de GPT-5.6 Sol. Sa préoccupation initiale était simple. Un modèle qui avait traité des problèmes mathématiques difficiles et de longues sessions de jeu semblait inefficace dans des environnements bidimensionnels d’apparence simple.

L’écart initial concernait plusieurs chiffres. OpenAI a indiqué que GPT-5.6 Sol avait obtenu un score global de 7,8 % sur ARC-AGI-3, contre 0,4 % pour GPT-5.5. Sur l’ensemble public de tâches utilisé pour sa comparaison contrôlée, GPT-5.6 Sol a obtenu 13,3 % avec le harness officiel.

OpenAI a ensuite reconstruit l’évaluation via sa Responses API. Le harness révisé conservait le raisonnement entre les actions et remplaçait la troncature glissante par la compaction. Selon l’analyse de benchmark de l’entreprise, cette configuration a porté le score sur l’ensemble public à 38,3 %.

Le score utilise l’efficacité relative des actions humaines, ou RHAE. Cette métrique compare la progression réussie au nombre d’actions nécessaires aux humains. Un agent obtient moins de crédit lorsqu’il résout une tâche de façon inefficace ; l’exploration à l’aveugle et les erreurs répétées ont donc un coût mesurable.

OpenAI a estimé que le testeur humain moyen obtenait 48 % sur la même base. Cette estimation provenait de journaux officiels de parties, et ne signifie pas que chaque humain obtient 48 %. ARC Prize décrit séparément 100 % comme le score correspondant à la résolution de tous les jeux avec la même efficacité que sa référence humaine.

Le résultat de 38,3 % n’a donc pas comblé l’écart avec les humains. Il a toutefois rapproché GPT-5.6 Sol de l’estimation d’OpenAI pour le testeur moyen. Plus important encore, cela s’est produit sans mise à jour du modèle.

La constatation sur les jetons de sortie apporte un autre renversement. Une mémoire plus longue pourrait sembler plus coûteuse, car l’agent transporte davantage de contexte. Pourtant, OpenAI rapporte que la configuration révisée a utilisé six fois moins de jetons de sortie. Le modèle a consacré moins de sortie à reconstruire de manière répétée des règles et des plans qu’il avait déjà élaborés.

La reprise d’une partie fournit un exemple concret. OpenAI a montré un environnement dans lequel aucun modèle de pointe du classement concerné n’était allé au-delà du premier niveau. Son harness révisé pour la Responses API aurait permis à GPT-5.6 Sol de terminer les six niveaux.

Les résultats vérifiés d’ARC Prize apportent un contexte utile. Sa fiche de résultats GPT-5.6 répertorie Sol avec un raisonnement maximal et un score semi-privé de 7,78 % sur ARC-AGI-3. Elle indique aussi un résultat de 87 % sur le jeu public FT09, le premier jeu public ARC-AGI-3 remporté par un modèle.

Ces chiffres décrivent des ensembles et des perspectives d’évaluation différents ; les lecteurs ne doivent donc pas les combiner en un seul chiffre de performance. La comparaison contrôlée de 13,3 % à 38,3 % constitue l’élément pertinent pour l’affirmation d’OpenAI concernant les deux réglages.

Cette distinction est facile à manquer dans la couverture des benchmarks. Une expérience sur un ensemble public, un score vérifié semi-privé et un résultat sur un seul jeu répondent à des questions différentes. L’expérience d’OpenAI demande précisément comment un modèle se comporte lorsque le harness préserve une plus grande part de son état de travail.

La réponse est frappante, mais circonscrite. Le raisonnement conservé et la compaction ont amélioré ce modèle sur cet ensemble public de tâches, dans l’implémentation d’OpenAI. Le résultat n’établit pas un gain identique pour chaque modèle, agent, longueur de contexte ou charge de travail de production.

Le harness officiel testait aussi l’oubli

ARC-AGI-3 mesurait l’agent et l’architecture d’information qui l’entoure.

ARC-AGI-3 diffère des benchmarks statiques dans lesquels un modèle reçoit une question et fournit une réponse. Il se compose d’environnements interactifs exigeant des cycles répétés de perception, planification, action et correction. Sa présentation du benchmark souligne l’acquisition d’objectifs, les modèles du monde adaptables, la planification à long horizon et l’apprentissage guidé par l’expérience.

Le benchmark ne contient aucune instruction en langage naturel expliquant chaque jeu. Un agent reçoit une représentation de l’image actuelle et un ensemble d’actions possibles. Il doit déterminer quels objets comptent, comment les actions modifient l’environnement et ce qui constitue une progression.

Cette configuration fait de la mémoire une partie de la capacité évaluée. Une hypothèse utile peut émerger après plusieurs actions infructueuses. Une observation ultérieure peut confirmer ou réfuter cette hypothèse. Si le harness supprime le raisonnement reliant ces événements, l’agent doit reconstruire son interprétation à partir d’un historique plus limité.

OpenAI a constaté que le harness officiel supprimait le raisonnement privé après chaque action dans le jeu. Le modèle pouvait toujours voir les coups précédents et de brèves notes. Toutefois, il ne pouvait pas accéder aux plans, découvertes ou hypothèses ayant conduit à ces coups.

Le harness utilisait aussi une troncature glissante. Une fois que la conversation dépassait 175 000 caractères, il supprimait les messages les plus anciens. Les longues sessions pouvaient donc effacer les premières observations et actions, même lorsque ces événements restaient pertinents pour le niveau en cours.

Ces comportements étaient les conséquences intentionnelles d’une conception générique, et non la preuve d’un benchmark défectueux. ARC Prize privilégie un harness relativement simple, car il met en évidence les limites des modèles et permet la comparaison entre fournisseurs. Les déploiements commerciaux utilisent souvent des fonctions propres à chaque fournisseur qui ne se transposent pas aisément d’une API à l’autre.

Cela crée l’opposition principale de l’article : évaluation standardisée contre évaluation alignée sur la production.

Un harness standardisé demande quel modèle fonctionne le mieux via une interface commune. Cette approche limite les traitements particuliers et réduit le risque que l’optimisation privée d’un fournisseur domine la comparaison.

Un harness aligné sur la production demande dans quelle mesure un modèle fonctionne bien lorsqu’il est déployé comme son créateur le recommande. Cette approche ressemble davantage aux applications réelles, mais elle peut brouiller la frontière entre la capacité du modèle et l’ingénierie du système.

Aucune de ces questions n’est dénuée de sens. Elles produisent simplement des mesures différentes.

Le problème apparaît lorsqu’un score de classement est présenté comme une propriété du seul modèle. Si un harness supprime de manière répétée un état qu’un autre modèle s’attend à conserver, le test mesure également la compatibilité entre l’entraînement du modèle et l’infrastructure d’évaluation.

ARC Prize a reconnu à quel point les environnements restent difficiles. Son rapport technique indique que les humains ont résolu 100 % des environnements testés, tandis que les systèmes de pointe obtenaient moins de 1 % en mars 2026. Le benchmark a été conçu pour mettre en évidence un large écart d’efficacité adaptative.

Les scores ultérieurs de GPT-5.6 Sol montrent des progrès, en particulier sur certains jeux publics. Toutefois, un résultat de 38,3 % sur l’ensemble public laisse encore une marge importante avant l’efficacité de niveau humain. Il provient également du propre harness et de l’analyse du développeur du modèle.

La leçon n’est pas qu’ARC-AGI-3 est devenu facile. C’est qu’un benchmark interactif peut tester par inadvertance une amnésie artificielle en même temps que la planification et l’exploration.

Ce problème dépasse le cadre des jeux. Les agents de programmation doivent se souvenir des décisions architecturales d’un appel d’outil à l’autre. Les agents de recherche doivent retenir quelles sources étayent ou contredisent une affirmation. Les systèmes de service client doivent préserver les contraintes introduites au début d’une conversation.

Une équipe d’entreprise qui évalue ces systèmes en supprimant à répétition leur état interne peut sous-estimer leurs performances utiles. Une équipe qui autorise une optimisation spécifique au fournisseur sans restriction peut produire des résultats difficiles à comparer ou à reproduire.

La meilleure réponse est une divulgation plus complète. Un rapport de benchmark devrait identifier la version du modèle, l’effort de raisonnement, la politique de contexte, les éléments de réponse conservés, le comportement de compaction, le prompt, les outils, le budget d’actions et la méthode de notation. Sans ces informations, un score manque de contexte opérationnel essentiel.

Le raisonnement conservé évite à l’agent de repartir de zéro

La préservation du raisonnement a donné à GPT-5.6 Sol une continuité entre les actions, réduisant le travail d’interprétation répété.

Les modèles de raisonnement génèrent des éléments de raisonnement internes avant de produire un texte visible ou des appels d’outils. Ces éléments ne sont pas la même chose qu’une explication destinée à l’utilisateur. Ils font partie de l’état de travail du modèle au cours d’une interaction en plusieurs étapes.

Dans le harness officiel examiné par OpenAI, chaque action dans le jeu mettait effectivement fin à cet état. La requête suivante incluait les coups précédents et de courtes notes, mais supprimait le raisonnement qui les reliait. GPT-5.6 Sol faisait face de manière répétée à la même charge d’interprétation.

Imaginez un agent explorant une grille comportant des objets colorés. Il vérifie si une couleur désigne des obstacles, puis découvre que cette même couleur change après un déplacement réussi. Cette observation pourrait renverser sa première théorie et établir une nouvelle règle.

Un journal de coups enregistre ce sur quoi l’agent a cliqué. Il ne conserve pas nécessairement pourquoi l’agent a cliqué, quelles alternatives il a rejetées ni ce qu’impliquait l’image résultante. Ces détails peuvent déterminer si l’action suivante fait avancer une stratégie ou répète une erreur antérieure.

OpenAI a utilisé la Responses API et transmis l’identifiant de réponse précédent entre les tours. Ses conseils actuels sur les modèles expliquent que GPT-5.6 peut réutiliser les éléments de raisonnement disponibles d’un tour à l’autre. Les développeurs peuvent également contrôler dans quelle mesure le raisonnement antérieur reste pertinent via les réglages de contexte de raisonnement.

Selon OpenAI, le raisonnement conservé a modifié le comportement de GPT-5.6 Sol de deux manières. Le modèle a passé moins de temps à réfléchir avant chaque action et a employé des stratégies plus cohérentes au cours de longues sessions. Il n’avait plus besoin de réinterpréter le jeu depuis le début après chaque coup.

Cela explique comment l’utilisation de tokens pouvait diminuer tandis que l’état conservé augmentait. Les tokens de sortie incluent le raisonnement et les réponses nouvellement générés par le modèle. Si les enseignements précédents restent disponibles, le modèle peut éviter de produire une nouvelle reconstruction détaillée.

La distinction ressemble à la différence entre une équipe projet qui conserve des comptes rendus de décisions et une équipe qui ne reçoit qu’une liste de tâches terminées. La liste des tâches montre ce qui s’est passé. Elle ne conserve pas les options écartées, les contraintes ou les éléments probants qui ont façonné le plan actuel.

Pour les travailleurs du savoir, le même problème apparaît lorsqu’un assistant IA traite une enquête de longue haleine. Chaque document récupéré modifie l’hypothèse de travail. Si le système ne conserve que des liens et de courtes réponses, les conclusions ultérieures peuvent perdre le raisonnement qui rendait ces sources pertinentes.

C’est là qu’une base de connaissances consultable externe peut compléter le contexte du modèle. Les dossiers de sources durables doivent rester consultables même lorsqu’un agent compacte son état de travail temporaire.

Le raisonnement conservé introduit néanmoins des compromis. Un ancien raisonnement peut devenir obsolète après un changement de tâche. Une théorie initiale erronée peut influencer les étapes suivantes si le système ne l’indique jamais comme rejetée. Davantage de mémoire ne signifie pas automatiquement une meilleure mémoire.

Les recommandations d’OpenAI pour l’API reflètent ce problème. Elles permettent aux développeurs de conserver le raisonnement sur tous les tours lorsque les objectifs restent stables, ou de se concentrer sur le tour en cours lorsque le raisonnement antérieur a perdu sa pertinence. Ce choix doit suivre le flux de travail, et non une règle générale.

Les jeux ARC-AGI-3 offrent un cadre favorable à la continuité. L’objectif et l’environnement restent liés au fil des actions, de sorte que les hypothèses précédentes comptent généralement. Une conversation d’assistance qui change brusquement de sujet présente un problème de gestion du contexte différent.

Les politiques de sécurité et de confidentialité influencent également la mise en œuvre. Certaines organisations ne peuvent pas stocker l’historique des réponses indéfiniment. D’autres utilisent des configurations sans état ou à conservation nulle. Ces équipes doivent gérer soigneusement les éléments de raisonnement chiffrés et les autres objets de réponse nécessaires à la continuité.

Conserver le raisonnement décrit donc un comportement du système, et non une autorisation d’exposer du contenu privé de chaîne de pensée. Les applications doivent préserver les éléments de réponse pris en charge via l’API tout en présentant aux utilisateurs des explications concises et appropriées.

L’expérience d’OpenAI suggère également une question d’évaluation pratique. Si un agent échoue après trente étapes, les examinateurs devraient déterminer si son plan était erroné ou si le harnais a supprimé l’état nécessaire pour poursuivre ce plan.

Ces modes d’échec exigent des corrections différentes. Un échec de raisonnement appelle un meilleur modèle, prompt ou stratégie. Un échec de gestion de l’état appelle une infrastructure différente. Traiter les deux comme une question d’intelligence du modèle masque où les efforts d’ingénierie doivent porter.

La compaction préserve le passé sans tout transporter

La compaction a remplacé la suppression brutale par une représentation plus courte de l’historique qui conservait néanmoins l’essentiel.

Tout agent fonctionnant sur une longue durée finit par rencontrer une limite de contexte ou une limite économique. Conserver chaque observation, résultat d’outil et pensée intermédiaire peut ralentir et déconcentrer les requêtes ultérieures. Le simple fait de conserver le raisonnement ne résout pas la croissance illimitée du contexte.

Le harnais officiel ARC-AGI-3 gérait cette croissance par troncature glissante. Une fois l’historique au-delà de son seuil, il supprimait le contenu le plus ancien. Cette politique est prévisible et indépendante des fournisseurs, mais elle suppose que les anciennes informations comptent moins parce qu’elles sont anciennes.

Les jeux interactifs contredisent cette hypothèse. Une action initiale peut révéler l’objectif. Un indice observé au début peut expliquer un symbole rencontré bien plus tard. La suppression chronologique peut effacer des connaissances fondamentales tout en conservant des images récentes mais répétitives.

La compaction applique une politique différente. Elle condense le contexte antérieur dans une représentation plus petite qui préserve l’état pertinent. L’agent peut poursuivre avec un contexte gérable sans transporter chaque token d’origine.

OpenAI indique que son implémentation ARC utilisait une limite de 175 000 tokens pour la compaction. Le harnais officiel utilisait 175 000 caractères pour la troncature. OpenAI soutient que ces seuils étaient globalement comparables, car les grilles d’actions étaient tokenisées à raison d’environ un caractère par token.

Ce détail de mise en œuvre compte. Si les limites différaient fortement, l’amélioration du score pourrait refléter un contexte effectif plus large plutôt qu’une meilleure stratégie de mémoire. La comparaison d’OpenAI cherche à maintenir un seuil proche tout en modifiant la manière dont les informations anciennes survivent.

La documentation sur la compaction de l’entreprise décrit la compaction comme un moyen de réduire la taille du contexte durant de longs flux de travail avec l’API Responses. L’état compacté qui en résulte peut permettre la continuité sans obliger les applications à renvoyer une transcription illimitée.

La compaction n’est pas un stockage sans perte. Un résumé peut omettre des détails, aplanir l’incertitude ou conserver une interprétation erronée. Sa valeur dépend de la sélection des informations dont les actions futures auront besoin.

ARC-AGI-3 constitue un test exigeant pour cette sélection. L’agent doit préserver les règles découvertes, les objectifs, la signification des objets, les hypothèses invalidées, la progression dans les niveaux et les actions prévues. Les grilles répétées et le raisonnement redondant peuvent recevoir moins d’attention.

OpenAI rapporte que le harnais compacté conservait les apprentissages sur des exécutions plus longues et générait moins de tokens de sortie. Son animation comparative montrait l’agent révisé réfléchissant moins à chaque action et progressant plus vite dans les jeux.

La réduction par six des tokens de sortie est importante sur le plan opérationnel, même sans évoquer les prix. Un volume de sortie plus faible peut réduire la latence et libérer de la capacité pour davantage d’évaluations. Il peut aussi rendre les traces d’agent plus faciles à examiner, à condition que l’état compacté reste suffisamment informatif.

Les lecteurs devraient toutefois considérer ce chiffre comme spécifique à cette charge de travail. ARC-AGI-3 produit des grilles textuelles répétitives et de nombreuses actions séquentielles. Une revue juridique, un flux de travail médical ou une analyse financière peuvent contenir des détails qui résistent à une synthèse agressive.

Les équipes d’évaluation devraient tester la qualité de la compaction séparément de la réussite finale de la tâche. Elles peuvent comparer les contraintes conservées, la cohérence factuelle, la récupération après des interruptions et la capacité de l’agent à expliquer quelles preuves ont façonné une décision.

Un test utile introduit tôt un fait critique, remplit le contexte d’activités ultérieures, puis vérifie si l’agent applique correctement ce fait. Un autre test modifie une exigence à mi-parcours et vérifie que la compaction préserve la révision plutôt que l’instruction initiale.

Ces tests révèlent un compromis central. La troncature glissante offre une perte transparente, car les examinateurs savent exactement quels messages ont disparu. La compaction offre une continuité sélective, mais ses omissions peuvent être plus difficiles à détecter.

Pour les agents de production, la continuité sélective correspond souvent mieux à la tâche. Les humains ne mémorisent pas chaque image ou phrase. Ils maintiennent un modèle de travail qui privilégie les objectifs, les contraintes, les découvertes et les questions non résolues.

Cette analogie ne doit pas excuser des échecs cachés. Les développeurs ont besoin de traces, d’outils de relecture et d’évaluations contrôlées pour voir si la compaction a préservé le bon état. Sinon, une réponse finale convaincante peut dissimuler une contrainte initiale manquante.

Le résultat d’OpenAI concerne donc moins l’agrandissement d’une fenêtre de contexte. Il s’agit de modifier ce qui survit lorsque la fenêtre ne peut pas tout contenir.

Ce que le score triplé ne prouve pas

Une expérience menée par un développeur sur un jeu de données public ne peut pas déterminer la configuration de référence universelle la plus équitable.

Les éléments fournis par OpenAI étayent une conclusion limitée mais précieuse. GPT-5.6 Sol a obtenu de meilleurs résultats dans l’implémentation ARC-AGI-3 d’OpenAI lorsque le raisonnement était conservé et que la compaction remplaçait la troncature glissante.

Cela ne prouve pas que le harnais officiel est invalide. La configuration officielle poursuit un objectif différent : exposer le comportement des modèles via une interface générique que les participants au benchmark peuvent reproduire auprès de différents fournisseurs.

Les fonctionnalités propres aux fournisseurs compliquent les comparaisons équitables. OpenAI peut conserver ses éléments de raisonnement natifs via l’API Responses. Un autre fournisseur peut représenter l’état interne différemment, exposer d’autres contrôles de continuité ou s’appuyer sur une autre architecture mémoire.

Autoriser chaque entreprise à optimiser un harnais privé peut transformer un benchmark de modèles en compétition de systèmes. Ce format peut toujours mesurer quelque chose d’utile, notamment pour les acheteurs qui choisissent des systèmes d’agents complets. Il n’isole toutefois plus aussi clairement le comportement du modèle.

Le résultat provient également de l’expérience d’OpenAI sur un jeu de tâches public. Les jeux publics sont disponibles pour l’inspection et le développement, ce qui crée davantage d’occasions d’ajuster le harnais. Les résultats semi-privés constituent un contrôle plus solide contre les ajustements directement spécifiques aux tâches.

Le classement vérifié d’ARC Prize place toujours GPT-5.6 Sol à 7,78 % sur le jeu semi-privé avec un raisonnement maximal. Ce score dépasse ceux des autres variantes de la famille GPT-5.6 qui y sont répertoriées, mais il reste très inférieur aux performances humaines en matière de réussite et d’efficacité.

L’écart entre 38,3 % dans la comparaison publique d’OpenAI et 7,78 % dans l’évaluation semi-privée vérifiée exige une interprétation prudente. Il ne contredit pas automatiquement le constat relatif au harnais, car les jeux de tâches diffèrent. Il montre toutefois pourquoi une amélioration sur un jeu public ne devrait pas devenir une affirmation générale d’apprentissage de jeux comparable à celui des humains.

L’estimation d’OpenAI de 48 % pour un testeur humain moyen ajoute du contexte, mais pas d’équivalence. Les humains et les modèles peuvent échouer de façons différentes, utiliser des schémas d’action différents et réagir différemment à des interfaces inconnues. RHAE condense ces comportements en un score.

L’expérience combine également deux changements. Le raisonnement conservé et la compaction étaient tous deux actifs dans la comparaison mise en avant. OpenAI décrit l’effet comportemental de chacun, mais les chiffres principaux publiés n’isolent pas complètement la contribution de chaque paramètre.

Une étude d’ablation plus complète présenterait quatre configurations : aucun paramètre, le raisonnement conservé seul, la compaction seule et les deux ensemble. Des exécutions répétées aideraient à quantifier la variance, en particulier lorsque l’exploration de l’agent peut suivre des chemins différents.

La comparaison des tokens de sortie mérite le même examen. Un nombre inférieur de tokens indique une meilleure efficacité dans ce harnais. Il ne révèle ni la latence totale, ni le traitement des tokens d’entrée, ni le surcoût de la compaction, ni le travail d’ingénierie nécessaire pour maintenir l’état.

Les opérateurs de benchmarks font désormais face à une pression dans les deux sens. S’ils conservent des harnais génériques, ils devraient expliquer que les résultats du classement peuvent sous-estimer les configurations de production. S’ils acceptent des harnais optimisés, ils devraient préciser quelles capacités viennent du modèle et lesquelles proviennent du code environnant.

Les fournisseurs de modèles ont une responsabilité parallèle. Ils devraient publier des configurations, prompts, seuils de contexte, budgets d’action et tableaux de scores reproductibles. Une affirmation sur des paramètres devient plus utile lorsque des équipes indépendantes peuvent la reproduire.

Les acheteurs d’entreprise devraient éviter de choisir entre tests génériques et tests optimisés. Ils ont besoin des deux.

Un test générique montre comment les modèles candidats se comportent sous des contraintes communes. Un test représentatif de la production montre si le système complet réussit dans le flux de travail réel de l’acheteur. La différence entre ces résultats mesure la sensibilité à l’intégration.

Cette sensibilité constitue en elle-même un risque commercial. Un modèle qui fonctionne bien uniquement avec une pile spécialisée de gestion d’état peut être plus difficile à migrer. Un harnais générique qui supprime des capacités essentielles peut pousser les équipes à choisir un modèle plus faible pour de mauvaises raisons.

La question pertinente n’est pas de savoir si le benchmark ou OpenAI a raison. Elle est de déterminer quelle frontière de système chaque score décrit.

Trois signaux à surveiller après le résultat d’OpenAI sur ARC-AGI-3

La réplication indépendante, les tests semi-privés et de meilleurs rapports sur les harnais détermineront si ce résultat change les pratiques d’évaluation.

Le premier signal serait une reproduction indépendante du gain de 13,3 % à 38,3 %. Une réplication crédible devrait utiliser les mêmes jeux publics, le même effort de raisonnement, les mêmes limites d’actions, les mêmes seuils de contexte et la même méthode de notation. Elle devrait également rendre compte des variations d’une exécution à l’autre.

Une réplication renforcerait l’affirmation d’OpenAI selon laquelle la gestion de l’état explique une grande partie de l’écart de performance observé. Un gain nettement plus faible suggérerait que des détails d’implémentation non documentés, le prompt ou les choix de l’évaluateur ont davantage contribué que les deux paramètres cités.

Le deuxième signal serait une évaluation semi-privée utilisant le raisonnement conservé et la compaction. Les tâches publiques aident les développeurs à diagnostiquer les comportements, mais des environnements inconnus ou restreints offrent un test plus solide de généralisation. Des gains similaires dans ce contexte montreraient que l’amélioration du harnais de test se transfère au-delà des jeux publics familiers.

Un faible gain en semi-privé affaiblirait cette interprétation générale. Cela pourrait indiquer qu’une meilleure mémoire aide le modèle à exécuter des stratégies connues sans relever le défi plus profond consistant à acquérir de nouveaux objectifs et de nouvelles règles.

Le troisième signal serait une évolution des normes de transparence des benchmarks. Les futurs classements devraient publier les politiques de gestion du contexte à côté des scores. Les rapports devraient préciser si les éléments de raisonnement étaient conservés entre les actions, comment l’historique ancien était supprimé ou compacté, et quelles fonctionnalités propres au fournisseur étaient activées.

Ces informations permettraient aux lecteurs de comparer deux perspectives utiles. La première mesure les modèles via une interface standardisée. L’autre mesure des systèmes complets configurés conformément aux recommandations du fournisseur.

Les développeurs devraient appliquer la même rigueur à leurs propres évaluations. Conservez la référence avant de modifier les paramètres. Testez ensuite séparément le raisonnement conservé, la compaction et leur combinaison sur des charges de travail représentatives.

Mesurez davantage que le succès final. Suivez les jetons de sortie, l’augmentation des entrées, la latence, les actions répétées, la conservation des contraintes, la récupération après des hypothèses erronées et les erreurs causées par une mémoire obsolète. Un score plus élevé peut masquer de nouveaux modes de défaillance si l’évaluation ne surveille que le résultat final.

Les équipes devraient également examiner les cas où la continuité est utile. Les longues tâches de programmation, la recherche interactive, les agents de navigation et les analyses en plusieurs étapes dépendent souvent des découvertes accumulées. Les courtes demandes de classification ou d’extraction peuvent tirer peu de bénéfices d’un raisonnement persistant.

La conclusion d’OpenAI offre un avertissement clair : une évaluation d’agent peut pénaliser le modèle pour des politiques de mémoire imposées par l’évaluateur. Elle peut également favoriser le modèle grâce à une infrastructure que les concurrents ne peuvent pas reproduire.

La prochaine étape utile n’est pas de déclarer l’un ou l’autre harnais correct. Il faut exécuter les deux, les étiqueter avec précision et publier suffisamment de détails pour permettre aux autres de comprendre la différence.

Pour toute personne construisant un agent de longue durée, la question immédiate est pratique : votre système conserve-t-il les objectifs, les preuves et les hypothèses écartées dont l’action suivante a besoin ? Testez cette continuité avant d’accuser le modèle, puis testez-la à nouveau après chaque modification de la compaction ou de la politique de contexte.