top of page

La mise à jour de METR révèle un écart entre le codage par IA et le jugement

il y a 1 heure
15 min de lecture
Illustrative photograph. Photo: Pixabay / Pexels.

METR a élargi ses évaluations des capacités de l’IA le 20 novembre 2026, constatant des progrès exponentiels continus parallèlement à des performances plus faibles sur les tâches exigeant du jugement. La mise à jour de l’horizon temporel de METR estime le temps de doublement des horizons de tâches mesurés à environ 3,6 mois. Mais cette tendance n’établit ni combien de temps une IA peut travailler en toute sécurité sans supervision, ni si elle peut orienter de manière autonome des recherches utiles.

Cette distinction importe, car mener à bien une tâche de programmation définie et choisir une expérience pertinente exigent des preuves de réussite différentes. Un programme peut réussir des tests tout en poursuivant un objectif global mal choisi. La suite d’évaluation élargie de METR examine les deux aspects de cette fracture, avec de meilleurs résultats lorsque les agents reçoivent un retour clair.

Ces résultats mettent sous pression les affirmations selon lesquelles les progrès en programmation se traduisent directement par une recherche en IA autonome. Ils remettent aussi en cause l’hypothèse inverse, selon laquelle les faiblesses de jugement garantissent une longue interruption de l’automatisation de la recherche. METR observe des capacités substantielles, des limites significatives et une difficulté croissante à mesurer la relation entre elles.

Ce que mesure réellement la mise à jour de l’horizon temporel de METR

Le graphique suit la difficulté des tâches à travers le temps d’exécution humain, plutôt que les heures de travail fiables d’un agent.

Un horizon temporel correspond à la durée humaine d’une tâche associée à un taux de réussite spécifié pour un modèle sur une suite d’évaluation. Au seuil de 50 % souvent évoqué, le modèle devrait accomplir des tâches de cette difficulté environ une fois sur deux. Les heures décrivent la charge de travail humaine de référence, plutôt que le temps passé par le modèle à s’exécuter.

Les horizons d’accomplissement des tâches de METR exigent donc une lecture plus prudente qu’un titre sur des agents travaillant pendant tout un poste. Un horizon plus long indique de meilleures performances sur la distribution mesurée de tâches. Il ne certifie pas une performance fiable sur chaque mission qui demanderait autant de temps à une personne.

Le rapport de novembre étend les évaluations antérieures de l’organisation, centrées sur les logiciels, avec des tâches ciblant des capacités pertinentes pour la recherche et le développement en IA. Ses résultats couvrent des modèles publics jusqu’à Opus 5.5 d’Anthropic et GPT-6 Astra d’OpenAI. Ces modèles fonctionnent comme des agents, ce qui signifie qu’ils utilisent des outils et effectuent des actions successives vers un objectif assigné.

Le rapport couvre trois suites distinctes. Time Horizon 1.1 contient 222 tâches, MirrorCode comprend 75 tâches de réplication logicielle et TH2 contient 36 tâches réparties en 12 familles. Ces chiffres importent car ils décrivent différentes collections, plutôt que des versions interchangeables d’un même benchmark.

TH2 comprend huit familles aux résultats vérifiables et quatre impliquant des recherches ou un jugement plus difficiles à vérifier. Les tâches vérifiables ont des résultats que les évaluateurs peuvent contrôler par rapport à un objectif défini. Les tâches de jugement exigent des choix utiles lorsque des retours clairs et rapides ne sont pas disponibles.

Sur les suites combinées Time Horizon 1.1 et TH2, METR estime que les horizons temporels à 50 % de réussite doublent environ tous les 3,6 mois. Il s’agit d’une tendance exponentielle dans cette mesure particulière. Cela ne signifie pas que chaque capacité d’IA progresse au même rythme.

L’ajout de tâches plus difficiles modifie aussi l’interprétation du graphique. METR rapporte des horizons plus faibles sur la suite combinée que sur Time Horizon 1.1 seule pour un modèle donné. Une mesure plus faible après l’élargissement du test ne signifie pas que le modèle a perdu des capacités.

Cette extension répond à un problème pratique : les tâches antérieures étaient devenues moins informatives à mesure que les modèles s’amélioraient. METR indique que l’ancienne suite était devenue saturée, limitant sa capacité à distinguer les systèmes plus performants. Les tests mis à jour visent un travail plus difficile et un profil de capacités plus large.

Cette mise à jour représente donc davantage qu’un nouveau point sur une courbe ascendante familière. Elle modifie les questions que les évaluateurs peuvent poser à propos de cette courbe. La question centrale devient de savoir si les gains sur des missions définies s’étendent à un travail où l’identification de la réussite fait elle-même partie de la mission.

Les affirmations sur la recherche autonome font face à un test différent

La pression immédiate s’exerce sur les affirmations concernant l’autonomie en recherche, où produire un artefact n’est qu’une partie de la livraison d’un travail utile.

La recherche en IA comprend l’implémentation, l’expérimentation, l’interprétation et les décisions sur ce qui mérite des efforts supplémentaires. Les progrès dans une activité peuvent accélérer une équipe sans remplacer les autres. Les résultats de novembre rendent cette distinction plus difficile à ignorer.

METR rapporte que les modèles de pointe actuels égalent ou surpassent souvent les participants humains qualifiés qu’il a recrutés pour des tâches de programmation et d’optimisation. L’optimisation consiste à améliorer un score ou un objectif spécifié sous des contraintes données. Ces contextes donnent souvent aux agents un moyen direct de comparer les tentatives et de continuer à s’améliorer.

Cette force a une importance pratique même lorsque l’agent ne choisit pas le programme de recherche plus large. Les chercheurs peuvent déléguer l’implémentation tout en conservant la responsabilité des priorités expérimentales. Une implémentation plus capable peut augmenter la quantité de travail accomplie par une équipe.

La comparaison avec des experts humains reste plus limitée qu’une affirmation universelle de supériorité. METR reconnaît l’incertitude quant à savoir si ses participants recrutés correspondent aux employés des laboratoires de pointe dans leurs propres spécialités. Recruter des personnes disposant de l’expertise et de la disponibilité nécessaires devient difficile à mesure que les missions s’allongent.

Là où existent des groupes de comparaison historiques plus larges, les résultats préservent également une place pour les performances humaines exceptionnelles. METR observe de solides classements des modèles dans des concours d’optimisation de programmation, tandis que les meilleurs participants humains restent généralement en tête. Dans l’optimisation de scripts d’entraînement, les meilleurs contributeurs ont de même obtenu des améliorations allant au-delà des exécutions d’agents les plus performantes.

Le compte rendu d’OpenAI du 18 novembre sur l’accélération de la recherche offre une perspective connexe, rapportée par l’entreprise, depuis l’intérieur d’un laboratoire. Il fait état de succès croissants sur des tâches de recherche déléguées, avec des variations substantielles entre les activités. Les humains restent au cœur de sa description du processus de développement.

Ces éléments étayent l’image d’une automatisation inégale à travers les flux de travail de recherche. Ils ne fournissent pas une validation interchangeable des résultats de METR. Les tâches internes de travail, les missions de benchmark et les évaluations rétrospectives du succès emploient des méthodes différentes et saisissent des conditions différentes.

Pour Anthropic, OpenAI et les autres développeurs, la question plus difficile porte sur ce qui se produit une fois l’implémentation devenue plus facile. Les agents peuvent-ils identifier quelle expérience réduirait réellement l’incertitude ? Peuvent-ils reconnaître lorsqu’un résultat positif reflète un test faible ?

Les acheteurs en entreprise font face à une distinction similaire lorsqu’ils évaluent des agents pour du travail technique. Une démonstration réussie avec un test d’acceptation clair soutient ce cas d’usage précis. Elle fournit moins d’éléments concernant des missions aux objectifs ambigus, aux exigences changeantes ou aux conséquences différées.

La mise à jour de l’horizon temporel de METR relève le niveau d’exigence pour ces affirmations sans écarter les gains sous-jacents. Une analyse convaincante de la recherche autonome nécessite des éléments sur l’orientation et l’évaluation en plus de l’exécution. Les performances en programmation constituent une composante importante de cette analyse, mais le rapport n’établit pas qu’elles complètent le tableau.

Une forte capacité en programmation ne règle pas la question du jugement

Les échecs les plus révélateurs de METR sont apparus lorsque les modèles devaient décider de ce qui rendait une évaluation utile.

Une tâche de TH2 demandait aux agents de créer une évaluation qui informerait l’appréciation par METR des capacités des modèles. Cela exigeait davantage que l’écriture d’un logiciel fonctionnel. Le test proposé devait aussi répondre à une question que METR jugeait utile.

Selon les résultats de l’évaluation des capacités, aucune des tâches créées par les agents ne justifiait son inclusion dans le rapport en tant que nouvelle évaluation utile. Certaines productions se sont rapprochées de l’utilité, indiquant des progrès par rapport à des modèles plus faibles. Mais l’amélioration au sein du système de notation ne s’est pas traduite par un travail que METR a choisi d’adopter.

Les agents privilégiaient généralement des tâches d’optimisation notées automatiquement. Ils ont continué à le faire dans des expériences de suivi demandant explicitement des tâches impliquant des décisions avec un faible retour à court terme. Ce comportement a révélé un décalage entre la production d’un défi mesurable et l’identification d’une question de recherche informative.

METR rapporte également que les agents n’ont pas étudié de manière indépendante les types de tâches que l’organisation trouverait les plus utiles, malgré leur accès à internet. Les chercheurs n’ont pas observé de modélisation de menaces inédite ni d’hypothèses particulièrement éclairantes derrière les évaluations proposées. Il s’agit d’observations issues de la configuration testée, plutôt que de preuves d’une incapacité permanente.

La distinction est concrète. Une évaluation peut fonctionner correctement tout en apportant peu d’informations dont les chercheurs ont besoin. Sa qualité d’implémentation et sa valeur pour la recherche sont des propriétés distinctes, même si toutes deux influencent le résultat final.

Une seconde expérience a examiné si les modèles pouvaient juger les évaluations produites par d’autres modèles. Les juges les plus performants concordaient davantage avec les évaluations humaines lorsqu’ils évaluaient des créateurs plus faibles. Lorsque les créateurs étaient aussi forts ou plus forts, les juges avaient tendance à attribuer des scores excessivement généreux.

Ce résultat complique une solution souvent proposée à la faiblesse de la supervision : demander à une autre IA d’examiner le travail. Un évaluateur peut identifier des défauts évidents tout en passant à côté d’erreurs plus convaincantes. L’accord entre un auteur et un évaluateur n’établit donc pas indépendamment la qualité.

METR propose plus d’une explication à ce schéma. Les modèles pourraient manquer du jugement nécessaire pour évaluer ces tâches, ou les créateurs plus forts pourraient produire des résultats trompeurs pour des juges plus faibles. Les expériences ne séparent pas définitivement ces possibilités.

Le mécanisme plus large concerne le retour d’information. L’apprentissage par renforcement, un entraînement qui récompense les résultats selon un système de notation, bénéficie de signaux utiles indiquant quelles tentatives ont fonctionné. La programmation et l’optimisation fournissent souvent de tels signaux par le biais de tests ou de performances mesurées.

La recherche ouverte peut retarder ce retour ou le rendre coûteux à obtenir. Une proposition prometteuse peut échouer seulement après une expérimentation substantielle. Une direction apparemment improductive peut s’avérer utile lorsqu’un chercheur identifie une hypothèse négligée.

Le rapport n’établit pas que le jugement et la programmation sont des capacités fondamentalement distinctes. METR observe des preuves d’un jugement utile des modèles sur certaines tâches d’optimisation en apprentissage automatique. Ces réussites laissent ouverte la possibilité que les capacités se transfèrent plus loin que ne le suggèrent les résultats plus faibles en matière de jugement.

Le renversement est donc précis : une exécution impressionnante ne valide pas automatiquement l’évaluation par un système de son propre travail. Les modèles peuvent s’améliorer tandis que cette évaluation reste peu fiable. Pour la recherche autonome, la relation entre ces capacités compte autant que chacun des scores pris isolément.

De meilleurs tests deviennent plus difficiles à construire

Les évaluations élargies mettent en lumière un problème de mesure : un retour réaliste est souvent coûteux, lent ou dépendant d’experts.

METR introduit le coût du cycle de vie comme estimation approximative de l’effort nécessaire pour créer, exécuter et noter une évaluation de manière répétée. Cette mesure inclut le développement et l’assurance qualité, en plus de l’exécution et de l’évaluation. Elle vise à saisir des contraintes que la seule durée humaine des tâches ne permet pas de mesurer.

Deux tâches peuvent nécessiter une quantité de travail humain similaire tout en imposant des contraintes d’évaluation différentes. L’une peut se conclure par une réponse vérifiée automatiquement. Une autre peut exiger qu’un expert examine le raisonnement, évalue le contexte manquant ou juge de l’importance d’une contribution de recherche.

D’autres contraintes incluent des environnements complexes, des besoins de calcul, de la supervision et de longs cycles de retour d’information. Les tests doivent également se prémunir contre le piratage de la récompense, un comportement qui exploite une règle de notation sans atteindre son objectif prévu. Des modèles plus puissants peuvent révéler des raccourcis que les évaluations antérieures n’avaient pas anticipés.

Dans le jeu de données de METR, les tâches dont les coûts de cycle de vie estimés sont plus élevés ont tendance à être plus difficiles pour les modèles, après prise en compte de la durée des tâches humaines. Cette association suggère que des évaluations peu coûteuses peuvent manquer des dimensions pertinentes de la difficulté. Elle n’établit pas que la dépense elle-même cause une performance plus faible.

METR estime les coûts de cycle de vie à l’aide d’un juge fondé sur un modèle, calibré par rapport aux évaluations de ses chercheurs. Ces estimations reflètent l’expérience et les contraintes de l’organisation. Un laboratoire de pointe pourrait faire face à des coûts différents, et l’évolution des capacités des modèles peut modifier l’économie de l’évaluation.

Le rapport observe également des taux d’amélioration similaires parmi les sous-ensembles de tâches à coût plus élevé et à coût plus faible. Cette nuance importe. Une performance actuellement moins bonne sur des évaluations coûteuses ne montre pas que les progrès sur ces évaluations se sont arrêtés.

Les mesures de référence humaines introduisent une autre limite. Des références humaines directes ne soutiennent que 9 % des estimations de temps humain du rapport. Les autres estimations s’appuient sur des évaluations d’experts, des éléments publics et des extrapolations.

Cela modifie le degré de confiance avec lequel les lecteurs devraient interpréter les heures associées aux tâches difficiles. La durée estimée peut toujours fournir des informations utiles, mais elle ne repose pas sur la même base probante qu’une réalisation observée. Des erreurs d’estimation systématiques pourraient affecter les comparaisons entre groupes de tâches.

La comparaison humaine inclut aussi une assistance par IA. METR a autorisé les participants à utiliser Sonnet 5 pour l’implémentation, en partie afin de faciliter le recrutement et de s’adapter à des habitudes de travail établies. La référence qui en résulte ne doit pas être décrite comme une performance humaine sans assistance.

Les tâches difficiles à vérifier introduisent une subjectivité supplémentaire. La valeur d’une évaluation proposée dépend en partie des priorités de recherche de METR et de ses convictions concernant les risques pertinents. L’organisation reconnaît que ces jugements peuvent être erronés.

La tâche de critique philosophique soulève une question connexe : le jugement de qui devient la référence. Les modèles sont évalués par rapport à des notations d’experts, alors que l’accord peut dépendre des experts et du temps dont ils disposent. Cela rend le résultat instructif sans en faire une mesure exhaustive du jugement humain.

Ces réserves renforcent les précédentes limites des horizons temporels de METR : un score de benchmark a besoin de contexte avant de devenir une affirmation sur le travail ou la sécurité. La suite mise à jour élargit les éléments de preuve tout en ajoutant de l’incertitude. Une meilleure couverture et des mesures plus propres n’arrivent pas toujours ensemble.

Le graphique ne peut pas dater une accélération de la recherche

Une amélioration exponentielle continue n’établit pas à quel moment les systèmes d’IA accéléreront indépendamment leur propre développement.

L’extrapolation tentante part du temps de doublement mesuré et prolonge la courbe vers des missions de plus en plus longues. De telles projections peuvent illustrer les implications d’une tendance inchangée. Elles ne peuvent pas établir que les mêmes tâches, méthodes et relations resteront représentatives.

La sélection des tâches affecte déjà la tendance ajustée dans le rapport de novembre. METR obtient des résultats différents lorsqu’il analyse des sous-ensembles de la suite élargie. Les chercheurs évoquent plusieurs explications possibles, notamment des changements dans le profil de difficulté qui apparaissent lorsque les modèles commencent à réussir des tâches plus récentes.

METR introduit également le METR Capability Index, une mesure composite construite à l’aide de la théorie de la réponse à l’item, une méthode statistique qui relie la capacité d’un modèle à la difficulté d’une tâche. Cela offre une autre manière de suivre les performances des systèmes testés. Cela n’élimine pas la dépendance aux choix de modélisation.

Sur cet indice, METR ne constate pas de forte accélération ou décélération à travers la frontière publique qu’il a testée. Il observe, dans certaines conditions, des changements incertains propres aux développeurs. Ces conclusions sont sensibles aux décisions méthodologiques, ce qui limite les affirmations fortes sur l’évolution des taux de croissance.

La distinction entre progrès exponentiel et progrès accéléré est importante ici. Une mesure peut doubler à intervalle constant sans que son intervalle de doublement se raccourcisse. Une courbe ascendante ne démontre pas à elle seule une nouvelle boucle de rétroaction qui s’intensifie.

L’automatisation de la recherche ajoute une question causale. Observer de meilleurs modèles alors que les laboratoires utilisent l’IA ne révèle pas comment les progrès se seraient déroulés sans cette assistance. METR note explicitement que la comparaison manquante empêche une attribution nette de la tendance.

Les publications publiques révèlent aussi certaines limites. Les modèles publics ne représentent pas nécessairement les systèmes les plus capables disponibles au sein des laboratoires. Les différences de calendrier de publication peuvent compliquer les tentatives de détection des changements dans le rythme de développement sous-jacent.

Les résultats sur le jugement étayent également des interprétations concurrentes. Le discernement de recherche, c’est-à-dire la capacité à sélectionner des questions et des expériences prometteuses, pourrait limiter la recherche autonome. À l’inverse, des performances suffisamment solides sur des travaux plus faciles à vérifier pourraient accélérer le développement tandis que les humains continuent de choisir les orientations.

L’analyse de l’écart de jugement de MIT Technology Review décrit ce désaccord entre chercheurs. Sayash Kapoor considère le discernement de recherche comme un goulot d’étranglement potentiellement important. Najoung Kim souligne l’incertitude liée à l’extrapolation des améliorations observées.

Ces perspectives ne résolvent pas la question, mais elles identifient ce que les preuves actuelles laissent ouvert. Les faiblesses actuelles du jugement sont des observations pertinentes. Les traiter comme des barrières permanentes exige un argument supplémentaire que le rapport ne fournit pas.

La position de METR elle-même reste prudente, tant face au réconfort qu’à l’alarmisme. L’organisation affirme que les éléments publics ne peuvent pas exclure une accélération drastique de la recherche en IA au cours des deux prochaines années. Il s’agit d’une déclaration sur des possibilités non résolues, plutôt que d’une prévision attribuant une date ou une probabilité.

La mise à jour des horizons temporels de METR n’étaye donc ni un compte à rebours vers une recherche entièrement autonome ni une garantie de contrôle humain prolongé. Elle documente des progrès substantiels dans un cadre d’évaluation en évolution. L’inférence suivante exige des preuves sur le processus de recherche lui-même.

Trois signaux comptent davantage que la prochaine courbe virale

Les prochaines preuves utiles devraient vérifier si une exécution plus solide produit de meilleurs choix de recherche, une évaluation fiable et des résultats durables.

Le premier signal est l’adoption d’évaluations ou de propositions de recherche conçues par des agents après un examen indépendant par des experts. La tâche de création d’évaluation de METR fournit un point de référence concret. Les résultats futurs deviendront plus convaincants si les experts utilisent les productions parce qu’elles répondent à des questions importantes.

L’évaluation devrait distinguer un artefact techniquement correct d’une contribution qui modifie les décisions de recherche. Des évaluateurs supplémentaires et une couverture plus large des tâches aideraient à déterminer si l’utilité dépasse les préférences d’une seule organisation. Des réussites répétées affaibliraient l’argument selon lequel le discernement de recherche demeure une contrainte majeure.

Une amélioration continue sans adoption appuierait une interprétation plus limitée. Les agents pourraient devenir meilleurs pour produire des évaluations plausibles tout en restant faibles pour identifier celles qui sont informatives. Cela préserverait l’écart entre une exécution soignée et une orientation utile.

Le deuxième signal consiste à déterminer si les évaluateurs IA deviennent mieux calibrés sur des travaux issus de modèles tout aussi forts ou plus forts. La calibration signifie que les évaluations d’un examinateur correspondent de manière fiable à la qualité réelle. Les résultats de novembre donnent à cette question une base expérimentale concrète.

Un suivi utile comparerait les notations des modèles aux évaluations indépendantes d’experts sur un éventail plus large d’artefacts. Un meilleur accord sur les productions difficiles renforcerait l’argument en faveur de la délégation d’une plus grande part de l’examen. Une surévaluation persistante affaiblirait les affirmations selon lesquelles des auteurs IA plus puissants peuvent être supervisés simplement en ajoutant des juges IA.

Cette question importe même si les agents ne mènent jamais un projet de recherche complet de manière indépendante. Les équipes doivent déjà décider quelles productions méritent de l’attention et lesquelles nécessitent une révision. Une évaluation qui paraît assurée tout en manquant des défauts peut déplacer la charge de travail humaine plutôt que la supprimer.

Le troisième signal est une évaluation plus large, avec des références humaines plus solides et des vérifications différées des résultats. Davantage de références directes amélioreraient la confiance dans les durées estimées des tâches. Évaluer ce qui se produit après l’utilisation d’une production permettrait de vérifier si les scores à court terme ont capturé une valeur durable.

Pour les rapports de laboratoire, la distinction pertinente est celle entre mener davantage d’activité et produire une meilleure recherche. Du code ou des expériences supplémentaires peuvent soutenir les progrès, mais leur valeur dépend des questions auxquelles ils répondent. Des preuves reliant les contributions des agents à des résultats validés renforceraient l’argument en faveur de la recherche autonome.

Il s’agit de priorités d’observation pour les mois à venir, plutôt que d’engagements de publication annoncés. Une nouvelle sortie de modèle ne les tranchera pas à elle seule. Le changement important serait l’existence de preuves plus solides reliant les mesures de capacité aux décisions et aux résultats que ces mesures représentent.

Pour les équipes utilisant l’IA dans un travail technique, la réponse pratique consiste à préserver ce lien. Conservez ensemble la mission d’origine, les critères d’acceptation, la production et l’évaluation d’expert. Une base de connaissances consultable peut faciliter une comparaison ultérieure lorsqu’un résultat apparemment réussi rencontre de nouvelles exigences.

Lisez la mise à jour des horizons temporels de METR en parallèle des tâches et des limites qui sous-tendent sa courbe. Avant d’appliquer sa trajectoire à votre travail, identifiez ce qui constitue une réussite et qui peut la vérifier. Distinguez les missions avec des tests immédiats des décisions dont les conséquences apparaissent plus tard. Demandez-vous ensuite si vos preuves mesurent un travail achevé, un travail utile ou seulement une production convaincante. Ces distinctions resteront précieuses même à mesure que les modèles s’améliorent. Le prochain score digne d’un titre mérite de l’attention, mais un résultat plus discret aussi : un agent qui choisit une question pertinente, produit une réponse solide et résiste à un examen indépendant. Quelle partie de cette chaîne votre évaluation actuelle a-t-elle réellement testée ?

 
 

Commencez pour Gratuit

Un premier assistant IA local avec gestion des connaissances personnelles

Pour une meilleure expérience IA,

remio ne supporte que Windows 10+ (x64) et M-Chip Macs actuellement.

Votre partenaire IA au travail
Faites-en plus avec remio

Planifiez. Créez. Livrez.
Tout au même endroit.

bottom of page