Le benchmark de nouveauté d’Ai2 révèle que les verdicts de recherche peuvent basculer avec un changement de prompt

Ai2 a publié le 27 octobre un benchmark de recherche montrant que les jugements de l’IA sur l’originalité scientifique peuvent fortement évoluer lorsque les chercheurs modifient les instructions. Le benchmark de nouveauté d’Ai2 accompagne Old Ideas, Novel Problems, une étude qui examine les grands modèles de langage, des systèmes d’IA entraînés à générer et interpréter le langage. Selon Ai2, une modification du prompt a fait passer la précision de GPT-5.4 de 93,5 % à 40,9 % sur les mêmes paires d’idées de recherche.

Ce résultat met sous pression une promesse précise : utiliser des évaluateurs automatisés pour établir que des idées de recherche générées par l’IA apportent quelque chose de nouveau. Un juge de nouveauté, un évaluateur d’IA qui mesure l’originalité par rapport aux travaux existants, peut influencer les propositions qui recevront davantage d’attention. Si des instructions raisonnables produisent des verdicts contradictoires, l’évaluation elle-même devient une composante de l’incertitude.

La comparaison ne se limite pas aux modèles d’OpenAI et d’Anthropic, mais inclut des évaluateurs spécialisés dans la recherche, dont AI Scientist de Sakana AI. Le conflit central porte sur les revendications de recherche automatisée face à la fiabilité du processus utilisé pour les étayer. Générer une proposition attrayante et établir son originalité exigent des preuves différentes. La publication d’Ai2 offre aux chercheurs un banc d’essai public pour examiner cet écart.

Ce que teste réellement le benchmark de nouveauté d’Ai2

La publication d’Ai2 fait de l’évaluateur lui-même l’objet de l’examen.

Les résultats de l’évaluation de la nouveauté de l’organisation accompagnent un benchmark, des jeux de données, du code et un pipeline automatisé permettant de construire d’autres ensembles d’évaluation. L’annonce fait suite à une soumission d’article antérieure. La fiche arXiv indique une soumission initiale le 1er octobre et une révision le 26 octobre.

Cette chronologie est importante, car l’événement du 27 octobre correspond à l’annonce publique du package de recherche. Il ne doit pas être confondu avec la date à laquelle chaque expérience est devenue disponible pour la première fois. Les lecteurs qui comparent différentes couvertures devraient distinguer l’annonce, la version de l’article et la configuration expérimentale sous-jacente.

La publication change ce que les équipes de recherche peuvent examiner. Au lieu d’accepter au pied de la lettre l’évaluation d’originalité d’un modèle, elles peuvent tester la manière dont cette évaluation réagit à différents choix méthodologiques. La question devient alors de savoir si la conclusion résiste à des changements raisonnables dans le processus de jugement.

Une comparaison utile est celle d’un instrument qui affiche des mesures différentes après qu’un opérateur a modifié ses réglages. Ces réglages doivent entrer dans l’interprétation du résultat. Sans eux, un score précis peut suggérer un degré de certitude supérieur à celui que la mesure permet réellement.

Pour les idées de recherche, cette incertitude a des conséquences pratiques. Une proposition peut sembler inédite par sa formulation tout en répétant une contribution déjà établie. Une autre peut décrire des composants connus dont la combinaison répond à un problème non résolu. Les évaluateurs doivent distinguer la présentation de la contribution.

Un jugement d’originalité dépend aussi de son point de référence. Une idée peut être nouvelle pour un évaluateur, absente des articles récupérés ou nouvelle pour un domaine scientifique. Ces affirmations exigent des niveaux de preuve différents, même lorsqu’une interface les présente sous la forme d’une même évaluation.

L’importance du benchmark de nouveauté d’Ai2 dépasse donc l’identification d’un prompt défaillant. Il offre un moyen d’examiner si une évaluation de recherche reste fiable lorsque des choix ordinaires de mise en œuvre changent. C’est une norme plus exigeante que de montrer qu’un juge est parfois d’accord avec des évaluateurs humains.

La pression immédiate s’exerce sur les équipes qui rapportent des améliorations de l’idéation automatisée. Leur protocole d’évaluation mérite désormais autant d’attention que leur système de génération. Un score d’originalité plus élevé n’a qu’une portée limitée si les lecteurs ne comprennent pas comment le juge l’a produit.

Cela déplace la charge de l’explication. Les chercheurs doivent rendre compte de la mesure qui relie une proposition générée à une affirmation de progrès scientifique. Le benchmark fournit des éléments pour cet examen, plutôt qu’un substitut au jugement scientifique.

Le jeu de données sépare les articles humains des propositions générées

Un juge qui traite bien la recherche publiée n’a pas automatiquement gagné la confiance pour évaluer des idées générées.

Le jeu de données d’idées de recherche publié comprend des configurations distinctes Human-Only et Human+Generated. La première contient 154 idées humaines à plus forte nouveauté et 145 idées humaines à plus faible nouveauté. La seconde compare le groupe d’idées humaines à plus forte nouveauté à 154 idées générées.

Ces configurations répondent à des questions différentes. La comparaison humaine cherche à déterminer si un juge peut distinguer des idées disposant d’éléments de preuve contrastés provenant des évaluateurs. La comparaison mixte examine comment son comportement évolue lorsque des propositions générées entrent dans l’évaluation.

Cette distinction compte pour l’évaluation de la recherche en IA. Un système validé sur des contributions académiques achevées fait face à une tâche différente lorsqu’il évalue des propositions spéculatives. Les recherches achevées et les recherches proposées ne portent pas le même contexte probant.

Prenons l’exemple hypothétique d’un assistant de recherche qui sélectionne des projets candidats avant que quiconque ne mène des expériences. Son entrée pourrait décrire une méthode proposée et la contribution attendue. L’assistant doit évaluer cette proposition sans traiter les résultats anticipés comme des conclusions établies.

Un juge testé uniquement sur des articles aboutis n’a pas nécessairement été testé dans cette situation. Une évaluation peut sembler convaincante tout en laissant insuffisamment examiné le contexte de déploiement visé. L’écart devient particulièrement important lorsque son score détermine quelles idées progressent.

Les exemples générés du jeu de données portent des étiquettes faibles, ce qui signifie que le statut d’originalité qui leur est attribué repose sur une hypothèse plutôt que sur une vérification individuelle pour l’ensemble du corpus. Cette réserve doit accompagner toute affirmation de précision. Elle affecte le niveau de confiance avec lequel les lecteurs peuvent interpréter l’accord avec le benchmark.

Cela ne rend pas la configuration mixte sans intérêt. Au contraire, elle met en évidence un problème difficile de l’évaluation de la recherche automatisée. Obtenir des jugements d’originalité fiables exige expertise et investigation, ce qui limite la facilité avec laquelle les jeux de données d’évaluation peuvent s’étendre.

Il existe aussi une différence conceptuelle entre une étiquette de benchmark et une conclusion scientifique. Une étiquette rend une expérience mesurable. Elle ne tranche pas tous les désaccords sur ce qui constitue une contribution significative.

Pour les développeurs, la leçon pertinente concerne l’adéquation entre les tests et l’usage. Si un produit évalue des propositions générées, sa validation devrait examiner des propositions générées. Les performances sur des articles humains peuvent fournir du contexte sans établir la fiabilité pour chaque tâche en aval.

Pour les acheteurs en entreprise, la distinction modifie les questions qu’il convient de poser. Une fonctionnalité d’originalité nécessite des preuves couvrant le contenu que les employés soumettront réellement. Un résultat de benchmark issu d’un autre type de document ou d’une autre étape de recherche laisse subsister une lacune importante.

Le jeu de données permet également l’inspection. Les lecteurs peuvent examiner les exemples plutôt que de s’appuyer entièrement sur les performances agrégées. Cet accès compte, car les défaillances d’évaluation ne deviennent souvent compréhensibles que lorsque la proposition, le matériel de référence et le jugement apparaissent ensemble.

Un changement de prompt peut modifier l’idée de recherche gagnante

Le renversement central tient au fait que les instructions du juge peuvent influencer l’idée de recherche qui paraît la plus solide.

L’étude sur l’évaluation de la nouveauté examine six modèles-juges dans différentes configurations d’évaluation. Ses auteurs font état d’une forte sensibilité aux prompts, avec un comportement particulièrement préoccupant lorsque des idées générées entrent dans la comparaison. Ils indiquent également que la récupération d’informations et le raisonnement supplémentaire ne résolvent pas systématiquement le problème.

La comparaison phare entre prompts exige une interprétation prudente. Une formulation fournit des informations sur les jugements de nouveauté des évaluateurs ; une autre demande au modèle d’évaluer la nouveauté sans ce cadrage. Ces formulations diffèrent par leur sens, et pas seulement par leur ponctuation.

Cette différence limite une interprétation excessive du résultat. L’expérience n’établit pas que chaque modification anodine de formulation entraîne un effondrement. Elle montre que des approches plausibles pour cadrer l’évaluation peuvent produire des résultats très différents.

Pour les praticiens, cela reste conséquent. Les équipes de recherche doivent choisir le contexte reçu par un juge et la décision qu’il doit prendre. Ces choix peuvent définir le vainqueur apparent de l’expérience, même lorsque les idées candidates restent inchangées.

Supposons qu’une équipe hypothétique compare un nouveau générateur d’idées à une référence existante. L’équipe maintient les propositions constantes mais modifie le cadrage de l’évaluateur. Si le générateur préféré change, l’avantage rapporté dépend en partie de la procédure de mesure.

Cela n’établit pas une manipulation délibérée. Une équipe peut sélectionner un évaluateur de bonne foi tout en sous-estimant l’influence de ce choix sur son résultat. Le risque apparaît avant même que quelqu’un tente d’optimiser une présentation favorable.

Les juges de nouveauté fondés sur les LLM introduisent donc une source supplémentaire d’incertitude dans les comparaisons entre systèmes de recherche. Les lecteurs doivent distinguer les améliorations apportées aux idées générées des améliorations liées à la manière dont ces idées correspondent aux attentes d’un juge particulier.

La distinction ressemble à celle entre bien répondre à une question et comprendre largement le sujet. Un évaluateur peut produire une appréciation plausible sous des instructions précises sans maintenir cette appréciation dans d’autres formulations défendables. Des explications fluides ne résolvent pas cette incohérence.

De même, un accord répété sous des instructions identiques n’établit pas la stabilité entre différents modèles d’évaluation. La répétition teste la régularité du comportement d’une configuration. Modifier la configuration teste si la conclusion dépend de cette configuration.

Les deux questions sont importantes, mais elles étayent des affirmations différentes. Une comparaison scientifique fiable exige de préciser quel type de cohérence a été mesuré. Sinon, une sortie stable peut être confondue avec une évaluation stable de l’originalité.

C’est ici que la recherche remet le plus directement en question la découverte automatisée. Si une évaluation contrôle la proposition qui progresse, ses préférences deviennent partie intégrante du processus de découverte. Un système de classement peut influer sur la direction des travaux futurs sans être une mesure fiable de la nouveauté.

La réponse appropriée consiste à rendre ces préférences plus visibles. Les lecteurs devraient pouvoir identifier les instructions, les preuves et la règle de décision qui relient une proposition à son score. Sans ce contexte, une précision apparente peut masquer une comparaison fragile.

Les évaluateurs spécialisés font face au même problème de preuve

Ajouter un workflow de littérature n’établit pas, à lui seul, qu’un verdict d’originalité mérite une plus grande confiance.

Ai2 rapporte qu’une configuration simple de Claude Opus 4.6 guidée par prompt a surpassé les évaluateurs Idea Novelty Checker et AI Scientist testés. Ce résultat concerne l’évaluation de la nouveauté dans les configurations de l’étude. Il ne classe pas les capacités complètes de recherche de ces systèmes.

La comparaison place les évaluateurs spécialisés et les modèles généralistes sur le même terrain probant. Un workflow conçu pour une finalité précise nécessite toujours une validation pour la tâche qu’il prétend accomplir. La complexité architecturale ne peut se substituer à la preuve que ses jugements résistent à l’examen.

Le code d’évaluation fournit des configurations et des scripts d’expérimentation permettant d’examiner ces choix. Il comprend également un processus réutilisable pour collecter des éléments de benchmark à partir des évaluations de conférences. Cela rend cette publication plus utile qu’un simple graphique de performance statique.

Les configurations publiques permettent à d’autres équipes d’examiner ce qu’un évaluateur a réellement reçu. Elles peuvent distinguer le modèle sous-jacent des instructions, de l’accès à la littérature et du processus de décision qui l’entourent. Ces détails comptent lorsqu’on cherche à expliquer un résultat.

La difficulté fondamentale est que la recherche et l’évaluation répondent à des questions différentes. Un processus de recherche localise des éléments potentiellement pertinents. Une évaluation de la nouveauté doit déterminer si ces éléments contiennent déjà la contribution proposée.

Un article récupéré peut partager le vocabulaire d’une proposition sans anticiper son idée centrale. Un autre article peut employer une terminologie différente tout en couvrant la même contribution. L’évaluateur doit établir leur relation plutôt que de l’inférer à partir d’une similarité superficielle.

Un résultat de recherche vide pose le problème inverse. Ne pas récupérer d’article correspondant ne prouve pas qu’aucun travail correspondant n’existe. Cette lacune logique demeure même lorsqu’une interface de recherche propose un résumé convaincant.

Pour les acheteurs de produits, l’implication est précise. Un outil qui recherche dans la littérature académique devrait expliquer ce que signifie son affirmation finale d’originalité. Trouver des travaux connexes, identifier des chevauchements et exclure des contributions antérieures sont des accomplissements différents.

Pour les développeurs, la pression porte sur l’analyse des échecs. Lorsqu’un évaluateur rejette une proposition, son explication devrait identifier la contribution supposément déjà existante. Lorsqu’il valide son originalité, les lecteurs doivent comprendre les limites des éléments qu’il a pris en compte.

Une équipe de recherche utilisant une base de connaissances consultable est confrontée à une distinction connexe. Préserver et retrouver des éléments probants soutient l’enquête, mais ces éléments exigent toujours une évaluation. L’accès aux documents ne règle pas automatiquement ce qu’ils impliquent.

Cette comparaison laisse aux évaluateurs spécialisés la possibilité de s’améliorer. Leur valeur potentielle réside dans le fait de rendre les éléments pertinents plus faciles à examiner et les jugements plus faciles à contester. L’étude met en lumière une confiance insuffisamment étayée, plutôt que de clore le débat sur l’évaluation assistée par la littérature.

Le prochain avantage concurrentiel significatif serait une capacité démontrée à maintenir des jugements corrects sur des entrées réalistes et avec des configurations défendables. Un workflow plus élaboré doit mériter cet avantage par des tests.

Le benchmark présente des limites qui en modifient l’interprétation

L’instabilité est une conclusion solide ; un classement universel des juges de recherche exigerait des éléments plus larges.

Les étiquettes faibles de l’étude méritent une attention particulière. Son ensemble généré suppose une nouveauté moindre dans des conditions de génération volontairement limitées. Les auteurs décrivent des vérifications par des experts qui soutiennent cette hypothèse, tout en reconnaissant qu’aucune idée générée ne dispose d’une étiquette établie de manière indépendante.

Cela soulève des questions distinctes sur l’exactitude et le désaccord. L’exactitude dépend de la validité de la réponse de référence. Le désaccord porte sur le fait de savoir si les configurations donnent des réponses contradictoires au même matériau.

Une étiquette contestée peut compliquer une estimation de l’exactitude. Elle ne peut pas rendre des jugements incompatibles cohérents entre eux. Cette distinction permet une lecture prudente de la recherche sans obliger les lecteurs à considérer chaque étiquette du benchmark comme définitive.

L’aspect humain requiert également une interprétation. Les évaluateurs pairs fournissent des appréciations éclairées, mais leur accord constitue un élément sur l’originalité plutôt qu’une recherche exhaustive dans l’histoire des sciences. Un benchmark construit à partir de ces appréciations en hérite la portée.

Le contexte se concentre en outre sur la recherche en IA associée à ICLR. Étendre cette conclusion à la médecine, à la chimie ou à d’autres domaines exige des tests supplémentaires. Les disciplines organisent différemment les travaux antérieurs et appliquent des critères différents aux contributions significatives.

Les propositions générées varient également selon les systèmes qui les produisent. Un générateur simple et un agent de recherche assisté par la littérature ne produisent pas nécessairement les mêmes types d’idées. Le comportement d’un évaluateur sur une distribution ne permet pas d’établir son comportement sur toutes les autres.

Ces limites comptent lorsque les lecteurs rencontrent une affirmation générale selon laquelle l’IA ne peut pas reconnaître la nouveauté. Les éléments soutiennent une conclusion plus restreinte : les évaluations testées peuvent être sensibles aux choix de conception, et une fiabilité apparente ne se transfère pas systématiquement d’un contexte à l’autre.

La recherche n’établit pas non plus que l’évaluation humaine est sans faille. Des experts humains peuvent être en désaccord sur l’originalité, en particulier lorsqu’une contribution traverse plusieurs disciplines. La comparaison pertinente concerne la manière dont l’incertitude est examinée et documentée.

Il existe une différence significative entre exposer un désaccord et le condenser en un score inexpliqué. Un système peut être utile lorsqu’il fait ressortir des travaux antérieurs pertinents ou une contribution contestée. Sa valeur ne nécessite pas de prétendre que chaque proposition possède une réponse binaire évidente.

L’annonce présente les conclusions des chercheurs, plutôt qu’une réplication indépendante du benchmark. Aucune réaction distincte ne devrait être inventée pour créer une apparence d’équilibre dans le traitement. Les possibilités favorables et les interprétations sceptiques peuvent être évaluées sans les attribuer à des commentateurs inexistants.

L’argument favorable est qu’un benchmark public permet de concevoir de meilleurs évaluateurs. L’argument sceptique est que des étiquettes faibles et un champ limité restreignent les conclusions générales. Ces positions peuvent coexister, car elles portent sur différents aspects des éléments disponibles.

Pour l’évaluation de la recherche en IA, la réponse défendable consiste à limiter les affirmations à ce que mesure l’expérience. La sensibilité des évaluateurs mérite de l’attention sans transformer le résultat d’un benchmark particulier en verdict sur toute la science automatisée.

Ce qui rendrait les affirmations automatisées sur la nouveauté plus crédibles

Les prochains éléments utiles montreront si les conclusions résistent à la réplication, à de meilleures étiquettes et à des workflows de recherche plus transparents.

Le premier signal à surveiller au cours des prochains mois est la reproduction indépendante. Des équipes externes peuvent tester les configurations publiées et examiner si la tendance rapportée persiste. Une concordance renforcerait la confiance dans le fait que l’instabilité dépasse l’implémentation de l’expérience initiale.

Un résultat différent resterait informatif. Il soulèverait des questions sur les détails des configurations, le comportement des modèles ou l’interprétation expérimentale. Dans les deux cas, cela serait plus utile que de répéter le titre sans examiner son fondement.

La réplication devrait distinguer la reproduction d’un score de la reproduction de la tendance sous-jacente. Un modèle mis à jour n’a pas besoin de correspondre exactement à un chiffre antérieur. La question la plus importante est de savoir si des changements défendables dans l’évaluation modifient encore la conclusion de fond.

Le deuxième signal est une annotation plus robuste des idées générées. Une évaluation plus large par des experts réduirait la dépendance aux hypothèses sur les propositions qui doivent être considérées comme nouvelles. Elle révélerait également les désaccords entre experts et les cas nécessitant un examen plus approfondi de la littérature.

Cela renforcerait le benchmark si l’instabilité des évaluateurs persistait face à des étiquettes mieux établies. Cela affaiblirait certaines affirmations d’exactitude si de meilleures annotations modifiaient les réponses de référence. Les deux résultats aideraient à distinguer l’incertitude de mesure de l’erreur de l’évaluateur.

Une extension particulièrement instructive inclurait des idées issues de workflows de recherche plus performants. Cela permettrait de tester si les mêmes problèmes apparaissent lorsque les propositions générées sont accompagnées d’un soutien documentaire et d’un travail d’affinement. Cela rapprocherait également l’évaluation des affirmations avancées pour la découverte automatisée.

Le troisième signal est de savoir si les produits de recherche exposent plus clairement les éléments probants et l’incertitude. Un score d’originalité devient plus facile à évaluer lorsque les utilisateurs peuvent examiner les travaux antérieurs et contester le chevauchement allégué. Le changement important serait un comportement observable du produit.

Les recherches d’Ai2 sur la révision de littérature offrent un exemple connexe. LitPivot relie les révisions de propositions à une littérature sélectionnée et laisse aux chercheurs le contrôle de l’acceptation des modifications. Son étude rapportée concerne l’ancrage dans la littérature, plutôt qu’une validation indépendante des jugements de nouveauté.

Cette distinction illustre une direction utile. Un système peut aider la recherche en rendant explicites les éléments probants et les choix de révision. Il n’a pas besoin de présenter un jugement automatisé sur l’originalité comme une conclusion scientifique établie.

Les démonstrations de produits seraient plus convaincantes si elles montraient des cas difficiles en plus des réussites. Les lecteurs doivent voir comment un outil traite les éléments manquants, les articles contradictoires et les contributions incertaines. Un verdict affirmatif soigneusement présenté révèle peu de choses sur ces conditions.

Le benchmark d’Ai2 sur la nouveauté rend ces questions suffisamment concrètes pour être testées. Sa valeur dépendra en partie de l’usage qu’en feront les chercheurs pour examiner les choix d’évaluation, plutôt que de promouvoir un autre score isolé. La réponse la plus solide produirait des conclusions qui restent utiles lorsque la configuration de jugement change.

Avant d’accepter un score d’originalité automatisé, examinez la proposition, les travaux antérieurs et la décision qui les relie. Demandez-vous si un autre prompt défendable modifie le verdict et si des experts sont d’accord avec la comparaison sous-jacente. Conservez la version de l’évaluateur et les éléments probants avec le résultat, afin que des évaluateurs ultérieurs puissent reconstituer l’affirmation. Considérez un désaccord comme une raison d’examiner la contribution de plus près. La question utile est de savoir si l’idée résiste à l’examen une fois que sa présentation fluide perd son avantage persuasif. Lisez les exemples publiés et comparez leurs jugements aux éléments qui les étayent avant d’utiliser un classement par IA pour décider quelles recherches méritent d’être approfondies.